Resumen Técnico: Gen4U: Unificando la Generación y la Comprensión de Vídeo mediante Difusión

Planteamiento del Problema

Los paradigmas actuales en el aprendizaje de representaciones visuales enfrentan un compromiso fundamental: luchan por reconciliar la geometría precisa de bajo nivel con la semántica de alto nivel. Los métodos contrastivos y los grandes Modelos de Visión y Lenguaje (VLMs) sobresalen en la comprensión semántica, pero suelen descuidar los detalles espacio-temporales. Por el contrario, los enfoques de reconstrucción a nivel de píxel, como los Autoencoders Enmascarados (MAE), preservan la geometría y el movimiento locales, pero fallan al generalizarse a tareas semánticas amplias. Aunque estudios recientes sugirieron que los modelos de difusión de vídeo congelados capturan la geometría de bajo nivel pero carecen de conciencia semántica de alto nivel, sigue existiendo el problema abierto de encontrar un único modelo de vídeo base, agnóstico a la tarea, que sea capaz de soportar tanto la generación como diversas tareas de comprensión sin necesidad de un ajuste fino extensivo.

Metodología

Los autores presentan Gen4U (Generación para la Comprensión), un marco que aprovecha modelos de difusión de vídeo a gran escala y congelados para reutilizarlos como codificadores de vídeo competitivos. La metodología se basa en un análisis sistemático de la estructura del espacio latente de los modelos de difusión para identificar puntos óptimos de extracción de características.

1. Análisis del Espacio Latente

Los autores sondean las activaciones intermedias de modelos de difusión de vídeo tanto propietarios (Veo3) como de pesos abiertos (Wan2.2-T2V-A14B) a través de la profundidad de la red y los niveles de ruido. Utilizan:

• Alineación de k-NN Mutuo (MkNN): Una métrica zero-shot para comparar la estructura de vecindad de las representaciones de difusión frente a codificadores establecidos (p. ej., el codificador de texto Gemma-2, DINOv2, VideoMAEv2) sin un mapeo aprendido.
• Mecanismos de Sondeo (Probing): Sondeos lineales (agrupación global seguida de una proyección lineal) y sondeos de atención (cabezales de atención cruzada con consultas específicas de la tarea) para evaluar la calidad de las características para tareas downstream.

2. Estrategia de Extracción de Características

La idea central es que las representaciones de difusión evolucionan a lo largo de una trayectoria de doble eje (profundidad y ruido).

• Cuello de Botella Semántico: El análisis revela un "cuello de botella semántico" consistente en aproximadamente un 60% de nivel de ruido, donde la semántica global es más linealmente separable.
• Complejidad de las Características: Mientras que los niveles de ruido moderados producen semánticas globales linealmente separables, los detalles finos persisten en niveles de ruido más bajos pero se vuelven espacialmente dispersos. Estas características dispersas requieren mecanismos de atención para ser decodificadas eficazmente, mientras que los sondeos lineales bastan para la semántica global en el cuello de botella semántico.
• Pasada hacia Adelante Única (Single Forward Pass): Gen4U extrae características de un único bloque y nivel de ruido óptimo, requiriendo solo una pasada hacia adelante a través del backbone de difusión. Esto evita los altos costes de inferencia del proceso iterativo de eliminación de ruido, haciendo que sea computacionalmente comparable a los codificadores discriminativos estándar.

3. Adaptación Downstream

Las representaciones generativas congeladas se combinan con decodificadores ligeros (p. ej., decodificadores de un solo bloque de atención o modelos de lenguaje pequeños) entrenados específicamente para la tarea downstream. Los pesos generativos pre-entrenados permanecen congelados, preservando las capacidades de generación de vídeo del modelo.

Contribuciones Clave

1. Mapeo del Espacio Latente: El artículo mapea la evolución de las características de difusión, identificando puntos de extracción óptimos para tareas de comprensión. Revela que los modelos de difusión de vídeo de última generación poseen un espacio latente altamente estructurado donde las representaciones visuales evolucionan sistemáticamente a través de la profundidad y el ruido.
2. Paradigma Unificado: Gen4U demuestra que los modelos de difusión de vídeo congelados pueden funcionar como codificadores de vídeo de propósito general, unificando la generación y la comprensión. El marco logra un sólido rendimiento en objetivos semánticos y no semánticos sin alterar los pesos generativos.
3. Capacidad Dual: El trabajo muestra que estos modelos capturan tanto una rica comprensión de alto nivel (semántica) como una fuerte conciencia de la geometría de bajo nivel (movimiento, profundidad, pose), desafiando la creencia previa de que los modelos de difusión tienen dificultades con la semántica de alto nivel.

Resultados Experimentales

Los autores evalúan Gen4U en un amplio espectro de tareas utilizando el modelo Veo3:

• Clasificación de Vídeo: En el desafiante conjunto de datos Something-Something V2 (SSv2), Gen4U alcanza una precisión Top-1 del 71.3% (72.6% con aumento de datos), superando bases sólidas como 4DS (68.2%) y V-JEPA (72.2%) en la configuración de representación congelada.
• Comprensión de la Geometría:
  • Estimación de Profundidad: En ScanNet, Gen4U logra un AbsRel de 0.075, una mejora relativa del 10.7% sobre la línea base de características congeladas reportada en trabajos previos.
  • Estimación de Pose de Cámara: El modelo alcanza un Error de Punto Final (EPE) de 1.10, rindiendo a la par con la línea base de DINOv2 (1.08).
• Descripción (Captioning):
  • Descripción de Vídeo: En SSv2, Gen4U produce descripciones razonables. En el conjunto de datos VATEX, supera significativamente a VideoPrism (CIDEr 31.7) incluso cuando el decodificador LLM está congelado, alcanzando un CIDEr de 44.8 (frente a 31.7 de VideoPrism).
  • Descripción de Imagen: En MS-COCO, el modelo muestra un rendimiento satisfactorio, aunque queda por detrás de las líneas base basadas en SigLIP optimizadas específicamente para la alineación con texto. Los autores señalan que el uso de entradas de alta resolución y el aumento de datos por nivel de ruido reduce esta brecha.

Significado y Reivindicaciones

El artículo afirma que entrenar puramente para la generación de vídeo a escala es suficiente para dotar a los modelos de características poderosas y de propósito general. La emergencia implícita de la alineación entre las representaciones generativas y los codificadores de texto/visual es un hallazgo significativo no reportado anteriormente.

• Unificación: Gen4U unifica los paradigmas de generación y comprensión, sugiriendo que un único modelo visual puede ser compartido entre ambos dominios.
• Eficiencia: Al extraer características de una única pasada hacia adelante, el marco evita la sobrecarga computacional de la eliminación de ruido iterativa, siendo tan eficiente como los codificadores discriminativos.
• Poder de Representación: Los resultados desafían la noción de que los modelos de difusión están limitados a la geometría de bajo nivel, demostando que los modelos de última generación codifican información semántica rica dentro de sus características intermedias.

Los autores reconocen las limitaciones, señalando que el análisis principal se basa en un modelo propietario (Veo3), lo que limita la reproducibilidad, aunque se utilizó el modelo de pesos abiertos Wan 2.2 para validar la generalizabilidad de los hallazgos. Concluyen que este trabajo fomenta la investigación adicional sobre el poder de representación de los modelos de difusión para tareas de percepción.