Towards Data-Efficient Video Pre-training with Frozen Image Foundation Models

Resumen Técnico: Hacia el pre-entrenamiento eficiente en datos de video con modelos fundacionales de imagen congelados

Enunciado del Problema
Los modelos fundacionales de video actualmente logran un rendimiento de vanguardia (SotA) en diversas tareas de comprensión de video, pero dependen de un pre-entrenamiento de extremo a extremo en masivos conjuntos de datos de video (a menudo de millones a miles de millones de clips). Este enfoque incurre en costos sustanciales en la recopilación de datos, el almacenamiento y los recursos computacionales. Por el contrario, los modelos fundacionales de imagen modernos han alcanzado capacidades sin precedentes, proporcionando representaciones espaciales potentes entrenadas en miles de millones de imágenes. La pregunta de investigación central planteada por este trabajo es si es posible construir modelos de video competitivos reutilizando estas representaciones espaciales preexistentes y restringiendo los esfuerzos de pre-entrenamiento exclusivamente al razonamiento temporal. Los autores buscan explorar un paradigma de entrenamiento ligero que congele un modelo fundacional de imagen pre-entrenado y entrene únicamente un módulo temporal recurrente para procesar video en flujo continuo, reduciendo así potencialmente los requisitos de datos y computación para el pre-entrenamiento de video.

Metodología
El marco propuesto desacopla el aprendizaje espacial y temporal para la comprensión de video, constando de tres componentes principales:

1. Codificador de Imagen Congelado: El modelo utiliza un modelo fundacional de imagen pre-entrenado (principalmente DINOv3, aunque también se evalúan DINOv2, SigLIP2 y ViTs supervisados) como extractor de características espaciales. Este codificador permanece completamente congelado durante el entrenamiento, sin que fluyan gradientes a través de él.
   • Extracción de Características Multi-profundidad: Para aprovechar la información distribuida a lo largo de la profundidad del codificador congelado, el marco extrae tokens de parche desde cuatro profundidades de ViT equidistantes (1/4, 1/2, 3/4 y 1). Estas características se adaptan mediante MLPs entrenables por capa con conexiones residuales y se promedian para formar la representación de entrada, complementada con tokens CLS y de registro.
2. Módulo Temporal Recurrente: Un módulo temporal ligero procesa las características por cuadro de forma secuencial y causal (sin acceso a cuadros futuros). El módulo mantiene un estado oculto a través de los cuadros. Los autores evalúan cuatro arquitecturas distintas:
   • RVMRNN: Un núcleo recurrente con puerta GRU con atención cruzada, adoptado de la línea base RVM.
   • Mamba: Un modelo de espacio de estados selectivo (SSM) que opera independientemente sobre los tokens espaciales.
   • MambaMix: Mamba intercalado con bloques de atención self-espacial para permitir la interacción entre parches dentro de los cuadros.
   • GatedMambaMix (GMMix): Una extensión de MambaMix que incorpora un mecanismo de puerta aprendido para controlar el flujo de información temporal, análogo al enmascaramiento de GRU.
3. Lectura Atenta: Un cabezal específico de la tarea produce predicciones. Los autores emplean un protocolo de "flujo continuo" donde la lectura recibe únicamente la salida del cuadro actual ($h_t$), asegurando que el contexto temporal se acumule estrictamente dentro del estado recurrente y no sea compensado por la lectura.

Contribuciones Clave

1. Estudio Empírico del Aprendizaje Temporal con Representaciones Espaciales Congeladas: Los autores demuestran que surge un razonamiento temporal efectivo a través de múltiples codificadores de imagen, arquitecturas temporales y diversas tareas de video (reconocimiento de acciones, seguimiento de objetos/puntos, estimación de profundidad, estimación de pose de la cámara) incluso cuando la columna vertebral de imagen está fija.
2. Evidencia para el Pre-entrenamiento de Video Eficiente en Datos: Los resultados sugieren que los modelos fundacionales de imagen modernos ya contienen suficiente capacidad espacial para la comprensión de video. Esto respalda un paradigma futuro donde solo el módulo temporal requiere pre-entrenamiento en video, desacoplando significativamente el aprendizaje espacial y temporal.

Resultados Experimentales
El estudio evalúa el marco en puntos de referencia que incluyen Something-Something v2 (SSv2), Waymo Open, Perception Test (PT), ScanNet y NuScenes.

• Competitividad del Codificador Espacial: Los codificadores pre-entrenados en imagen congelados (específicamente DINOv3 y DINOv2) coinciden o superan consistentemente al codificador RVM pre-entrenado en video. Por ejemplo, en SSv2, DINOv3 alcanzó un 66.9% de precisión en comparación con el 62.7% del codificador RVM pre-entrenado en video. En Waymo, los codificadores de imagen superaron al codificador RVM (85.0–85.5 mIoU frente a 83.4 mIoU).
• Rendimiento del Módulo Temporal: Cuando se empareja con un codificador DINOv3 congelado, todas las arquitecturas temporales probadas superaron significativamente a una línea base RVM congelada (que tiene un codificador pre-entrenado en video y un núcleo temporal congelados). Por ejemplo, DINOv3 + GMMix logró un promedio normalizado de 99.4, en comparación con 77.7 para el RVM-L congelado.
• Estrategia de Extracción de Características: Utilizar características multi-profundidad del codificador congelado mejoró consistentemente el rendimiento en todas las arquitecturas temporales en comparación con el uso de solo tokens de la capa final.
• Transferibilidad de las Dinámicas Temporales: Inicializar el módulo temporal con pesos pre-entrenados en video (de RVM) proporcionó ganancias de rendimiento incluso cuando se emparejaba con un codificador congelado diferente (DINOv3). Esto indica que las dinámicas temporales aprendidas son parcialmente agnósticas al codificador.
• Eficiencia de Datos: Entrenar DINOv3 + GMMix solo en el 25% del conjunto de entrenamiento de SSv2 produjo un rendimiento (56.5%) que superó al RVM congelado entrenado en el 100% de los datos (46.9%).
• Comparación con SotA: A la escala ViT-L, el modelo propuesto (DINOv3 + GMMix) alcanzó un promedio normalizado de 99.1, superando a modelos fundacionales de video como RVM-L (89.3), V-JEPA-L (88.5) y VideoMAE-L (88.9), a pesar de que el modelo propuesto no tiene pre-entrenamiento a gran escala en video para su módulo temporal.

Significado y Afirmaciones
Los autores posicionan este trabajo como un "trabajo en progreso" hacia un nuevo paradigma de pre-entrenamiento para modelos de video recurrentes. Afirman que sus hallazgos proporcionan evidencia empírica inicial de que:

1. El pre-entrenamiento a gran escala en video para el codificador espacial no es estrictamente necesario si se dispone de modelos fundacionales de imagen potentes.
2. Se puede lograr una comprensión de video sólida sin pre-entrenamiento a gran escala en video cuando el codificador espacial es lo suficientemente potente.
3. Un enfoque modular, donde un único codificador de imagen congelado sirve como columna vertebral compartida para cabezales temporales ligeros específicos de la tarea, ofrece una alternativa más eficiente en datos y computación al pre-entrenamiento de video de extremo a extremo.

El artículo señala explícitamente que aún no realiza un pre-entrenamiento a gran escala en video del propio módulo temporal; más bien, valida la viabilidad del enfoque desacoplado para justificar la inversión en dicho trabajo futuro. Los autores concluyen que, aunque los resultados actuales son prometedores, el trabajo futuro debería incluir el pre-entrenamiento del módulo temporal en datos de video para realizar plenamente el potencial de este paradigma desacoplado.