Factorized Latent Dynamics for Video JEPA: An Empirical Study of Auxiliary Objectives

Resumen Técnico: Dinámicas Latentes Factorizadas para Video JEPA

Enunciado del Problema
Las Arquitecturas de Predicción de Incrustación Conjunta (JEPA) han surgido como un marco prometedor para el aprendizaje de representaciones de video auto-supervisado, notablemente a través de Video-JEPA (V-JEPA), que predice incrustaciones latentes de regiones espaciotemporales enmascaradas en lugar de reconstruir píxeles. Sin embargo, el comportamiento de los objetivos auxiliares en el entrenamiento de V-JEPA a pequeña escala permanece poco caracterizado. Existe una brecha crítica en la comprensión de si las señales auxiliares pueden mejorar simultáneamente las dinámicas temporales de alta resolución (esenciales para tareas como el reconocimiento de acciones) y la representación de la apariencia estática (esencial para el reconocimiento de objetos), o si introducen compensaciones de capacidad donde las ganancias en un dominio degradan el rendimiento en otro.

Metodología
Los autores realizan un estudio empírico a pequeña escala que evalúa 18 variantes de objetivos auxiliares en dos regímenes de preentrenamiento: conjunto único de datos (UCF-101) y conjunto mixto de datos (UCF-101 + Something-Something V2 + ImageNet-100). El estudio utiliza un protocolo de evaluación con codificador congelado en tres benchmarks complementarios:

• Diving-48: Comprensión de movimiento de alta resolución.
• Something-Something V2 (SSv2): Razonamiento temporal.
• ImageNet-100: Reconocimiento de apariencia.

Las 18 variantes se categorizan en seis grupos:

1. Regularización Cinemática: Penalizaciones sobre diferencias temporales (L1, Huber, aceleración, canal dividido, con recocido).
2. Enmascaramiento Guiado por Movimiento: Muestreo sesgado hacia regiones de alto movimiento.
3. Regularización Anti-Colapso: SIGReg (imponiendo incrustaciones distribuidas gaussianamente).
4. Dinámicas Inspiradas en la Física: Priors de Hamiltoniano y velocidad-gateados.
5. Predicción de Dinámicas Latentes: Predicción de diferencias temporales (Delta-JEPA, LD-JEPA, Spectral-JEPA, LTC-JEPA).
6. Objetivos Latentes Factorizados: Separación estructural de los subespacios de apariencia y dinámica.

Contribución Clave: FWM-HW-LD
El artículo introduce FWM-HW-LD (Modelo de Mundo Factorizado con Dinámicas Latentes Ponderadas por Regiones Difíciles) como un objetivo novedoso durante el entrenamiento. A diferencia de una nueva arquitectura de inferencia, modifica el proceso de entrenamiento del codificador estudiante V-JEPA estándar mediante:

• Factorización Latente: Partición de la salida del codificador en dos subespacios: $Z_{app}$ (apariencia, incentivada a ser invariante temporalmente) y $Z_{dyn}$ (dinámica, libre para capturar variación temporal).
• Ortogonalidad y Estabilidad: Aplicación de pérdidas ($L_{static}$ y $L_{orth}$) para asegurar que $Z_{app}$ permanezca estable en el tiempo y que los dos subespacios no codifiquen información redundante.
• Ponderación por Regiones Difíciles: Re-pesaje tanto del error de predicción estándar de JEPA como del error de dinámicas latentes hacia los tokens con los errores de predicción más altos, enfocando el modelo en regiones difíciles.
• Cabeza de Dinámicas Latentes: Una cabeza dedicada predice diferencias temporales ($h(t+1) - h(t)$) utilizando únicamente el subespacio $Z_{dyn}$ durante el entrenamiento.

Resultados

• Compensaciones de Capacidad: El estudio encuentra que muchos objetivos auxiliares exhiben compensaciones significativas. Por ejemplo, las variantes de regularización cinemática mejoraron ImageNet-100 (apariencia) en 1.5–1.7 puntos porcentuales (pp) pero degradaron Diving-48 (movimiento) en 2.5–2.9 pp. De manera similar, los objetivos de predicción de píxeles (AC-JEPA, FAC-JEPA) resultaron en caídas sustanciales (−13 a −16 pp) en ImageNet-100.
• Rendimiento de FWM-HW-LD: En el escenario de conjunto mixto de datos, FWM-HW-LD logró los resultados más equilibrados entre las variantes probadas. Mejoró ImageNet-100 en +5.92 pp y SSv2 en +3.21 pp con respecto a la línea base, mientras se mantuvo dentro de −0.30 pp en Diving-48.
• Interacción de Componentes: Los estudios de ablación revelaron que los componentes de FWM-HW-LD interactúan de forma no aditiva. Mientras que las Dinámicas Latentes (LD) por sí solas aumentaron SSv2 (+5.02 pp), perjudicaron otros benchmarks. La Factorización (FWM) por sí sola mejoró ImageNet pero perjudicó SSv2. La combinación completa con ponderación por regiones difíciles fue necesaria para lograr la mejora equilibrada.
• Movimiento Sintético vs. Real: La regularización cinemática mostró un rendimiento fuerte (+40–45 pp) en tareas de discriminación de movimiento sintético, pero no se tradujo en benchmarks de movimiento de alta resolución del mundo real, sugiriendo una discrepancia en el tipo de estructura temporal aprendida.

Significado y Afirmaciones
El artículo afirma modestamente que la factorización latente es una dirección útil para estudiar las compensaciones de objetivos auxiliares en Video-JEPA. Los autores enfatizan que sus hallazgos se basan en un estudio empírico a pequeña escala y de una sola semilla, y deben considerarse como señales preliminares en lugar de clasificaciones estadísticamente establecidas.

Las conclusiones clave incluyen:

1. Existencia de Compensaciones: Los objetivos auxiliares a menudo fuerzan una competencia entre capacidades discriminativas de movimiento y sensibles a la apariencia dentro de un espacio latente compartido.
2. Separación Estructural: Separar el espacio latente en subespacios de apariencia y dinámica, combinado con la ponderación por regiones difíciles, ofrece una vía para mitigar estas compensaciones sin requerir reconstrucción a nivel de píxel.
3. Precaución sobre la Predicción de Píxeles: En esta configuración específica a pequeña escala, los objetivos que predicen deltas RGB a nivel de píxel (AC-JEPA) fueron perjudiciales para las tareas de reconocimiento semántico.

Los autores concluyen que, aunque FWM-HW-LD muestra promesa, la evidencia es preliminar. Posicionan las dinámicas latentes factorizadas no como un objetivo resuelto, sino como un mecanismo controlado para investigar cómo la información de apariencia y movimiento compiten o cooperan dentro de representaciones de video congeladas, sugiriendo la necesidad de replicaciones a mayor escala y con múltiples semillas para validar estos hallazgos.