Interpreting Video Representations with Spatio-Temporal Sparse Autoencoders

Resumen Técnico: Interpretación de Representaciones de Video con Autoencoders Escasos Espacio-Temporales

1. Planteamiento del Problema

Los Autoencoders Escasos (SAEs) han revolucionado la interpretabilidad en modelos de lenguaje y encoders de imágenes estáticas, descomponiendo activaciones en características monosémicas (un solo concepto). Sin embargo, su aplicación a modelos de visión de video presenta un desafío estructural fundamental:

• Pérdida de Coherencia Temporal: Los SAEs estándar tratan cada parche de imagen como un token independiente, ignorando la estructura espacio-temporal del video.
• El Fenómeno de "Parpadeo": Debido a la selección hard TopK (selección rígida de las $k$ activaciones más altas), un mismo concepto semántico (ej. una mano empujando un objeto) puede activar características completamente diferentes en frames consecutivos, incluso si el contenido visual cambia poco.
• Consecuencia: Esto destruye la coherencia temporal, reduciendo la autocorrelación de las características en un 36% y haciendo imposible rastrear conceptos a través del tiempo, lo cual es crítico para la comprensión de video.

2. Metodología Propuesta

Los autores proponen extender los SAEs para video mediante la introducción de objetivos de contraste espaciotemporales y un agrupamiento jerárquico.

• Arquitectura Base: Se utilizan backbones preentrenados (DINOv2 para imágenes y VideoMAE para video) para extraer tensores de características ($T$ frames $\times$ $P$ parches $\times$ $D$ dimensiones).
• Variantes de Contraste Espaciotemporal:
  1. Contraste Temporal (T-SAE): Enfría la consistencia de las activaciones en la misma posición espacial entre frames consecutivos ($t$ y $t+1$).
  2. Contraste Separado (ST-SAE): Aplica pérdidas de contraste independientes para la coherencia temporal y la coherencia espacial (parches adyacentes dentro del mismo frame).
  3. Contraste de Escaneo en Rejilla (R-SAE): Serializa la cuadrícula $(T, P)$ en una secuencia 1D (fila por fila, luego frame a frame) y aplica una única pérdida de contraste sobre elementos adyacentes, unificando coherencia espacial y temporal.
• Agrupamiento Jerárquico (Matryoshka): Se divide el diccionario de características en un grupo de alto nivel (20% del diccionario, enfocado en conceptos semánticos/acciones) y un grupo de bajo nivel (80%, detalles finos). Se añade una pérdida auxiliar para asegurar que el grupo de alto nivel sea autosuficiente para la reconstrucción.
• Mecanismo de Control: La fuerza del contraste (controlada por el coeficiente de pérdida $\lambda$ o la temperatura $\tau$) actúa como un eje controlable que permite sintonizar el compromiso entre la fidelidad de reconstrucción y la coherencia temporal.

3. Contribuciones Clave

1. Estudio Sistemático Empírico: Primer análisis exhaustivo de SAEs en representaciones de video sobre dos backbones (DINOv2, VideoMAE) y dos datasets (SSv2, K400).
2. Diagnóstico de la Incoherencia Temporal: Identificación de que la selección hard TopK es la causa raíz de la inestabilidad temporal. Se demuestra que, aunque las características son monosémicas, son inestables en el tiempo.
3. Descubrimiento de un Artefacto de Métrica: Se revela que las métricas estándar de monosemanticidad (basadas en DINOv2) inflan artificialmente los resultados de modelos nativos de video (VideoMAE) debido a sesgos de alineación. Al usar CLIP como backbone neutral, ambos modelos producen características igualmente monosémicas.
4. Compromiso Controlable (Pareto): Demostración de que la fuerza del contraste permite navegar una frontera de Pareto: se puede priorizar la reconstrucción o la coherencia temporal según la aplicación deseada.

4. Resultados Principales

Los experimentos se realizaron en 29 configuraciones diferentes, mostrando resultados superiores a las características "crudas" (raw) y a los SAEs estándar:

• Coherencia Temporal:
  • Los SAEs estándar reducen la autocorrelación lag-1 de 0.435 (raw) a 0.277.
  • La variante Temporal+M (con Matryoshka) logra una coherencia de 0.462, superando incluso a las características crudas (0.435).
• Clasificación de Acciones:
  • Las características de SAEs contrastivos mejoran la precisión de clasificación de acciones en +3.9% sobre las características crudas.
  • La variante Temporal+M alcanza el 20.4% de precisión en el dataset SSv2.
• Recuperación Texto-Video:
  • Mejora significativa en la recuperación (R@1): hasta 2.8x para DINOv2 y 1.9x para VideoMAE.
  • Las características SAE alinean mejor la semántica visual con el texto, ya que cada característica codifica un concepto único.
• Ablación Causal:
  • Se confirma que el entrenamiento contrastivo concentra la señal predictiva en un subconjunto pequeño de características identificables. Por ejemplo, eliminar solo 10 características clave en la variante Temporal reduce la precisión en un 9.3 puntos porcentuales, indicando una alta eficiencia y concentración de información.
• Análisis de Monosemanticidad:
  • Bajo similitud CLIP (neutral), tanto DINOv2 como VideoMAE alcanzan un puntaje de monosemanticidad (MS) de ~0.68, corrigiendo la percepción previa de que los modelos de video eran inherentemente más interpretables.

5. Significado e Impacto

• Principio de Diseño: El trabajo establece que la coherencia temporal en SAEs de video no es un problema a "solucionar" con parches posteriores, sino un eje de diseño controlable mediante la fuerza de la pérdida contrastiva.
• Interpretabilidad Mecánica: Proporciona herramientas para entender qué aprenden los modelos de video internamente, descomponiendo representaciones complejas en conceptos espaciotemporales estables (ej. "empujar", "sostener", "superficies planas").
• Aplicabilidad: Ofrece configuraciones óptimas para diferentes objetivos:
  • Fidelidad de reconstrucción: SAE Raster con bajo $\lambda$.
  • Coherencia temporal: SAE Temporal+M con alto $\tau$.
  • Discriminación de acciones: SAE Separado con alto $\lambda$.
• Limitaciones y Futuro: El enfoque asume correspondencia espacial aproximada (funciona bien en SSv2 con cámaras fijas, menos en K400 con movimiento de cámara). Se sugiere explorar mecanismos híbridos de escasez suave/rígida y correspondencias basadas en flujo óptico para futuras iteraciones.

En conclusión, este estudio cierra la brecha entre la interpretabilidad de modelos de lenguaje/imagen estática y la comprensión de video, demostrando que con las modificaciones adecuadas (contraste y jerarquía), los SAEs pueden generar representaciones de video que son simultáneamente interpretables, estables en el tiempo y altamente discriminativas.