Resumen Técnico: La Supervisión Geométrica Conductual Alinea los Modelos Fundacionales de Video con la Percepción Social Humana

1. Declaración del Problema

Los modelos fundacionales de video actuales, incluso las arquitecturas auto-supervisadas más avanzadas como V-JEPA 2, no logran capturar cómo los humanos organizan la información social en escenas dinámicas. Aunque estos modelos sobresalen en la clasificación de acciones (por ejemplo, distinguir "bailar" de "cocinar"), explican sistemáticamente menos las juicios de similitud social humana en comparación con los modelos de lenguaje. Específicamente, los incrustaciones de oraciones basadas en subtítulos (por ejemplo, MPNet) superan consistentemente a los codificadores de video preentrenados al predecir juicios de similitud humana para clips de video social. Esto indica una "brecha de representación": los objetivos de preentrenamiento de video pasan por alto la estructura relacional y afectiva inherente a la percepción social humana. Además, los métodos de alineación existentes a menudo dependen de costosos datos de fMRI ("ajuste cerebral") o se centran en imágenes estáticas, dejando abierta la pregunta de si la supervisión conductual escalable puede inducir una estructura visual social similar a la humana en los modelos de video.

2. Metodología

2.1 Construcción del Conjunto de Datos

Los autores construyeron una referencia de similitud humana a gran escala para video social dinámico:

• Estímulos: 250 clips de interacción social naturalista de 3 segundos con dos personas del conjunto de datos Moments in Time.
• Tarea: Un paradigma de par más uno diferente (OOO) por tripletes donde los participantes identifican el video "diferente" entre tres, definiendo implícitamente al par restante como más similar.
• Escala: 49,484 juicios recopilados de 245 participantes.
• Estructura: Un algoritmo de cobertura de conjuntos codicioso aseguró que cada par de videos apareciera en al menos un triplete. Los datos se dividieron en 200 videos de entrenamiento y 50 videos de prueba (disjuntos en cuanto a estímulos).
• Verdad Terrena: La similitud humana se representa como una Matriz de Similitud Representacional (RSM) basada en la frecuencia de juicios de similitud por pares.

2.2 Supervisión Geométrica Conductual (BGS)

La contribución central es la Supervisión Geométrica Conductual (BGS), un objetivo de entrenamiento híbrido diseñado para alinear la geometría de incrustaciones de los modelos de video con los juicios de similitud humana.

• Arquitectura: Aplicada mediante Adaptación de Bajo Rango (LoRA) a cuatro backbones heterogéneos de Transformadores de Visión (ViT): V-JEPA 2, V-JEPA 2.1, TimeSformer, VideoMAE y CLIP. Esto actualiza menos del 2% de los parámetros.
• Función de Pérdida Híbrida ($L_{hybrid}$): Combina restricciones locales y globales:
  1. Pérdida de Triplete ($L_{triplet}$): Impone restricciones locales donde la distancia entre un ancla y un par positivo es menor que la distancia a un par negativo (el diferente) por un margen $\gamma$.
  2. Pérdida RSA ($L_{RSA}$): Impone la geometría global alineando la matriz de distancias por pares del modelo con la RSM humana utilizando Análisis de Similitud Representacional (RSA). Este término se aplica 6 veces por época en un subconjunto de videos para gestionar la memoria.
• Programa de Entrenamiento: El modelo se ajusta fino durante 50 épocas. El peso de la pérdida RSA ($\beta$) aumenta linealmente de 0.3 a 0.7, priorizando la corrección local del triplete al principio y la estructura global más adelante.

2.3 Controles y Líneas Base

Para aislar el mecanismo de mejora, los autores compararon BGS contra:

• Líneas Base Preentrenadas: 12 codificadores de video, 2 codificadores de imagen, 2 VLM y 22 modelos de lenguaje de incrustaciones de oraciones (usando subtítulos de video).
• Ablaciones: Pérdida solo de triplete, pérdida solo de RSA y una variante de triplete con presupuesto igualado.
• Control de Destilación de Lenguaje: Un modelo entrenado con la misma pérdida híbrida pero utilizando incrustaciones de subtítulos MPNet como objetivo de supervisión en lugar de juicios conductuales humanos.

2.4 Métricas de Evaluación

• Principal: Cuadrado de la correlación de Spearman ($R^2$) entre las RSM del modelo y las RSM humanas (techo de fiabilidad mitad-mitad $R^2 = 0.213$).
• Secundarias:
  • Descomposición de Varianza: Descomponer la varianza explicada en componentes únicos de video, únicos de lenguaje y compartidos.
  • Sondas Lineales: Probar la existencia de atributos sociales-afectivos emergentes (valencia, activación, dominio, intimidad, comunicación) sin supervisión explícita.
  • Generalización OOD: Transferencia cero-shot al conjunto de datos PHASE (interacciones sociales geométricas abstractas).
  • Reconocimiento de Acciones: Preservación del rendimiento en UCF101.
  • Análisis de Atención: Despliegue de atención espacial para observar cambios en el enfoque.

3. Resultados Clave

3.1 Cerrando la Brecha de Rendimiento

• Déficit Preentrenado: Ningún modelo de video preentrenado igualó el rendimiento del mejor codificador de oraciones (MPNet, $R^2 = 0.134$). El mejor modelo de video preentrenado (X3D-M) alcanzó solo $R^2 = 0.124$.
• Éxito de BGS: El ajuste fino con BGS mejoró significativamente el rendimiento. El mejor modelo, V-JEPA 2.1 (destilado), alcanzó $R^2 = 0.165$ (78% del techo de ruido), y V-JEPA 2 (grande) alcanzó $R^2 = 0.172$. Ambos superaron la línea base MPNet.
• Necesidad del Objetivo Híbrido: La pérdida híbrida superó a las variantes solo de triplete ($R^2 = 0.158$) y solo de RSA ($R^2 = 0.131$). Crucialmente, el control de destilación de lenguaje no logró reproducir estas ganancias ($R^2 = 0.123$), descartando la transferencia simple de subtítulos como el mecanismo.

3.2 Estructura Social-Afectiva Emergente

• Varianza Única: La descomposición de varianza reveló que los modelos ajustados fino capturaron varianza única en los juicios humanos que las incrustaciones basadas en subtítulos no podían (la varianza única de video $R^2$ se duplicó de 0.02 a 0.04).
• Atributos No Supervisados: A pesar de nunca haber sido entrenados con etiquetas de atributos, los modelos alineados con BGS desarrollaron representaciones linealmente decodificables de valencia, activación y dominio. Un control de destilación de lenguaje no logró recuperar estos atributos en 4 de 5 dimensiones.

3.3 Generalización y Preservación

• Transferencia Zero-Shot: Los modelos alineados con BGS alcanzaron un 81% de precisión en el conjunto de datos PHASE (interacciones sociales abstractas), igualando los niveles de acuerdo humano y superando significativamente a la línea base preentrenada (55%). Esto demuestra generalización a estímulos fuera de distribución (OOD).
• Reconocimiento de Acciones: El ajuste fino preservó (y mejoró ligeramente para V-JEPA 2.1) el rendimiento de reconocimiento de acciones en UCF101, indicando que no hubo olvido catastrófico de las capacidades de preentrenamiento.

3.4 Cambios Mecanísticos

• Reorganización de la Atención: El análisis de despliegue de atención mostró un cambio sistemático en el enfoque espacial. Los modelos preentrenados se concentraban en regiones focales individuales (por ejemplo, un torso), mientras que los modelos ajustados fino redistribuyeron la atención hacia regiones socialmente informativas: rostros, direcciones de la mirada, manos interactuando y ambos agentes. Este cambio ocurrió sin ninguna supervisión espacial durante el entrenamiento.

4. Significado y Afirmaciones

El artículo afirma que la percepción social en los modelos de video es una propiedad latente que se vuelve accesible mediante una supervisión conductual ligera. Las contribuciones clave son:

1. Demostración de una Brecha de Representación: El preentrenamiento actual de video pasa por alto la estructura visual-social, la cual se captura mejor mediante modelos de lenguaje hasta que se aplica una alineación conductual específica.
2. Alineación Escalable mediante BGS: La Supervisión Geométrica Conductual induce con éxito una estructura de similitud social similar a la humana en diversos backbones de video utilizando una señal compacta (LoRA, <2% de parámetros) y datos conductuales, sin los costos de infraestructura del "ajuste cerebral" basado en fMRI.
3. Más allá de la Destilación de Lenguaje: Las ganancias no se deben meramente al aprendizaje a partir de subtítulos. BGS captura una estructura visual-social única (por ejemplo, la mirada, dinámicas de interacción) que las incrustaciones de lenguaje pasan por alto, y recupera dimensiones sociales-afectivas interpretables sin etiquetado explícito.
4. Robustez: El método generaliza a interacciones sociales abstractas y fuera de distribución y preserva las capacidades estándar de reconocimiento de acciones.

Los autores concluyen que los datos conductuales relacionales ofrecen una forma distinta de alineación, guiando los modelos de video hacia una comprensión visual social similar a la humana al dar forma a la estructura geométrica de las incrustaciones para que coincidan con los juicios de similitud humana.