Which Way Did It Move? Diagnosing and Overcoming Directional Motion Blindness in Video-LLMs

Resumen Técnico: Diagnóstico y Superación de la Ceguera al Movimiento Direccional en Video-LLMs

Problema: Ceguera al Movimiento Direccional
A pesar del rápido progreso en la comprensión temporal de videos, los Modelos de Lenguaje Grande para Video (Video-LLMs) presentan una falla fundamental en la percepción de la dirección del movimiento con signo en el plano de la imagen. En videos sintéticos simples donde un único objeto se mueve estrictamente a la izquierda, derecha, arriba o abajo, la mayoría de los Video-LLMs rinden cerca del azar (25%), incluso cuando identifican correctamente la apariencia del objeto (por ejemplo, el color). Los autores denominan a este fenómeno ceguera al movimiento direccional.

Mediante un análisis mecanicista, los autores diagnostican la causa raíz no como una falta de percepción visual, sino como una brecha de vinculación direccional. Demuestran que la información de la dirección del movimiento permanece accesible linealmente a lo largo de la pipeline del Video-LLM: desde el codificador de visión, pasando por el proyector, hasta los estados ocultos del LLM. Sin embargo, el token de lectura final falla al vincular de manera fiable esta señal interna con la opción de respuesta verbal correcta (por ejemplo, mapear la señal percibida de "hacia la izquierda" a la opción de texto "Izquierda"). Esta brecha persiste en arquitecturas y escalas diversas, indicando una limitación estructural en cómo estos modelos convierten señales perceptivas en respuestas a nivel de lenguaje.

Metodología
El artículo introduce un marco diagnóstico controlado y una solución basada únicamente en entrenamiento para abordar esta brecha.

1. Familia de Conjuntos de Datos MODIRECT:
   Para aislar y evaluar la comprensión de la dirección del movimiento, los autores introducen MODIRECT, una familia de conjuntos de datos que comprende tres subconjuntos:

   • MODIRECT-INST: Un conjunto de datos de ajuste de instrucciones derivado del dominio sintético más simple (Primitive-on-Syn), utilizado para entrenar modelos en consultas relacionadas con la dirección.
   • MODIRECT-SYNBENCH: Una benchmark sintética controlada con un diseño factorial $2 \times 2$ (Primer plano: Primitive vs. Recorte; Fondo: Sintético vs. Real). Esto permite una evaluación rigurosa del rendimiento en dominio y la generalización fuera de dominio (OOD).
   • MODIRECT-REALBENCH: Una benchmark del mundo real curada a partir de conjuntos de datos existentes (Something-Something-V2, KTH, TOMATO) para probar la transferibilidad a videos naturales sin supervisión de dirección del mundo real durante el entrenamiento.

2. Análisis Diagnóstico:
   Los autores emplean sondeo lineal y análisis de vectores de concepto (diferencia de medias) para rastrear la señal de dirección del movimiento.

   • Hallazgos: Si bien el ajuste de instrucciones en el dominio fuente (Primitive-on-Syn) cierra con éxito la brecha de vinculación para ese dominio específico, el rendimiento se degrada significativamente en dominios OOD complejos (por ejemplo, Recorte-en-Real).
   • Causa Raíz del Fallo OOD: El análisis de los vectores de concepto de dirección del movimiento revela que, si bien la orientación (dirección en el espacio de representación) se alinea entre dominios después del ajuste, la magnitud de la señal cae bruscamente en entornos visuales complejos. El modelo aprende la estructura de dirección correcta, pero la señal se vuelve demasiado débil para ser leída de manera fiable por la cabeza de lenguaje.

3. DeltaDirect:
   Para abordar el déficit de magnitud, los autores proponen DeltaDirect, un objetivo auxiliar aplicado únicamente durante el entrenamiento a nivel de proyector.

   • Mecanismo: DeltaDirect predice vectores de movimiento 2-D normalizados a partir de las diferencias de características entre frames adyacentes ($\delta_t = F_{t+1} - F_t$) antes de que las características entren en el LLM.
   • Supervisión: Utiliza vectores de movimiento analíticamente disponibles de datos sintéticos como objetivos de supervisión. La pérdida fomenta que la salida del proyector transporte una señal de desplazamiento con signo más fuerte.
   • Inferencia: La rama auxiliar se descarta después del entrenamiento, dejando la arquitectura del modelo, el formato de entrada y el procedimiento de decodificación sin cambios.

Contribuciones Clave

1. Identificación de la Ceguera al Movimiento Direccional: El artículo establece que los Video-LLMs fallan en distinguir direcciones de movimiento con signo básicas a pesar de un fuerte reconocimiento de apariencia, diagnosticando esto como una brecha de vinculación direccional en lugar de un fallo de percepción.
2. Diagnóstico del Fallo de Generalización: Mediante el análisis de vectores de concepto, los autores muestran que el ajuste de instrucciones alinea las orientaciones de dirección entre dominios pero falla en mantener la magnitud de la señal en condiciones visuales complejas, lo que conduce a brechas de generalización OOD.
3. MODIRECT y DeltaDirect: La introducción de una familia de conjuntos de datos controlados para la dirección del movimiento y un objetivo a nivel de proyector impulsado por el diagnóstico (DeltaDirect) que fortalece las señales de movimiento sin alterar la inferencia.

Resultados

• Rendimiento Sintético: En MODIRECT-SYNBENCH, el ajuste de instrucciones por sí solo mejora la precisión de ~26% a ~79%. La adición de DeltaDirect aumenta el promedio a 85.4%, con una ganancia significativa de 11.2 puntos en el dominio más difícil (Recorte-en-Real).
• Transferencia al Mundo Real: Sin ver videos del mundo real durante el entrenamiento, DeltaDirect mejora la precisión de la dirección del movimiento en el mundo real en MODIRECT-REALBENCH en 21.9 puntos sobre la línea base estándar (de 43.1% a 65.0%).
• Comprensión General de Video: Crucialmente, DeltaDirect preserva o mejora el rendimiento en benchmarks estándar de comprensión general de video (por ejemplo, MVBench, NExT-QA), demostrando que la supervisión de movimiento no sacrifica capacidades de video más amplias.
• Escalabilidad: El enfoque es efectivo en diferentes backbones (LLaVA-Video, LLaVA-OneVision, Qwen3-VL) y regímenes de entrenamiento (LoRA y Ajuste Fino Completo).

Significado y Afirmaciones
El artículo afirma que el fallo de los Video-LLMs en la dirección del movimiento no se debe a una falta de datos visuales o capacidad del modelo, sino a un fallo específico en la vinculación de señales perceptivas internas con salidas verbales. Al localizar este fallo en un "déficit de magnitud" en dominios complejos, los autores argumentan que la supervisión impulsada por el diagnóstico es una vía viable para cerrar las brechas entre percepción y lenguaje. DeltaDirect demuestra que supervisar explícitamente los vectores de movimiento en la interfaz visual-lingüística puede mejorar significativamente la comprensión del movimiento mientras se mantienen las capacidades generales de video, sugiriendo que los Video-LLMs futuros podrían beneficiarse de intervenciones dirigidas similares más allá del simple escalado de modelos o conjuntos de datos. El trabajo destaca la importancia de benchmarks sintéticos controlados para diagnosticar primitivas perceptivas específicas que a menudo están entrelazadas en evaluaciones del mundo real.