Resumen Técnico: De la Precisión a la Dependencia Visual: Auditoría y Filtrado del Colapso de Modalidad en VideoQA de Tráfico

1. Planteamiento del Problema

La alta precisión en los benchmarks de Video Question Answering (VideoQA) no garantiza que los modelos estén utilizando evidencia visual. En el dominio del análisis de accidentes de tráfico, las respuestas correctas deberían depender teóricamente de claves visuales específicas de la escena (por ejemplo, interacciones entre vehículos, dinámica temporal, estructuras causales). Sin embargo, los modelos suelen exhibir un colapso de modalidad, donde dependen de atajos textuales, sesgos lingüísticos o artefactos específicos del conjunto de datos para responder correctamente, ignorando efectivamente la entrada de video.

Este modo de falla es particularmente crítico en aplicaciones de seguridad crítica como el análisis de accidentes de tráfico, donde los sistemas deben tener éxito porque comprenden la escena visual, no porque exploten artefactos de anotación. El artículo argumenta que los benchmarks actuales a menudo no logran distinguir entre el razonamiento visual genuino y la explotación de atajos, ya que se puede lograr una alta precisión incluso cuando se elimina la entrada de video o cuando añadir más fotogramas degrada el rendimiento.

2. Metodología

Los autores proponen un marco de diagnóstico para auditar y filtrar el colapso de modalidad tanto a nivel de conjunto de datos como de instancia.

2.1 Diagnósticos a Nivel de Conjunto de Datos

Los autores introducen dos métricas para cuantificar la dependencia visual a través de un benchmark:

• Brecha Ciega (Blind Gap - BG): Mide qué tan lejos está la precisión basada solo en texto de la probabilidad de azar.
  $$\text{BlindGap}(D) = \text{Acc}_{\text{blind}} - \text{Acc}_{\text{random}}$$
  Un BG alto indica que el benchmark es resoluble utilizando solo texto.
• Ganancia Visual (Visual Gain - VG): Mide el beneficio marginal de añadir la entrada de video.
  $$\text{VisualGain}(D) = \text{Acc}_{\text{video}} - \text{Acc}_{\text{blind}}$$
  Un VG positivo indica evidencia visual útil, mientras que un VG negativo sugiere que la entrada de video degrada activamente el rendimiento o es ignorada.

2.2 Diagnóstico de Atajos a Nivel de Instancia

Para identificar preguntas específicas que impulsan el comportamiento de atajo, los autores definen un Puntaje de Atajo (Shortcut Score - $S(q)$) continuo para cada pregunta $q$:

• Puntaje de Evidencia Textual ($T(q)$): Mide la confianza y la corrección de los Modelos de Lenguaje Extensos (LLMs) que solo procesan texto. Se calcula como el promedio de las predicciones correctas ponderadas por confianza de un panel de modelos de solo texto.
  $$T(q) = \frac{1}{|\mathcal{M}_{\text{LLM}}|} \sum_{m \in \mathcal{M}_{\text{LLM}}} [\text{Correct}_m(q)] \cdot (1 - H_{\text{norm}, m}(q))$$
• Puntaje de Necesidad Visual ($V(q)$): Mide si la adición de video aumenta la probabilidad asignada a la respuesta correcta.
  $$V(q) = \frac{1}{|\mathcal{M}_{\text{VLM}}|} \sum_{m \in \mathcal{M}_{\text{VLM}}} \frac{\Delta_m(q)}{1 - 1/K}$$
  donde $\Delta_m(q)$ es la ganancia de probabilidad para la respuesta correcta cuando se añade el video.
• Puntaje de Atajo ($S(q)$): Combina estas señales:
  $$S(q) = T(q) - V(q)$$
  Un $S(q)$ alto indica una pregunta propensa a atajos (alta capacidad de resolución textual, baja necesidad visual), mientras que un $S(q)$ bajo o negativo indica una pregunta visualmente útil.

2.3 Filtrado Consciente de Atajos

Los autores proponen la construcción de un subconjunto "fundamentado" del conjunto de datos reteniendo solo las preguntas donde $S(q) \leq \tau$. Este filtrado no requiere entrenamiento y es continuo, lo que permite un equilibrio entre la cobertura de datos y la eliminación de muestras propensas a atajos.

3. Contribuciones Clave

1. Auditoría de Benchmarks de VideoQA de Tráfico: El artículo audita cuatro benchmarks públicos (MM-AU, VRU-Accident, SUTD-TrafficQA y AccidentBench) utilizando Modelos de Lenguaje-Visión (VLMs) de pesos abiertos y LLMs de solo texto.
2. Métricas de Diagnóstico: Introducción de la Brecha Ciega y la Ganancia Visual para cuantificar el colapso de modalidad a nivel de conjunto de datos.
3. Puntaje de Atajo: Una métrica novedosa y continua a nivel de instancia que combina la confianza de solo texto con señales de necesidad visual para identificar y filtrar preguntas propensas a atajos sin entrenamiento auxiliar.
4. Marco de Filtrado: Un método para generar subconjuntos de evaluación "fundamentados" que reducen el sesgo de atajo y mejoran las métricas de fundamentación visual.

4. Resultados Experimentales

Los autores evaluaron múltiples VLMs (por ejemplo, InternVL, Qwen-VL, LLaVA-OneVision) y LLMs de solo texto a través de los cuatro benchmarks.

• Disparidades de los Benchmarks:
  • MM-AU: Exhibe un colapso de modalidad extremo. Eliminar el video mejoró consistentemente la precisión, y añadir más fotogramas (hasta 256) degradó aún más el rendimiento. La Brecha Ciega fue alta (hasta 40.33%), y la Ganancia Visual fue negativa para todos los VLMs. Los LLMs de solo texto igualaron o superaron el rendimiento de los VLMs.
  • VRU-Accident: Mostró una Ganancia Visual positiva, pero aun así sufrió de una Brecha Ciega alta (hasta 25%), indicando una resolución textual parcial.
  • SUTD-TrafficQA: Demostró la mayor dependencia visual, con una Brecha Ciega baja (<9%) y una Ganancia Visual consistentemente positiva (~11-12%).
  • AccidentBench: Se situó entre estos extremos con una Brecha Ciega baja y una Ganancia Visual modesta.
• Eficacia del Filtrado:
  • Aplicar el filtro del Puntaje de Atajo (con $\tau = 0.1$) a MM-AU y VRU-Accident redujo significativamente la Brecha Ciega y convirtió la Ganancia Visual negativa en valores positivos.
  • En MM-AU, el filtrado redujo la BG de 25.70% a 10.38% y cambió la VG de -0.24% a 7.42%.
  • Los baselines de filtrado binario (LLM-Inspector, B-Clean) fueron menos efectivos; B-Clean, por ejemplo, eliminó preguntas visualmente útiles junto con los atajos, resultando en una Ganancia Visual fuertemente negativa.
• Análisis de Causa Raíz: El artículo identifica patrones de texto repetitivos y frases de respuesta (por ejemplo, estructuras de oraciones específicas que aparecen cientos de veces) como un motor principal de los atajos en MM-AU.
• Impacto del Entrenamiento: El ajuste fino (fine-tuning) de los modelos en datos de tráfico mejoró la precisión de video, pero no necesariamente mejoró la fundamentación visual (la BG y la VG permanecieron planas o negativas en los subconjuntos estándar), lo que sugiere que las ganancias de precisión no equivalen a un razonamiento visual genuino.

5. Significado y Reivindicaciones

El artículo afirma que la precisión del benchmark por sí sola es insuficiente para evaluar el progreso en VideoQA de seguridad crítica. Los hallazgos revelan que:

• Varios benchmarks de accidentes de tráfico ampliamente utilizados permiten que los modelos tengan éxito explotando atajos textuales en lugar de evidencia visual.
• La evaluación visualmente fundamentada, medida por métricas como la Brecha Ciega y la Ganancia Visual, es esencial para distinguir el razonamiento genuino de la explotación de atajos.
• El propuesto Puntaje de Atajo proporciona un mecanismo práctico y sin entrenamiento para curar subconjuntos de evaluación que reflejen mejor la capacidad de un modelo para utilizar evidencia visual.
• La construcción futura de datasets debe evitar formatos de preguntas repetitivos y frases de respuesta idénticas para prevenir que los modelos exploten patrones de alta frecuencia.

Los autores concluyen que, para que los sistemas multimodales sean confiables en dominios de seguridad crítica, deben ser evaluados por su capacidad de depender de la evidencia visual, no solo por sus puntuaciones de precisión final.