Chains That See, Answers That Don't: A Multi-Aspect Evaluation Recipe for Forced Chain-of-Thought on Video-MME

Resumen Técnico: "Cadenas que ven, respuestas que no: Una receta de evaluación multiaspectual para el Chain-of-Thought forzado en Video-MME"

Planteamiento del Problema
El artículo aborda una suposición prevalente en la adaptación de los Modelos de Lenguaje-Visión (VLM) a la respuesta de preguntas sobre video (Video-QA): que forzar a los modelos a generar pasos de razonamiento de Cadena de Pensamiento (Chain-of-Thought o CoT) antes de responder mejora la fiabilidad y la precisión. Aunque el CoT es ampliamente adoptado, su utilidad funcional en contextos de video sigue sin ser verificada. Los autores desafían la hipótesis nula de la "cadena de plantilla" (boilerplate-chain)—la predicción de que las cadenas de CoT forzadas podrían ser mayoritariamente invariantes al input (es decir, que el texto del razonamiento permanece similar independientemente del video de entrada) pero que, aun así, desplazan la respuesta final debido a efectos de formato, sin que el modelo esté "leyendo" significativamente la entrada visual. Por el contrario, también cuestionan si el hecho de que las cadenas estén condicionadas al video necesariamente se traduce en una mejora de la precisión en preguntas de opción múltiple (MCQ).

Metodología: Una receta de evaluación de tres sondas (Three-Probe Evaluation Recipe)
Los autores proponen una receta de evaluación específica de tres sondas, instanciada en el benchmark Video-MME utilizando la familia Qwen2.5-VL (variantes de 7B y 32B parámetros). El pipeline está diseñado para desacoplar la calidad de la generación de la cadena de la utilidad de la respuesta final.

1. Sonda 1: Precisión emparejada con controles de formato

   • Diseño: Evalúa el rendimiento bajo cuatro condiciones: Directa (solo la respuesta), CoT (pasos de razonamiento forzados), Respuesta Primero (respuesta y luego razonamiento), y Sin-Video (solo texto).
   • Calificación: Utiliza dos calificadores basados en regex para extraer respuestas:
     • Estricto (Strict): Requiere etiquetas explícitas (por ejemplo, "Respuesta: X") o un formato específico de inicio de línea.
     • Permisivo (Permissive): Incluye una regla de respaldo para forzar las salidas de estilo de rechazo hacia una elección de letra.
   • Estadística: Reporta pruebas de McNemar emparejadas, intervalos de confianza (CI) de bootstrap de 50k y valores $p$ corregidos por Holm sobre una familia primaria de cuatro pruebas declarada en el manuscrito.

2. Sonda 2: Diagnóstico de intercambio de video contrafáctico (Counterfactual Video-Swap Diagnostic)

   • Diseño: Reevalúa las respuestas de CoT donde el video original es intercambiado por un video diferente del mismo tipo de tarea.
   • Métricas:
     • Jaccard de Tokens de la Cadena (Chain Token-Jaccard): Mide la superposición entre la cadena de razonamiento del video real y la del video intercambiado.
     • Tasa de Cambio de Letra Final (Final Letter Flip Rate): Mide qué tan seguido cambia la respuesta predicha cuando el video cambia.
     • Retención de la Etiqueta Original (Original-Label Retention): Comprueba si el modelo retiene la respuesta para el video original cuando se le muestra el video intercambiado (un diagnóstico para distinguir entre rechazo o coincidencia).
   • Objetivo: Probar si las cadenas están verdaderamente condicionadas al input. Una cadena "de plantilla" mostraría una alta similitud de Jaccard y bajas tasas de cambio; una cadena condicionada al input mostraría lo opuesto.

3. Sonda 3: Escalera de degradación visual (Visual-Degradation Ladder)

   • Diseño: Evalúa el rendimiento de CoT a través de una escalera de señal visual monótonamente decreciente: Real $\to$ Cuadros Mezclados (Shuffled Frames) $\to$ Cuadro Único (repetido) $\to$ Cuadros Negros. Se reportan por separado dos condiciones de contaminación (cambio de tarea/dominio).
   • Métricas: Correlación de Spearman ($\rho$) entre la degradación visual y la precisión/similitud de la cadena.
   • Objetivo: Determinar si la cadena de razonamiento utiliza la señal visual y si la precisión disminuye en tándem con la pérdida de información visual.

Resultados Clave
La evaluación en Qwen2.5-VL (7B y 32B) produce un hallazgo de dos partes:

1. Las cadenas están fuertemente condicionadas al video:

   • La hipótesis nula de la "cadena de plantilla" es rechazada. Cuando el video se intercambia, el Jaccard de tokens de la cadena cae significativamente (a 0.14 para 32B y ~0.12 para 7B), y las tasas de cambio de letra final son altas (67% para 32B, ~60% para 7B).
   • Los ejemplos cualitativos muestran que el modelo describe explícitamente el contenido del video intercambiado y se niega a responder si el contenido no coincide con las opciones, en lugar de generar una plantilla genérica.

2. Las cadenas condicionadas al video no mejoran la precisión (y pueden perjudicarla):

   • Modelo 32B: El CoT forzado no mejora la precisión de MCQ sobre la respuesta directa. Bajo la calificación estricta, el CoT muestra una ligera caída (-5.33 pp, $p=0.048$) que no sobrevive a la corrección de Holm. Bajo la calificación permisiva, la caída es menor (-2.33 pp) y no significativa. Ocurre un cambio de signo en los subconjuntos de solo parseo, atribuido a efectos de selección de la tasa de parseo más que a una mejora genuina.
   • Modelo 7B: El CoT forzado produce una caída de precisión estadísticamente respaldada. Bajo el calificador estricto, la caída es de -7.32 puntos porcentuales ($p=0.003$, $p$ ajustado por Holm = $0.012$). Este es el único resultado de la familia primaria que sobrevive a la corrección de Holm con $\alpha=0.05$. Los autores hipotetizan que esto se debe a la propagación de errores, donde el modelo más pequeño se compromete con inferencias intermedias que degradan la respuesta final.
   • Escalera Visual: La precisión y la similitud de la cadena disminuyen monótonamente a medida que la señal visual se degrada (Real $\to$ Negro), confirmando que las cadenas utilizan la entrada visual, pero este anclaje no se correlaciona con ganancias de precisión en el formato CoT.

Significancia y Reivindicaciones
El artículo no afirma que el CoT sea universalmente inútil, ni afirma que estos resultados se generalicen más allá de la instanciación de Qwen2.5-VL / Video-MME. En su lugar, su significancia reside en la metodología de evaluación y en el descubrimiento específico del desacoplamiento entre el anclaje de la cadena y la utilidad de la tarea.

• Contribución Metodológica: Los autores proporcionan una "receta de tres sondas" para probar rigurosamente el CoT en entornos multimodales. Argumentan que las comparaciones de precisión estándar son insuficientes; los evaluadores deben medir por separado el condicionamiento al input (vía sondas de intercambio) y la sensibilidad de la tasa de parseo (vía calificación estricta vs. permisiva).
• Hallazgo Empírico: El artículo demuestra que un modelo puede generar trazas de razonamiento que son altamente sensibles a la entrada visual (probando que "ve" el video) y, sin embargo, no logra aprovechar ese razonamiento para mejorar las respuestas finales y, en el caso de los modelos más pequeños, degrada activamente el rendimiento.
• Lección de Evaluación: Los autores advierten que las "trazas de razonamiento ancladas" no son una condición suficiente para obtener mejoras en la tarea descendente. Abogan por reportar las tasas de parseo junto con la precisión, utilizar sondas de sustitución de input para verificar el condicionamiento de la cadena, y tratar el "el CoT ayuda/no ayuda" como una pregunta multifacética que requiere herramientas de diagnóstico específicas en lugar de una única puntuación agregada.

Los autores declaran explícitamente que su calificador de regex personalizado no es el evaluador oficial de Video-MME y que su elección de significancia principal (calificación estricta) fue post-hoc. Liberan las respuestas originales y un script de recomputación para asegurar que todos los números sean reproducibles, invitando a trabajos futuros a validar estos hallazgos en el benchmark completo y otras familias de modelos.