Learning to Deny: Action Denial in Multimodal Large Language Models

Resumen Técnico: Aprender a Denegar: la Negación de Acciones en Modelos de Lenguaje de Gran Escala Multimodales

Definición del Problema
A pesar de los rápidos avances en la comprensión de video, los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) exhiben un punto ciego crítico: la incapacidad de denegar de manera fiable una acción cuando existen fuertes pistas contextuales pero el movimiento definitorio está ausente. Los modelos actuales muestran un sesgo de "afabilidad" o de afirmación, prediciendo a menudo que una acción está ocurriendo basándose en la presencia de objetos, actores o entornos relevantes, incluso cuando faltan las dinámicas temporales específicas requeridas para dicha acción. Los benchmarks existentes (por ejemplo, Kinetics, UCF101) consisten principalmente en ejemplos positivos, lo que refuerza las correlaciones espurias entre el contexto y la acción, en lugar de enseñar a los modelos a verificar el movimiento causal. En consecuencia, los modelos no logran distinguir entre una escena donde una acción podría ocurrir y una donde una acción está ocurriendo.

Metodología
Los autores proponen un enfoque de dos vertientes que involucra un nuevo benchmark y un marco de razonamiento causal:

1. Benchmark UCF101-ActionDenial (UCF101-AD):

   • Construcción: Un conjunto de datos de 11,283 videos derivados de las categorías de UCF101, que presenta clips emparejados de "Presencia de Acción" (positivo) y "Negación de Acción" (negativo).
   • Diseño de Negativos: Los clips negativos preservan el contexto típico (personas, objetos, ubicaciones) de la acción objetivo, pero excluyen explícitamente el movimiento definitorio. Se categorizan en dos tipos:
     • Tipo 1 (Solo Contexto): Los objetos salientes y el entorno están presentes, pero no ocurre ninguna interacción (por ejemplo, una persona cerca de un piano sin tocarlo).
     • Tipo 2 (Mismo Contexto, Diferente Movimiento): El escenario y los objetos están presentes, pero el actor realiza una acción diferente y plausible (por ejemplo, botar un balón de baloncesto sin realizar una volcada/dunk).
   • Protocolo de Evaluación: Los modelos son probados mediante una configuración de Pregunta de Opción Múltiple (MCQ) donde deben seleccionar la descripción correcta entre las opciones que incluyen la acción objetivo, distractores y una opción de "Ninguno".

2. Marco CausalAct:

   • Formulación del Grafo Causal: Los autores modelan el reconocimiento de acciones como un Grafo Acíclico Dirigido (DAG) donde una acción ($A$) es el resultado de una cadena causal: Contexto (Personas $P$, Objetos $O$, Ubicación $L$) $\to$ Relaciones (Espaciales $S$, Interacción $I$) $\to$ Movimiento ($M$) $\to$ Acción ($A$).
   • Prompting (CausalAct-0): La estructura del grafo se instancia como un prompt de lenguaje natural, guiando al modelo para verificar la cadena causal (específicamente la presencia del movimiento $M$) antes de confirmar una acción.
   • Ajuste Fino (Finetuning): Para abordar los casos en los que los modelos fallan al seguir los prompts, los autores introducen tareas de ajuste fino auxiliares. Los modelos son entrenados en tareas de Preguntas de Visión y Lenguaje (VQA) centradas en grafos (sondeando la identidad de los nodos, las relaciones de las aristas y las rutas causales) derivadas de la estructura del grafo. Crucialmente, estas tareas no exponen las etiquetas de la acción real para evitar la filtración de etiquetas (label leakage), obligando al modelo a aprender la estructura del razonamiento causal.

Resultados Clave

• Fallo de la Línea Base: La evaluación de 20 MLLM de última generación (incluyendo Ovis, Intern, Qwen, VideoLLaMA y GPT-4o mini) revela una severa brecha de rendimiento. Mientras que los modelos alcanzan una alta precisión (>85-95%) en clips estándar de Presencia de Acción, su rendimiento en clips de Negación de Acción colapsa, con la mayoría de los modelos puntuando por debajo del 50% (a menudo en el rango del 20-35%). Esto indica una fuerte dependencia de atajos contextuales en lugar de la verificación del movimiento.
• Humano vs. Modelo: Los evaluadores humanos alcanzaron un 85.6% de precisión en la tarea de negación, confirmando que el conjunto de datos es resoluble y que el fallo es específico de las arquitecturas de modelos actuales.
• Correlación de Sesgos: El estudio encuentra una correlación positiva entre el "aprendizaje de atajos" (fallar al denegar) y la "sicofancia" (estar de acuerdo con una premisa). Los modelos que seleccionan incorrectamente una acción distractora en las MCQ también tienen más probabilidades de responder incorrectamente "Sí" a preguntas binarias sobre la presencia de la acción.
• Modelos de Razonamiento: Contraintuitivamente, los modelos de "pensamiento" (aquellos con pasos de razonamiento explícitos) suelen tener un peor desempeño que los modelos estándar en esta tarea, ya que sus cadenas de razonamiento tienden a sobreponderar el contexto visual y a alucinar acciones en lugar de justificar la ausencia.
• Eficacia de CausalAct:
  • Zero-Shot: Los backbones de lenguaje más fuertes (por ejemplo, Ovis2.5-9B, Qwen2.5-VL-7B) muestran una mejora en la precisión de la negación cuando son guiados por prompts de CausalAct, aunque los modelos más débiles pueden degradarse.
  • Finetuning: El ajuste fino de modelos más pequeños en tareas de VQA basadas en grafos mejora significativamente la precisión de la Negación de Acción, cambiando el comportamiento de atajos contextuales hacia la verificación de la cadena causal.
  • Generalización: El enfoque CausalAct-0 se transfiere a conjuntos de datos externos (K400, HMDB51, SSv2, Diving48), mejorando la precisión de la negación en diversas distribuciones.
  • Ablación: El rendimiento cae cuando la estructura del grafo causal se poda o se randomiza después del ajuste fino, confirmando que los modelos aprenden a utilizar las dependencias causales específicas en lugar de simplemente seguir patrones de texto arbitrarios. Además, actualizar el codificador de visión durante el ajuste fino es esencial; congelarlo provoca una degradación significativa del rendimiento.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera evaluación sistemática de la "negación de acción" en los MLLM, exponiendo una limitación fundamental donde los modelos equiparan el contexto con la ocurrencia de la acción. Los autores argumentan que la comprensión robusta de video requiere la capacidad de razonar causalmente sobre la ausencia de movimiento, no solo sobre su presencia.

La significancia del trabajo radica en:

1. Diagnóstico: Identificar que los MLLM actuales carecen de un mecanismo para verificar los movimientos definitorios, lo que conduce a falsos positivos en aplicaciones críticas como la vigilancia y los sistemas autónomos.
2. Benchmarking: Introducir UCF101-AD como una herramienta necesaria para diagnosticar y mejorar el razonamiento causal, yendo más allá del reconocimiento de acción positiva estándar.
3. Perspectiva Metodológica: Demostrar que la negación es una habilidad de razonamiento aprendible. Al estructurar la comprensión de la escena a través de grafos causales y entrenar a los modelos para verificar las precondiciones (interacción y movimiento), es posible mitigar el sesgo de afirmación y reducir los falsos positivos sin depender de etiquetas de acción negativa durante el entrenamiento.

Los autores mantienen una postura modesta, señalando que, si bien CausalAct mejora el rendimiento, no resuelve completamente el problema, y los modelos de "pensamiento" actuales todavía tienen dificultades con las restricciones negativas. El trabajo sirve como base para avanzar en el razonamiento causal en sistemas multimodales.