What's Missing in Vision-Language Models? Probing Their Struggles with Causal Order Reasoning

Resumen Técnico: ¿Qué les falta a los Modelos de Visión-Lenguaje? Sondeando sus dificultades con el razonamiento de orden causal

Planteamiento del Problema
A pesar del impresionante rendimiento de los Modelos de Visión-Lenguaje (VLM) en tareas de extremo a extremo como la respuesta visual a preguntas (VQA) y la detección de objetos, su capacidad para comprender y razonar sobre las relaciones causales en las entradas visuales sigue siendo incierta. Los benchmarks existentes suelen confundir el razonamiento causal con otros tipos de razonamiento o permiten que los modelos exploten "atajos" basados en el reconocimiento de objetos e identificación de actividades para llegar a respuestas correctas sin un entendimiento causal genuino. En consecuencia, las evaluaciones actuales no logran aislar y evaluar rigurosamente la capacidad específica de un modelo para el razonamiento causal. Además, se desconoce si los VLM pueden distinguir entre direcciones causales válidas e inválidas (por ejemplo, distinguir "La lluvia causa que la mujer sostenga un paraguas" de "Sostener un paraguas causa la lluvia").

Metodología
Para abordar estas brechas, los autores proponen un marco integral que involucra nuevos benchmarks, tareas de evaluación controladas, análisis a nivel de datos y estrategias de ajuste fino (fine-tuning) dirigidas.

1. Nuevos Benchmarks (VQA-Causal y VCR-Causal):
   Los autores introducen dos nuevos conjuntos de datos diseñados específicamente para aislar el razonamiento causal.

• Construcción: Derivados de los conjuntos de validación de VQA y VCR, los conjuntos de datos constan de 1,947 y 3,511 instancias, respectivamente.
• Formato: Cada imagen se empareja con 12 pares de descripciones (captions). Dentro de cada par, las descripciones son idénticas excepto por el orden causal (por ejemplo, "El Evento A es causado por el Evento B" frente a "El Evento B es causado por el Evento A").
• Conjunciones Causales: Los conjuntos de datos utilizan 12 conjunciones causales distintas (por ejemplo, es causado por, porque, resulta en, conduce a) para probar la sensibilidad a las variaciones de orden sintáctico.
• Evaluación: Los modelos se evalúan bajo una configuración de cero disparos (zero-shot). La métrica mide la proporción de imágenes donde el modelo asigna una puntuación de coincidencia más alta a la descripción causal correcta que a la incorrecta.

2. Evaluación Controlada (Prueba de Comprensión de Objetos y Actividades):
   Para determinar si el pobre rendimiento causal se debe a una falta de comprensión visual básica, los autores construyeron un conjunto de prueba modificado. Este conjunto incluye las mismas imágenes que VQA-Causal pero las empareja con descripciones que describen objetos y actividades directamente, en lugar de relaciones causales. Esto aisla el reconocimiento de características de bajo nivel del razonamiento de alto nivel.

3. Análisis a Nivel de Datos:
   Los autores investigaron la prevalencia de expresiones causales en corpus de entrenamiento a gran escala (LAION-400M, MSCOCO) y conjuntos de datos de referencia (VQA, VCR). Cuantificaron la frecuencia de términos causales explícitos para explicar posibles deficiencias de entrenamiento.

4. Estrategia de Ajuste Fino (CausalCLIP):
   Para mitigar las limitaciones identificadas, los autores desarrollaron un enfoque de ajuste fino utilizando casos de "negativos difíciles" (hard negatives).

• Datos: Extrajeron 4,891 preguntas de tipo "Por qué" del conjunto de entrenamiento de VQA y generaron pares de descripciones que difieren únicamente en la dirección causal.
• Entrenamiento: Utilizando una arquitectura basada en CLIP (NegCLIP), extendieron el objetivo de aprendizaje contrastivo. Para cada imagen, el modelo es entrenado para distinguir la descripción causal correcta de la descripción con el orden causal incorrecto (negativo difícil) y otras descripciones negativas aleatorias.

Resultados Clave

• Brecha de Rendimiento: A través de 12 VLM evaluados (incluyendo variantes de CLIP, BLIP, LLaVA y Qwen), el rendimiento en VQA-Causal y VCR-Causal fue pobre. Diez de los doce modelos lograron una precisión no superior al 52%, lo cual es solo marginalmente superior al azar (50%) y significativamente inferior al rendimiento humano (~98%).
• Bajo Nivel vs. Alto Nivel: En la Prueba de Comprensión de Objetos y Actividades, los modelos demostraron un sólido rendimiento (70–95% de precisión), confirmando que el fallo en el razonamiento causal no se debe a una incapacidad para reconocer objetos o actividades, sino a un fallo en la captura de relaciones de alto nivel entre ellos.
• Escasez de Datos: El análisis reveló que las expresiones causales explícitas son extremadamente raras en los datos de entrenamiento: solo ~0.08% en LAION-400M y ~0.01% en MSCOCO. Del mismo modo, solo el 0.92% de las preguntas de VQA y el 35.43% de las de VCR involucran razonamiento causal, con casi la mitad de las preguntas causales de VCR resolubles mediante atajos de objeto/actividad.
• Eficacia del Ajuste Fino: El modelo ajustado, CausalCLIP, mostró mejoras significativas. Logró un 61.46% de precisión en el benchmark de VQA-Causal dentro del dominio y un 57.37% en el de VCR-Causal fuera del dominio. Crucialmente, esta mejora se logró sin degradar el rendimiento de recuperación (retrieval) en tareas de extremo a extremo en MSCOCO y Flickr30K.
• Sensibilidad Sintáctica: Los modelos exhibieron una sensibilidad variable a las conjunciones causales. Por ejemplo, las variantes de CLIP funcionaron mejor cuando el efecto precedía a la causa (por ejemplo, es causado por) pero tuvieron dificultades cuando la causa precedía al efecto (por ejemplo, resulta en).

Significancia y Reivindicaciones
El artículo afirma proporcionar los primeros benchmarks rigurosos e independientes para evaluar el razonamiento causal en los VLM, yendo más allá de las vulnerabilidades de "atajo" de los conjuntos de datos existentes. Los autores argumentan que la limitación principal de los VLM actuales en el razonamiento causal es un problema a nivel de datos: la escasez de expresiones causales explícitas en los corpus de pre-entrenamiento impide que los modelos aprendan estas relaciones de forma natural.

El estudio demuestra que, si bien los VLM sobresalen en el reconocimiento de características visuales de bajo nivel, carecen de capacidades robustas de razonamiento causal. Sin embargo, los autores muestran que el ajuste fino dirigido con ejemplos negativos difíciles puede cerrar eficazmente esta brecha, mejorando las capacidades de razonamiento causal mientras se mantiene la generalización y el rendimiento en tareas de extremo a extremo. El trabajo destaca un área crítica para la investigación futura, sugiriendo que abordar la comprensión causal requiere no solo cambios arquitectónicos, sino también una reevaluación de la composición de los datos de entrenamiento.