💻 computer science

How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA

Este artículo introduce un marco mecanicista centrado en la operación para analizar los fallos de los modelos de visión y lenguaje en el VQA composicional, revelando cuatro modos de fallo distintos y demostrando que estos se propagan a través de vías computacionales específicas y disociadas, estableciendo así una base para mejoras de fiabilidad dirigidas.

Autores originales: Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

Publicado 2026-07-20

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Navya Gupta, Bingjie Xu, Avinash Anand, Timothy Liu, Zhengchen Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El detective, el mapa y el cerebro con fallos

Imagina que estás intentando enseñarle a un robot a ser un detective. Le das la imagen de una habitación desordenada y una pregunta como: "¿Está el gato rojo sentado en la silla azul?". Para responder a esto, el robot no puede simplemente adivinar; tiene que realizar una serie de pasos mentales. Primero, tiene que encontrar al gato (selección de objeto). Luego, tiene que comprobar si el gato es rojo (verificación de atributos). Finalmente, tiene que observar la silla y comprender la relación espacial entre ambos (razonamiento). Este campo de estudio se llama Modelado de Visión y Lenguaje, donde las computadoras intentan comprender tanto las imágenes como el texto al mismo tiempo.

Durante mucho tiempo, estos robots se volvieron muy buenos respondiendo preguntas en general. Pero había un truco: a veces estaban "haciendo trampa". En lugar de mirar realmente la imagen, podrían simplemente adivinar la respuesta basándose en cómo suelen combinarse las palabras en el lenguaje humano. Por ejemplo, si se le pregunta: "¿Es el cielo usualmente azul?", el robot podría decir "sí" sin siquiera mirar la imagen. Los científicos querían saber: cuando estos robots se equivocan, ¿por qué fallan? ¿Es porque no pueden ver el objeto? ¿Es porque no pueden entender la relación? ¿O simplemente están ignorando la imagen por completo? Comprender esto es crucial porque, si queremos que estos robots sean ayudantes fiables en el mundo real, necesitamos saber exactamente qué parte de su cerebro está fallando para poder arreglarla.

La autopsia centrada en la operación

En este artículo, los investigadores decidieron dejar de mirar solo la puntuación final y empezar a realizar una "autopsia mecánica" en el cerebro del robot. Utilizaron un conjunto de datos específico llamado GQA, que contiene preguntas que requieren encadenar múltiples pasos, como una receta. Se centraron en un modelo llamado Qwen2.5-VL-3B, que es un gran modelo de lenguaje con un componente de visión. En lugar de solo preguntar "¿Lo hizo bien?", preguntaron: "¿Cómo llegó allí y dónde se rompió la señal?".

Desarrollaron una forma ingeniosa de probar el cableado interno del robot. Imagina el cerebro del robot como una fábrica con dos líneas de montaje principales: una es la Línea de Atención, donde los "ojos" del robot escanean la imagen y deciden en qué partes enfocarse, y la otra es la Línea MLP (Red de Alimentación hacia Adelante o Feedforward), donde el robot procesa y transforma esa información en un pensamiento final. Los investigadores utilizaron "intervenciones causales", que es una forma elegante de decir que rompieron temporalmente partes específicas del cerebro del robot para ver qué sucedía. Bloqueaban la capacidad del robot para mirar un objeto específico, o impedían que procesara los detalles de ese objeto, y luego veían si la respuesta cambiaba.

Las cuatro formas en que los robots fallan

Al romper el cerebro del robot de formas muy específicas, los autores descubrieron que no existen solo respuestas "correctas" e "incorrectas". En realidad, existen cuatro formas distintas en las que el robot puede fallar, y cada fallo ocurre en una parte diferente de la fábrica:

El fallo de "Punto Ciego" (Fallo de Grounding/Anclaje):
Esto sucede cuando el robot simplemente no puede encontrar el objeto en la imagen. Es como intentar encontrar un coche rojo específico en un estacionamiento, pero el robot tiene los ojos cerrados. Los investigadores descubrieron que, cuando el robot falla en esto, es porque nunca llegó a fijarse en los detalles visuales del objeto. Este fallo es gestionado por la Línea MLP (la fábrica de procesamiento). Si bloqueas la MLP para que no procese el objeto, el robot falla por completo. Esto sugiere que el robot tiene dificultades para convertir los datos brutos de la imagen en un "objeto" reconocible en su mente.
El fallo de "Sobreenfoque" (Fallo de Razonamiento):
Este es el más interesante y contraintuitivo. Aquí, el robot sí ve el objeto perfectamente, pero se queda atrapado mirándolo fijamente. Imagina que el robot ve un gato y una silla, pero en lugar de pensar: "El gato está sobre la silla", simplemente se obsesiona con la textura del pelaje del gato y olvida compararlo con la silla. El robot está "sobre-anclado". El estudio encontró que este fallo específico viaja a través de la Línea de Atención (el mecanismo de escaneo), específicamente en las capas posteriores del cerebro. El robot está mirando lo correcto, pero no logra usar esa mirada para establecer una conexión lógica.
El fallo de "Propiedad Incorrecta" (Fallo de Extracción de Atributos):
En este escenario, el robot encuentra el objeto y sabe exactamente dónde está, pero obtiene los detalles de forma errónea. Ve un carro dorado, pero lo llama plateado. El robot tiene la señal visual, pero el paso final de convertir esa señal en una palabra falla. Esto también ocurre en la Línea MLP, pero específicamente al final, donde se genera la respuesta. Es como si la fábrica tuviera la materia prima correcta, pero la máquina que estampa la etiqueta final estuviera rota.
El fallo del "Tramposo" (Dominancia del Prior del Lenguaje):
A veces, el robot ni siquiera mira la imagen. Si la pregunta es "¿La cadena es negra o amarilla?" y el robot sabe por su entrenamiento que las cadenas suelen ser negras, simplemente adivina "negra" sin revisar la imagen. Los investigadores descubrieron que, para este tipo de preguntas, el cerebro visual del robot apenas está activo. Está dependiendo enteramente de su "cerebro de lenguaje" para adivinar la respuesta. Esto es un bypass completo del sistema visual.

La gran división de vías

El descubrimiento más significativo del artículo es una "disociación de vías". Los investigadores demostraron que diferentes tipos de errores viajan a través de diferentes cables en el cerebro del robot.

Si el robot falla al encontrar el objeto (Grounding) o falla al describirlo correctamente (Extracción de Atributos), el problema está en la línea de procesamiento MLP.
Si el robot falla al razonar sobre la relación entre objetos (Razonamiento), el problema está en la línea de escaneo de Atención.

Esto es muy importante porque significa que no puedes arreglar todos los errores del robot con una sola herramienta. Si intentas arreglar un error de "razonamiento" ajustando la línea de procesamiento de objetos, no tendrás éxito. Tienes que atacar el cable específico donde ocurre el error.

¿Le pasa esto a todos los robots?

Los investigadores también comprobaron si esto era cierto para un robot diferente, LLaVA-1.5. Descubrieron que los fallos de "Tramposo" y "Propiedad Incorrecta" ocurrían en ambos robots, lo que sugiere que estos son problemas fundamentales de cómo el robot genera sus respuestas. Sin embargo, los fallos de "Punto Ciego" y "Sobreenfoque" solo aparecieron en el primer robot (Qwen2.5-VL). ¿Por qué? Porque el primer robot tiene un codificador de visión que mantiene información muy detallada y de píxel perfecto sobre dónde están los objetos. El segundo robot (LLaVA) utiliza un codificador de visión que resume la imagen de forma más amplia, perdiendo parte de ese detalle espacial fino. Debido a que el segundo robot no tiene el mismo nivel de "mapa" detallado, no sufre los mismos tipos específicos de errores de "Punto Ciego" o "Sobreenfoque". Esto sugiere que algunos errores solo ocurren cuando el robot tiene un mapa de alta resolución en el cual perderse.

La conclusión

El artículo concluye que ya no podemos tratar a los Modelos de Visión y Lenguaje como una caja negra única que funciona o no funciona. Son máquinas complejas con diferentes líneas de montaje para diferentes tareas. Cuando fallan, fallan de formas específicas y predecibles: a veces no pueden ver, a veces no pueden pensar y otras veces simplemente adivinan. Al identificar exactamente qué "cable" está roto para cada tipo de pregunta, los autores proporcionan una hoja de ruta para construir robots mejores y más fiables que realmente miren la imagen antes de hablar.

Resumen Técnico: ¿Cómo fallan los VLMs? Desalineación de Visión-Operación en VQA Composicional

Declaración del Problema

El Razonamiento Visual de Preguntas y Respuestas (VQA) composicional requiere que los Modelos de Lenguaje-Visión (VLMs) ejecuten operaciones de razonamiento encadenadas —como la selección de objetos, la resolución de relaciones espaciales y la verificación de atributos— sobre evidencia visual fundamentada. Aunque los VLMs modernos reportan una fuerte precisión agregada en benchmarks como GQA, este rendimiento enmascara patrones de fallo sistemáticos. Los modelos suelen tener éxito mediante atajos lingüísticos en operaciones fáciles, mientras fallan en tareas que requieren un verdadero anclaje visual (grounding) y un razonamiento de múltiples pasos.

Los análisis existentes se centran principalmente en tipos de fallos amplios (por ejemplo, la alucinación de objetos) o en el flujo de información transmodal, pero carecen de una comprensión mecanística de cómo y dónde ocurren los fallos. Específicamente, no está claro si las diferentes operaciones composicionales fallan a través de vías computacionales internas distintas (por ejemplo, mecanismos de atención frente a redes de alimentación hacia adelante/feedforward) y cómo estos fallos se relacionan con las operaciones de razonamiento específicas que se están realizando.

Metodología

Los autores proponen un marco mecanístico centrado en la operación para descomponer los fallos de los VLMs basándose en la operación de razonamiento específica y la vía computacional interna involucrada. El estudio utiliza el dataset GQA, que proporciona anotaciones de programas funcionales y grafos de escena, lo que permite a los autores identificar tokens visuales causalmente relevantes para cada paso de razonamiento en lugar de ablar todos los tokens visuales de manera uniforme.

La metodología emplea tres intervenciones causales complementarias aplicadas a lo largo de las 36 capas del modelo Qwen2.5-VL-3B-Instruct:

Ablación de la Media Causal (Causal Mean Ablation): Reemplaza los estados ocultos de los tokens de anclaje específicos (asociados con un objeto objetivo) con una línea base neutral (la activación media de todos los tokens de visión). Esto mide la dependencia causal total de la representación visual del objeto.
Anulación de la Atención (Attention Knockout): Establece en cero los pesos de atención desde el token de la respuesta hacia los tokens del objeto de anclaje en capas específicas, aislando la vía de atención entre tokens (cross-token attention pathway).
Anulación del MLP (MLP Knockout): Pone en cero la salida de la Red de Alimentación hacia Adelante (MLP) en posiciones de tokens específicas (ya sea en la posición del objeto o en la posición de la respuesta), aislando la vía de alimentación hacia adelante dentro del token (within-token feedforward pathway).

Los autores definen la Fuerza de Anclaje (Grounding Strength) como la degradación máxima en la log-probabilidad de la respuesta correcta bajo la ablación de la media. Además, calculan el Desplazamiento de Especificidad de Anclaje (GSS) (la d de Cohen) para cuantificar la diferencia en la degradación entre las predicciones correctas e incorrectas, lo que sirve como la métrica principal para clasificar los modos de fallo.

Contribuciones Clave

1. Taxonomía de Fallos Consciente de la Operación

El artículo identifica cuatro modos de fallo mecanísticamente distintos, cada uno caracterizado por una relación única entre la fuerza de anclaje visual y la corrección de la respuesta:

Fallo de Anclaje (Grounding Failure): Ocurre cuando las respuestas correctas muestran una fuerza de anclaje sustancialmente mayor que las incorrectas. El modelo falla porque nunca desarrolla una dependencia causal de la región visual del objeto objetivo (por ejemplo, la operación select).
Fallo de Razonamiento (Reasoning Failure): Ocurre cuando la relación se invierte; las respuestas incorrectas exhiben una mayor fuerza de anclaje que las correctas. El modelo localiza el objeto pero se ancla excesivamente en su representación visual durante las etapas donde debería dominar el razonamiento relacional abstracto (por ejemplo, la operación relate).
Fallo de Extracción de Atributos (Attribute Extraction Failure): Ocurre cuando la fuerza de anclaje es alta independientemente de la corrección. El modelo ancla con éxito el objeto, pero la computación final que convierte la representación anclada en una respuesta falla (por ejemplo, verify, query, exist).
Fallo de Dominancia del Prior Lingüístico (Language Prior Dominance Failure): Ocurre cuando la fuerza de anclaje es baja tanto para las respuestas correctas como para las incorrectas. El modelo depende de patrones lingüísticos y conocimiento del mundo en lugar de la computación visual (por ejemplo, choose, filter).

2. Disociación de Vías (Pathway Dissociation)

Un hallazgo central es la disociación de las vías computacionales a través de los modos de fallo:

Los Fallos de Anclaje y de Extracción de Atributos se enrutan principalmente a través de la Red de Alimentación hacia Adelante (MLP). Para select, el fallo reside en el procesamiento de la representación del objeto; para verify y query, el fallo reside en la capacidad del MLP en la posición de la respuesta para extraer el atributo correcto de una representación bien anclada.
Los Fallos de Razonamiento se enrutan principalmente a través de la Atención de Capas Tardías (Late-Layer Attention). Para relate, los errores son impulsados por el token de la respuesta atendiendo a los tokens visuales del objeto en las capas tardías (28–35), lo que indica una dependencia excesiva del contenido visual en lugar de la abstracción relacional.

3. Validación Trans-Arquitectura y Trans-Benchmark

Benchmark VSR: La validación en el benchmark de Razonamiento Espacial Visual (VSR) confirma que los errores de razonamiento espacial están mediados por el MLP en la etapa de codificación del objeto (específicamente en el procesamiento de los tokens de la caja delimitadora/bounding box), no en la etapa de decodificación de la respuesta. Esto distingue los fallos de razonamiento espacial de los fallos de extracción de atributos.
Análisis de LLaVA-1.5-7B: Al aplicarse a LLaVA-1.5 (que utiliza un codificador CLIP congelado), los modos de fallo de Extracción de Atributos y Prior Lingüístico se mantienen constantes (independientes de la arquitectura). Sin embargo, los fallos de Anclaje y Razonamiento desaparecen. Esto sugiere que estos modos son dependientes del codificador, emergiendo solo cuando el codificador de visión preserva suficiente granularidad espacial para que el modelo de lenguaje falle al procesarla.

Resultados

Fallo de Anclaje (select): Muestra una fuerte asociación positiva entre la fuerza de anclaje y la corrección ( $d = +0.75$ ). El fallo se localiza en el MLP de la posición de la respuesta, indicando que el reconocimiento de objetos depende de transformaciones dentro del token en lugar de la ruta de atención.
Fallo de Razonamiento (relate): Muestra una asociación negativa ( $d = -0.17$ ), donde las respuestas incorrectas son más dependientes de los tokens visuales del objeto. La anulación de la atención amplifica este efecto, con errores concentrados en las capas tardías, confirmando que el modelo se "ancla en exceso" en el contenido visual cuando debería razonar de forma abstracta.
Extracción de Atributos (verify, query, exist): Muestra una alta fuerza de anclaje absoluta pero sin discriminación significativa de la corrección en la anulación de la atención. Los fallos se localizan en el MLP en la posición de la respuesta (para verify) o en las posiciones del objeto (para exist), indicando una ruptura en la conversión de representaciones ancladas a atributos específicos.
Prior Lingüístico (choose, filter): Muestra una fuerza de anclaje insignificante y sin efectos significativos en las vías específicas, confirmando que estas operaciones eluden la computación visual.

Significancia

El artículo afirma proporcionar una base de principios para mejoras dirigidas a la fiabilidad de los VLMs en el razonamiento multimedia. Al demostrar que diferentes tipos de fallos requieren estrategias correctivas fundamentalmente distintas, el trabajo argumenta contra las soluciones de "talla única". Específicamente:

Las intervenciones dirigidas al procesamiento de alimentación hacia adelante (feedforward) son necesarias para los errores de anclaje y extracción de atributos.
Las intervenciones dirigidas a la ruta de atención (particularmente en capas tardías) son necesarias para los errores de razonamiento.
La distinción entre modos de fallo de nivel de tarea (independientes de la arquitectura) y dependientes del codificador ofrece un marco de diagnóstico para comprender las limitaciones del modelo basadas en sus capacidades de codificación visual.

Los autores enfatizan que su contribución es diagnóstica, ofreciendo un mapa mecanístico de cómo fallan los VLMs, en lugar de proponer una intervención correctiva específica. Esta comprensión granular se presenta como un prerrequisito para desarrollar VLMs más robustos y fiables.