💻 computer science

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

Este artículo revela que los Modelos de Lenguaje de Gran Escala Multimodales codifican con éxito evidencia visual de grano grueso, pero tienen dificultades para controlar de manera fiable su dependencia de esta frente a los sesgos lingüísticos, una limitación que puede mitigarse mediante el ajuste fino supervisado y la dirección de la activación.

Autores originales: Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

Publicado 2026-07-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás hablando con un robot superinteligente que ha leído casi todos los libros jamás escritos y ha visto millones de horas de películas. Este robot es un "Modelo de Lenguaje Grande Multimodal" (MLLM). Es como un bibliotecario genio que lo sabe todo sobre el mundo gracias a sus datos de entrenamiento, su "conocimiento previo". Pero este robot también tiene ojos. Puede mirar una imagen y combinar lo que ve con lo que sabe. La gran pregunta que los científicos se han estado haciendo es: cuando el robot mira una imagen que contradice lo que sabe (como la foto de un caballo con cinco patas), ¿falla porque no puede ver la pata extra o porque ve la pata pero decide ignorarla? Este artículo se sumerge en este misterio, tratando el cerebro del robot como una historia de detectives para descubrir dónde ocurre la falla: en los "sentidos" (ver) o en la "toma de decisiones" (usar lo que se ve).

Los investigadores, liderados por Jiaang Li y sus colegas, se propusieron resolver este rompecabezas mediante una ingeniosa investigación de dos partes. Primero, querían saber si el robot realmente estaba "viendo" las cosas extrañas en las imágenes. Para probar esto, no solo le hicieron preguntas al robot; intentaron reconstruir las imágenes a partir de las señales cerebrales internas del robot. Descubrieron que incluso cuando el robot daba la respuesta incorrecta, el "plano" de la imagen extraña (como un caballo con cinco patas) todavía era claramente visible en sus pensamientos finales. Era como si los ojos del robot funcionaran perfectamente, pero su cerebro decidiera cerrar los ojos. Esto descartó la idea de que el robot simplemente fuera ciego a los detalles.

Después, el equipo creó un nuevo juego llamado "WhatIfVis" para probar qué tan bien podía el robot cambiar entre confiar en sus ojos y confiar en su memoria. Le mostraron al robot imágenes que rompían las reglas de la naturaleza (como una sandía roja) y le pidieron que respondiera preguntas de dos maneras: "Mira solo la imagen" o "Ignora la imagen y usa lo que sabes". Descubrieron que, sin un entrenamiento adicional, el robot tenía un poco de cambios de humor. A veces ignoraba la imagen y daba la respuesta de los libros de texto (como decir que una sandía es verde incluso cuando es roja). Otras veces, se quedaba tan estancado en la imagen que no podía seguir las instrucciones de ignorarla. El robot no estaba roto; simplemente no tenía un "interruptor" confiable para decidir cuándo mirar y cuándo pensar.

Sin embargo, la buena noticia es que los investigadores encontraron el interruptor. Al darle al robot un poco de práctica (llamada Ajuste Fino Supervisado) en solo un tipo de imagen truculenta, le enseñaron cómo controlar su atención. Mejor aún, descubrieron un "botón" específico dentro del cerebro del robot —una única dirección matemática— que podía encender o apagar el enfoque del robot sin necesidad de instrucciones verbales. Cuando giraban este botón, el robot se volvía mucho mejor siguiendo las reglas, ya fuera mirando la imagen o ignorándola.

El estudio también comparó cómo el robot manejaba las imágenes frente a las oraciones escritas. Encontraron que era mucho más fácil hacer que el robot siguiera una oración escrita que rompía las reglas que una imagen. Es como si el robot fuera mucho mejor oyente que espectador. Esta brecha de hecho se hizo más grande a medida que los robots se volvían más inteligentes y grandes, lo que sugiere que, a medida que estos modelos crecen, podrían volverse aún más tercos al ignorar lo que ven.

Al final, el artículo sugiere que para las cosas grandes y obvias que estudiamos (como el color, el tamaño y cuántas patas tiene un animal), estos modelos de IA no están fallando porque no puedan ver. Fallan porque no han aprendido una forma consistente de decidir cuándo confiar en sus ojos y cuándo confiar en su memoria. Pero dado que los investigadores encontraron un "botón" específico que controla este comportamiento, significa que podríamos ser capaces de arreglarlo en el futuro, enseñando a estos cerebros digitales a ser más flexibles y confiables cuando el mundo no se ve exactamente como sus libros de texto.

Resumen Técnico: ¿Ver o Saber? Sensibilidad al Contexto Visual en Modelos de Lenguaje de Gran Escala Multimodales

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) integran entradas visuales con los ricos conocimientos paramétricos previos de los modelos de lenguaje (LLM) preentrenados. Aunque son efectivos para muchas tareas, fallan frecuentemente en tareas centradas en la visión cuando la evidencia visual entra en conflicto con su conocimiento del mundo interno. El campo ha atribuido tradicionalmente estos fallos a déficits de percepción (Hipótesis H1), argumentando que los codificadores de visión descartan detalles finos, obligando al modelo a recurrir a sus conocimientos previos.

Sin embargo, los autores observan un modo de fallo dual:

Fallos dominados por el conocimiento previo (Prior-dominant): El modelo ignora una entrada visual anómala (p. ej., un caballo con 5 patas) y responde basándose en su conocimiento previo (4 patas).
Fallos dominados por el contexto (Context-dominant): El modelo ignora instrucciones explícitas de ignorar la imagen y responde basándose en la evidencia visual incluso cuando esta contradice el conocimiento canónico (p. ej., responder "Rojo" para la corteza de una sandía cuando se le pregunta por su color habitual).

El artículo postula que el problema central no es necesariamente que el modelo no pueda ver la evidencia, sino que carece de una política controlable para decidir cuándo confiar en el contexto visual frente a los conocimientos paramétricos previos (Hipótesis H2). Esto se denomina Sensibilidad al Contexto Visual. Los autores pretenden desentrañar la percepción (ver) de la utilización (usar) para determinar dónde reside el cuello de botella y si este puede ser controlado.

2. Metodología

El estudio emplea un enfoque de tres vertientes para aislar y abordar el fallo de utilización:

A. Sondeo de la Percepción mediante la Reconstrucción de Imágenes (Prueba de H1)

Para determinar si la evidencia visual se degrada antes de llegar al núcleo del LLM, los autores realizan un sondeo generativo.

Configuración: Congelan los MLLM e intentan reconstruir imágenes contrafácticas únicamente a partir de los tokens de imagen de la última capa.
Diseño: Utilizando un marco adaptado de Metaquery, emparejan un MLLM congelado con un conector entrenable y un decodificador de imágenes (SANA). Crucialmente, el conector y el decodificador se entrenan únicamente con imágenes del mundo real, sin haber visto nunca los contrafácticos.
Objetivo: Si el decodificador puede reconstruir con éxito los atributos contrafácticos (p. ej., recuentos de extremidades anómalos) a partir de los tokens del MLLM congelado, la evidencia visual se preservó en la representación, refutando la H1.

B. El Benchmark WhatIfVis (Prueba de H2)

Para medir la capacidad del modelo para alternar entre el contexto visual y el conocimiento previo, los autores introducen WhatIfVis, un benchmark de 3.049 muestras contrafácticas.

Estructura: Cubre cinco dimensiones de grano grueso: Espacio-Temporal, Color, Conteo, Tamaño y Peso.
Mecanismo: Cada ejemplo empareja una imagen (o declaración textual) contrafáctica con una pregunta. El modelo se prueba bajo dos instrucciones de intención estrictas:
1. Dominante de contexto: "Considera únicamente la imagen/declaración".
2. Dominante de conocimiento previo: "Ignora la imagen/declaración".
Métrica: Utilizan PairAcc (Precisión de Par), una métrica conjuntiva que requiere que el modelo responda correctamente para ambas intenciones en el mismo ejemplo. Esto aisla la capacidad de controlar la sensibilidad al contexto, en lugar de solo la precisión en una tarea única.

C. Parcheo de Activación y Dirección de Subespacios (Subspace Steering)

Para localizar y controlar el mecanismo que gobierna el intercambio entre visión y conocimiento previo:

Parcheo de Activación (Activation Patching): Utilizando modelos con Ajuste Fino Supervisado (SFT) que siguen las intenciones de manera fiable, los autores aplican trazado causal (parcheo de activación) para identificar las capas específicas donde se computa dicho intercambio.
Dirección de Subespacios (Subspace Steering): Hipotetizan que el intercambio está codificado en un subespacio unidimensional (un vector) dentro del flujo residual. Aprenden un vector unitario $u$ que abarca este subespacio.
Control: En lugar de usar instrucciones de texto, aplican una constante escalar $c(w)$ a lo largo de este vector aprendido durante la inferencia para dirigir al modelo hacia el contexto visual o hacia el conocimiento previo.

3. Hallazgos Clave y Resultados

1. La Evidencia Visual se Preserva (Refutando H1)

Éxito de la Reconstrucción: A través de tres familias de modelos distintas (Qwen2.5-VL, Qwen3.5, Gemma-4), los atributos contrafácticos de grano grueso (identidad, pose, conteo, color dominante) fueron reconstruidos con éxito a partir de los tokens de imagen de la última capa.
Evidencia Métrica: Las reconstrucciones de los tokens contrafácticos estuvieron métricamente más cerca de la referencia contrafáctica que de la imagen real (p. ej., mIoU > 0.86 para contrafácticos frente a < 0.83 para imágenes reales).
Conclusión: La evidencia visual no se degrada durante la percepción. El fallo en su uso es un problema de utilización, no de percepción.

2. Los Modelos Vanilla Carecen de un Control Estable (Confirmando H2)

Fragilidad: Los modelos vanilla (no SFT) muestran una sensibilidad al contexto inestable. A menudo siguen la imagen para algunos atributos (p. ej., Color) pero la ignoran para otros (p. ej., Peso), o viceversa.
Colapso de PairAcc: Los modelos vanilla alcanzan una PairAcc cercana a cero en tareas de razonamiento intenso (Conteo, Peso) y puntuaciones bajas en otras, lo que indica que no pueden alternar de forma fiable entre intenciones bajo demanda.
El SFT Mejora la Controlabilidad: El Ajuste Fino Supervisado en un único subconjunto (Espacio-Temporal) eleva significamente la PairAcc en todas las tareas y modelos, demostrando que la controlabilidad es una capacidad aprendible y generalizable.

3. El Intercambio está Localizado y es Controlable

Localización de Capas: El parcheo de activación revela que el intercambio entre visión y conocimiento previo se resuelve en una banda estrecha y recurrente de capas (parte media a superior) específica de cada arquitectura.
Vector de Dirección (Steering Vector): Un único vector aprendido en este subespacio actúa como un "mando" o "perilla". Aplicar este vector sin ninguna instrucción de intención mejora la controlabilidad respecto al modelo vanilla (elevando la PairAcc macro del 14.7% al 37.7%).
Especificidad: Los vectores aleatorios en el mismo subespacio degradan el rendimiento, confirmando que el efecto proviene de la dirección específica aprendida y no solo de la intervención de rango 1.

4. Asimetría entre Modalidades

Texto vs. Visión: La brecha de la modalidad es significativa. La sensibilidad al contexto basada en texto es mucho más controlable que la sensibilidad al contexto visual.
Escalabilidad: A medida que aumenta el tamaño del modelo, la brecha de controlabilidad entre texto y visión se amplía (p. ej., de 9.1 pp a 20.6 pp en Qwen2.5-VL).
Causa Raíz: El déficit es principalmente un fallo en seguir la evidencia visual bajo demanda, no un fallo en anularla. La capacidad de ignorar la evidencia (intención de conocimiento previo) es casi idéntica en ambas modalidades.

4. Significación y Reivindicaciones

El artículo afirma reubicar el cuello de botella de los fallos en los MLLM de la percepción a la utilización.

Redefinición del Problema: Para atributos de grano grueso, los MLLM codifican la evidencia visual fielmente pero carecen de una política consistente y controlable sobre cuándo utilizarla. El problema no es la "ceguera", sino la "dependencia poco fiable".
Identificación del Mecanismo: El intercambio entre visión y conocimiento previo es una propiedad compacta y localizable de la arquitectura de la red, que reside en capas específicas y es controlable mediante un vector aprendido.
Control sin Instrucciones: Los autores demuestordenstrar que la sensibilidad al contexto visual puede dirigirse eficazmente sin instrucciones de prompts explícitas, simplemente manipulando un vector de subespacio aprendido.
Brecha de Modalidad: El trabajo destaca una asimetría fundamental donde los MLLM son significativamente mejores siguiendo contrafácticos textuales que visuales, una brecha que persiste y crece con la escala del modelo.

Los autores conclen que separar el "ver" del "usar" permite una base más sólida para construir modelos multimodales que puedan ser dirigidos explícitamente para atender la evidencia visual cuando esta contradice sus conocimientos previos.