💻 computer science

Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention

Este artículo investiga los mecanismos internos de la fusión visual-textual en los Modelos de Lenguaje de Gran Escala Multimodales mediante un análisis sistemático por capas, revelando que la integración ocurre en capas específicas con fenómenos de "revisión" distintivos, y aprovecha estos hallazgos para proponer un marco de atención contrastiva libre de entrenamiento que mejora el rendimiento del razonamiento multimodal.

Autores originales: Shezheng Song, Shasha Li, Shan Zhao, Xiaopeng Li, Qian Wan, Chengyu Wang, Tianwei Yan, Jun Ma, Jie Yu

Publicado 2026-08-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shezheng Song, Shasha Li, Shan Zhao, Xiaopeng Li, Qian Wan, Chengyu Wang, Tianwei Yan, Jun Ma, Jie Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras pueden ver y leer al mismo tiempo. Estas se llaman Modelos de Lenguaje de Gran Tamaño Multimodales (MLLM por sus siglas en inglés). Piensa en ellos como estudiantes superinteligentes que han leído todos los libros de la biblioteca y que también tienen ojos para mirar imágenes. Pero aquí está el misterio: cuando estos estudiantes miran una foto y leen una pregunta sobre ella, ¿cómo mezclan la imagen con las palabras en su cerebro? ¿Miran la imagen completa de una vez? ¿Leen primero el texto y luego echan un vistazo a la imagen? ¿O hacen algo completamente distinto?

Durante mucho tiempo, sabíamos que estos modelos podían dar grandes respuestas, pero no sabíamos cómo lo hacían dentro de sus "cerebros" (que están hechos de capas de código informático). Era como observar a un mago sacar un conejo de un sombrero sin haber visto nunca el truco. Comprender este proceso es crucial porque, si no sabemos cómo funcionan, no podemos arreglarlos cuando se distraen o inventan hechos. Este artículo es como una historia de detectives donde los autores echan un vistazo dentro del sombrero del mago para ver exactamente cómo aparece el conejo, capa por capa.

El trabajo de detective: Echar un vistazo al cerebro del modelo

Los autores de este artículo decidieron jugar al juego de "escondite y busca" con el cerebro de la computadora para descubrir dónde ocurre la magia. Tomaron varios MLLM diferentes y comenzaron a apagar partes de su cerebro, una capa a la vez, para ver qué sucedía. Imagina una línea de ensamblaje de una fábrica donde un robot construye un juguete. Si detienes al robot en el paso 3, el juguete se desmorona. Si lo detienes en el paso 20, tal vez ya esté terminado. Al "enmascarar" (o apagar) la información visual en diferentes capas, los investigadores pudieron ver exactamente dónde la computadora deja de mirar la imagen y comienza a depender solo del texto.

El gran descubrimiento: No es un deslizamiento suave
Lo más sorprendente que encontraron es que la computadora no mezcla la imagen y las palabras de manera uniforme desde el principio hasta el final. No es como verter leche en el café donde se mezcla lentamente. En cambio, la mezcla ocurre en "estaciones" específicas y críticas en la línea de ensamblaje.

La Zona Crítica: Descubrieron que, para la mayoría de los modelos, la verdadera mezcla ocurre en las capas iniciales y medias (aproximadamente entre las capas 18 y 20). Si cortas la imagen justo antes de esta zona, la computadora olvida todo sobre la imagen y falla la prueba.
El fenómeno de la "Revisión": Aquí es donde se vuelve divertido. En algunos modelos (como LLaVA-1.5 y LLaVA-Next), después de que la computadora pensó que había terminado de mezclar, ¡de repente volvió a mirar la imagen una vez más! Los autores llaman a esto una fase de "revisión". Es como un estudiante que termina un examen, suelta la pluma y de repente recuerda: "¡Espera, necesito revisar el diagrama otra vez!" antes de entregarlo.

El problema: La computadora se distrae
Mientras investigaban, los autores notaron un error extraño. Incluso cuando la computadora estaba mirando la parte correcta de la imagen (como un logotipo en un avión), también estaba mirando intensamente partes completamente inútiles de la foto, como el cielo o la cola del avión. Ellos llaman a esto "ruido de alta atención".
Imagina que estás tratando de leer un letrero que dice "LAPE" en un avión. Tus ojos deberían enfocarse en las letras. Pero esta computadora sigue distrayéndose con las nubes detrás del avión, dándole a las nubes tanta atención como a las letras. Esto sucede desde el principio y permanece ahí, confundiendo al modelo.

La solución: Un "resaltador" sin necesidad de reentrenamiento
Para solucionar esta distracción, los autores inventaron un truco ingenioso que no requiere volver a enseñar a la computadora (lo cual es costoso y lento). Lo llaman Atención Contrastiva.
Así es como funciona, usando una metáfora simple:

La instantánea del "Antes": Toman una foto de lo que la computadora está mirando temprano en el proceso (cuando apenas está empezando a mirar la imagen). En esta etapa, la computadora está mirando todo, incluyendo las nubes distractoras.
La instantánea del "Después": Toman una foto de lo que la computadora está mirando al puro final (cuando está lista para responder). En esta etapa, debería estar mirando las letras.
La diferencia: Restan la foto del "Antes" de la foto del "Después".
- Si la computadora estaba mirando las nubes en ambas fotos, las nubes se cancelan (porque la atención no cambió).
- Si la computadora comenzó a mirar las letras en la foto del "Después" pero las ignoró en la del "Antes", ¡las letras resaltan brillantemente!

Esta diferencia crea un "resaltador" que muestra exactamente qué partes de la imagen la computadora aprendió a enfocar debido a la pregunta. Los autores luego usan este resaltador para recortar las partes distractoras de la imagen y alimentar solo las partes importantes y resaltadas de nuevo a la computadora para un segundo intento.

Los resultados
Cuando probaron este nuevo método, las computadoras mejoraron mucho en sus respuestas. No necesitaron ser reentrenadas; solo necesitaron un pequeño empujón para ignorar el ruido.

En un conjunto de datos llamado GQA, su método mejoró la puntuación de 66.03 a 69.40.
En VQAv2, pasó de 74.06 a 77.59.
En TextVQA, saltó de 57.21 a 59.86.

Estos números muestran que, con el simple hecho de ayudar a la computadora a enfocarse en las cosas correctas e ignorar el "ruido" (las nubes distractoras), puede entender el mundo un poco mejor. Los autores sugieren que este método funciona porque captura el momento en que la computadora cambia su atención de "mirar todo" a "mirar lo que importa".

Lo que descartaron
Los autores también dejaron claro que esto no se trata solo de elegir una capa al azar para mirar. Probaron elegir capas del puro final del proceso o del puro principio sin ninguna regla, y esas opciones no funcionaron tan bien. El "punto ideal" son específicamente las capas donde la información visual y de texto apenas comienzan a mezclarse pero aún no se han asentado por completo. También demostraron que esto no es una solución de una sola vez; funciona en muchos tipos diferentes de modelos y en muchos tipos diferentes de preguntas.

En resumen, este artículo nos enseña que estas computadoras superinteligentes tienen una "zona de mezcla" específica donde combinan la vista y el sonido, y que a veces se distraen con el ruido de fondo. Al usar un truco matemático simple para resaltar los cambios en su enfoque, podemos ayudarlas a ignorar el ruido y dar mejores respuestas, todo sin pasar años enseñándoles nuevas lecciones.

Resumen Técnico: ¿Dónde se encuentran la visión y el lenguaje? Comprensión y refinamiento de la fusión visual en MLLMs mediante atención contrastiva

Planteamiento del problema
Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han logrado avances significativos en la comprensión de la visión y el lenguaje, pero los mecanismos internos que gobiernan cómo se integran la información visual y textual siguen siendo poco comprendidos. La investigación existente ha explorado componentes específicos como las redes de alimentación hacia adelante (FFN) y la memoria, o la localización de características visuales, pero falta una comprensión integral de la integración progresiva de la información visual a través de las diferentes capas. Específicamente, no está claro en qué capas se fusiona la información visual, cómo evoluciona esta integración y por qué los modelos suelen exhibir una atención persistente a regiones visuales irrelevantes (ruido) a pesar de la guía textual. Esta falta de interpretabilidad dificulta la mejora de la fiabilidad y el rendimiento del modelo.

Metodología
Los autores proponen una investigación sistemática capa por capa seguida de un método de refinamiento sin entrenamiento.

Enmascaramiento y análisis por capas:
- Enmascaramiento visual: Los autores realizaron experimentos en siete MLLMs representativos (incluyendo LLaVA-1.5, LLaVA-Next, InstructBLIP, Qwen2-VL, etc.) y seis bancos de pruebas (VQAv2, GQA, TextVQA, etc.). Enmascararon sistemáticamente los tokens visuales en capas específicas para observar las caídas de rendimiento. Una caída significativa indica una capa crítica para la integración visual.
- Evolución de la atención: Analizaron los mapas de atención capa por capa, observando que, si bien la atención a las regiones relevantes aumenta con la profundidad, el "ruido de alta atención" en regiones irrelevantes persiste a lo largo de la red, originándose frecuentemente en las capas iniciales y propagándose hacia adelante.
- Distancia de Hellinger: Para cuantificar la divergencia entre las capas intermedias y la salida final, calcularon la distancia de Hellinger entre los mapas de atención. Esto reveló que la fusión ocurre principalmente en las capas iniciales y medias, con algunos modelos que exhiben un fenómeno de "revisión" tardía donde las señales visuales se reactivan.
Marco de atención contrastiva:
- Concepto central: Para mitigar el ruido de atención persistente, los autores introdujeron un método sin entrenamiento que modela la transformación entre una capa "pre-integrada" y la capa "post-integrada" (final).
- Selección de la capa: La capa "pre-integrada" se selecciona dinámicamente como la capa con la distancia de Hellinger máxima respecto al mapa de atención de la capa final, la cual se encuentra típicamente en las etapas de fusión de la capa inicial a la media.
- Mecanismo: El método calcula la diferencia entre los mapas de atención de la capa pre-integrada seleccionada ( $A(i^*)$ ) y la capa final ( $A(k)$ ): $I_A = A(k) - A(i^*)$ .
- Refinamiento: Este mapa de atención contrastiva resalta las regiones donde el enfoque del modelo cambió significativamente debido a la guía textual. La imagen original se segmenta para preservar estas regiones de alto cambio, las cuales son reintroducidas en el MLLM para una segunda pasada de inferencia. Esto refuerza las señales visuales relevantes para la tarea mientras suprime el ruido persistente encontrado en los mapas de atención estáticos.

Contribuciones clave

Mapeo de fusión sistemático: El artículo proporciona una investigación exhaustiva por capas que revela que la fusión multimodal no es uniforme, sino que emerge en capas específicas de la etapa inicial a la media. También identifica un fenómeno de "revisión" en ciertas arquitecturas (por ejemplo, LLaVA-1.5) donde la información visual se reactiva en las capas profundas.
Identificación del sesgo de atención: El estudio demuestra que el ruido de alta atención en regiones irrelevantes es un sesgo sistemático que se propaga a través de las capas en lugar de reformarse en cada paso.
Refinamiento sin entrenamiento: Los autores proponen un mecanismo de atención contrastiva dinámico y sin entrenamiento. A diferencia de los enfoques estáticos (por ejemplo, ViCrop) que requieren el ajuste manual de la capa por modelo, este método identifica automáticamente la capa pre-integrada óptima basada en la divergencia de la atención, lo que lo hace agnóstico al modelo y adaptable.

Resultados

Validación del análisis: Los experimentos confirmaron que el enmascaramiento de los tokens visuales en capas de fusión específicas causa una caída drástica en el rendimiento, mientras que las capas más profundas se vuelven dominadas por el texto. Los experimentos de salida temprana mostraron que las respuestas válidas y fundamentadas en la imagen solo emergen después de la etapa de fusión (típicamente después de la capa 18).
Mejora del rendimiento: Experimentos extensos en múltiples MLLMs y bancos de pruebas (GQA, VQAv2, OKVQA, VizWiz, TextVQA, DocVQA, MMBench) demostraron que el método de atención contrastiva propuesto supera consistentemente a las líneas base existentes sin entrenamiento (incluyendo CD, DoLA, OPERA y ViCrop).
- Por ejemplo, en LLaVA-1.5, la precisión promedio mejoró del 56.34% (Base) al 59.16% (Nuestro método).
- En LLaVA-Next, el promedio mejoró del 66.22% al 68.65%.
- En Qwen2.5VL, el promedio mejoró del 75.15% al 77.66%.
Eficiencia: El análisis del tiempo de inferencia mostró que el costo adicional de calcular la atención contrastiva y reintroducir la imagen es mínimo, manteniendo un equilibrio favorable entre eficiencia y rendimiento.

Significancia
El artículo afirma que su principal significancia radica en proporcionar una visión interpretable de la organización temporal de la fusión visión-lenguaje dentro de los MLLMs. Al revelar que la fusión se concentra en capas específicas y que el ruido de atención es un sesgo persistente y propagado, los autores ofrecen una explicación mecánica del comportamiento del modelo. El marco de atención contrastiva propuesto aprovecha estos conocimientos para refinar las entradas visuales sin requerir entrenamiento adicional, ofreciendo una solución generalizable para mejorar el razonamiento multimodal y reducir las alucinaciones causadas por el enfoque visual irrelevante. El trabajo cierra la brecha entre la comprensión de los mecanismos internos y la mejora del rendimiento práctico de los modelos.

El trabajo de detective: Echar un vistazo al cerebro del modelo

Más como este