💬 NLP

When Irrelevant Text Matters: Affine Margin Shifts in Multimodal Large Language Models

Este artículo revela que el texto irrelevante para la tarea en los modelos de lenguaje de gran tamaño multimodales sesga sistemáticamente los juicios visuales binarios al inducir una transformación afín predecible en los márgenes de decisión, caracterizando el efecto como una distorsión geométrica estimable en lugar de un ruido no estructurado.

Autores originales: Yinfeng Wang, Zhiyuan Yao, Zheren Fu, Lei Zhang, Zhendong Mao

Publicado 2026-08-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yinfeng Wang, Zhiyuan Yao, Zheren Fu, Lei Zhang, Zhendong Mao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el panorama moderno de la inteligencia artificial, ha surgido una nueva generación de sistemas que pueden ver y hablar al mismo tiempo. Estos modelos multimodales están entrenados para mirar una imagen y responder preguntas sobre ella, o para describir una escena en detalle. Son herramientas poderosas, capaces de identificar objetos, leer texto dentro de las imágenes y razonar sobre situaciones complejas. Sin embargo, estos sistemas no operan en el vacío. En aplicaciones del mundo real, a menudo se les suministra información adicional junto con la imagen: los mensajes previos de un usuario, un artículo recuperado o una entrada de una base de datos. Este texto adicional tiene como objetivo ayudar al modelo a comprender mejor la imagen. Pero, ¿qué sucede cuando ese texto adicional no tiene nada que ver con la imagen? ¿Ignora el modelo el ruido o se confunde? Esta pregunta se encuentra en el corazón de una investigación reciente sobre cómo estos sistemas inteligentes procesan la información cuando su atención se divide entre una escena visual y palabras irrelevantes.

Los investigadores se propusieron probar exactamente este escenario mediante un experimento controlado. Tomaron una serie de imágenes y preguntas, como preguntar si un perro en una foto estaba saltando sobre una valla. Luego crearon dos versiones de la entrada para cada pregunta. En la primera versión, el modelo veía solo la imagen y la pregunta. En la segunda versión, el modelo veía la misma imagen y la pregunta, pero con un bloque de texto completamente irrelevante insertado en el prompt. Este texto era una oración aleatoria de un libro o artículo, algo como una historia sobre una persona viajando a Francia, que no tenía conexión con el perro o la valla. Los investigadores querían ver si este ruido aleatorio cambiaría la opinión del modelo.

Los resultados fueron impactantes. Cuando se añadió el texto irrelevante, los modelos no simplemente lo ignoraron. En cambio, cambiaron sus respuestas de manera consistente. Más importante aún, no cambiaron de opinión de forma aleatoria. Los modelos se volvieron significativamente más propensos a decir "No" a las preguntas, incluso cuando la imagen mostraba claramente una situación de "Sí". Por ejemplo, si un modelo estaba seguro de que un perro estaba saltando, la adición de texto no relacionado a menudo hacía que dudara y cambiara su respuesta para decir que el perro no estaba saltando. Este cambio ocurrió a través de diferentes tipos de imágenes y diferentes modelos, lo que sugiere un fallo sistemático en lugar de un error aleatorio. Los modelos no solo eran ligeramente menos precisos; estaban siendo empujados hacia un tipo específico de error, uno donde dudaban de la evidencia visual que estaban viendo.

Para entender por qué esto estaba sucediendo, los investigadores miraron más allá de las respuestas finales. Examinaron las puntuaciones de confianza internas que los modelos generaban antes de tomar una decisión. Encontraron un patrón muy específico en cómo los modelos procesaban la información. Cuando los modelos veían la imagen sola, tenían un cierto nivel de confianza en su respuesta. Cuando se añadía el texto no relacionado, esa confianza no desaparecía ni se volvía caótica. En cambio, se desplazaba de una manera predecible y matemática. El nuevo nivel de confianza era una versión distorsionada de la original, comprimida y empujada en una dirección específica. Era como si el texto adicional actuara como un filtro que exprimía la certeza del modelo e inclinaba la balanza contra la evidencia visual.

Este descubrimiento descartó la idea de que los modelos simplemente estaban confundidos por las palabras adicionales o que el texto actuaba como ruido estático aleatorio. Si fuera ruido aleatorio, los errores habrían sido dispersos e impredecibles. En cambio, los errores seguían una regla estricta. Los investigadores describieron esta regla como un desplazamiento constante, donde el juicio interno del modelo era estirado y movido por la presencia del texto. Encontraron que este desplazamiento podía medirse e incluso predecirse. Al comprender el patrón del desplazamiento, pudieron crear un método de corrección simple. Este método podía deshacer parcialmente el daño causado por el texto irrelevante, restaurando la capacidad del modelo para confiar en lo que veía en la imagen.

El estudio también reveló que la forma en que se presentaba el texto importaba. Cuando el texto irrelevante se enmarcaba como si pudiera estar relacionado con la imagen, la distorsión era aún más fuerte. Los modelos parecían tratar las palabras aleatorias como si fueran pistas, intentando encajarlas en su comprensión de la imagen, lo que conducía a una confusión aún mayor. Esto sugiere que los modelos no son solo receptores pasivos de información, sino que intentan activamente dar sentido a todo lo que se les da, incluso cuando esa información es inútil. Luchan por distinguir entre lo que es relevante para la tarea visual y lo que es simplemente ruido de fondo.

Estos hallazgos ofrecen una nueva forma de ver cómo la inteligencia artificial maneja la información. Resulta que añadir texto extra a una tarea visual no solo añade volumen; cambia la forma del pensamiento del modelo. Los modelos son sensibles al contexto que se les da, y esa sensibilidad puede llevarlos a dudar de sus propios ojos. Si bien los investigadores han demostrado que este efecto puede medirse y corregirse parcialmente, el problema subyacente permanece: estos sistemas aún no son lo suficientemente robustos como para ignorar lo irrelevante. A medida que estas tecnologías se integran en sistemas del mundo real más complejos donde recibirán constantemente flujos de datos, comprender cómo reaccionan al ruido es crucial. El trabajo proporciona una herramienta de diagnóstico clara para detectar estos sesgos y una base para construir sistemas que puedan concentrarse en la imagen, incluso cuando el mundo a su alrededor está lleno de distracciones.

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) se exponen frecuentemente a contexto textual auxiliar, como pasajes recuperados, información lateral proporcionada por el usuario o el historial de diálogo, que no siempre está alineado con la tarea visual actual. Si bien el trabajo previo en Procesamiento de Lenguaje Natural (NLP) ha establecido que el texto irrelevante o distractor puede confundir a los Modelos de Lenguaje de Gran Escala (LLMs) en tareas de razonamiento y respuesta a preguntas, el impacto específico de dicho contexto "irrelevante para la imagen" en tareas visualmente fundamentadas en los MLLMs sigue sin explorarse profundamente. El artículo aborda la siguiente pregunta: ¿Afecta el contexto irrelevante a las predicciones de los MLLM en tareas de visión y lenguaje y, de ser así, cómo transforma el proceso de toma de decisiones subyacente?

Metodología
Los autores formulan la investigación como una intervención controlada dentro de un marco de juicio visual binario.

Configuración Experimental: Para cada par imagen-pregunta, definen una entrada "libre de contexto" ( $x_o$ ) que contiene solo la imagen y la pregunta, y una entrada "condicionada al contexto" ( $x_c$ ) donde se inserta un pasaje de texto irrelevante (muestreado de WikiText). Prueban tres condiciones de encuadre: libre de contexto, contexto neutro (añadir el texto) y condición de contexto (encuadrar el texto como "posiblemente relacionado" con la imagen).
Análisis del Margen de Decisión: Para ir más allá de las métricas de rendimiento agregadas, los autores introducen el margen de decisión ( $m$ ), definido como la diferencia de log-probabilidad entre las respuestas positivas ("Sí") y negativas ("No"): $m(x) = \log P(y_+ | x) - \log P(y_- | x)$ .
Hipótesis de Transformación Afín: Hipotetizan que la relación entre el margen libre de contexto ( $m_0$ ) y el margen condicionado al contexto ( $m_c$ ) sigue un patrón estructurado en lugar de un ruido no estructurado. Específicamente, prueban si $m_c \approx a \cdot m_0 + b$ , donde $a$ y $b$ son parámetros específicos del modelo.
Marco de Interpretación: Basándose en la interpretación bayesiana implícita del aprendizaje en contexto, interpretan la pendiente $a$ como la preservación de la estructura de decisión visual original (compromiso visual) y la intersección $b$ como un desplazamiento direccional de la respuesta (sesgo) introducido por el texto.
Validación: El estudio evalúa múltiples modelos (LLaVA-1.5, Qwen2-VL, InternVL) a través de cuatro bancos de pruebas (POPE, AMBER, MME, GQA). También realizan estudios de ablación sobre la posición del prompt, la longitud del contexto y la fuente, y proponen un método de calibración post-hoc utilizando la transformación afín inversa para mitigar los efectos.

Resultados Clave

Degradación del Rendimiento y Desplazamiento Direccional: La adición de contexto irrelevante degrada consistentemente la precisión predictiva en todos los bancos de pruebas. De manera más crítica, induce un desplazamiento sistemático en la preferencia de decisión hacia las respuestas negativas ("No"), evidenciado por una disminución en la "Tasa de Sí" y un aumento en los cambios de predicción.
Regularidad Afín: El hallazgo central es que el margen condicionado al contexto se aproxima bien mediante una transformación afín del margen libre de contexto ( $m_c \approx a \cdot m_0 + b$ ). Esta relación se mantiene con un alto ajuste ( $R^2$ ) a través de diferentes modelos y conjuntos de datos.
Estabilidad de Parámetros e Interpretación:
- La pendiente $a$ es consistentemente menor que 1, lo que indica que el texto irrelevante atenúa el compromiso visual original (compresión del margen).
- La intersección $b$ es consistentemente negativa, lo que indica un sesgo direccional hacia el "No".
- El encuadre semántico importa: El encuadrar el texto como "posiblemente relacionado" (Condición) resulta en una pendiente $a$ más baja (mayor compresión) en comparación con un encuadre neutro, mientras que el desplazamiento negativo $b$ permanece relativamente estable.
Cambios de Predicción (Flips): Los cambios de predicción no están distribuidos uniformemente; se concentran en la "Región de Cambio" donde el margen original $m_0$ es débil (cerca de la frontera de decisión). El desplazamiento afín mueve la frontera de decisión efectiva de $m_0 = 0$ a $m_0 = -b/a$ , causando que las muestras positivas débiles cambien a predicciones negativas.
Calibración: Una calibración post-hoc ligera utilizando la transformación afín inversa ( $m_{cal} = (m_c - \hat{b}) / \hat{a}$ ) recupera con éxito una parte significativa de la precisión perdida y reduce las tasas de cambio, incluso en entornos de transferencia entre conjuntos de datos.

Significancia y Reivindicaciones
El artículo afirma proporcionar una visión diagnóstica a nivel de margen de los efectos del contexto irrelevante en los MLLM. Su contribución principal es demostrar que el contexto irrelevante no actúa como un ruido estocástico no estructurado, sino como una distorsión estructurada y estimable de la preferencia del modelo.

Perspectiva del Mecanismo: Los hallazgos sugieren que los MLLM siguen siendo sensibles al contexto irrelevante incluso cuando este no proporciona evidencia útil, tratándolo como un sesgo direccional global y una compresión de la confianza visual.
Robustez: La estabilidad de los parámetros afines a través de diferentes bancos de pruebas implica una restricencia de comportamiento compartida en los MLLM con respecto al texto auxiliar.
Utilidad Práctica: La capacidad de modelar esta distorsión mediante simples parámetros afines ofrece una base para desarrollar estrategias de robustez, como la calibración post-hoc propuesta, sin necesidad de reentrenar el modelo.

Los autores mantienen la modestia respecto a su alcance, señalando que su análisis se realiza principalmente en entornos de pregunta-visión binaria y que la explicación teórica de la ley afín sigue siendo conductual e interpretativa en lugar de un relato causal completo. Reconocen que el patrón afín puede ser una manifestación específica de un fenómeno más amplio de interferencia de contexto que requiere mayor investigación teórica.

Más como este