Resumen Técnico: Mitigación de la filtración de información entre imágenes en la comprensión de múltiples imágenes con Grandes Modelos de Lenguaje-Visión

Planteamiento del Problema

Aunque los Grandes Modelos de Lenguaje-Visión (LVLM, por sus siglas en inglés) demuestran un sólido rendimiento en tareas de una sola imagen, sus capacidades se degradan significativamente cuando procesan múltiples imágenes simultáneamente. Si bien trabajos previos han observado esta caída en el rendimiento, los mecanismos subyacentes han permanecido poco comprendidos.

Los autores identifican empíricamente un fenómeno específico denominado filtración de información entre imágenes (cross-image information leakage). En entornos de múltiples imágenes, las representaciones visuales del modelo se entrelazan, lo que provoca que este mezcle pistas visuales de diferentes imágenes en lugar de interpretarlas de forma independiente. Como ilustra la motivación del artículo, al presentar dos imágenes (por ejemplo, una con tulipanes amarillos y otra con rosas rojas) y una consulta sobre la primera imagen, el modelo a menudo no logra aislar el objetivo. En lugar de seleccionar la opción correcta ("tulipanes amarillos"), elige incorrectamente una opción fusionada ("tulpanes amarillos y rosas rojas").

Esta filtración se atribuye al procesamiento estándar de múltiples imágenes como una secuencia de tokens visuales concatenados. El mecanismo de atención causal entre imágenes provoca que los tokens de diferentes imágenes interactúen fuertemente, mezclando las representaciones latentes y provocando alucinaciones donde el contenido de las imágenes no objetivo contamina la respuesta.

El artículo también señala que una solución ingenua —procesar cada imagen de forma independiente y agregar los resultados— falla porque sacrifica las relaciones entre imágenes (por ejemplo, comparaciones, referencias cruzadas) que son esenciales para las tareas complejas de razonamiento de múltiples imágenes.

Metodología: FOCUS

Para abordar este desafío sin requerir entrenamiento adicional o modificaciones arquitectónicas, los autores proponen FOCUS, un método de inferencia libre de entrenamiento y agnóstico a la arquitectura. El método opera sobre la observación de que los LVLM razonan bien sobre imágenes individuales y tiene como objetivo guiar al modelo para que se concentre en una imagen a la vez mientras preserva el contexto posicional de la entrada de múltiples imágenes.

FOCUS consta de tres pasos secuenciales:

1. Enmascaramiento Visual:
   Para un conjunto de $N$ imágenes de entrada, el método genera $N$ entradas parcialmente enmascaradas y una referencia totalmente enmascarada.

   • Para cada imagen objetivo $I_i$, todas las demás imágenes $I_j$ ($j \neq i$) se corrompen con ruido aleatorio (escala $\lambda$), mientras que $I_i$ permanece limpia.
   • También se crea una entrada totalmente enmascarada con ruido ($I_{noise}$) donde todas las imágenes están corrompidas.
   • Esto obliga al modelo a atender principalmente a la única imagen limpia en cada paso de propagación hacia adelante (forward pass) mientras mantiene el orden original de las imágenes.

2. Inferencia Enfocada por Imagen:
   El modelo realiza la inferencia en cada una de las $N$ entradas parcialmente enmascaradas para obtener una distribución de logits $\ell_i$ para cada imagen objetivo $I_i$. Adicionalmente, se calcula una distribución de logits de referencia de ruido $\ell_{noise}$ utilizando la entrada totalmente enmascarada. Este paso captura el razonamiento del modelo cuando se enfoca en imágenes específicas dentro del contexto conjunto.

3. Agregación Contrastiva:
   El resultado final se deriva agregando los logits enfocados mientras se suprimen los artefactos de ruido residuales. La fórmula utilizada es:
   $$\ell_{final} = \sum_{i=1}^{N} (\ell_i - \alpha \cdot \ell_{noise})$$
   Aquí, $\alpha$ es un hiperparámetro ajustado mediante validación. Restar la referencia de ruido ($\ell_{noise}$) ayuda a aislar y eliminar las señales visuales espurias que persisten incluso después del enmascaramiento, asegurando que la predicción final dependa del contenido de la imagen limpia en lugar de los artefactos inducidos por el ruido.

Contribuciones Clave

• Identificación de la Filtración de Información entre Imágenes: El artículo proporciona evidencia empírica de que la degradación del rendimiento en múltiples imágenes está estrechamente ligada al entrelazamiento de las representaciones visuales entre imágenes, lo que conduce a respuestas erróneas y fusionadas.
• Método FOCUS: Una novedosa estrategia de inferencia libre de entrenamiento que mitiga la filtración mediante el uso de enmascaramiento de ruido y agregación contrastiva de logits. Preserva las relaciones entre imágenes (a diferencia de la inferencia independiente) al tiempo que evita la mezcla de contenido.
• Generalización: Se demuestra que el método es efectivo en diversas familias de LVLM (InternVL3, Qwen2.5-VL, LLaVA-OneVision, Qwen3-VL) y escalas (desde <7B hasta >30B parámetros).
• Extensión a la Comprensión de Video: Los autores demuestran que FOCUS se generaliza más allá de las entradas de imágenes estáticas hacia tareas de comprensión de video (Vinoground), sugiriendo que el mecanismo aborda un problema fundamental en el razonamiento visual temporal y secuencial.

Resultados Experimentales

Los autores evaluaron FOCUS en cinco bancos de pruebas de múltiples imágenes: Winoground, VisMin (Fácil y Difícil), Mantis-Eval, MuirBench y MIRB.

• Ganancias de Rendimiento: FOCUS mejoró consistentemente el Puntaje de Imagen (I) y el Puntaje de Grupo (G), que reflejan directamente las capacidades de razonamiento de múltiples imágenes, mientras que el Puntaje de Texto (T) permaneció prácticamente sin cambios.
  • En Winoground, las ganancias alcanzaron hasta +18.8 en el puntaje de Imagen y +16.8 en el puntaje de Grupo.
  • En VisMin-Easy, las mejoras fueron sustanciales; por ejemplo, InternVL3-2B vio un aumento en el Puntaje de Imagen de 29.96 a 74.33.
  • En Mantis-Eval, la precisión mejoró hasta en +5.5 puntos porcentuales.
  • En MuirBench y MIRB, se observaron ganancias consistentes, aunque menores, en todos los modelos.
• Comparación con Alternativas: FOCUS superó a otros enfoques, incluyendo:
  • Procesamiento Independiente: Procesar las imágenes por separado y concatenar el texto, lo cual falló en capturar las relaciones entre imágenes.
  • Decodificación Contrastiva Convencional (VCD): Los métodos contrastivos estándar diseñados para una sola imagen degradaron el rendimiento en entornos de múltiples imágenes.
  • SoFA: Un método dirigido al sesgo de posición, que no mejoró el rendimiento de manera consistente, indicando que el sesgo de posición y la filtración de información son problemas distintos.
• Estudios de Ablación: Eliminar la inyección de ruido o el paso de resta de la referencia de ruido degradó significamente el rendimiento, confirmando que ambos componentes son esenciales.
• Latencia: El método introduce una sobrecarga de latencia moderada (requiere $N+1$ pasadas de inferencia para $N$ imágenes), lo cual los autores señalan como un intercambio justificable por las ganancias en precisión.

Significancia y Reivindicaciones

El artículo afirma que FOCUS ofrece una solución práctica y generalizable de inferencia para mejorar el razonamiento de múltiples imágenes. Al caracterizar empíricamente la filtración de información entre imágenes y proporcionar un método para mitigarla sin reentrenamiento, el trabajo aborda una limitación crítica en los LVLM actuales.

Los autores enfatizan que su enfoque:

1. No requiere datos de entrenamiento adicionales ni cambios arquitectónicos.
2. Funciona en una amplia gama de tamaños y familias de modelos.
3. Se extiende a la comprensión de video, sugiriendo que el problema del entrelazamiento visual no se limita a imágenes estáticas.
4. Proporciona una solución general para mejorar la fiabilidad del razonamiento de múltiples imágenes, lo cual es esencial para aplicaciones del mundo real donde los usuarios proporcionan múltiples imágenes simultáneamente.

El artículo concluye que, si bien FOCUS mejora significamente el rendimiento, no es una panacea para todas las tareas de contexto largo o de recuperación intensiva, donde el cuello de botella puede residir en la localización de la información relevante en lugar de la desambiguación del contenido visual. Sin embargo, para tareas que requieren la integración y comparación de múltiples entradas visuales, FOCUS ofrece una mejora robusta.