Constructive Distortion: Improving MLLMs with Attention-Guided Image Warping

1. El Problema

Los Modelos de Lenguaje Multimodal Grandes (MLLMs) actuales, como LLaVA o Qwen-VL, a menudo fallan en la anclaje perceptivo de alta granularidad (fine-grained perceptual grounding). Específicamente, tienen dificultades para:

• Identificar detalles pequeños en escenas desordenadas.
• Distinguir entre objetos similares.
• Comprender relaciones espaciales complejas.
• Reducir las alucinaciones (inventar detalles no presentes).

Estos modelos tienden a tratar la imagen como un todo con una resolución uniforme, lo que diluye la información crítica en regiones específicas relevantes para la consulta (query). Aunque utilizan mecanismos de atención interna, esta atención a menudo es insuficiente o se pierde durante la codificación de características si la resolución de entrada no es óptima para la tarea específica.

2. Metodología: AttWarp

Los autores proponen AttWarp, un método ligero y "plug-and-play" que no requiere ajustar los pesos del modelo (fine-tuning) ni modificar su arquitectura. La idea central es aplicar una deformación rectilínea (warping) a la imagen de entrada antes de que sea procesada por el codificador visual, basándose en los mapas de atención cruzada del propio modelo.

El proceso funciona en tres etapas principales:

A. Extracción y Agregación de Atención

1. Se pasa la imagen original y la consulta a través del MLLM congelado.
2. Se extraen los mapas de atención cruzada de las capas profundas del decodificador de lenguaje (donde la atención se concentra mejor en objetos específicos).
3. Estos mapas se agregan en una Matriz de Puntuación de Atención y se condensan en perfiles marginales 1D (horizontal y vertical) que cuantifican la importancia de cada fila y columna de la imagen.

B. Deformación Rectilínea (Rectilinear Warping)

En lugar de recortar (crop) o enmascarar partes de la imagen (lo que perdería contexto global), AttWarp utiliza los perfiles marginales para definir una transformación no uniforme:

• Expansión: Las regiones con alta puntuación de atención se expanden espacialmente, asignándoles más "espacio visual" (píxeles) y, por tanto, más tokens en la representación del modelo.
• Compresión: Las regiones de baja relevancia se comprimen.
• Preservación: La deformación es rectilínea (independiente en los ejes X e Y) y utiliza funciones de distribución acumulativa (CDF) inversas. Esto garantiza que:
  • Toda la información original se preserve (no se borra nada).
  • La estructura de cuadrícula regular se mantenga, asegurando compatibilidad con los codificadores visuales estándar (como ViT).
  • El contexto global de la escena se mantenga intacto.

C. Variaciones del Método

• AttWarp-Chain (Iterativo): Un bucle de auto-corrección donde el modelo genera una nueva atención sobre la imagen deformada, y esta nueva atención guía una segunda deformación. Se detiene cuando la distribución de atención se estabiliza (criterio de divergencia KL).
• AttWarp-Distill (Eficiente): Entrena una red pequeña (estudiante) para predecir directamente los perfiles marginales a partir de la imagen y el texto, eliminando la necesidad de ejecutar el MLLM grande dos veces durante la inferencia. Esto reduce la latencia significativamente.

3. Contribuciones Clave

1. Método de Corrección en Tiempo de Prueba: Una técnica que mejora la percepción de alta granularidad modificando la entrada antes de la extracción de características, sin tocar los pesos del modelo.
2. Diseño de Preservación de Distribución: La deformación rectilínea mantiene la distribución de datos en el manifold de entrenamiento (comprobado mediante métricas FID/KID y distancias de Mahalanobis), evitando el desplazamiento de distribución (distribution shift) que sufren otros métodos de deformación no lineales.
3. Generalización: Funciona como un componente agnóstico al modelo, demostrando mejoras en múltiples arquitecturas (LLaVA, Qwen-VL, InternVL, InstructBLIP).
4. Eficiencia Computacional: AttWarp-Distill es aproximadamente 3 veces más rápido que métodos basados en recorte (como ViCrop) y requiere menos memoria VRAM, ya que evita múltiples pasadas complejas o entradas de doble imagen.

4. Resultados Experimentales

El método se evaluó en 9 benchmarks diversos (TextVQA, GQA, DocVQA, POPE, MMMU, MIA-Bench, MMVP, RealWorldQA, BLINK) y 4 MLLMs diferentes.

• Rendimiento Superior: AttWarp superó consistentemente a cuatro líneas base competitivas (FGVP, SoM, API, ViCrop) que manipulan la imagen en tiempo de prueba.
  • En TextVQA, mejoró la precisión de LLaVA en un +8.8% y de Qwen en +3.7%.
  • En DocVQA, logró mejoras de +7.4% (LLaVA) y +6.8% (Qwen).
  • En tareas de razonamiento espacial y composicional (GQA), mostró mejoras significativas (+3.2% en LLaVA).
• Reducción de Alucinaciones: En la evaluación POPE, se observó una reducción en las alucinaciones, mejorando la fiabilidad del modelo.
• Análisis de Atención: Las métricas de localización (Pointing Game) mostraron que la atención del modelo se vuelve más precisa y se concentra mejor en las regiones relevantes tras la deformación.
• Robustez: El método demostró ser robusto ante ruido en la imagen y perturbaciones adversarias, recuperando el enfoque correcto a través de la iteración (AttWarp-Chain).

5. Significado e Impacto

Este trabajo cambia el paradigma de cómo se aborda la percepción detallada en los MLLMs. En lugar de intentar mejorar la arquitectura interna del modelo o entrenar con más datos, AttWarp demuestra que la "distorsión constructiva" de la entrada es una herramienta poderosa.

• Simulación de Visión Foveal: Imita la forma en que los humanos perciben el mundo, asignando recursos de alta resolución a áreas de interés mientras mantienen la visión periférica.
• Eficiencia: Proporciona mejoras de rendimiento de nivel SOTA sin el costo computacional masivo de reentrenar modelos o usar arquitecturas más complejas.
• Versatilidad: Al preservar el contexto global y la estructura de la imagen, es aplicable a una amplia gama de tareas, desde la lectura de documentos hasta el razonamiento espacial en el mundo real.

En resumen, AttWarp establece que mejorar la entrada (input-level intervention) mediante una deformación guiada por la atención es una vía efectiva y eficiente para desbloquear el potencial de percepción fina de los modelos multimodales existentes.