Focus Matters: Phase-Aware Suppression for Hallucination in Vision-Language Models

1. El Problema: Alucinaciones en Modelos de Lenguaje y Visión Grandes (LVLMs)

Los Modelos de Lenguaje y Visión Grandes (LVLMs) han logrado avances significativos en el razonamiento multimodal y la generación de lenguaje basado en imágenes. Sin embargo, sufren de un problema crítico: alucinación de objetos. Esto ocurre cuando el modelo genera descripciones de objetos que no están presentes en la imagen de entrada.

Las soluciones existentes se dividen en dos categorías principales:

• Métodos basados en el decodificador: Ajustan las probabilidades de los tokens de texto, pero no corrigen la información visual errónea extraída previamente.
• Métodos basados en el codificador de visión: Intentan suprimir señales visuales poco fiables. Un enfoque reciente, la Estimación de Incertidumbre Adversarial (AUE), utiliza optimización adversaria iterativa (PGD) para identificar y suprimir tokens inciertos. Aunque efectivo, AUE requiere múltiples pasadas de optimización por imagen, lo que genera una latencia de inferencia prohibitiva para aplicaciones en tiempo real o a gran escala.

2. Metodología: Dinámicas de Atención y Supresión Consciente de la Fase

Los autores proponen un enfoque novedoso que no requiere entrenamiento adicional (training-free) y opera con un costo computacional mínimo.

A. Análisis de Dinámicas de Atención

A través de un análisis capa por capa en múltiples arquitecturas de LVLM (LLaVA, Shikra, Qwen-2.5-VL, Intern-VL), los autores identificaron una estructura consistente de tres fases en el procesamiento de información visual dentro del codificador de visión:

1. Fase de Difusión (Diffusion): La atención se distribuye ampliamente entre muchos tokens.
2. Fase de Enfoque (Focus): La atención se concentra intensamente en un subconjunto pequeño de tokens, mientras que la mayoría de los demás reciben una atención insignificante.
3. Fase de Redifusión (Rediffusion): La atención se vuelve difusa nuevamente a medida que las representaciones se propagan a capas más profundas.

B. Correlación con Alucinaciones

Mediante experimentos controlados, descubrieron que el comportamiento de alucinación es extremadamente sensible a los tokens que reciben baja atención durante la "Fase de Enfoque".

• Observación clave: Suprimir tokens con baja atención en esta fase específica reduce drásticamente las alucinaciones. Por el contrario, amplificar su influencia aumenta las alucinaciones.
• Mecanismo: Al suprimir estas señales visuales "ruidosas" en la fase crítica de concentración, se obliga al modelo de lenguaje a depender más de la evidencia visual sólida (aumentando el Visual Attention Ratio o VAR) en lugar de confiar en priores lingüísticos.

C. Propuesta: Supresión de Tokens con DPP

Se propone un método de intervención en tiempo de inferencia:

1. Selección de Tokens: Se utiliza un Proceso de Puntos Determinantal (DPP) para seleccionar qué tokens suprimir. A diferencia de un simple Top-k (que solo considera la puntuación de atención), el DPP selecciona un subconjunto diverso de tokens, equilibrando la importancia y la redundancia semántica.
2. Momento de Intervención: La supresión se aplica exclusivamente durante las capas de la Fase de Enfoque.
3. Eficiencia: El método utiliza estadísticas de una sola pasada hacia adelante (forward pass). No requiere optimización iterativa ni retropropagación de gradientes, manteniendo la latencia casi idéntica a la inferencia estándar.

3. Contribuciones Clave

• Intervención de bajo costo y sin entrenamiento: Una estrategia que mitiga alucinaciones sin necesidad de fine-tuning ni optimización adversarial costosa.
• Descubrimiento de la estructura de tres fases: Identificación de la estructura de difusión-enfoque-redifusión en codificadores de visión de LVLMs diversos.
• Correlación Fase-Alucinación: Demostración empírica de que la manipulación de tokens específicamente en la fase de enfoque es la clave para reducir alucinaciones, mientras que otras fases tienen poco efecto.
• Validación exhaustiva: Evaluación cuantitativa y cualitativa en múltiples backbones (LLaVA, Shikra, Qwen, Intern-VL) y estrategias de decodificación.

4. Resultados Experimentales

Los experimentos se realizaron en benchmarks estándar como CHAIR (mide la frecuencia de objetos inexistentes) y POPE (preguntas binarias de existencia de objetos).

• Reducción de Alucinaciones: El método propuesto ("Ours") reduce consistentemente las métricas CHAIRS y CHAIRI en todos los modelos probados, logrando un rendimiento comparable o superior al método AUE (que es el estado del arte en mitigación pero muy lento).
  • Ejemplo: En LLaVA-1.5-7B, CHAIRS bajó de 45.0 (Original) a 28.8, superando ligeramente a AUE (30.2).
• Calidad de la Descripción: Mantiene o mejora la fidelidad de la descripción (medida por F1-score) y la precisión en POPE, demostrando que no se pierde información visual crítica.
• Eficiencia de Inferencia:
  • AUE: Aumenta el tiempo de codificación de visión en más de 30 segundos por imagen en modelos de alta resolución (ej. Qwen-2.5-VL).
  • Método Propuesto: Añade una sobrecarga de aproximadamente 0.2 segundos por imagen, manteniendo la latencia total casi idéntica a la inferencia original.
• Análisis Cualitativo: Las descripciones generadas son más coherentes con la imagen, eliminando objetos fantasma (como "gatos en fregaderos" o "coches en fondos urbanos" que no existen) sin degradar la estructura de la oración.

5. Significado e Impacto

Este trabajo es significativo porque ofrece una solución práctica y escalable al problema de las alucinaciones en LVLMs.

• Viabilidad en Tiempo Real: Al eliminar la necesidad de optimización iterativa, hace posible la mitigación de alucinaciones en escenarios de inferencia en tiempo real, donde los métodos anteriores (como AUE) eran inviables.
• Nueva Perspectiva Teórica: Cambia el enfoque de "buscar incertidumbre mediante perturbación" a "entender y modular la dinámica interna de la atención". Sugiere que las alucinaciones no son solo un fallo del decodificador, sino que tienen raíces en cómo el codificador de visión procesa y concentra la información en etapas intermedias.
• Generalización: Al funcionar sin entrenamiento y ser compatible con múltiples arquitecturas y estrategias de decodificación, es una herramienta robusta para mejorar la fiabilidad de los sistemas multimodales actuales.

En resumen, "Focus Matters" demuestra que una intervención ligera y consciente de la fase en el codificador de visión puede lograr una fiabilidad multimodal comparable a métodos costosos, abriendo la puerta a LVLMs más confiables y eficientes.