SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding

1. El Problema: Alucinación Perceptiva en VLMs

A pesar de los avances significativos en los Modelos Visuales-Lingüísticos (VLMs), estos siguen sufriendo de alucinación de objetos. Este fenómeno ocurre cuando el modelo genera respuestas plausibles pero inexactas que no están fundamentadas en el contenido visual real de la imagen.

• Causa raíz: Los diseños actuales de VLMs de múltiples escalas a menudo integran información visual de manera indiscriminada entre diferentes escalas. Esto diluye el contexto específico del objeto y aumenta la densidad de información irrelevante (fondo), lo que dificulta la extracción precisa de detalles densos y específicos del objeto.
• Limitación actual: Simplemente reducir el tamaño de los parches (aumentar la resolución) sin selección previa aumenta la cantidad de información irrelevante, lo que puede empeorar la alineación de la atención del modelo con la máscara del objeto real.

2. Metodología: SECOND (Selección y Decodificación Contrastiva)

Los autores proponen SECOND, un marco de trabajo sin entrenamiento (training-free) diseñado para mitigar las alucinaciones mediante la selección adaptativa de parches visuales multiescala y la decodificación contrastiva.

A. Integración Selectiva de Características Multiescala

En lugar de procesar todas las regiones de la imagen en todas las escalas, SECOND utiliza un proceso de decodificación iterativo y multietapa:

1. Múltiples Escalas: Se utilizan encoders de visión que procesan imágenes a diferentes resoluciones (desde baja resolución/coarse hasta alta resolución/fine-grained).
2. Selección de Parches Dinámica: En cada etapa, el modelo selecciona dinámicamente solo los parches más relevantes para el objeto basándose en los mapas de atención visual generados en la etapa anterior.
   • Se utiliza una métrica de entropía de la atención ($H(V)$) para determinar cuántos parches adicionales son necesarios. Si la atención es clara (baja entropía), se seleccionan menos parches; si es confusa (alta entropía), se incorporan más detalles finos.
   • Esto permite una transición de un escaneo de nivel amplio a una inspección detallada, acumulando información visual de "grano grueso a fino" sin sobrecargar el modelo con ruido de fondo.

B. Decodificación Contrastiva Multietapa

SECOND introduce una variante avanzada de la Decodificación Contrastiva (CD):

• Amateur vs. Experto: Las etapas iniciales actúan como "amateurs" (procesamiento grueso) y la etapa final como un "experto" (análisis detallado).
• Contraste Multietapa: A diferencia de los métodos anteriores que solo contrastan una salida amateur con una experta, SECOND contrasta las salidas de todas las etapas intermedias.
• Fórmula: Se amplifican las diferencias entre las logits de las etapas mediante parámetros de contraste ($\alpha, \beta, \gamma$):
  $$logit_{SECOND} = logit_{experto} + \alpha(logit_{experto} - logit_{amateur3}) + \beta(logit_{amateur3} - logit_{amateur2}) + \gamma(logit_{amateur2} - logit_{amateur1})$$
  Esto refuerza la información visual relevante y suprime las alucinaciones al contrastar la información densa y detallada con la información dispersa de las etapas anteriores.

3. Contribuciones Clave

1. Marco SECOND: Un nuevo enfoque sin entrenamiento que selecciona adaptativamente parches multiescala y contrasta datos visuales dispersos con detalles finos.
2. Análisis Teórico: Los autores demuestran teóricamente que la selección de parches multietapa aumenta el Coeficiente de Dice de Atención (una métrica que mide la alineación entre la atención del modelo y la máscara del objeto real), lo que reduce directamente la probabilidad de alucinación ($P_{Hal}$).
3. Estrategia de Selección Dinámica: Identifican que la integración indiscriminada de múltiples escalas es perjudicial y proponen una estrategia óptima que equilibra la relevancia y la cantidad de información visual.

4. Resultados Experimentales

El método se evaluó en varios modelos VLMs de última generación (LLaVA-NeXT, LLaVA-OneVision, Yi-VL) y en múltiples benchmarks:

• POPE (Perceptual Hallucination): SECOND superó a los métodos baselines y a la técnica de contraste VCD en 11 de 12 casos evaluados. Por ejemplo, en LLaVA-NeXT con Vicuna-7B, mejoró el F1-score de 86.5 (baseline) a 89.2 (con CD).
• Tareas Generales:
  • VQAv2: Mostró mejoras consistentes en preguntas abiertas sobre presencia de objetos.
  • MMStar y MMBench: Demostró que la mejora en la percepción no degrada las capacidades de razonamiento; de hecho, en MMStar, SECOND superó a los baselines, alcanzando un promedio de 38.6 (vs 37.3 del baseline).
• Eficiencia: La configuración de 4 etapas (84-168-336-672 píxeles) ofrece el mejor equilibrio entre rendimiento y tiempo de decodificación.

5. Significado e Impacto

• Validación de la Selección: El trabajo demuestra que la calidad de la información visual (selección de parches relevantes) es más crítica que simplemente aumentar la cantidad de datos visuales (resolución indiscriminada).
• Sin Entrenamiento: Al ser un método sin entrenamiento, es fácilmente aplicable a cualquier VLM existente sin necesidad de costosos procesos de fine-tuning o reentrenamiento.
• Mecanismo de Atención: Proporciona una comprensión más profunda de cómo la alineación de la atención visual con los objetos reales es fundamental para reducir las alucinaciones, ofreciendo una ruta para mejorar la fiabilidad de los VLMs en aplicaciones de alto riesgo.

En resumen, SECOND aborda la alucinación perceptiva no solo mejorando la resolución, sino optimizando dónde y cuándo el modelo debe prestar atención, utilizando un proceso iterativo de selección y contraste que imita la percepción visual humana.