Revealing Multi-View Hallucination in Large Vision-Language Models

Resumen Técnico: Revelando la Alucinación Multi-Vista en LVLMs

1. El Problema: Alucinación Multi-Vista (MVH)

Los Modelos Grandes de Visión y Lenguaje (LVLMs) están siendo cada vez más utilizados para procesar imágenes capturadas desde múltiples puntos de vista (multi-view) en aplicaciones como la IA encarnada, gemelos digitales y sistemas de vigilancia. Sin embargo, el artículo identifica un fenómeno crítico no abordado previamente: la Alucinación Multi-Vista (MVH).

A diferencia de las alucinaciones convencionales (donde el modelo inventa objetos basándose en conocimientos previos), la MVH ocurre cuando el modelo confunde información visual proveniente de instancias diferentes o puntos de vista distintos dentro del mismo conjunto de imágenes. Se categoriza en dos tipos principales:

• Alucinación Cross-Instance (Cruzada entre Instancias): El modelo responde sobre un objeto o persona específica basándose en las características de otro objeto/persona presente en la misma escena pero diferente.
  • Ejemplo: Al preguntar "¿Qué hace la persona con la camiseta blanca?", el modelo responde "sosteniendo una regadera" (acción de la persona con la camiseta negra).
• Alucinación Cross-View (Cruzada entre Vistas): El modelo ignora la vista específica solicitada y responde basándose en información de otra vista.
  • Ejemplo: Al preguntar "En la vista 1, ¿hacia dónde apunta la regadera?", el modelo responde "hacia arriba" (dirección de la vista 2) en lugar de "hacia la izquierda" (vista 1).

El problema fundamental es que los LVLMs actuales tienen dificultades para asociar correctamente la evidencia visual con la instancia o el punto de vista correspondiente, lo que lleva a errores de fundamentación visual (visual grounding).

2. Metodología

La investigación propone un enfoque sistemático que incluye la creación de un nuevo benchmark y una técnica de decodificación sin entrenamiento.

A. MVH-Bench (Nuevo Benchmark)
Para evaluar este problema, los autores construyeron MVH-Bench, un conjunto de datos que contiene 4.800 pares de preguntas y respuestas derivados de videos multi-vista sincronizados (Ego-Exo4D y LEMMA).

• Estructura: El benchmark se basa en pares de imágenes (vistas) y extrae pares "Instancia-Descriptor" (ej. "persona con camiseta blanca" -> "apuntando a flores").
• Tipos de Preguntas:
  • Binarias: Para verificar si una instancia tiene un descriptor específico en una vista dada.
  • Opción Múltiple: Para distinguir entre descriptores correctos y distractores plausibles (otras instancias o vistas).
• Métricas Propuestas:
  • p-Acc (Precisión de Pareja): Evalúa si el modelo responde correctamente tanto a la pregunta afirmativa como a la negativa para un par de instancias.
  • q-Acc (Precisión de Cuarteto): Evalúa la consistencia al responder correctamente a las cuatro preguntas binarias derivadas de una sola imagen multi-vista.
  • YER (Ratio de Error "Sí") y AER (Ratio de Error Adversarial): Miden la tendencia del modelo a responder "Sí" incorrectamente o a elegir distractores adversarios.

B. Análisis de la Formación del Contexto
Los autores realizaron un análisis de las capas de atención en los LVLMs. Descubrieron que bloquear la atención entre tokens de texto en las capas intermedias del decodificador degrada significativamente la capacidad del modelo para entender el contexto completo de la consulta. Esto provoca que el modelo se desvíe hacia señales visuales no objetivo (ruido visual), confirmando que la comprensión del contexto textual es crucial para la fundamentación visual correcta.

C. RSCD: Decodificación Contrastiva con Desplazamiento de Referencia
Para mitigar el problema sin reentrenar el modelo, proponen RSCD (Reference Shift Contrastive Decoding).

• Mecanismo: La técnica genera "logits negativos" (una distribución de probabilidad sesgada hacia errores) perturbando deliberadamente la formación del contexto textual.
• Implementación:
  1. Se aplica una máscara de atención (Reference Shift Mask) en las capas intermedias seleccionadas ($\Lambda^*$), bloqueando la atención entre los tokens de texto (específicamente el top $\rho\%$ de las conexiones de atención).
  2. Esto fuerza al modelo a generar una respuesta basada en una comprensión incompleta de la consulta, lo que resulta en una atención errónea a señales visuales distractores.
  3. Se calculan los logits originales y los logits negativos.
  4. Se aplica la fórmula contrastiva:
     $$\text{logit}_{\text{rscd}} = (1 + \alpha) \cdot \text{logit}_{\text{base}} - \alpha \cdot \text{logit}_{\text{negativo}}$$
  5. El resultado es una amplificación de la diferencia, suprimiendo las predicciones basadas en señales visuales no objetivo y reforzando la atención en la evidencia visual correcta.

3. Contribuciones Clave

1. Definición y Categorización: Se define formalmente la "Alucinación Multi-Vista" y se divide en dos tipos (Cross-Instance y Cross-View), diferenciándola de las alucinaciones tradicionales.
2. MVH-Bench: Se introduce el primer benchmark dedicado a evaluar la robustez de los LVLMs frente a interferencias visuales entre múltiples vistas, incluyendo métricas específicas (p-Acc, q-Acc) para medir la consistencia.
3. RSCD: Se propone un método de decodificación libre de entrenamiento (training-free) que mejora significativamente la fundamentación visual al manipular la atención textual en capas intermedias.
4. Análisis Empírico: Se demuestra que los modelos actuales (tanto de código abierto como cerrado) fallan sistemáticamente en estas tareas, y que RSCD supera a los métodos de mitigación existentes.

4. Resultados Experimentales

Los experimentos se realizaron en 15 LVLMs de última generación (incluyendo GPT-4o, Gemini, Qwen2.5-VL, LLaVA-OneVision, etc.) utilizando MVH-Bench.

• Rendimiento Base: Los modelos muestran un rendimiento muy bajo en las métricas p-Acc y q-Acc, indicando una incapacidad general para resolver la confusión multi-vista. Los modelos de código abierto mostraron una mayor tendencia a seleccionar distractores adversarios (AER alto).
• Eficacia de RSCD:
  • En Qwen2.5-VL, RSCD mejoró el puntaje general (MVH-Score) en 21.1 puntos en comparación con el modelo base y superó a métodos anteriores como AvisC.
  • En LLaVA-OneVision, la mejora fue aún más drástica, alcanzando 34.6 puntos de mejora sobre el modelo base.
  • RSCD superó consistentemente a otras técnicas de mitigación de alucinaciones como VCD, ICD y AvisC en todas las categorías y modelos probados.
• Eficiencia: A diferencia de otros métodos que requieren modificar la entrada de imagen o recalcular representaciones visuales, RSCD es eficiente porque reutiliza los estados clave-valor (KV) de las imágenes, aumentando solo marginalmente el costo de inferencia (de 0.81s a 0.89s por consulta).

5. Significado e Impacto

Este trabajo es fundamental porque:

• Expone una brecha crítica: Muestra que, a pesar de los avances en LVLMs, estos modelos carecen de la capacidad de razonamiento espacial y contextual necesario para manejar escenarios multi-vista reales, lo cual es esencial para aplicaciones de robótica y sistemas de seguridad.
• Ofrece una solución práctica: RSCD demuestra que se pueden corregir errores de fundamentación complejos sin necesidad de costosos procesos de reentrenamiento o ajuste fino (fine-tuning), simplemente manipulando la dinámica de atención durante la inferencia.
• Establece un nuevo estándar: MVH-Bench proporciona una herramienta necesaria para que la comunidad evalúe y mejore la robustez de los modelos multimodales en entornos de visión complejos y dinámicos.

En conclusión, el artículo demuestra que la interferencia visual entre múltiples vistas es un obstáculo mayor para la precisión de los LVLMs y que la técnica de decodificación contrastiva propuesta (RSCD) es una solución efectiva y eficiente para mitigar este fenómeno.