Mechanisms of Prompt-Induced Hallucination in Vision-Language Models

Resumen Técnico: Mecanismos de la Alucinación Inducida por Prompts en VLMs

1. El Problema: Alucinación Inducida por Prompts (PIH)

Los Modelos de Lenguaje y Visión (VLMs) son altamente capaces, pero sufren de un fallo crítico conocido como Alucinación Inducida por Prompts (PIH). Este fenómeno ocurre cuando el modelo prioriza la información textual del prompt sobre la evidencia visual contradictoria.

• Escenario de estudio: Los autores investigan este fallo en una tarea controlada de conteo de objetos. Se presentan imágenes con un número real de objetos ($N$) y se solicita al modelo que describa un número diferente ($N+k$), exagerando la cantidad (ej. "Describe las 4 nenúfares" cuando solo hay 3).
• Observación clave: A bajas cantidades de objetos, los modelos suelen corregir el prompt y reportar el número real. Sin embargo, a medida que aumenta la cantidad de objetos (especialmente $>4$), los modelos tienden a conformarse con el prompt, alucinando objetos inexistentes, independientemente de la discrepancia visual. Esto sugiere que el fallo no es una incapacidad de razonamiento numérico, sino una preferencia sistemática por el texto sobre la visión.

2. Metodología

El estudio se basa en un análisis mecanicista (interpretabilidad) de tres VLMs de última generación: LLaVA-OneVision-7B, Qwen2-VL-7B y Janus-Pro-7B.

• Configuración Experimental:

  • Se utiliza el benchmark CountBench para tareas de conteo y Visual CounterFact para tareas de identificación de colores.
  • Se generan prompts desalineados donde se pide describir $N+k$ objetos o un color incorrecto.
  • Se filtran las muestras donde el modelo acierta en el conteo base para aislar el efecto del conflicto prompt-imagen.

• Técnica de Intervención: Ablación de Cabezas de Atención

  • En lugar de reentrenar el modelo, los autores utilizan la ablación de cabezas de atención (knockouts).
  • Se identifica causalmente qué cabezas de atención específicas son responsables de propagar la información errónea del prompt.
  • Se realiza una ablación media (mean ablation) en cabezas individuales y grupos de cabezas para observar el cambio en el comportamiento del modelo.
  • Se mide el éxito de la ablación como la fracción de muestras que pasan de alinear con el prompt (alucinación) a alinear con la verdad visual (corrección).

3. Contribuciones Clave

1. Identificación de un Subconjunto Crítico de Cabezas: Se descubrió que un pequeño conjunto de cabezas de atención (generalmente entre 3 y 10 por modelo) es responsable de la PIH. La ablación de estas cabezas reduce las alucinaciones en un 40% a 95% sin necesidad de entrenamiento adicional.
2. Localización en Capas Tempranas: Las cabezas PIH se localizan predominantemente en las capas tempranas y medias del modelo (especialmente en la capa 0 y 1). Esto indica que la información numérica o semántica del prompt se inyecta y propaga antes de una integración multimodal profunda o un razonamiento de alto nivel.
3. Origen del LLM: Existe una superposición significativa de cabezas PIH entre modelos que comparten el mismo backbone de lenguaje (Qwen2), incluso si tienen diferentes encoders visuales. Esto sugiere que la PIH es un mecanismo inherente al componente de lenguaje, no a la fusión multimodal.
4. Generalización: Las cabezas identificadas en tareas de conteo también mitigan la PIH en tareas de identificación de colores, demostrando que el fenómeno no es específico de la aritmética, sino una tendencia general a copiar el formato y contenido del prompt.

4. Resultados Principales

• Reducción de Alucinaciones:

  • Tras la ablación, la tasa de coincidencia con el prompt (alucinación) cayó drásticamente (de ~42-64% a <11% en todos los modelos).
  • La tasa de coincidencia con el conteo real aumentó significativamente (hasta un 78% en LLaVA-OneVision).
  • La precisión en tareas base (sin conflicto) se mantuvo estable o mejoró ligeramente, confirmando que la intervención no degrada las capacidades generales.

• Mecanismos de Corrección (Diferencias entre Modelos):
  La ablación reduce la alucinación, pero lo hace mediante mecanismos distintos según el modelo:

  • LLaVA-OneVision: Muestra la mejora más robusta. La ablación suprime todas las formas de copia (exacta, de formato y suave) y aumenta drásticamente la atención hacia los tokens de la imagen (+12% en masa de atención). Esto indica una mayor dependencia de la evidencia visual.
  • Janus-Pro: La corrección se logra principalmente inhibiendo la copia de formato. El modelo deja de copiar el formato numérico del prompt (ej. dejar de usar dígitos si el prompt los usa) y produce respuestas libres, pero no aumenta significativamente la atención visual.
  • Qwen-VL: Curiosamente, la ablación aumenta la copia de formato (el modelo corrige el número pero mantiene el formato del prompt), aunque reduce la copia de contenido erróneo. Esto sugiere un mecanismo de corrección que prioriza la estructura del prompt sobre la libertad de expresión, aunque mejora la precisión.

• Desplazamiento de Atención:
  En todos los modelos, la ablación de las cabezas PIH provoca un desplazamiento de la masa de atención desde los tokens de texto hacia los tokens de imagen, especialmente en las primeras capas, lo que valida la hipótesis de que estas cabezas actúan como "bloqueos" que fuerzan al modelo a ignorar la visión.

5. Significado e Implicaciones

• Interpretabilidad Mecanística: El trabajo demuestra que las alucinaciones en VLMs no son un fallo difuso de "inteligencia", sino un comportamiento causalmente mediado por circuitos neuronales específicos y localizables.
• Intervenciones sin Entrenamiento: Ofrece un método práctico para mitigar alucinaciones en modelos desplegados sin necesidad de fine-tuning costoso o recolección de nuevos datos. Simplemente "silenciando" ciertas cabezas, el modelo se vuelve más confiable.
• Comprensión de la Arquitectura: Revela que la preferencia por el texto sobre la visión en conflictos se gestiona principalmente por el componente de lenguaje del modelo en sus etapas iniciales de procesamiento.
• Limitaciones: El estudio se centra en modelos de escala media (~7B). Es posible que los mecanismos específicos no se generalicen directamente a modelos mucho más grandes, y la interpretación exacta de los patrones de atención sigue siendo un desafío.

En conclusión, el paper proporciona una "cirugía" precisa para los VLMs, demostrando que la alucinación inducida por prompts es un fallo sistémico y corregible mediante la manipulación de componentes internos específicos, mejorando la fiabilidad de estos modelos en entornos del mundo real donde los prompts pueden ser inexactos o engañosos.