Resumen Técnico: GHOST – Generación de Imágenes Inductoras de Alucinaciones para LLMs Multimodales

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) sufren de alucinación de objetos, un modo de fallo donde el modelo predice incorrectamente la presencia de un objeto que está ausente en la imagen de entrada. Los métodos de evaluación actuales dependen de benchmarks estáticos con escenarios visuales fijos y conjuntos de imágenes curadas. Estos enfoques limitan el análisis a escenarios conocidos, fallando al descubrir vulnerabilidades específicas del modelo o patrones de alucinación no anticipados. Además, los métodos existentes para el descubrimiento de alucinaciones carecen de una forma sistemática de evaluar qué tipos de imágenes activan errores o dependen de procesos intensivos en recursos que no logran desacoplar eficazmente la optimización de la generación de imágenes.

Metodología: GHOST

Los autores presentan GHOST (Generación de Alucinaciones mediante la Optimización de Tokens Sigilosos), un pipeline totalmente automático y no supervisado diseñado para someter a pruebas de estrés a los MLLMs mediante la síntesis de imágenes que inducen alucinaciones sin insertar el objeto objetivo.

Arquitectura Central

GHOST opera mediante la optimización en el espacio de embedding de la imagen en lugar del espacio de píxeles, utilizando un modelo de difusión para generar la imagen final. El pipeline consta de tres componentes principales:

1. Mapeador del Espacio de Embedding ($\Pi$):
   Para cerrar la brecha entre el codificador de visión del MLLM objetivo ($V_M$) y el espacio de embedding de CLIP utilizado por el modelo de difusión, GHOST emplea un Perceptrón Multicapa (MLP) ligero. Este mapeador se entrena para alinear los embeddings de CLIP con los tokens de visión del MLLM utilizando una pérdida de Error Cuadrático Medio (MSE). Este desacoplamiento permite una optimización eficiente sin necesidad de retropropagar a través de todo el MLLM y el pipeline de difusión simultáneamente.

2. Objetivo de Optimización:
   Dada una imagen de entrada $X_v$ (que carece del objeto objetivo $t$) y una consulta de prompt $X_q$ (por ejemplo, "¿Ves un $t$?"), GHOST optimiza un embedding de CLIP $c$ para satisfacer tres restricciones:

   • Proximidad: El embedding optimizado $c$ debe permanecer cerca del embedding de la imagen original $c_0$ (regularizado mediante una penalización $\ell_2$) para preservar la semántica de alto nivel.
   • Ausencia de Semántica del Objeto: El embedding no debe codificar el objeto objetivo en sí mismo. Esto se garantiza penalizando la similitud de coseno entre $c$ y un "embedding composicional" derivado de diversas descripciones textuales del objeto objetivo (incluyendo descripciones directas, plantillas genéricas y subtítulos de COCO extraídos).
   • Inducción de Alucinación: El embedding debe maximizar la probabilidad de que el MLLM produzca un token de "Sí" ($y^*$). La pérdida adversarial se define como $-\log p(y^* | X_q, \Pi(c))$, donde $y^*$ es el token objetivo.

3. Difusión Guiada:
   Una vez que un embedding $c$ satisface el umbral de alucinación, este condiciona un Modelo de Difusión Latente (específicamente Stable Diffusion unCLIP). A diferencia de la generación estándar desde ruido, GHOST comienza el proceso de difusión inversa desde un latente parcialmente ruidoso de la imagen original. Esto asegura que la imagen generada mantenga la integridad estructural de la entrada mientras introduce señales semánticas sutiles y engañosas.

   • Filtrado: Un detector de objetos de vocabulario abierto (OWLv2) estricto filtra las imágenes generadas. Si el detector identifica el objeto objetivo, la muestra se descarta. El éxito se define únicamente cuando el MLLM alucina el objeto mientras el detector confirma su ausencia.

Contribuciones Clave

• Generación Activa de Casos de Fallo: A diferencia de los benchmarks estáticos, GHOST sintetiza activamente imágenes que exponen puntos ciegos específicos del modelo, descubriendo disparadores visuales novedosos y no anticipados para la alucinación.
• Optimización Desacoplada: Al mapear los embeddings de CLIP al espacio de visión del MLLM, GHOST evita los cuellos de botella computacionales de la optimización de píxeles de extremo a extremo, logrando una aceleración de 5 veces en comparación con métodos previos como DASH.
• Perturbaciones a Nivel Semántico: El método introduce pistas sutiles a nivel semántico (por ejemplo, modificar el tallo de un plátano para que se asemeje al borde de un cuchillo) que son perceptibles para los humanos como variaciones naturales pero suficientes para empujar al modelo a través de la frontera de decisión.
• Transferibilidad: El método demuestra que las imágenes inductoras de alucinaciones optimizadas para un modelo suelen transferirse a otros, revelando vulnerabilidades sistémicas en diferentes arquitecturas de MLLM.

Resultados Experimentales

Los autores evaluaron GHOST en tres MLLMs de código abierto: Qwen2.5-VL, LLaVA-v1.6 y GLM-4.1V-Thinking.

• Tasa de Éxito: GHOST logró tasas de éxito de alucinación de entre el 28.1% y el 32.4% en los modelos probados. En contraste, el método anterior de vanguardia, DASH, logró solo un 0.1% en el mismo conjunto de datos basado en COCO.
• Transferibilidad: Las imágenes optimizadas para Qwen2.5-VL indujeron alucinaciones en GPT-4o con una tasa del 66.5%, y en otros modelos (LLaMA3.2, Aya, Gemini) con tasas que oscilan entre el 42% y el 72%, lo que indica fallos compartidos.
• Calidad de la Imagen: Las métricas cuantitativas (FID) y la evaluación humana confirmaron que las imágenes generadas son de alta calidad y visualmente naturales. Los anotadores humanos estuvieron de acuerdo en que el objeto objetivo estaba ausente en el 86–89% de las imágenes de GHOST, comparable a los métodos de difusión base.
• Mitigación: El ajuste fino (fine-tuning) de Qwen2.5-VL con imágenes sintéticas generadas por GHOST mejoró la robustez en los benchmarks de alucinación de downstream (POPE y CHAIR) manteniendo las capacidades de visión-lenguaje generales (VQAv2, COCO Captioning).

Significado y Reivindicaciones

El artículo posiciona a GHOST tanto como una herramienta diagnóstica como correctiva para construir sistemas multimodales fiables.

• Diagnóstica: Revela que los MLLMs dependen de correlaciones espurias y pistas visuales sutiles en lugar de una detección de objetos robusta, exponiendo vulnerabilidades que los benchmarks estáticos pasan por alto.
• Correctiva: Los autores demuestran que entrenar con estos casos de fallo sintéticos puede mitigar las alucinaciones, sugiriendo un camino para mejorar la robustez del modelo.
• Escalabilidad: Al desacoplar la optimización del generador de imágenes, GHOST ofrece un marco escalable para realizar pruebas de estrés a futuros MLLMs, incluyendo modelos basados en razonamiento como GLM-4.1V-Thinking, donde logró desviar con éxito la trayectoria de razonamiento del modelo para justificar objetos inexistentes.

Los autores reconocen las limitaciones, señalando la dependencia del método en modelos de difusión capaces de condicionamiento por embedding de imagen (como unCLIP) y el enfoque actual centrado principalmente en alucinaciones de objetos, aunque experimentos preliminares sugieren la aplicabilidad a alucinaciones de atributos y relaciones.