VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing

Resumen Técnico: VCE (Visual Contrastive Editing)

1. El Problema: Alucinación de Objetos en LVLMs

Los Modelos Grandes de Lenguaje Visuales (LVLMs) sufren frecuentemente de alucinación de objetos (Object Hallucination - OH). Esto ocurre cuando el modelo genera descripciones que incluyen objetos que no están presentes en la imagen de entrada.

• Causa raíz: El problema se atribuye a priors lingüísticos (sesgos aprendidos durante el preentrenamiento). El modelo tiende a generar palabras basándose en su co-ocurrencia estadística (ej. asociar "plato" con "tenedor") en lugar de depender de la evidencia visual real.
• Impacto: Esta falla es crítica en aplicaciones de alto riesgo como la imagen médica (diagnósticos incorrectos) y la conducción autónoma (acciones inseguras).
• Limitaciones de métodos existentes: Las soluciones actuales suelen requerir:
  • Datos etiquetados específicos para alucinaciones.
  • Ajuste fino (fine-tuning) costoso.
  • Múltiples pasadas de inferencia (aumentando la latencia y el costo computacional).
  • Módulos de validación que parchean síntomas en lugar de abordar la causa mecánica.

2. Metodología: Visual Contrastive Editing (VCE)

VCE es un método post-hoc (aplicado después del entrenamiento) y libre de etiquetas que mitiga las alucinaciones mediante la edición de parámetros del modelo sin necesidad de reentrenamiento.

Fases del proceso:

1. Construcción de Pares Contrastivos:

   • Se generan automáticamente pares de imágenes: una imagen original ($I$) y una versión perturbada ($I'$).
   • La perturbación se realiza mediante un proceso de difusión hacia adelante que altera características visuales localizadas mientras preserva la semántica global.
   • El modelo procesa ambas imágenes con el mismo prompt textual ($x$).

2. Identificación de Desplazamientos (Logit Shifts):

   • Se comparan los estados ocultos ($H^+$ para la imagen original, $H^-$ para la perturbada) y los logits de salida.
   • Se calcula la magnitud del desplazamiento de logits ($\Delta_t$) para cada token. Los tokens con grandes diferencias se consideran candidatos a alucinación (donde el modelo es sensible a la perturbación visual).
   • Se asignan pesos ($w_i$) a estos tokens utilizando un método de puntuación-z robusto; los tokens con mayor incertidumbre o dependencia del prior lingüístico reciben mayor peso.

3. Descubrimiento del Subespacio de Alucinación (HalluSpace):

   • Se construye un vector de edición agregando las diferencias ponderadas de los estados ocultos entre las muestras positivas y negativas.
   • Se aplica Descomposición en Valores Singulares (SVD) a estos vectores para identificar las direcciones dominantes de alucinación en el espacio de características.
   • Se extraen los $k$ vectores singulares principales para formar el Subespacio de Alucinación ($S_k$).

4. Edición de Parámetros (Weight Editing):

   • Se proyectan los pesos originales del modelo ($W_l$) en el espacio nulo del subespacio de alucinación.
   • La fórmula de edición es: $W^{edited}_l = W_l (I - S_k S_k^\top)$.
   • Esta operación elimina matemáticamente los componentes que impulsan las alucinaciones sin afectar la capacidad del modelo para generar información veraz.

3. Contribuciones Clave

• Marco Libre de Etiquetas: Demuestra que las perturbaciones visuales controladas exponen las firmas de alucinación, eliminando la necesidad de datos de entrenamiento etiquetados manualmente.
• Edición de Modelos en Subespacio: Desarrolla un método ligero basado en SVD para editar parámetros directamente, reduciendo las alucinaciones sin necesidad de post-entrenamiento (fine-tuning).
• Eficiencia Práctica y Cero Costo: A diferencia de métodos que requieren múltiples inferencias, VCE se aplica offline (antes de la inferencia). Una vez editados los pesos, la velocidad de inferencia es idéntica a la del modelo original.

4. Resultados Experimentales

Los experimentos se realizaron en tres modelos populares (LLaVA-1.5, MiniGPT-4, mPLUG-Owl2) utilizando los benchmarks CHAIR (tasa de alucinación) y POPE (evaluación de presencia de objetos).

• Rendimiento en CHAIR: VCE logró los mejores resultados en todas las métricas (CHAIRs, CHAIRI y BLEU) para los tres modelos, superando a métodos de referencia como OPERA, Woodpecker y DoLa.
  • Ejemplo (LLaVA-1.5): Redujo CHAIRs de 19.3 (búsqueda voraz) a 15.4, mejorando simultáneamente la calidad del texto (BLEU).
• Rendimiento en POPE: VCE obtuvo la mayor precisión, exactitud y puntuación F1 en la detección de objetos, confirmando una mejora consistente en la grounding (anclaje) de objetos.
• Eficiencia Computacional:
  • La complejidad temporal de VCE es $O(n^2)$, idéntica a la búsqueda voraz estándar.
  • No introduce sobrecarga durante la inferencia, a diferencia de métodos como VCD que requieren $O(2n^2)$ por realizar dos pasadas.
• Estudios de Ablación:
  • La edición en capas intermedias a profundas (ej. capas 16-32) ofrece el mejor equilibrio.
  • Un rango de rango bajo en SVD ($k=4$) es suficiente para capturar las direcciones de alucinación sin perder semántica veraz.

5. Significado e Impacto

VCE representa un avance significativo en la seguridad de la IA multimodal al ofrecer una solución escalable y práctica para un problema crítico.

• Viabilidad de Despliegue: Al no requerir datos etiquetados ni recursos computacionales adicionales durante la inferencia, es ideal para entornos con recursos limitados.
• Enfoque Mecanístico: Ataca la causa raíz (los priors lingüísticos en el espacio latente) en lugar de simplemente penalizar tokens durante la generación.
• Generalización: Su diseño agnóstico al modelo permite aplicarlo fácilmente a diferentes arquitecturas LVLM y extenderlo a otros dominios de modalidades.

En conclusión, VCE demuestra que es posible suprimir eficazmente las alucinaciones de objetos mediante una edición matemática precisa de los pesos del modelo, manteniendo la velocidad y la calidad de generación originales.