Mitigating Multimodal Hallucination via Phase-wise Self-reward

Resumen Técnico: Mitigación de Alucinaciones Multimodales mediante Recompensa Propia por Fases (PSRD)

1. El Problema

Los Modelos de Lenguaje y Visión Grandes (LVLMs) han demostrado un rendimiento notable en tareas multimodales, pero siguen siendo propensos a las alucinaciones visuales: generan respuestas que son factualmente inconsistentes con la entrada visual.

• Limitaciones de los métodos actuales:
  • Ajuste fino (Fine-tuning): Los métodos basados en optimización de preferencias (DPO) requieren grandes cantidades de datos anotados por humanos o distilados, lo que implica costos computacionales prohibitivos y rigidez.
  • Estrategias post-hoc estáticas: Métodos existentes que corrigen la respuesta después de generarla o inyectan señales de contraste constantes a menudo ignoran la naturaleza dinámica de cómo surgen las alucinaciones, fallando en intervenir en los momentos críticos.

2. Metodología Propuesta: PSRD

Los autores proponen PSRD (Phase-wise Self-Reward Decoding), un marco de recompensa propia que permite la mitigación dinámica de alucinaciones en tiempo de inferencia sin supervisión externa.

A. Descubrimiento Empírico: Patrones por Fases
El análisis inicial revela que las alucinaciones visuales no son uniformes durante la generación. Exhiben un patrón dinámico por fases:

• La severidad de la alucinación varía a lo largo de la generación.
• Pico crítico: La tasa de alucinación alcanza su máximo en el inicio de cada fase semántica (cuando el modelo inicia un nuevo elemento descriptivo). En estos puntos de transición, el modelo es más vulnerable a fallas de anclaje (grounding) entre el contexto lingüístico y la evidencia visual.

B. Arquitectura del Sistema
El framework consta de dos componentes principales:

1. Modelo de Recompensa Ligero (Distilado):

   • En lugar de consultar al LVLM principal repetidamente (lo cual es lento), se extrae su capacidad intrínseca de discriminación en un modelo de recompensa ligero.
   • Generación de Señales de Incertidumbre: Se elicitan comportamientos de alucinación mediante perturbaciones controladas (ruido en la imagen, instrucciones engañosas).
   • Señales de Autoevaluación: El LVLM evalúa la consistencia factual de frases generadas por fases, generando señales de incertidumbre (probabilidades de "Grounded" vs. "Hallucinated").
   • Entrenamiento del Modelo de Recompensa (R): Se entrena un modelo basado en CLIP utilizando un mecanismo de ponderación guiado por incertidumbre. La función de pérdida combina tres objetivos:
     • Alineación Discriminativa (LDA): Distinguir entre frases ancladas y alucinadas.
     • Enforcement de Margen (LMargin): Asegurar una separación robusta en el espacio de características.
     • Consistencia de Alucinación (LHC): Agrupar las representaciones de diferentes frases alucinadas para el mismo objeto.

2. Intervención Dirigida Guiada por Recompensa:

   • Durante la decodificación, el modelo de recompensa monitorea la generación en tiempo real.
   • Estrategia "Scout-and-Project" (Exploración y Proyección):
     • Fase 1 (Exploración): Se evalúan las $K$ primeras ramas de decodificación con fuerza de intervención cero para identificar una trayectoria semilla prometedora.
     • Fase 2 (Proyección Local): Si la trayectoria no supera un umbral de recompensa ($\tau$), se realiza una búsqueda local acotada para ajustar la fuerza de intervención ($\alpha$) mediante un método de tipo secante, evitando suposiciones de monotonía global.
   • Esto permite una intervención dinámica y dirigida específicamente en los inicios de las fases problemáticas.

3. Contribuciones Clave

• Análisis de Dinámica de Alucinación: Demostración empírica de que las alucinaciones tienen un patrón temporal específico, picando en los límites de las fases semánticas.
• Marco de Recompensa Propia (PSRD): Un método que no requiere datos anotados externos ni ajuste fino del modelo base, utilizando señales de autoevaluación distiladas.
• Modelo de Recompensa Eficiente: Creación de un modelo ligero que guía la decodificación, reduciendo la sobrecarga computacional de la autoevaluación repetida.
• Control de Propagación: El método no solo corrige errores existentes, sino que previene su propagación a pasos de generación posteriores al intervenir tempranamente.

4. Resultados Experimentales

Los experimentos se realizaron en cinco benchmarks (AMBER, MMHal-Bench, Object HalBench, POPE, MHal-detect) y cuatro LVLMs diferentes (LLaVA-1.5-7B, LLaVA-1.5-13B, InstructBLIP, LLaVA-NeXT).

• Rendimiento General:
  • PSRD reduce la tasa de alucinación de LLaVA-1.5-7B en un 50.0% (medido por la métrica CHAIR en AMBER).
  • Supera consistentemente a los métodos post-hoc existentes (como VCD, M3ID, OPERA, Octopus) y se compara favorablemente con métodos de ajuste fino costosos.
• Mitigación de Propagación:
  • La tasa de acumulación de alucinaciones a nivel de fase ($R_{acc}$) de PSRD es de 0.07%, aproximadamente 7 veces menor que la del modelo base (0.35%) y de otros métodos dinámicos.
• Eficiencia y Compromiso:
  • Existe un compromiso altamente controlable entre la eficacia de mitigación y el tiempo de inferencia. Al ajustar el umbral $\tau$, se puede equilibrar la reducción de alucinaciones con el costo computacional.
• Calidad de Generación:
  • Evaluaciones humanas (simuladas con LLM) confirman que PSRD mantiene la fluidez y la calidad gramatical, siendo preferido sobre métodos competidores en la mayoría de los casos.

5. Significado e Impacto

Este trabajo establece un nuevo paradigma para la mitigación de alucinaciones en LVLMs:

1. Cambio de Perspectiva: Propone que la discriminación (identificar alucinaciones) es estructuralmente más tratable que la generación, y que entrenar discriminadores robustos para guiar el proceso generativo es más eficiente que escalar el generador mismo.
2. Escalabilidad: Al eliminar la necesidad de datos anotados masivos y el ajuste fino completo, PSRD ofrece una ruta escalable para mejorar la fiabilidad de los modelos multimodales en aplicaciones del mundo real.
3. Autonomía: El enfoque de "recompensa propia" permite que los modelos evolucionen y se corrijan dinámicamente durante la inferencia, utilizando su propio conocimiento interno calibrado.

En resumen, PSRD representa un avance significativo hacia LVLMs más confiables, precisos y eficientes, abordando el problema de las alucinaciones en su origen dinámico sin incurrir en costos de entrenamiento excesivos.