Online Self-Calibration Against Hallucination in Vision-Language Models

1. Planteamiento del Problema

Los Modelos Grandes Visión-Idioma (LVLM) sufren frecuentemente de alucinaciones, generando descripciones que contienen detalles visuales ausentes en la imagen de entrada (por ejemplo, objetos inexistentes o atributos incorrectos).

• La Limitación de los Métodos Actuales: Los enfoques recientes dependen de la alineación de preferencias fuera de línea (por ejemplo, RLHF, DPO) utilizando supervisión destilada de modelos maestros más fuertes (como GPT-4) o anotaciones humanas.
• El Problema Central: Desajuste Supervisión-Percepción: El artículo argumenta que forzar a un modelo estudiante más débil a alinearse con descripciones de alta fidelidad y granularidad fina de un maestro más fuerte crea un desajuste. El modelo estudiante carece de la capacidad perceptiva para verificar estos detalles, lo que lo obliga a "adivinar" basándose en prioridades lingüísticas en lugar de "ver" la imagen. Esto paradójicamente aumenta las tasas de alucinación a medida que el modelo aprende a imitar detalles sin fundamento que no puede percibir.

2. Observaciones Clave y Motivaciones

Los autores identifican dos fenómenos críticos para abordar el problema:

1. Desajuste Supervisión-Percepción: Los experimentos empíricos muestran que el ajuste fino de LLaVA-1.5 con datos destilados de un modelo más fuerte (Qwen3-VL) en realidad degrada el rendimiento en los puntos de referencia de alucinación (por ejemplo, POPE, CHAIR) en comparación con la línea base. El modelo aprende a alucinar para coincidir con los detalles imposibles de percibir del maestro.
2. Brecha Generativa-Discriminativa: Los LVLM exhiben una brecha significativa de rendimiento entre la generación abierta y la verificación discriminativa.
   • Generación: El modelo a menudo sucumbe a la "inercia lingüística", alucinando objetos para satisfacer las expectativas del prompt.
   • Verificación: Cuando se le pregunta explícitamente "¿Está el objeto X en la imagen?", el mismo modelo demuestra una precisión mucho mayor en identificar correctamente la ausencia de objetos.
   • Implicación: El modelo posee una capacidad latente de auto-verificación que está subutilizada durante la generación estándar.

3. Metodología: Marco OSCAR

Los autores proponen Auto-calibración en Línea (OSCAR), un marco que aprovecha las propias capacidades discriminativas del modelo para generar datos de entrenamiento de alta calidad en línea, evitando el desajuste supervisión-percepción.

A. Generación Guiada por MCTS

En lugar de la búsqueda codiciosa o por haz estándar, OSCAR utiliza la Búsqueda en Árbol de Monte Carlo (MCTS) para explorar el espacio de generación. Esto permite una "mirada hacia adelante", identificando tokens que podrían parecer localmente seguros pero que conducen a alucinaciones aguas abajo.

• Estado: Respuestas parciales (oraciones).
• Acción: Generar la siguiente oración.
• Fases de Búsqueda: Selección (criterio PUCT), Expansión (muestreo de candidatos), Evaluación (Mecanismo de Recompensa) y Retropropagación.

B. Mecanismo de Recompensa de Doble Granularidad

Para guiar el MCTS, se diseña un sistema de recompensas novedoso que equilibra la fidelidad local y la calidad global:

1. Recompensa de Proceso (Nivel de Nodo):
   • Para cada oración generada, se pide al modelo que actúe como un discriminador: "¿Menciona esta oración objetos que no están presentes en la imagen?".
   • La recompensa es la probabilidad de que el modelo responda "No" (indicando que la oración está libre de alucinaciones).
   • Objetivo: Suprimir los tokens tempranos que arriesgan inducir futuras alucinaciones.
2. Recompensa de Resultado con Puerta (Nivel de Trayectoria):
   • Evalúa la respuesta completa solo si pasa una verificación estricta de fidelidad (comparando los objetos extraídos con la verdad fundamental).
   • Si la trayectoria contiene alucinaciones, la recompensa es 0.
   • Si pasa, se asigna una puntuación de calidad (consistencia lógica, fluidez, redundancia).
   • Objetivo: Asegurar que la salida final esté fundamentada fácticamente y sea de alta calidad.

C. Aprendizaje de Preferencias Iterativo (DPO)

• Construcción de Datos: Se extraen pares de preferencia del árbol MCTS:
  • Trayectoria Global: Comparando la trayectoria de mayor valor (Elegida) vs. la trayectoria de menor valor (Rechazada).
  • Comparación de Hermanos: Comparando el nodo óptimo en una profundidad específica vs. su hermano de peor rendimiento.
• Entrenamiento: El modelo se actualiza utilizando Optimización Directa de Preferencias (DPO).
• Bucle en Línea: El modelo actualizado genera nuevos datos de preferencia en la siguiente iteración, creando un ciclo virtuoso donde la distribución de entrenamiento evoluciona con los límites perceptivos mejorados del modelo.

4. Contribuciones Clave

1. Identificación del Desajuste: Demostración empírica de que la destilación fuera de línea de maestros más fuertes puede exacerbar las alucinaciones debido al Desajuste Supervisión-Percepción.
2. Marco OSCAR: Propuesta de un nuevo paradigma de entrenamiento que explota la Brecha Generativa-Discriminativa. Al integrar MCTS con una Recompensa de Doble Granularidad, permite que el modelo se autocorrija y suprima tokens que inducen alucinaciones mediante una mirada hacia adelante.
3. Rendimiento de Vanguardia: Logró resultados SOTA en puntos de referencia de alucinación mientras mejoraba simultáneamente las capacidades generales de comprensión multimodal.

5. Resultados Experimentales

Los experimentos se realizaron en LLaVA-1.5 (7B y 13B) a través de múltiples puntos de referencia (Object-HalBench, AMBER, MM-VET, POPE).

• Reducción de Alucinaciones:
  • En LLaVA-1.5-7B, OSCAR redujo CHAIRs de 49.0 a 27.6 y CHAIRi de 14.3 a 8.2.
  • En LLaVA-1.5-13B, la mejora fue aún más drástica, reduciendo CHAIRs de 44.8 a 5.4 (una reducción del 87.9%).
• Capacidad General: A diferencia de los métodos que sacrifican fluidez por precisión, OSCAR mejoró la puntuación MM-VET (comprensión multimodal general) de 32.5 a 34.6 para el modelo de 7B.
• Mejora Iterativa: El rendimiento mejoró consistentemente a lo largo de 3 iteraciones, validando el bucle de auto-calibración en línea.
• Estudios de Ablación: Confirmaron que los tres componentes (Recompensa de Proceso, Recompensa de Resultado con Puerta y MCTS) son esenciales. La eliminación de MCTS o los mecanismos de recompensa específicos condujo a caídas significativas en el rendimiento.
• Comparación con SFT: El SFT utilizando datos construidos con OSCAR superó significativamente al SFT utilizando datos destilados del maestro (que aumentó las alucinaciones) y al SFT utilizando la generación cruda del propio modelo.

6. Significado

Este artículo ofrece un cambio de paradigma en la mitigación de las alucinaciones de los LVLM:

• De Fuera de Línea a En Línea: Se aleja de depender de supervisión externa, potencialmente desajustada, hacia el aprendizaje auto-supervisado en línea.
• Respeto a los Límites Perceptivos: Enfatiza que los datos de entrenamiento deben respetar los límites perceptivos intrínsecos del modelo. Forzar a un modelo a describir lo que no puede ver conduce al fracaso; permitirle verificar lo que ve conduce al éxito.
• Autocorrección: Demuestra que los LVLM tienen una capacidad latente para verificar sus propias salidas, la cual puede desbloquearse mediante la solicitud discriminativa y el MCTS, permitiendo una mejora continua sin etiquetas humanas o de maestros externas.