Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs

Aquí se presenta un resumen técnico detallado del artículo "Alineándose con tu propia voz: Aprendizaje de preferencias auto-corregido para la mitigación de alucinaciones en LVLMs".

1. Declaración del Problema

Los Modelos de Lenguaje y Visión Grandes (LVLM) sufren frecuentemente de alucinaciones, generando contenido inconsistente con las imágenes de entrada (por ejemplo, objetos inexistentes, atributos incorrectos o relaciones erróneas). Aunque la Optimización Directa de Preferencias (DPO) ha surgido como una solución principal para mitigar esto alineando los modelos con las preferencias humanas, los enfoques existentes enfrentan dos limitaciones críticas:

1. Desajuste Distribucional: La mayoría de los métodos dependen de modelos propietarios (por ejemplo, GPT-4V) para generar respuestas "preferidas" (factuales). Esto introduce un desplazamiento de distribución porque los patrones de corrección del modelo externo difieren de la distribución intrínseca del LVLM objetivo, obstaculizando una alineación eficiente.
2. Sesgo hacia la Existencia de Objetos: Los conjuntos de datos y objetivos de entrenamiento existentes se centran principalmente en la presencia de objetos (existencia binaria), descuidando las alucinaciones finas que involucran atributos (por ejemplo, color, material) y relaciones (por ejemplo, posicionamiento espacial).

2. Metodología: AVES-DPO

Los autores proponen AVES-DPO (Alineación mediante Auto-corrección Verificada DPO), un marco que elimina la dependencia de modelos propietarios externos aprovechando el conocimiento intrínseco del modelo objetivo para generar datos de preferencia dentro de la distribución. El marco consta de dos etapas distintas:

A. Verificación de Alucinaciones

Esta etapa diagnostica errores en la respuesta inicial del modelo ($y_{init}$) utilizando un mecanismo de verificación basado en consenso:

• Extracción de Grafo de Escena: La respuesta se analiza para extraer un grafo de escena estructurado que contiene Objetos ($O$), Atributos ($A$) y Relaciones ($R$).
• Verificación por Consenso: Dos modelos de verificación independientes ($V_1, V_2$) verifican la facticidad de cada elemento.
  • Verificación de Objetos: Utiliza detectores de código abierto robustos (YOLO, Grounding DINO). Los casos ambiguos se resuelven mediante una verificación secundaria utilizando modelos Qwen3-VL.
  • Verificación de Atributos y Relaciones: Solo los objetos verificados se comprueban en cuanto a atributos y relaciones utilizando modelos Qwen3-VL.
  • Regla de Consenso: Una etiqueta se finaliza solo si ambos modelos están de acuerdo; de lo contrario, se marca como "Ambigua".
• Candidatos de Corrección: Si un elemento está alucinado, el sistema recupera un reemplazo correcto de un vocabulario pre-construido (derivado de GQA y MS-COCO) basado en subtipos semánticos.

B. Auto-corrección

Guiado por los diagnósticos de verificación, el LVLM refina su propia salida en dos fases:

1. Rectificación Factual: El modelo elimina elementos alucinados o los reemplaza con contenido verificado y correcto, produciendo una respuesta concisa y factualmente precisa.
2. Rico Enriquecimiento: Para evitar que la respuesta se vuelva demasiado escasa, el modelo añade detalles visuales faltantes fundamentados en la imagen.
   • Filtrado Iterativo: Un ciclo garantiza la calidad. El texto enriquecido se retroalimenta al módulo de verificación. Si se detectan alucinaciones, se vuelve a generar. Este bucle se ejecuta hasta 3 veces (para modelos de 7B) o 5 veces (para modelos de 13B).
   • Restricciones Negativas: Se instruye explícitamente al modelo que no mencione objetos previamente identificados como alucinados.

C. Aprendizaje de Preferencias

El proceso genera un conjunto de datos de preferencia $\mathcal{D}_{SC}$ compuesto por pares $(x, y^+, y^-)$, donde:

• $y^-$: La respuesta inicial alucinada.
• $y^+$: La respuesta final auto-corregida y enriquecida.
• Objetivo de Entrenamiento: El modelo se optimiza utilizando la función de pérdida DPO estándar para maximizar la probabilidad de $y^+$ sobre $y^-$, enseñando efectivamente al modelo a preferir sus propias salidas verificadas y factuales.

3. Contribuciones Clave

• Alineación Dentro de la Distribución: AVES-DPO es el primer marco que genera pares de preferencia estrictamente a partir del conocimiento intrínseco del modelo objetivo, resolviendo el problema de desajuste distribucional inherente al uso de modelos externos "maestros".
• Mitigación Integral de Alucinaciones: A diferencia de trabajos anteriores que se centran principalmente en la existencia de objetos, AVES-DPO aborda un amplio espectro de alucinaciones, incluyendo atributos y relaciones, a través de su pipeline de verificación granular.
• Alta Eficiencia de Datos: El método logra un rendimiento de vanguardia utilizando solo 5.2k muestras (para el modelo de 7B), lo que es aproximadamente 25 veces menos datos que métodos como LLaVA-RLHF, sin requerir costosas llamadas a APIs propietarias.
• Pipeline de Verificación Robusto: La introducción de una estrategia de verificación basada en consenso de dos fases (combinando detectores y VLM) garantiza datos de preferencia de alta calidad y libres de ruido.

4. Resultados Experimentales

Los autores evaluaron AVES-DPO en LLaVA-1.5 (7B y 13B) a través de múltiples puntos de referencia:

• Puntos de referencia de Alucinaciones (Object-Hal, AMBER, MMHal-Bench):
  • AVES-DPO logró un rendimiento SOTA en más del 60% de las métricas de evaluación para el modelo de 7B.
  • Redujo significativamente las puntuaciones CHAIR (tasas de alucinación) en comparación con líneas base como POVID, oDPO y SENTINEL.
  • Ganancias Finas: El método mostró mejoras sustanciales en las categorías de relación y atributo, donde otros métodos a menudo luchan. Por ejemplo, en el punto de referencia AMBER, logró una puntuación de 66.6 en la categoría "Relación" para el modelo de 7B, superando a las líneas base que a menudo degradaban el rendimiento en esta área.
• Capacidades Multimodales Generales (Punto de referencia MME):
  • El modelo de 7B mostró mejoras significativas en tareas generales de percepción y reconocimiento, confirmando que la mitigación de alucinaciones no degradó las capacidades generales.
  • Nota: El modelo de 13B mostró una ligera compensación en los puntos de referencia generales, lo que sugiere la necesidad de estrategias conscientes de la escala para equilibrar el fundamento factual con la recuperación de conocimientos amplios.
• Estudios de Ablación:
  • Desajuste Distribucional: La visualización de los márgenes de preferencia mostró que la auto-corrección se alinea con la distribución interna del modelo (margen cerca de cero/positivo), mientras que la supervisión externa de GPT-4V causó un desplazamiento negativo (desajuste distribucional).
  • Eficiencia de Datos: Las ganancias de rendimiento fueron significativas incluso con tan solo 600 muestras, observándose rendimientos decrecientes más allá de las 5.2k muestras.

5. Significado

Este artículo presenta un cambio de paradigma en la mitigación de alucinaciones para LVLMs. Al demostrar que la auto-corrección es superior a la supervisión externa para el aprendizaje de preferencias, AVES-DPO ofrece una solución rentable, escalable y eficiente en datos. Elimina la dependencia de APIs propietarias costosas (como GPT-4V) mientras aborda simultáneamente un rango más amplio de tipos de alucinación (objetos, atributos, relaciones). El marco demuestra que los LVLMs pueden aprender efectivamente a alinearse con sus propias bases de conocimiento internas para producir salidas más factuales y fiables.