Resumen Técnico: Ceguera de Contexto en DPO: Mitigación de la Alucinación de Objetos en MLLMs mediante la Optimización de Preferencias Calibrada por Contexto

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han logrado avances significativos en tareas de visión y lenguaje, pero siguen siendo propensos a la alucinación de objetos, donde los modelos generan descripciones semánticamente plausibles que contradicen la entrada visual. Aunque la Optimización de Preferencia Directa (DPO) y sus variantes se han empleado para mitigar esto entrenando a los modelos para preferir respuestas no alucinadas sobre las alucinadas, los esfuerzos recientes que enriquecen los datos de preferencia con contexto relevante (por ejemplo, subtítulos auxiliares) han arrojado resultados poco claros respecto a la utilización real de dicho contexto por parte del modelo.

Los autores identifican una limitación fundamental en los objetivos de optimización de preferencia existentes: son ciegos al contexto. El DPO estándar optimiza el margen de preferencia para una entrada $x$ fija, pero no recompensa explícitamente al modelo por fortalecer su preferencia cuando se proporciona información contextual más rica. En consecuencia, incluso cuando se entrena con datos que contienen contexto útil, los modelos a menudo fallan al intentar aprovechar esta información para fundamentar sus respuestas, lo que conduce a una alucinación persistente.

2. Metodología

2.1 Métrica Diagnóstica: Ganancia de Preferencia Contextual (CPG)

Para investigar si los modelos realmente aprovechan el contexto, los autores introducen la Ganancia de Preferencia Contextual (CPG). Esta métrica cuantifica el cambio en la fuerza de la preferencia de un modelo cuando se proporciona contexto relevante adicional.

Dada una entrada de contexto completo $x$ (imagen, consulta y subtítulo auxiliar) y una entrada de contexto degradado $x'$ (imagen y consulta únicamente, sin el subtítulo), la puntuación de preferencia se define como el margen de recompensa implícito entre la respuesta preferida ($y_w$) y la respuesta despreferida ($y_l$):
$$\Delta \hat{r}_\theta(x, y_w, y_l) = \hat{r}_\theta(x, y_w) - \hat{r}_\theta(x, y_l)$$

La CPG se calcula como la diferencia entre estas puntuaciones:
$$\text{CPG}(x, x') = \Delta \hat{r}_\theta(x, y_w, y_l) - \Delta \hat{r}_\theta(x', y_w, y_l)$$

Observaciones Clave:

• Correlación: Existe una fuerte correlación negativa entre la CPG y las tasas de alucinación; los modelos con mayor CPG exhiben consistentemente menores niveles de alucinación.
• Ceguera de Contexto: El DPO estándar y sus variantes (SimPO, RDPO) presentan distribuciones de CPG concentradas cerca de cero. Esto indica que eliminar el contexto auxiliar causa un cambio mínimo en la preferencia del modelo, revelando que estos modelos no utilizan eficazmente la información contextual para la fundamentación (grounding).

2.2 Solución Propuesta: C2-DPO (DPO Calibrado por Contexto)

Para abordar la ceguera de contexto, los autores proponen C2-DPO, un marco que maximiza explícitamente la CPG mientras preserva el orden de preferencia correcto bajo condiciones degradadas. El enfoque se formula como un problema de optimización con restricciones:

1. Objetivo: Maximizar el margen de preferencia bajo el contexto completo ($x$).
2. Restricción 1: El margen de preferencia bajo el contexto completo debe ser mayor que bajo el contexto degradado ($x'$), asegurando una CPG positiva.
3. Restricción 2: El margen de preferencia bajo el contexto degradado debe permanecer positivo, asegurando que el modelo aún prefiera la respuesta correcta incluso sin pistas auxiliares.

Estas restricciones se relajan en un objetivo de entrenamiento diferenciable que consta de tres términos:
$$\mathcal{L}_{\text{C}^2\text{-DPO}}(x, x') = \mathcal{L}_{\text{DPO}}(x) + \lambda_c \mathcal{L}_c(x, x') + \lambda_u \mathcal{L}_{\text{DPO}}(x')$$

• $\mathcal{L}_{\text{DPO}}(x)$: Pérdida DPO estándar sobre el contexto completo para mantener el alineamiento.
• $\mathcal{L}_c(x, x')$ (Pérdida de Calibración de Preferencia Contextual): Una pérdida contrastiva que trata el contexto completo como positivo y el contexto degradado como negativo, maximizando explícitamente la brecha (CPG) entre ellos.
• $\mathcal{L}_{\text{DPO}}(x')$: Pérdida DPO estándar sobre el contexto degradado para asegurar que el modelo mantenga un orden de preferencia correcto incluso cuando falta el contexto, evitando que el modelo simplemente baje la puntuación de la respuesta preferida para inflar artificialmente la CPG.

3. Contribuciones Clave

1. Identificación de la Ceguera de Contexto: Los autores revelan que los métodos de optimización de preferencia existentes no logran aprovechar la información contextual, como lo evidencia la distribución de CPG cercana a cero.
2. Introducción de la CPG: Una métrica diagnóstica que cuantifica la relación entre la utilización del contexto y las tasas de alucinación, demostrando que una mayor CPG se correlaciona con una reducción de la alucinación.
3. Marco C2-DPO: Un método de alineación de preferencia general que optimiza explícitamente la ganancia de preferencia contextual. Está diseñado para ser agnóstico al modelo y puede integrarse sin problemas con diversas variantes de optimización de preferencia (DPO, SimPO, RDPO) y aplicarse tanto a entornos multimodales como de solo texto.

4. Resultados Experimentales

Los autores evaluaron C2-DPO en dos MLLMs (LLaVA-v1.5-7B y Qwen2-VL-Instruct-2B) a través de múltiples benchmarks.

• Reducción de Alucinaciones:

  • En Object HalBench, C2-DPO redujo la tasa de alucinación de Qwen2-VL-Instruct-2B en un 36% (nivel de respuesta) y un 60% (nivel de mención) en comparación con el baseline, superando a métodos de vanguardia como C-DPO y HA-DPO.
  • En AMBER, C2-DPO logró una puntuación de alucinación de 16.1, significativamente menor que la de vanilla-DPO (39.9) y C-DPO (17.5).
  • Las mejoras fueron consistentes en diferentes escalas de modelos y arquitecturas.

• Preservación del Razonamiento General:

  • C2-DPO mantuvo un fuerte rendimiento en benchmarks de razonamiento multimodal general (ScienceQA, MM-Vet, TextVQA), indicando que la reducción de alucinaciones no compromete las capacidades generales de seguimiento de instrucciones o razonamiento.

• Generalizabilidad:

  • Variantes: La integración de la pérdida de calibración en SimPO y RDPO (resultando en C2-SimPO y C2-RDPO) produjo mejoras consistentes, confirmando la ortogonalidad del método respecto al objetivo de optimización subyacente.
  • Solo Texto: En entornos de LLM de solo texto (AlpacaEval 2), la aplicación de la estrategia de calibración mejoró el rendimiento tanto para DPO como para SimPO, sugiriendo que el principio de modelado de preferencia consciente del contexto se extiende más allá de los dominios multimodales.

• Robustez:

  • Experimentos con contexto ruidoso (enmascaramiento aleatorio de subtítulos) mostraron que C2-DPO sigue siendo robusto, con la brecha de rendimiento entre C2-DPO y los baselines ampliándose a medida que aumenta el ruido.

• Dinámicas de Aprendizaje:

  • El análisis de entrenamiento mostró que C2-DPO aumenta constantemente la CPG durante todo el entrenamiento, mientras que los métodos base (como C-DPO) permanecen cerca de cero.
  • Se observó que la CPG aumenta linealmente con la cantidad de contexto relevante (conteo de palabras y oraciones), confirmando la sensibilidad del modelo a la riqueza del contexto.

5. Significado y Reivindicaciones

El artículo sostiene que la limitación principal de la optimación de preferencia actual en MLLMs no es la calidad de los datos, sino la incapacidad del objetivo de optimización para imponer la fundamentación contextual. Al modelar explícitamente cómo el contexto moldea la preferencia, C2-DPO proporciona un enfoque basado en principios para mitigar la alucinación de objetos.

Los autores enfatizan que su método:

• No requiere cambios arquitectónicos complejos ni modelos de recompensa adicionales.
• Se basa únicamente en el contraste entre entradas completas y degradadas, lo que lo hace aplicable a otras modalidades y tareas donde el contexto pueda definirse.
• Ofrece una estrategia unificada para mejorar la fiabilidad en la optimización de preferencias, extendiendo los beneficios de la fundamentación multimodal al alineamiento factual de solo texto.

El trabajo concluye que la calibración explícita de las puntuaciones de preferencia con respecto a la información contextual es un principio ampliamente útil para mejorar la fiabilidad factual de los modelos generativos.