Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization

1. El Problema: Alucinaciones en Modelos de Razonamiento Multimodal (MLRMs)

Aunque los Modelos de Razonamiento Multimodal a Gran Escala (MLRMs) han demostrado capacidades impresionantes en la resolución de problemas complejos mediante cadenas de pensamiento (Chain-of-Thought, CoT), sufren de un problema crítico: las alucinaciones.

• Fenómeno Contraintuitivo: A diferencia de lo que se esperaría, la introducción de mecanismos de razonamiento explícito no reduce las alucinaciones; por el contrario, los estudios muestran que los MLRMs alucinan más severamente que sus contrapartes no razonadoras (modelos base).
• Causas Identificadas:
  1. Sesgo Atencional: La introducción de razonamiento hace que los modelos asignen menos atención a los tokens visuales y dependan excesivamente de los priors lingüísticos (conocimiento previo del texto), ignorando la entrada visual real.
  2. Propagación de Errores: Las alucinaciones que ocurren dentro de la cadena de pensamiento (CoT) se propagan causalmente a la respuesta final. Un CoT de baja calidad o alucinado casi garantiza una respuesta final incorrecta.
  3. Redundancia: Las cadenas de pensamiento generadas suelen contener tokens redundantes y ruidosos que diluyen la información visual crítica.

2. Metodología Propuesta: Marco C3PO

Los autores proponen C3PO, un marco de mitigación basado en el entrenamiento que consta de dos etapas principales: Compresión de CoT y Optimización de Preferencias Contrastivas.

Etapa 1: Compresión de la Cadena de Pensamiento (CoT Compression)

Basándose en el principio del Cuello de Botella de Información (Information Bottleneck), el objetivo es preservar la información relevante para la tarea mientras se elimina el ruido.

• Mecanismo: Se utiliza un modelo de puntuación de importancia (LLMlingua-2) para identificar y filtrar tokens de razonamiento redundantes o de baja importancia.
• Proceso: Se retiene solo el percentil superior (ej. 90%) de los tokens más importantes para formar una cadena de pensamiento comprimida ($z'$).
• Entrenamiento: Se realiza un Ajuste Fino Supervisado (SFT) utilizando estas cadenas comprimidas junto con las respuestas originales. Esto entrena al modelo a razonar de manera más eficiente y concisa, reduciendo la dependencia de tokens de texto innecesarios sin añadir nueva supervisión externa.

Etapa 2: Optimización de Preferencias Contrastivas (Contrastive Preference Optimization - CPO)

Esta etapa busca mejorar la calidad del razonamiento y corregir las alucinaciones mediante aprendizaje por preferencias.

• Muestras Preferidas (Positivas): Se utilizan modelos MLLM avanzados (como Qwen3-VL) para revisar y corregir las cadenas de razonamiento generadas por el modelo objetivo, eliminando alucinaciones y mejorando la fidelidad visual. Estas versiones corregidas se usan como ejemplos preferidos.
• Muestras Rechazadas (Negativas) - Mecanismo de Inducción de Alucinación: Para exponer los patrones de fallo inherentes del modelo, los autores diseñan un mecanismo que induce deliberadamente alucinaciones:
  • Inducción Visual: Enmascaramiento aleatorio de partes de la imagen para forzar al modelo a depender de priores lingüísticos.
  • Inducción Textual: Prompts engañosos que instruyen al modelo a priorizar su conocimiento interno sobre la entrada visual.
• Función de Pérdida: Se combina una pérdida de optimización de preferencias centrada en el razonamiento ($L_{RE}$) con una pérdida DPO estándar sobre la salida conjunta (razonamiento + respuesta) y una regularización de anclaje para asegurar la estabilidad.

3. Justificación Teórica

El artículo proporciona una justificación teórica basada en la teoría del Cuello de Botella de Información (IB):

• Un modelo bien entrenado debe minimizar la información mutua entre la entrada y la representación intermedia ($I(X; Z)$) para eliminar redundancia.
• Al mismo tiempo, debe maximizar la información mutua entre la representación intermedia y la respuesta correcta ($I(Y; Z)$).
• Teoremas: Se demuestra que tanto la compresión de tokens (Teorema 1) como la mejora del razonamiento (Teorema 2) reducen el objetivo del cuello de botella, facilitando representaciones intermedias más compactas y fieles, lo que conduce a respuestas finales más fiables.

4. Resultados Experimentales

El marco C3PO fue evaluado en cinco MLRMs representativos (incluyendo R1-Onevision, MM-Eureka, Orsta-R1) y múltiples benchmarks:

• Benchmarks de Alucinación:
  • CHAIR: Reducción significativa en las tasas de alucinación de objetos (CS y CI). Por ejemplo, en Orsta-R1, se logró una reducción relativa del 13.27% en CS y 18.82% en CI.
  • POPE: Mejoras consistentes en precisión y puntuación F1 en preguntas de existencia de objetos (aleatorias, populares y adversarias).
  • AMBER: Mejoras en la detección de alucinaciones de atributos y relaciones.
  • Evaluación Asistida por GPT-4: Reducción del Ratio de Alucinación a Nivel de Oración (SHR) y mejora en la riqueza de detalles (WPI y SPI).
• Benchmarks Generales: En tareas generales (MME y MMBench), el método no solo mantuvo las capacidades multimodales, sino que en algunos casos las mejoró, demostrando que la mitigación de alucinaciones no sacrifica la utilidad general.
• Comparativa: C3PO superó consistentemente a métodos de línea base como RLAIF-V y OPA-DPO, los cuales a veces incluso exacerbaban las alucinaciones en entornos de razonamiento.

5. Contribuciones Clave

1. Análisis Causal: Identificación experimental de que el razonamiento explícito aumenta la dependencia de priores lingüísticos y que las alucinaciones en el CoT son la causa directa de las alucinaciones en la respuesta final.
2. Marco C3PO: Propuesta de un marco de dos etapas (Compresión + Preferencia Contrastiva) diseñado específicamente para la naturaleza única de los MLRMs.
3. Mecanismo de Inducción de Alucinación: Desarrollo de una técnica novedosa para generar ejemplos negativos informativos mediante la manipulación deliberada de entradas visuales y textuales, mejorando la robustez del entrenamiento.
4. Justificación Teórica: Vinculación formal de la compresión de CoT y la optimización de preferencias con el principio del Cuello de Botella de Información.

6. Significado e Impacto

Este trabajo representa un paso pionero en la mitigación de alucinaciones en modelos de razonamiento multimodal. A diferencia de enfoques anteriores que se centraban en benchmarks o correcciones post-hoc, C3PO aborda la raíz del problema: la estructura y calidad de la cadena de pensamiento.

• Eficiencia: La compresión de CoT reduce la carga computacional y el ruido.
• Fiabilidad: La optimización de preferencias asegura que el modelo aprenda a distinguir entre razonamiento basado en evidencia visual y alucinaciones basadas en texto.
• Generalidad: El método es aplicable a diversos modelos y dominios, ofreciendo una solución escalable para mejorar la confianza en los sistemas de IA multimodal en aplicaciones críticas.