Resumen Técnico: El Razonamiento Importa: Mitigar la Alucinación en Modelos de Razonamiento Multimodal Grandes mediante Optimización de Preferencias Condicionada al Razonamiento

Declaración del Problema

Los Modelos de Razonamiento Multimodal Grandes (MLRMs) han demostrado capacidades sólidas en tareas complejas de visión-idioma al generar explícitamente pasos de razonamiento intermedios (Cadena de Pensamiento, o CoT) antes de producir respuestas finales. Sin embargo, estos modelos siguen siendo propensos a alucinaciones, generando contenido que parece plausible pero es inconsistente con las entradas visuales. A diferencia de los Modelos de Lenguaje Multimodal Grandes (MLLM) convencionales, donde las alucinaciones suelen ocurrir en la salida final, las alucinaciones en los MLRM pueden surgir dentro del CoT intermedio y propagarse posteriormente a la respuesta final.

Los métodos existentes de mitigación basados en entrenamiento, como la Optimización de Preferencias Directa (DPO), suelen tratar el CoT y la respuesta final como una salida monolítica. El artículo observa que esta optimización a nivel de respuesta se comporta de manera similar a la optimización solo de respuestas, aprendiendo principalmente preferencias a nivel de respuesta mientras deja la supervisión a nivel de CoT insuficientemente explotada. En consecuencia, las alucinaciones residuales en la cadena de razonamiento a menudo persisten, dominando la tasa de error general de la respuesta completa.

Metodología: RC-DPO

Para abordar la insuficiencia de la supervisión de granularidad gruesa, los autores proponen la Optimización de Preferencias Directa Condicionada al Razonamiento (RC-DPO). Este marco modela explícitamente la relación entre las cadenas de razonamiento y las respuestas finales al tratar el CoT como una condición para la generación de respuestas.

1. Objetivo Central

En lugar de optimizar conjuntamente toda la respuesta $(c, a)$, RC-DPO contrasta la probabilidad de generar la misma respuesta preferida ($a_w$) bajo diferentes condiciones de CoT:

• Condición Preferida ($c_w$): Una cadena de razonamiento fundamentada visualmente y lógicamente válida.
• Condición Rechazada ($c_l$): Una cadena de razonamiento alucinada o corrupta.

La función objetivo aísla el efecto de la cadena de razonamiento en la generación de respuestas. Maximiza el margen entre la probabilidad condicional de la respuesta preferida dada un CoT de alta calidad versus un CoT corrupto:
$$L_{RC} = -\log \sigma \left( \beta \left[ \log \frac{\pi_\theta(a_w|x, c_w)}{\pi_{ref}(a_w|x, c_w)} - \log \frac{\pi_\theta(a_w|x, c_l)}{\pi_{ref}(a_w|x, c_l)} \right] \right)$$
El objetivo final de entrenamiento combina esta pérdida condicionada al razonamiento con la DPO a nivel de respuesta estándar:
$$L = L_{DPO} + \lambda L_{RC}$$

2. Construcción de Datos de Preferencia

RC-DPO requiere construir pares de preferencia $(x, c_w, a_w, c_l, a_l)$ sin depender de anotaciones de verdad fundamental externas o modelos más potentes. Los autores introducen un pipeline que utiliza las propias salidas del modelo:

• Construcción de Muestras Positivas (MCTS): Los autores emplean Búsqueda en Árbol Monte Carlo (MCTS) para descubrir trayectorias de razonamiento de alta calidad. Comenzando desde un modelo ajustado finamente supervisado (SFT), MCTS expande pasos de razonamiento candidatos y utiliza un verificador para puntuar las trayectorias basándose en la consistencia visual, la validez lógica y la corrección de la respuesta. La trayectoria con la puntuación más alta se selecciona como la muestra positiva $(c_w, a_w)$.
• Construcción de Muestras Negativas (Poda Guiada por Atención): Para crear muestras negativas desafiantes, los autores emplean una estrategia de poda de tokens guiada por la atención a la imagen. Calculan las puntuaciones de atención desde cada token del CoT hacia los tokens de imagen. Los tokens con alta relevancia visual se identifican y podan (eliminan) del CoT original. Esto interrumpe la fundamentación visual de la cadena de razonamiento, creando un CoT corrupto ($c_l$) que sirve como condición negativa para la misma respuesta.

3. Pipeline de Entrenamiento

1. Alineación del Formato CoT: Una etapa de calentamiento SFT alinea el modelo con un formato de CoT estructurado (razonamiento paso a paso seguido de una respuesta) para facilitar las operaciones de MCTS.
2. Generación de Datos: MCTS y la poda guiada por atención generan el conjunto de datos de preferencia.
3. Optimización: El modelo se entrena utilizando el objetivo combinado $L_{DPO} + \lambda L_{RC}$.

Contribuciones Clave

1. Análisis de la DPO Existente: El artículo revela que la DPO estándar a nivel de respuesta está sesgada hacia la optimización a nivel de respuesta, dejando las alucinaciones a nivel de CoT insuficientemente abordadas.
2. Marco RC-DPO: La propuesta de un marco de optimización de preferencias de granularidad fina que alinea explícitamente las cadenas de razonamiento contrastando la misma respuesta preferida bajo diferentes condiciones de CoT.
3. Estrategia de Generación de Datos: La introducción de un pipeline de generación de datos de preferencia autocontenido que utiliza MCTS para el muestreo positivo y la poda de tokens guiada por atención para la construcción negativa.
4. Validación Empírica: Experimentos extensos en cuatro MLRMs y nueve puntos de referencia que demuestran la efectividad del enfoque.

Resultados Experimentales

Los autores evaluaron RC-DPO en cuatro MLRMs representativos: R1-Onevision-7B, MM-Eureka-7B, ThinkLite-VL-7B y OpenVLThinker-7B.

• Mitigación de Alucinaciones: En el Object HalBench, RC-DPO logró consistentemente las puntuaciones CHAIRS y CHAIRI más bajas en todos los modelos, superando significativamente a líneas base como VCD, SID, RLAIF-V y OPA-DPO. Por ejemplo, en R1-Onevision, CHAIRS se redujo de 36.7 (Vanilla) a 21.7 (RC-DPO).
• Existencia de Objetos: En el punto de referencia POPE, RC-DPO logró la mejor precisión y puntuaciones F1 en configuraciones aleatorias, populares y adversarias, indicando una mejora en el reconocimiento de la existencia de objetos.
• Generación Abierta: En MMHal-Bench y evaluaciones asistidas por GPT-4, RC-DPO redujo las tasas de alucinación mientras mantenía o mejoraba la calidad descriptiva y la fluidez.
• Capacidades Generales: Las evaluaciones en MME, MMBench, VMCBench y MMVP mostraron que RC-DPO no sacrifica la percepción multimodal general ni las capacidades de razonamiento; en muchos casos, mejoró el rendimiento en tareas visuales de granularidad fina (por ejemplo, OCR y reconocimiento de posición).

Significado y Afirmaciones

El artículo afirma que la alineación explícita de las cadenas de razonamiento intermedias es crucial para construir MLRMs fieles y confiables. Al cambiar de la optimización a nivel de respuesta de granularidad gruesa a la optimización condicionada al razonamiento de granularidad fina, RC-DPO aborda la causa raíz de la propagación de alucinaciones en los modelos de razonamiento. Los autores enfatizan que su método mitiga efectivamente las alucinaciones tanto en el CoT intermedio como en la respuesta final, conduciendo a un razonamiento multimodal más confiable sin comprometer las capacidades generales. El trabajo destaca que tratar el CoT como una condición para la generación de respuestas proporciona una señal de entrenamiento directa para aprender preferencias de razonamiento que apoyan la respuesta.