Resumen Técnico: Be Faithful When Response

Declaración del Problema

El Aprendizaje por Refuerzo (RL) ha emergido como un paradigma prometedor para mejorar las capacidades de razonamiento de los Modelos de Lenguaje-Visión (VLM). Sin embargo, la aplicación directa de RL a tareas de razonamiento multimodal suele conducir a la inestabilidad del entrenamiento y a resultados subóptimos. El problema central radica en la escasez de señales de recompensa, que típicamente evalúan únicamente la corrección de la respuesta final. En consecuencia, los modelos tienden a explotar los sesgos de lenguaje, los sesgos de los conjuntos de datos y las correlaciones espurias para maximizar las recompensas, en lugar de participar en un razonamiento genuino y visualmente fundamentado. Esto resulta en trazas de razonamiento "fluentes pero no fundamentadas", donde los modelos generan explicaciones seguras que funcionan como racionalizaciones post-hoc en lugar de derivaciones fieles basadas en evidencia visual. Los autores argumentan que este fallo se ve exacerbado por una mala inicialización de la política; comenzar el RL desde un VLM de instrucción estándar coloca a la política en una región subóptima del paisaje de optimización, caracterizada por un débil fundamento visual y trayectorias de razonamiento inestables.

Metodología: Faithful Warm-Start (FWS)

Para abordar estos desafíos, el artículo propone una estrategia de Faithful Warm-Start (FWS) (Arranque en Caliente Fiel). La hipótesis central es que el estado inicial de la política es una precondición crítica para un RL de VLM exitoso. El FWS tiene como objetivo dirigir la política hacia un régimen de razonamiento visualmente fiel antes de la aplicación de las recompensas dispersas de RL. La metodología consta de tres etapas primarias:

1. Construcción del Conjunto de Datos FaithfulQA

Los autores curan un conjunto de datos especializado a partir de seis benchmarks generales de Visual Question Answering (VQA): AI2D, TextbookQA, PlotQA, ScienceQA, ChartQA y Geo3K. El proceso de construcción implica un pipeline de razonamiento de cuatro etapas para descomponer los tríos de VQA brutos en unidades de razonamiento explícitas y causalmente fundamentadas:

• Visual Grounding (VG): Evidencia directa observada de la imagen.
• Question Requirement (QR): Conocimiento de dominio o de sentido común externo requerido.
• Inferencia Intermedia: Pasos lógicos derivados de hechos y reglas.
• Predicción Final: La derivación que respalda la respuesta elegida.

2. Examen de Consistencia de la Fidelidad (Verificación Causal)

Para asegurar que las trazas de razonamiento no sean meras narraciones post-hoc, los autores emplean un mecanismo de Intervención Causal a Nivel de Unidad. Para una traza de razonamiento correcta que contiene $N$ unidades, el sistema realiza $N$ ensayos de intervención. En cada ensayo, se elimina una única unidad de razonamiento, y la traza modificada (junto con la imagen y la pregunta) se vuelve a introducir en el VLM.

• Métrica: La métrica principal, num_correct_to_wrong, cuenta cuántas veces la predicción del modelo cambia de correcta a incorrecta tras la eliminación de una unidad específica.
• Objetivo: Un valor distinto de cero confirma que la unidad de razonamiento es funcionalmente necesaria para la decisión, proporcionando evidencia causal directa de fundamentación visual.

3. Juicio y Post-Filtrado

Un juez basado en VLM (específicamente Qwen3VL-8B-Thinking) evalúa las trazas refinadas a través de cuatro dimensiones, puntuadas de 0 a 2:

• Puntuación de Visual Grounding: Dependencia de la evidencia visual real.
• Puntuación de Causalidad de la Unidad: Necesidad lógica y causal basada en los resultados de la intervención.
• Puntuación de No Contradicción: Consistencia lógica interna y alineación con la imagen.
• Puntuación de Fidelidad: Evaluación general de si la cadena explica fielmente la decisión.

Solo se conservan las trazas que logran una puntuación perfecta (2) en todas las dimensiones y una métrica causal estrictamente mayor que cero. Este proceso genera el conjunto de datos FaithfulQA (60,000 muestras de alta calidad), que se utiliza exclusivamente para la fase de arranque en caliente mediante ajuste fino supervisado (SFT). Los conjuntos de datos originales se preservan estrictamente para la inferencia y evaluación.

Contribuciones Clave

1. Perspectiva sobre la Inicialización de la Política: El artículo destaca que una mala inicialización en el RL de visión-lenguaje promueve el aprendizaje de atajos bajo recompensas dispersas, argumentando que un arranque en caliente supervisado y fiel es un prerrequisito crucial para una optimización efectiva.
2. Conjunto de Datos FaithfulQA y Estrategia FWS: Los autores proponen la estrategia FWS, que construye el conjunto de datos FaithfulQA para permitir que los modelos aprendan patrones de visión-lenguaje causalmente fundamentados antes de la optimización por RL.
3. Validación Empírica: El estudio demuestra que el FWS mejora la precisión de las respuestas, estabiliza la dinámica de entrenamiento de RL y produce trazas de razonamiento que están más fielmente fundamentadas en la evidencia visual a través de diversas tareas de razonamiento multimodal.

Resultados Experimentales

Se realizaron experimentos extensos utilizando Qwen3-VL-2B-Instruct como backbone y Qwen3-VL-8B-Thinking como juez. El estudio comparó modelos entrenados con diferentes escalas de datos FWS (20K, 40K, 60K) contra un modelo base y un modelo base sometido a RL directo.

• Ganancias de Rendimiento: El FWS mejoró consistentemente el rendimiento en los cinco benchmarks evaluados (AI2D, TQA, PlotQA, SciQA, ChartQA). Incluso con una escala pequeña de 20K muestras, se observaron ganancias claras. La configuración de 60K-SFT se acercó a la saturación en la mayoría de los benchmarks.
• Estabilidad de RL: Los modelos inicializados con checkpoints de FWS y posteriormente ajustados con RL superaron consistentemente a aquellos inicializados desde el modelo base.
• Dinámicas de Recompensa: El análisis de las trayectorias de recompensa reveló diferencias distintivas:
  • Base-RL: Mostró mejoras graduales que eventualmente se saturaron en una meseta baja con fluctuaciones notables.
  • FWS-RL: Exhibió una fase de adaptación inicial con recompensas bajas, seguida de un aumento brusco y una convergencia rápida hacia una meseta más alta y estable. Esto sugiere que el FWS codifica priors de razonamiento informativos que el RL puede activar y refinar eficientemente.

Significado y Reivindicaciones

El artículo sostiene que la inicialización de arranque en caliente fiel no es simplemente una elección de formato, sino un requisito fundamental para un aprendizaje por refuerzo efectivo en los VLM. Al equipar al modelo con la capacidad de comprender patrones de visión-lenguaje causalmente fundamentados antes de la optimización de recompensa dispersa, el FWS evita que la política derive hacia comportamientos de razonamiento degenerados. Los resultados sugieren que este enfoque mitiga eficazmente la desalineación entre la optimización a nivel de respuesta y el razonamiento multimodal fiel, asegurando que el modelo priorice la consistencia de razonamiento real y la adherencia visual sobre la mera maximización de la recompensa.