FaithRL: Learning to Reason Faithfully through Step-Level Faithfulness Maximization

1. El Problema: Falta de Fidelidad en el Razonamiento de los LLMs

Aunque el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha mejorado significativamente las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLMs) en tareas complejas (como matemáticas y codificación), los paradigmas actuales presentan deficiencias críticas:

• Recompensas Esparsas Basadas en Resultados: La mayoría de los sistemas de RLVR otorgan recompensas solo al final del proceso (si la respuesta es correcta o incorrecta). Esto ignora la validez de los pasos intermedios.
• Sobreconfianza y Razonamiento Espurio: Al no supervisar los pasos intermedios, los modelos se ven incentivados a "adivinar" respuestas correctas mediante razonamientos ilógicos o irrelevantes. Si el modelo adivina bien, recibe recompensa; si se niega a responder por incertidumbre, suele ser penalizado.
• Alucinaciones: Esta dinámica fomenta la sobreconfianza y el uso de conocimientos externos no verificados (alucinaciones) en lugar de basarse estrictamente en la evidencia proporcionada.
• Limitaciones de Métodos Previos: Los enfoques anteriores se centran en métricas de factibilidad (verificar si una afirmación es factualmente cierta) o en la generación de rechazos explícitos. Sin embargo, estos métodos a menudo no garantizan la coherencia lógica: un modelo puede generar una cadena de razonamiento compuesta por hechos verdaderos pero irrelevantes para la pregunta, o rechazar preguntas que en realidad son respondibles.

2. Metodología: El Marco FaithRL

Los autores proponen FaithRL, un marco general de Aprendizaje por Refuerzo diseñado para optimizar directamente la fidelidad del razonamiento (reasoning faithfulness). El objetivo es asegurar que cada paso del razonamiento esté estrictamente soportado por la evidencia requerida.

A. Definición del Objetivo de Optimización

FaithRL formaliza la maximización de la fidelidad del razonamiento como un objetivo principal. Se define un conjunto de trayectorias "fieles" ($S_f$) donde el conocimiento utilizado por el modelo coincide estrictamente con el conjunto de evidencia mínima necesaria ($E(q)$) para responder la pregunta.

• Teorema de Estabilidad: El paper demuestra teóricamente que optimizar solo la corrección lleva a la sobreconfianza (rechazo cero), y optimizar solo la minimización de alucinaciones lleva a la sobre-conservación (rechazo total). En cambio, maximizar la fidelidad del razonamiento estabiliza la tasa de rechazo en un equilibrio determinado por la capacidad intrínseca del modelo.

B. Diseño de Recompensa Geométrica (Geometric Reward)

Para alinear la optimización del resultado final con la honestidad y la utilidad, se introduce una recompensa geométrica basada en el Truthful Helpfulness Score (THS).

• En lugar de usar hiperparámetros arbitrarios, los coeficientes de la recompensa se derivan de la capacidad base del modelo (tasa de corrección $x_0$ y tasa de alucinación $y_0$).
• Fórmula de Recompensa ($R_{geo}$):
  • Si la respuesta es correcta y fiel: $+y_0$ (penaliza menos si la tasa de alucinación base es alta, incentivando corrección).
  • Si es un rechazo falso (Miss): $0$.
  • Si es una alucinación: $-x_0$ (penaliza más si la corrección base es alta, incentivando precisión).
• Esto asegura que el gradiente de optimización sea matemáticamente proporcional a la mejora del THS, guiando al modelo hacia un equilibrio óptimo entre ser útil y ser honesto.

C. Modulación de Ventaja Consciente de la Fidelidad (FAAM)

Para abordar el problema de la "caja negra" en el proceso de razonamiento, FaithRL introduce una supervisión a nivel de paso mediante FAAM.

• Verificador ($V$): Un módulo (LLM juez) verifica si cada paso de razonamiento $s_j$ está estrictamente soportado por la evidencia $E(q)$.
• Mecanismo de Crédito: Se aplica un escalar de modulación $M_{i,t}$ a la ventaja calculada en GRPO:
  • Si la trayectoria tiene ventaja positiva (respuesta correcta) pero un paso es infiel, la recompensa de ese paso se reduce.
  • Si la trayectoria tiene ventaja negativa (respuesta incorrecta) pero un paso es fiel (lógicamente sólido), la penalización se mitiga.
• Esto evita que el modelo sea penalizado por errores de generación finales si el razonamiento subyacente fue correcto, y evita que sea recompensado por "suerte" si el razonamiento fue erróneo.

3. Contribuciones Clave

1. Nuevo Objetivo de Optimización: Propone maximizar la fidelidad del razonamiento como objetivo central, demostrando teóricamente que previene el colapso en comportamientos degenerados (sobreconfianza o sobre-conservación).
2. Marco Unificado (FaithRL): Es el primer trabajo que mitiga las alucinaciones optimizando directamente la fidelidad del razonamiento mediante verificación de evidencia objetiva, integrando recompensas geométricas y modulación de ventaja a nivel de paso.
3. Rendimiento Superior: Logra mejoras consistentes en múltiples benchmarks, reduciendo las alucinaciones y mejorando la corrección simultáneamente, algo que los métodos anteriores no lograban equilibrar.

4. Resultados Experimentales

Los experimentos se realizaron en tres benchmarks de preguntas de múltiples saltos (2WikiMultiHopQA, HotpotQA, MuSiQue) y en tareas fuera de distribución (GSM8k, MATH500).

• Rendimiento General: FaithRL superó consistentemente a los baselines fuertes (incluyendo GRPO, TruthRL, FSPO y métodos de ajuste fino).
  • Reducción de Alucinaciones: Disminución promedio de 4.7 puntos en la tasa de alucinación.
  • Mejora en Corrección: Aumento promedio de 1.6 puntos en la tasa de corrección.
  • Puntuación THS: Mejora significativa en la puntuación de utilidad honesta (THS), alcanzando un promedio de 64.2 en Llama-3.1-8B, superando a los métodos anteriores por un margen de ~9.8 puntos.
• Generalización (OOD): En tareas de matemáticas (GSM8k, MATH500) no vistas durante el entrenamiento, FaithRL mejoró la precisión en más de 10.8 puntos y redujo las alucinaciones en 8.4 puntos en comparación con GRPO.
• Evolución del Razonamiento: Durante el entrenamiento, FaithRL aumentó la proporción de pasos fieles en un 31.1% (in-domain) y 6.5% (fuera de distribución), mientras que otros métodos no mostraron mejoras significativas en la fidelidad del proceso.
• Eficiencia Computacional: A pesar de la verificación paso a paso, el costo computacional adicional es mínimo (~13.7% de aumento en horas de GPU), gracias al reuso de caché KV y la concurrencia del servidor de verificación.

5. Significado e Impacto

El trabajo de FaithRL es significativo porque aborda la raíz del problema de las alucinaciones en los LLMs: la falta de alineación entre el proceso de razonamiento y la evidencia disponible.

• Cambio de Paradigma: Mueve el enfoque de simplemente "castigar respuestas incorrectas" a "recompensar procesos lógicos sólidos".
• Confiabilidad en Alta Estaca: Al fomentar modelos que saben cuándo no saber (rechazo honesto) y que basan sus respuestas estrictamente en la evidencia, FaithRL es crucial para aplicaciones en sectores críticos como la salud, el derecho y la educación, donde la precisión factual es innegociable.
• Fundamento para Futuras Investigaciones: Establece una base sólida para el desarrollo de sistemas de IA más transparentes, interpretables y confiables, demostrando que es posible mejorar la honestidad sin sacrificar la utilidad.

En resumen, FaithRL demuestra que mediante una optimización cuidadosa que integra verificación de evidencia a nivel de paso y una recompensa geométrica adaptativa, es posible entrenar modelos de razonamiento que no solo son correctos, sino también fieles a la información proporcionada.