EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models

1. El Problema: Alucinaciones y Falta de Aterrizaje (Grounding)

Los Grandes Modelos de Lenguaje (LLMs) son fluidos pero propensos a alucinaciones, generando respuestas que parecen plausibles pero que no están respaldadas por la evidencia disponible. Este fallo es crítico en dominios de alto riesgo como la medicina y el derecho, donde las decisiones deben justificarse con información verificable.

El problema central identificado es la falta de "grounding" (anclaje) de la evidencia:

• Los modelos a menudo producen respuestas correctas basadas en su memoria paramétrica (conocimiento interno) en lugar de la evidencia recuperada, un fenómeno llamado post-rationalization (justificación posterior).
• Las técnicas actuales como la Generación Aumentada por Recuperación (RAG) tratan la recuperación como un "prompt suave" en lugar de una restricción estricta, lo que permite que el modelo ignore el contexto recuperado.
• Los métodos de verificación post-hoc (después de la generación) o el ajuste fino supervisado (SFT) no modifican fundamentalmente la política de generación del modelo para priorizar la evidencia durante el proceso de razonamiento.

2. Metodología: EvidenceRL

Los autores proponen EvidenceRL, un marco de Aprendizaje por Refuerzo (RL) diseñado para hacer que la adherencia a la evidencia sea un objetivo diferenciable durante el entrenamiento, en lugar de una corrección posterior.

Arquitectura de Recompensa

El sistema optimiza una política de generación ($\pi_\theta$) utilizando Group Relative Policy Optimization (GRPO). La recompensa total se compone de tres señales:

1. Recompensa de Formato ($r_f$): Un indicador binario que asegura que la salida sea un JSON válido y estructurado, facilitando el análisis posterior.
2. Recompensa de Corrección Semántica ($r_c$):
   • En tareas médicas, compara las predicciones con las etiquetas de referencia usando similitud de coseno en espacios de embeddings (BioLORD-2023).
   • En tareas legales, utiliza coincidencia exacta con la respuesta correcta.
3. Recompensa de Grounding (Anclaje) - "Focus-Then-Verify": Esta es la contribución metodológica clave.
   • Problema: Evaluar el anclaje en documentos largos causa dilución de la señal y desbordamiento de contexto.
   • Solución: Se construyen pares enfocados de (Premisa, Hipótesis). La premisa se crea combinando un contexto de anclaje (ej. motivo principal de consulta) con secciones individuales de evidencia (ej. exámenes físicos, informes de imagen).
   • Evaluación: Un modelo NLI (Inferencia de Lenguaje Natural) congelado evalúa si la hipótesis (la parte de razonamiento del modelo) se infiere, contradice o es neutral respecto a cada premisa enfocada.
   • Cálculo: Se toma la puntuación de mayor magnitud (la evidencia más fuerte a favor o en contra) para asignar la recompensa de grounding ($r_g$).

Optimización

Se utiliza GRPO para optimizar la política. Para cada entrada, se muestrea un grupo de $G$ completaciones. Las recompensas se normalizan dentro del grupo para calcular ventajas, actualizando la política para maximizar la recompensa combinada (formato + corrección + grounding) sin depender de anotaciones humanas de preferencia.

3. Contribuciones Clave

1. Marco EvidenceRL: Un enfoque de RL que integra señales de NLI automatizado y jueces LLM para optimizar el anclaje de la evidencia directamente en el objetivo de entrenamiento, eliminando la dependencia de preferencias humanas.
2. Arquitectura "Focus-Then-Verify": Una estrategia de recompensa que realiza verificaciones de inferencia a nivel de oración dentro de ventanas de contexto enfocadas, resolviendo el problema de la dilución de la señal en documentos largos.
3. Evaluación Multidominio y Multiescala: Demostración de que el método mejora tanto la precisión de la tarea como el anclaje de la evidencia a través de múltiples familias de modelos (Llama, Gemma, GPT-oss) y escalas (de 3B a 120B parámetros).

4. Resultados Experimentales

El modelo se evaluó en dos dominios de alto riesgo: Diagnóstico Cardíaco (MIMIC-IV-Ext) y Razonamiento Legal (BarExam MBE).

Hallazgos Principales:

• Reducción de Alucinaciones: En el dominio médico, las alucinaciones disminuyeron casi 5 veces (de ~11.6% a ~2.4% en Llama-3.2-3B).
• Aumento del Grounding:
  • Medicina: La tasa de predicciones basadas en evidencia (Evidence-Based, EB) aumentó del 31.8% al 61.6% en Llama-3.2-3B. La puntuación de grounding máxima ($G_{max}@3$) saltó de 47.6 a 78.2.
  • Derecho: La "Fidelidad" (Faithfulness, la fracción de respuestas correctas que están realmente respaldadas por evidencia) aumentó del 32.8% al 67.6% en Llama-3.1-8B.
• Superioridad sobre Baselines:
  • Vs. SFT: El ajuste fino supervisado (SFT) mejoró la precisión pero colapsó el grounding (los modelos aprendieron a citar sin entender la relación semántica).
  • Vs. Inference-Time Controls: Métodos como Self-RAG o Self-Consistency no lograron mejorar consistentemente tanto la precisión como el uso de la evidencia simultáneamente.
  • Vs. fDPO: A diferencia de la optimización de preferencia (fDPO) que a veces imita modelos más grandes sin mejorar la precisión intrínseca, EvidenceRL genera más predicciones que son simultáneamente correctas y basadas en evidencia.
• Reducción de la Brecha de Escala: Tras el entrenamiento con EvidenceRL, modelos más pequeños (ej. Llama-3.2-3B) superaron a modelos mucho más grandes (ej. Llama-3.3-70B) en términos de grounding y precisión combinada, sugiriendo que el entrenamiento basado en evidencia puede compensar la falta de parámetros.

5. Significado e Impacto

El artículo demuestra que la fiabilidad en dominios de alto riesgo no se logra simplemente recuperando más información o verificando la salida al final. EvidenceRL cambia fundamentalmente el comportamiento del modelo, reorientando su política de decisión para preferir el razonamiento basado en evidencia sobre la memoria paramétrica.

• Confianza: Proporciona un mecanismo para hacer que los LLMs sean verificables y confiables en aplicaciones críticas.
• Eficiencia: Ofrece una ruta computacionalmente eficiente para lograr razonamiento confiable, permitiendo que modelos más pequeños y accesibles superen a modelos masivos si están bien alineados con la evidencia.
• Limitaciones: El método depende de la calidad de la evidencia recuperada y utiliza modelos NLI congelados como proxy, lo que introduce una aproximación al razonamiento humano real, aunque los resultados muestran una mejora consistente sobre las alternativas actuales.

En resumen, EvidenceRL establece un nuevo estándar para alinear los LLMs con la verdad factual y la evidencia contextual, moviendo el campo más allá de la simple generación de texto plausible hacia la generación de razonamiento verificable.