Making Bias Non-Predictive: Training Robust LLM Reasoning via Reinforcement Learning

1. El Problema: Fragilidad del Razonamiento ante Sesgos Cognitivos

Los Grandes Modelos de Lenguaje (LLM) y los Modelos de Razonamiento a Gran Escala (LRM) se utilizan cada vez más como razonadores y evaluadores automatizados. Sin embargo, el artículo identifica una vulnerabilidad crítica: la falta de independencia epistémica.

• Fenómeno: Los LLM son altamente sensibles a señales de nivel de prompt que no tienen relación causal con la corrección de la tarea, como apelaciones a la autoridad ("los expertos dicen X") o al consenso mayoritario ("el 90% de la gente cree X").
• Fallo Actual: Incluso modelos avanzados (como OpenAI-o1) pueden derivar la respuesta correcta bajo condiciones limpias, pero invierten su decisión cuando se les presenta un sesgo fabricado, aunque la información añadida sea irrelevante.
• Limitación de Métodos Existentes:
  • Prompting: Instruir al modelo para que ignore el sesgo falla porque el modelo carece de incentivos intrínsecos para seguir esas instrucciones frente a señales fuertes.
  • Fine-Tuning Supervisado (SFT): Tiende a aprender patrones superficiales (imitación) en lugar de cambiar el objetivo de optimización subyacente que hace que los sesgos sean "atractivos" (atajos).
• Causa Raíz: Durante el pre-entrenamiento y la alineación, las señales de consenso o autoridad a menudo correlacionan con retroalimentación positiva, convirtiéndose en atajos de aprendizaje. Si un sesgo predice la corrección (aunque sea débilmente), una política óptima racionalmente lo explotará.

2. Metodología: Entrenamiento de Independencia Epistémica (EIT)

Los autores proponen EIT (Epistemic Independence Training), un marco de Aprendizaje por Refuerzo (RL) basado en un principio fundamental: para aprender independencia, las señales de sesgo deben volverse no predictivas de la recompensa.

A. Principio Central

Si una señal de sesgo no ofrece ninguna ventaja direccional para obtener una recompensa, la única estrategia viable para el modelo es confiar en el razonamiento relevante para la tarea.

B. Estrategia de Conflicto Equilibrado

Para lograr que el sesgo sea no predictivo, se utiliza una estrategia de datos de conflicto:

• Se inyectan señales de sesgo (ej. "90% de la gente elige X") en el 50% de las muestras apoyando la respuesta correcta y en el 50% apoyando la respuesta incorrecta.
• Bajo esta distribución, cualquier política que condicione su respuesta en el sesgo no puede superar el rendimiento esperado de una política que confía en el razonamiento intrínseco.

C. Diseño de Recompensa Jerárquica

El sistema utiliza una función de recompensa compuesta ($R = R_{struct} + R_{acc} + R_{ind}$) para prevenir modos de fallo específicos:

1. Restricción Estructural ($R_{struct}$): Recompensa el formato Chain-of-Thought (CoT) para asegurar que el modelo genere pasos de razonamiento legibles.
2. Precisión Factual ($R_{acc}$): Recompensa la respuesta correcta. Esto evita que la "independencia" se degrade en contrariedad aleatoria.
3. Incentivo de Independencia ($R_{ind}$): Es el componente clave y asimétrico:
   • Contexto Adversarial (Sesgo $\neq$ Respuesta Correcta): Si el modelo sigue el sesgo hacia la respuesta incorrecta, recibe una penalización fuerte. Si ignora el sesgo y acierta, recibe un bono.
   • Contexto de Apoyo (Sesgo = Respuesta Correcta): Si el modelo acierta y el sesgo coincide, no recibe bono extra (ganancia marginal cero). Si acierta ignorando el sesgo, tampoco recibe bono.
   • Objetivo: Eliminar cualquier incentivo para seguir el sesgo, incluso cuando este es correcto, forzando al modelo a depender únicamente del razonamiento.

D. Optimización

Se utiliza GRPO (Group Relative Policy Optimization) para optimizar la política, actualizando el modelo para maximizar la recompensa esperada relativa al promedio del grupo, fomentando respuestas que demuestren tanto precisión como independencia.

3. Contribuciones Clave

1. Formulación del Problema: Se define la independencia epistémica como un problema de RL donde las señales espurias deben ser desvinculadas de la recompensa.
2. Nueva Estrategia de Entrenamiento: La combinación de datos de conflicto equilibrado y un diseño de recompensa que penaliza el seguimiento de sesgos sin recompensar la coincidencia accidental.
3. Evidencia de Independencia Real: Demostración de que EIT induce una independencia transferible y genuina, a diferencia de la "independencia performativa" del SFT (que imita el lenguaje de independencia sin el razonamiento subyacente).

4. Resultados Experimentales

Los experimentos se realizaron principalmente en modelos Qwen3-1.7B y Qwen3-4B utilizando el benchmark MMLU-Pro, con evaluación en dominios dentro (Bandwagon) y fuera de distribución (Autoridad, Distracción, Posición).

• Mejora Simultánea en Precisión y Robustez:
  • En Qwen3-4B, la precisión bajo sesgo de "bandwagon" incorrecto mejoró de 70.1% a 83.3%.
  • La tasa de robustez (estabilidad de decisión) aumentó en +16.4%.
  • En sesgos de distracción (no vistos en entrenamiento), la robustez mejoró drásticamente de 40.6% a 79.7% (+39.1%).
• Generalización a Sesgos No Vistos:
  • Entrenado solo con sesgo de "bandwagon" (consenso), el modelo generalizó eficazmente a sesgos de autoridad y distracción, demostrando que aprendió a ignorar señales espurias en general, no solo un tipo específico.
  • La transferencia a sesgos estructurales (posición) fue limitada, sugiriendo que el modelo aprende a descartar influencias de contenido, no una estrategia de ignorancia ciega.
• Superioridad sobre Escalamiento y Otros Métodos:
  • Un modelo Qwen3-4B entrenado con EIT superó en resistencia al sesgo a modelos más grandes no entrenados (Qwen3-8B y Qwen3-14B).
  • Superó a métodos de desplazamiento de distribución (GroupDRO, IRM) sin requerir etiquetas de entorno.
  • Superó a enfoques de SFT y mitigación por prompting, que a menudo degradan la precisión general o fallan en generalizar.
• Validación Transversal: Los resultados se mantuvieron consistentes en otros benchmarks (MedQA, HellaSwag) y familias de modelos (Llama-3.2-3B).

5. Significado y Análisis Cualitativo

El estudio incluye un análisis de trazas de razonamiento que revela tres patrones cognitivos distintos:

1. Línea Base (Deferencia): El modelo razona correctamente, pero al encontrar la señal de sesgo, duda de su propio cálculo y cede a la autoridad o consenso.
2. SFT (Independencia Performativa): El modelo utiliza frases como "no debo dejarme influir por la opinión popular", pero no realiza ningún razonamiento de dominio (cálculos, verificación de hechos). Aprende la forma de la independencia, no la sustancia.
3. EIT (Independencia Epistémica Genuina): El modelo recupera conocimiento de dominio, realiza verificaciones explícitas (cálculos, lógica) y, si el sesgo contradice su razonamiento, lo rechaza explícitamente con justificación.

Conclusión:
El trabajo demuestra que la robustez ante sesgos cognitivos no se logra simplemente haciendo los modelos más grandes o instruyéndolos para que sean "independientes". Requiere un cambio en el objetivo de optimización mediante Aprendizaje por Refuerzo, donde las señales de sesgo se vuelven estadísticamente inútiles para predecir el éxito. Esto permite entrenar evaluadores y razonadores automatizados más confiables, capaces de mantener la integridad de sus juicios frente a manipulación social o autoridad falsa.