Resumen Técnico: Diagnóstico y Mitigación del Sesgo de Recompensa Sistémico en el Aprendizaje por Refuerzo con Auto-recompensa

1. Declaración del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha demostrado ser eficaz para escalar las capacidades de razonamiento de los Modelos de Lenguaje Extensos (LLM), pero está limitado por la escasez de datos etiquetados. El Aprendizaje por Refuerzo con Recompensas Intrínsecas (RLIR), o auto-recompensa, ofrece una alternativa escalable al permitir que el modelo de política genere sus propias señales de recompensa. Sin embargo, los métodos de RLIR suelen sufrir de inestabilidad e inferioridad en el rendimiento en comparación con el RLVR.

Los autores identifican la causa raíz de esta brecha como un sesgo de recompensa sistémico inherente a la auto-recompensa acoplada a la confianza. En los marcos de trabajo de RLIR existentes, la estimación de la recompensa está estrechamente acoplada con la propia confianza de la política. Esto crea un patrón de error asimétrico:

• Corrección Confiada: Los errores de recompensa permanecen pequeños.
• Errores Confiados: Los errores de recompensa se vuelven grandes, lo que conduce a una sobre-recompensa (asignar recompensas altas a salidas incorrectas sobre las cuales el modelo tiene alta confianza).

Esta asimetría forma un bucle de auto-confirmación donde las recompensas sesgadas se acumulan durante el entrenamiento, impulsando a la política hacia la sobre-recompensa, causando inestabilidad en la optimización y limitando el techo de rendimiento alcanzable.

2. Metodología: RLER (Aprendizaje por Refuerzo con Recompensas de Conjunto)

Para mitigar este sesgo sistémico, los autores proponen RLER (Reinforcement Learning with Ensembled Rewards), un marco que agrega diversas políticas para construir un espacio unificado de estimación de recompensa. RLER está diseñado para satisfacer tres desiderata: Exactitud (bajo ruido), Ausencia de Sesgo (sin deriva direccional) y Robustez (desacoplamiento de la confianza de la política).

RLER logra esto mediante tres mecanismos centrales:

A. Recompensa de Conjunto Unificada

En lugar de que una sola política se recompense a sí misma, RLER emplea un conjunto de $K$ políticas de origen diversas.

• Agregación: Se muestrean rollouts de todas las políticas, y sus distribuciones de respuestas se agrupan para formar una distribución de conjunto unificada $\bar{p}_j$.
• Consenso de Mayoría: Se deriva una etiqueta de mayoría unificada $m_{EC}$ a partir de la distribución del conjunto en lugar de la salida de un solo modelo.
• Beneficio: Esto reduce la dependencia de la confianza de cualquier política individual, disminuyendo así el ruido de la recompensa ($\rho_{noise}$) y el acoplamiento política-recompensa ($\rho_{selfbias}$).

B. Interpolación Adaptativa de Recompensa Suave

Para equilibrar la alta varianza de las recompensas duras (binarias 0/1) y el sesgo de baja confianza de las recompensas suaves (probabilísticas), RLER introduce una estrategia de interpolación adaptativa.

• Mecanismo: La recompensa final $r_i^{(\alpha)}$ es una mezcla ponderada de una decisión de conjunto dura ($r^H$) y una probabilidad unificada suave ($r^S$):
  $$r_i^{(\alpha)} = (1 - \alpha)r^S_i + \alpha r^H_i$$
• Puerta Adaptativa: El peso $\alpha(x)$ se modula dinámicamente mediante la confianza unificada del conjunto. Una alta confianza aumenta la dependencia de la recompensa dura, mientras que una menor confianza aumenta la dependencia de la recompensa suave para preservar la información sobre respuestas minoritarias plausibles.
• Calibración: El método incorpora la confianza a nivel de token y la normalización min-max por lote para asegurar la robustez contra niveles de dificultad variables.

C. Selección de Rollout Basada en el Desacuerdo

Este mecanismo apunta explícitamente al sesgo de sobre-recompensa ($\rho_{symbias}$) filtrando las actualizaciones basadas en el desacuerdo del conjunto.

• Estrategia: El sistema asigna un presupuesto de actualización basado en la fiabilidad del consenso.
  • Alto Consenso (Mayoría): Las actualizaciones se escalan por $\alpha(x)$, enfatizando las actualizaciones solo cuando el conjunto es fiable.
  • Desacuerdo (Cola): Las actualizaciones dependen del término suave $(1-\alpha)r^S$. Esto evita la supresión agresiva de respuestas minoritarias que podrían ser correctas, mientras atenúa naturalmente el ruido de baja frecuencia.
• Resultado: Los falsos positivos (FP) de alta confianza son filtrados agresivamente, mientras que los falsos negativos (FN) son recuperados, corrigiendo la deriva hacia la sobre-recompensa.

D. Consolidación de Conjunto a Único

Para asegurar un despliegue práctico sin costos adicionales de inferencia, las $K$ políticas entrenadas se fusionan en un solo modelo utilizando Ties-Merging. Esto permite que el sistema aproveche los beneficios del conjunto durante el entrenamiento mientras despliega una política única y eficiente.

3. Contribuciones Clave y Diagnóstico

El artículo introduce un marco de diagnóstico para cuantificar los modos de falla de RLIR utilizando tres métricas:

1. Magnitud del Ruido de Recompensa ($\rho_{noise}$): Mide la desviación absoluta de las estimaciones de recompensa respecto al oráculo.
2. Acoplamiento Política-Recompensa ($\rho_{selfbias}$): Mide qué tan estrechamente están acopladas las estimaciones de recompensa con la propia confianza de la política.
3. Tasa de Sesgo de Simetría ($\rho_{symbias}$): Mide el sesgo direccional entre la sobre-recompensa (FP) y la infra-recompensa (FN).

Hallazgos Clave de Experimentos Controlados:

• La sobre-recompensa es más perjudicial que la infra-recompensa: Los experimentos muestran que el ruido dominado por FP causa una caída de rendimiento más severa que el ruido dominado por FN.
• El acoplamiento amplifica los errores: Un $\rho_{selfbias}$ alto refuerza los errores condicionados a la confianza, lo que conduce a una dinámica de entrenamiento inestable.
• El desacoplamiento es esencial: Reducir el acoplamiento entre la política y su señal de recompensa es crítico para la estabilidad.

4. Resultados Experimentales

Se realizaron experimentos extensos en tareas de razonamiento de estilo matemático (Arithmetic, DAPO-MATH-17K) y generalización entre modelos/datasets (LLaMA, Qwen, Big-Math, WebInstruct).

• Rendimiento: RLER mejora en un +6.2% respecto al mejor baseline de RLIR (ej. Co-rewarding, INTUITOR) y alcanza un rendimiento dentro del 3.6% del límite superior de RLVR (etiquetado por oráculo).
• Estabilidad: RLER exhibe un escalado suave y consistente a medida que aumenta el tamaño del conjunto de entrenamiento (de 8k a 1M muestras), mientras que los baselines estándar de RLIR muestran un escalado inestable y estancamientos de rendimiento.
• Mejora de Métricas: RLER reduce significativamente $\rho_{noise}$, $\rho_{selfbias}$ y $\rho_{symbias}$, rompiendo efectivamente el bucle de auto-confirmación.
• Estudios de Ablación: Eliminar cualquier componente (Conjunto, Interpolación o Selección) conduce a la degradación del rendimiento, confirmando que los tres mecanismos contribuyen de forma acumulativa a la mitigación del sesgo.

5. Significado y Reivindicaciones

El artículo afirma que RLER proporciona una solución práctica y escalable para el aprendizaje por refuerzo en entornos no etiquetados donde la supervisión humana es escasa. Al diagnosticar el sesgo sistémico de la auto-recompensa y abordarlo mediante la agregación de conjuntos y la selección adaptativa, RLER:

• Permite el escalado estable en grandes corpus no etiquetados sin necesidad de modelos de recompensa externos.
• Cierra la brecha de rendimiento entre los métodos de auto-recompensa (RLIR) y los de etiquetado por oráculo (RLVR).
• Ofrece un enfoque de despliegue amigable mediante la fusión de modelos, incurriendo en ningún costo adicional de inferencia.

Los autores concluyen que RLER representa un paso significativo hacia sistemas de razonamiento autosustentables y de auto-mejora para los LLM, particularmente en dominios con abundantes datos no etiquetados pero con poca verdad fundamental (ground truth).