Resumen Técnico: Discretización de Modelos de Recompensa

Planteamiento del Problema

El Aprendizaje por Refuerzo a partir de Preferencias Humanas (RLHF) se basa en modelos de recompensa (RM) para estimar la calidad de las respuestas ante la ausencia de una verdad de campo verificable. Aunque los RM estándar producen puntuaciones continuas para capturar matices finos (por ejemplo, distinguir entre "bueno" y "excelente"), este artículo argumenta que esta aparente fortaleza es una debilidad crítica: la sobre-sensibilidad.

Los modelos de recompensa populares suelen asignar puntuaciones continuas distintas a respuestas que son objetivamente de igual utilidad. Esta "sobre-sensibilidad" no es meramente ruido, sino una señal aprendible que los modelos pueden explotar, lo que conduce al "hackeo de recompensa" (reward hacking), donde las políticas optimizan características espurias (por ejemplo, el uso de lenguaje de cobertura o hedging lingüístico) en lugar de la tarea principal. Las métricas de evaluación actuales, como las de RewardBench, se centran fuertemente en la capacidad discriminativa (distinguir lo bueno de lo malo), pero no penalizan la incapacidad de reconocer empates (baja especificidad). Los autores postulan que un modelo de recompensa puede tener una capacidad discriminativa perfecta y, aun así, ser altamente sobre-sensible, lo que conduce a políticas subóptimas en el aprendizaje por refuerzo (RL) derivado.

Metodología

Marco Teórico

Los autores formalizan el problema definiendo dos métricas distintas para la eficacia del modelo de recompensa:

1. Capacidad Discriminativa ($D_r$): La probabilidad de que el modelo clasifique correctamente dos respuestas de diferente utilidad ($u(a) > u(b) \implies r(a) > r(b)$).
2. Especificidad ($Spec_r$): La probabilidad de que el modelo asigne puntuaciones iguales a respuestas de igual utilidad ($u(a) = u(b) \implies r(a) = r(b)$). Esta es el complemento de la sobre-sensibilidad.

El artículo demuestra teóricamente (Proposiciones 2.2–2.4) que, bajo un modelo de recompensa lineal con ruido acotado, un modelo puede alcanzar una capacidad discriminativa perfecta y, sin embargo, exhibir una sobre-sensibilidad distinta de cero. Crucialmente, los Teoremas 2.6 y 2.7 prueban que existen umbrales de discretización que pueden mantener simultáneamente una capacidad discriminativa perfecta y lograr una especificidad perfecta (cero sobre-sensibilidad), maximizando la puntuación combinada de ambas métricas.

Algoritmo: Agrupamiento de Recompensas (Reward Clustering)

Para implementar esto sin reentrenar el modelo de recompensa, los autores proponen un algoritmo libre de entrenamiento llamado Agrupamiento de Recompensas:

1. Estimación de la Varianza: Para un lote de respuestas, el algoritmo estima la varianza predictiva de la salida del modelo de recompensa utilizando Monte Carlo (MC) Dropout. Al realizar múltiples pasadas estocásticas hacia adelante, aproxima la distribución posterior de la recompensa para cada respuesta.
2. Agrupamiento (Clustering): Trata la discretización como un problema de agrupamiento unidimensional. Utilizando agrupamiento jerárquico con enlace completo (complete linkage), agrupa respuestas cuyas distribuciones de recompensa se solapan significativamente (es decir, $P(|r_i - r_j| < \Delta) > p^*$).
3. Discretización: Las respuestas dentro de un mismo grupo se asignan la misma recompensa entera discreta basada en el rango ordinal de la media de su grupo. Esto efectivamente crea contenedores (bins) para el espacio de recompensa continua, eliminando la varianza espuria entre respuestas igualmente útiles.

Resultados Clave

1. Análisis de Benchmarks (RewardBench 2 "Ties")

Evaluado en el subconjunto "Ties" de RewardBench 2, que contiene prompts con múltiples respuestas "elegidas" igualmente válidas, el método propuesto mejoró consistentemente la relación entre la capacidad discriminativa y la especificidad:

• Ganancias de Especificidad: El agrupamiento de recompensas aumentó significativamente la especificidad en todos los modelos probados (Skywork V1/V2, GRM, ArmoRM), reduciendo la tendencia a diferenciar entre respuestas igualmente buenas.
• Compromiso de la Capacidad Discriminativa: Aunque la capacidad discriminativa sufrió reducciones modestas, el promedio de las dos métricas (la puntuación combinada propuesta) mejoró para cada modelo.
• Comparación con Baselines: El método superó a los baselines estándar como el recorte de recompensa (reward clipping), el ensamblado (ensembling) y el simple umbral binario.

2. Mitigación de Recompensas Espurias

En una simulación controlada donde un modelo de recompensa fue entrenado en una mezcla de un objetivo primario (seguimiento de instrucciones) y un objetivo secundario espurio (cobertura lingüística o hedging):

• Recompensas Brutas: Las políticas entrenadas con recompensas continuas brutas optimizaron rápidamente la señal de cobertura espuria, degradando el rendimiento en la tarea primaria.
• Recompensas Discretizadas: Las políticas entrenadas con recompensas discretizadas mantuvieron un alto rendimiento en la tarea primaria mientras solo optimizaban modestamente el segundo objetivo, previniendo eficazmente el comportamiento de "hackeo de recompensa" observado en el escenario bruto.

3. Rendimiento de RL en el Mundo Real

En experimentos de RL multitarea (IFEval, GSM8K, MATH) utilizando prompts no etiquetados y GRPO:

• Calidad de la Política: Las recompensas discretizadas condujeron a políticas que nunca fueron significativamente peores que las entrenadas con recompensas brutas y, frecuentemente, lograron un rendimiento significativamente mejor.
• Robustez: El método evitó las políticas degeneradas que suelen verse al entrenar con modelos de recompensa brutos, sugiriendo que la discretización actúa como un regularizador contra el sobreajuste al ruido.

Significado y Reivindicaciones

El artículo afirma que el campo ha sobre-indexado la capacidad discriminativa de los modelos de recompensa mientras ha descuidado la especificidad. Los autores argumentan que:

• La sobre-sensibilidad es un fallo fundamental: Incluso los modelos de recompensa "perfectos" (en términos de clasificación) pueden ser perjudiciales si son sobre-sensibles, ya que esta varianza proporciona una señal aprendible para el hackeo de recompensa.
• La discretización es una intervención superior: Al convertir las recompensas continuas en grupos discretos, los profesionales pueden reducir la sobre-sensibilidad con una pérdida mínima en la potencia discriminativa.
• Aplicabilidad libre de entrenamiento: El algoritmo de agrupamiento de recompensas propuesto no requiere el reentrenamiento de la red neuronal subyacente, lo que lo convierte en un reemplazo directo para los flujos de trabajo estándar de RLHF.

Los autores concluyen que la discretización de las recompensas mediante el agrupamiento permite a los modelos retener los beneficios de aprender de los modelos de recompensa, mitigando al mismo tiempo los impactos negativos de la sobre-sensibilidad, lo que conduce a políticas más robustas y alineadas.