Resumen Técnico: Una Lente Unificadora sobre la Incertidumbre de la Recompensa en RLHF

Planteamiento del Problema

El Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF, por sus siglas en inglés) está actualmente limitado por el hackeo de recompensa (reward hacking), un fenómeno donde una política explota los errores en un Modelo de Recompensa (RM) para maximizar las puntuaciones sin lograr mejoras genuinas en la calidad. Este es un caso de la ley de Goodhart, que se manifiesta como sicofancia, sesgo de longitud y otros artefactos superficiales.

Una estrategia de mitigación estándar es el pesimismo: penalizar las recompensas en regiones donde el RM es incierto. Sin embargo, los RM escalares estándar no proporcionan una noción de incertidumbre con principios. El trabajo previo aborda esto entrenando conjuntos (ensembles) de RM y agregando sus salidas mediante heurísticas como la Agregación de la Media, la Optimización de Peor Caso (WCO) y la Optimización Ponderada por la Incertidumbre (UWO). Aunque estos métodos ofrecen beneficios empíricos, se presentan como reglas ad-hoc con poca guía teórica sobre sus relaciones, supuestos implícitos o el ajuste de hiperparámetros.

Metodología

Los autores proponen reemplazar el RM escalar determinista por un modelo de recompensa distribucional $p(r | x, y)$. Esta distribución surge de fuentes tales como conjuntos profundos (deep ensembles) o construcciones bayesianas de la última capa. El artículo deriva un marco unificado para manejar la incertidumbre de la recompensa a través de dos lentes teóricas distintas, ambas resultando en la misma estructura de recompensa efectiva de forma cerrada:

1. Inferencia Bayesiana (Rama Optimista):
   Viendo la optimización de la política como una inferencia bajo una observación de "optimalidad", los autores marginalizan sobre la incertidumbre de la recompensa. Esto conduce a una recompensa efectiva optimista:
   $$\tilde{r}_{opt}(x, y) = \beta \log \mathbb{E}_{p(r|x,y)}[e^{r/\beta}]$$
   Por la desigualdad de Jensen, esto infla la recompensa efectiva ($\tilde{r}_{opt} \geq \mu$).

2. Optimización Robusta de Distribución de KL (Rama Pesimista):
   Para mitigar el hackeo de recompensa, los autores formulan el problema como un juego adversarial donde un adversario elige una distribución de recompensa $Q$ para minimizar la recompensa esperada, sujeto a un costo de divergencia KL de la posterior creída $p$. Esto produce la recompensa efectiva pesimista:
   $$\tilde{r}_{rob}(x, y) = -\beta \log \mathbb{E}_{p(r|x,y}[e^{-r/\beta}]$$
   Este es la medida de riesgo entrópico de la distribución de recompensa. Por la desigualdad de Jensen, la incertidumbre deflacta la recompensa efectiva ($\tilde{r}_{rob} \leq \mu$).

La Expresión Unificadora

La contribución teórica central es la expresión de forma cerrada para la recompensa efectiva bajo incertidumbre:
$$\tilde{r}(x, y) = \pm \beta \log \mathbb{E}_{p}[e^{\pm r/\beta}]$$
El signo depende de si el objetivo es optimista (Bayesiano) o pesimista (Robusto).

Expansión de Cumulantes y el Caso Gaussiano

Los autores analizan la recompensa efectiva utilizando una expansión de cumulantes de la distribución de recompensa $p(r|x,y)$:
$$\tilde{r}_{opt/rob} = \mu \pm \frac{\sigma^2}{2\beta} + \frac{\kappa_3}{6\beta^2} \pm \frac{\kappa_4}{24\beta^3} + \dots$$
En el caso específico donde la distribución de recompensa es Gaussiana ($p(r|x,y) = \mathcal{N}(\mu, \sigma^2)$), todos los cumulantes de orden superior desaparecen, resultando en una forma cerrada precisa:
$$\tilde{r}_{rob} = \mu - \frac{\sigma^2}{2\beta}$$
Crucialmente, el coeficiente para el término de la varianza está determinado por el parámetro de regularización KL $\beta ya presente en el objetivo de RLHF, en lugar de un hiperparámetro de ajuste separado.

Contribuciones Clave

1. Una Lente Unificadora: El artículo demuestra que el objetivo de RLHF con incertidumbre de recompensa admite un único modelo de recompensa efectiva de forma cerrada derivado tanto de la inferencia bayesiana como de la KL-DRO.
2. Unificación de Heurísticas Previas: Los autores muestran que las reglas de agregación existentes son límites específicos o truncamientos de la rama pesimista $\tilde{r}_{rob}$:
   • Agregación de la Media: Emerge como el límite $\beta \to \infty$ (riesgo neutral).
   • Optimización de Peor Caso (WCO): Emerge como el límite $\beta \to 0$ (adversario no acotado).
   • Optimización Ponderada por la Incertidumbre (UWO): Emerge como el truncamiento gaussiano de la serie, donde el coeficiente de penalización $\lambda$ está implícitamente establecido en $1/(2\beta)$.
3. Guía de Implementación: El artículo clarifica los supuestos implícitos de los métodos existentes:
   • La Media asume que la incertidumbre no importa.
   • WCO asume la peor distribución posible (adversario sin restricciones).
   • UWO asume que la distribución de recompensa es aproximadamente gaussiana.
   • El artículo propone un valor por defecto con principios para posteriores gaussianas: $\tilde{r} = \mu - \sigma^2/(2\beta)$, eliminando la necesidad de ajustar un hiperparámetro de penalización de varianza separado.

Resultados y Estimación

El artículo discute la estimación práctica de $\tilde{r}_{rob}$ a partir de una muestra finita de $K$ modelos de recompensa (por ejemplo, un conjunto o ensemble):

• Estimador Directo de Log-MGF: $\hat{\tilde{r}} = -\beta \log (\frac{1}{K} \sum e^{-r_i/\beta})$. Este es consistente pero sesgado para $K$ finito y sensible a valores atípicos cuando $\beta$ es pequeño.
• Estimador de Truncamiento Gaussiano: $\hat{\tilde{r}} = \hat{\mu} - \hat{\sigma}^2/(2\beta)$. Los autores recomiendan este como el valor por defecto, señalando que para tamaños de conjunto típicos ($K \in \{3, \dots, 10\}$), los cumulantes de orden superior se estiman pobremente, lo que hace que la aproximación gaussiana sea robusta.

Significancia y Reivindicaciones

El artículo afirma proporcionar una base teórica para la incertidumbre de la recompensa en RLHF, yendo más allá de las reglas de agregación heurísticas. Su significancia radica en:

• Clarificación de Supuestos: Mapea explícitamente los métodos existentes (Media, WCO, UWO) a supuestos específicos sobre la forma de la distribución de recompensa y el presupuesto KL del adversario.
• Eficiencia de Parámetros: Establece que, bajo un supuesto gaussiano, la penalización de la varianza está intrínsecamente ligada al coeficiente KL $\beta$, eliminando la necesidad de un hiperparámetro de penalización adicional.
• Conexión de Campos: Vincula el pesimismo de RLHF con el aprendizaje por refuerzo distribucional y el pesimismo de RL fuera de línea (offline RL), mostrando que la formulación de log-MGF / riesgo entrópico surge de principios análogos en estos dominios.

Los autores concluyen que, si bien su marco asume un RM distribucional (que requiere conjuntos o cabezales bayesianos) y una calibración adecuada, ofrece una receta para extenderse más allá de los supuestos gaussianos mediante cumulantes de orden superior o pesimismo basado en cuantiles (por ejemplo, CVaR) para distribuciones de cola pesada.