Mitigating Reward Hacking in RLHF via Advantage Sign Robustness

1. El Problema: Reward Hacking en RLHF

El Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) es el paradigma estándar para alinear los Grandes Modelos de Lenguaje (LLM) con las intenciones humanas. Sin embargo, este proceso enfrenta un desafío crítico conocido como Reward Hacking (o reward overoptimization).

• Mecanismo del fallo: En RLHF, se entrena un Modelo de Recompensa (RM) como un proxy imperfecto de las preferencias humanas reales. Durante la optimización de la política, el modelo tiende a explotar las inexactitudes locales del RM.
• Consecuencia: A medida que avanza el entrenamiento, la recompensa proxy (la predicha por el RM) sigue aumentando, pero la calidad real de las respuestas (evaluada por un "Gold RM" o humanos) se estanca o incluso se degrada.
• Causa raíz identificada: Los autores argumentan que el reward hacking a menudo se debe a signos de ventaja invertidos. En lugar de reducir la probabilidad de una respuesta mala, una predicción errónea del RM (debido a su inexactitud) hace que la actualización de la política aumente la probabilidad de dicha respuesta. La fiabilidad de la predicción del signo de la ventaja varía según la respuesta específica, y los métodos de robustez actuales no capturan esta variabilidad.

2. Metodología: SignCert-PO

Los autores proponen SignCert-PO (Sign-Certified Policy Optimization), un método ligero que opera exclusivamente en la etapa de optimización de la política, sin necesidad de reentrenar el RM ni acceder a los datos de entrenamiento originales.

A. Radio de Preservación de Signo Certificado

El núcleo teórico se basa en la idea de que lo que importa es si el RM predice correctamente el signo de la ventaja ($A_j$) de una respuesta.

• Se define el Radio de Preservación de Signo Certificado ($\Delta_j$) como la menor perturbación en los parámetros del RM necesaria para invertir el signo de la ventaja de una respuesta específica.
• Si $\Delta_j$ es pequeño, la predicción del signo es frágil (poco fiable); si es grande, es robusta.
• Matemáticamente, para una respuesta $j$, $\Delta_j$ se calcula como:
  $$\Delta_j = \frac{|A_j|}{\|h_\psi(x, y^{(j)}) - \bar{h}\|_2}$$
  Donde $h_\psi$ son las características de la capa final del modelo y $\bar{h}$ es el promedio de las características del grupo.

B. Perturbación del "Cabeza" Lineal

Calcular la perturbación sobre todos los parámetros del RM es computacionalmente inviable (requiere gradientes por respuesta).

• Aproximación: Los autores asumen que la incertidumbre se puede modelar perturbando solo el cabeza lineal (la capa final que produce la puntuación) del RM, manteniendo el extractor de características fijo.
• Esto permite derivar una forma cerrada y eficiente para calcular $\Delta_j$ durante la optimización.

C. Re-pesaje del Gradiente de la Política

En lugar de aplicar una penalización global o usar múltiples modelos, SignCert-PO introduce un mecanismo de re-pesaje adaptativo:

1. Para cada respuesta en un grupo, se calcula su radio certificado $\Delta_j$.
2. Se define un parámetro de adversario $\epsilon$ (ajustado dinámicamente según la distribución de los datos en el lote).
3. Se calcula un coeficiente de re-pesaje $\rho^*_j = 1 - \frac{\epsilon}{\Delta_j}$.
4. El gradiente de la política se actualiza ponderando la ventaja original por este coeficiente:
   $$\tilde{A}_j = \rho^*_j \cdot A_j$$

• Efecto: Las respuestas con signos de ventaja frágiles (bajo $\Delta_j$) reciben un peso cercano a cero o negativo, suprimiendo su contribución al gradiente. Las respuestas robustas mantienen su peso original.

3. Contribuciones Clave

1. Nueva Perspectiva Teórica: Identifican que la fiabilidad del RM es específica por muestra (por respuesta) y formalizan la robustez mediante un radio de preservación de signo certificado en el espacio de parámetros.
2. Eficiencia Computacional: A diferencia de métodos previos que requieren ensembles de modelos (múltiples RMs) o acceso a los datos de entrenamiento del RM (como AdvPO), SignCert-PO es extremadamente ligero. Solo necesita los parámetros actuales del RM y las respuestas generadas en la política actual.
3. Superioridad sobre Enfoques Globales: Demuestran que los enfoques de robustez global (que aplican una penalización única a todas las respuestas) sufren de un "pesimismo uniforme" y no pueden distinguir entre respuestas fiables e inestables. SignCert-PO discrimina selectivamente, suprimiendo solo las direcciones de gradiente no fiables.
4. Implementación Práctica: Se integra fácilmente en algoritmos existentes como Dr.GRPO, añadiendo una sobrecarga computacional casi nula.

4. Resultados Experimentales

Los autores evaluaron SignCert-PO en dos benchmarks principales: TL;DR (resumen) y AlpacaFarm, utilizando modelos base Pythia y Qwen2.5.

• Rendimiento General: SignCert-PO logró consistentemente la tasa de victoria más alta (win rate) contra el Gold RM en la mayoría de las configuraciones, superando a baselines como Dr.GRPO, UWO (Optimización Ponderada por Incertidumbre con Ensembles), BSPO y AdvPO.
• Mitigación del Reward Hacking:
  • Mientras que los métodos baselines mostraron una divergencia donde la recompensa proxy subía pero la recompensa real caía (reward hacking), SignCert-PO mantuvo la calidad real o la mejoró.
  • Logró mantener una mayor precisión del RM proxy a lo largo del entrenamiento, evitando que la política se desviara hacia regiones donde el RM es inexacto.
• Eficiencia:
  • El tiempo de entrenamiento por paso es comparable al de Dr.GRPO estándar.
  • No requiere múltiples inferencias de RM (a diferencia de los ensembles), ahorrando memoria VRAM.
• Escenarios de Datos Limitados: La mejora fue más pronunciada cuando el RM proxy se entrenó con pocos datos de preferencia (ej. 1 época), demostrando que el método es crucial cuando el proxy es inherentemente inestable.

5. Significado e Impacto

Este trabajo ofrece una solución práctica y teóricamente fundamentada para uno de los problemas más persistentes en la alineación de LLMs: el reward hacking.

• Viabilidad Industrial: Al no requerir reentrenar modelos, acceso a datos privados o múltiples instancias de RM, SignCert-PO es altamente aplicable en entornos de producción donde los recursos son limitados o los datos de entrenamiento del RM no están disponibles.
• Seguridad en la Alineación: Proporciona un mecanismo de defensa que asegura que las actualizaciones de la política se basen en señales de recompensa confiables, reduciendo el riesgo de que los modelos aprendan a "engañar" al sistema de recompensa.
• Dirección Futura: Establece un nuevo enfoque para la optimización robusta en RLHF, centrado en la certificación de la dirección de actualización (signo) en lugar de la magnitud de la recompensa, abriendo puertas a métodos más eficientes y seguros para la alineación de IA.