Reward Models Can Improve Themselves: Reward-Guided Adversarial Failure Mode Discovery for Robust Reward Modeling

1. El Problema

El modelado de recompensas (RM) es fundamental para alinear los Grandes Modelos de Lenguaje (LLM) con las preferencias humanas, utilizándose en tareas como ajuste fino (fine-tuning), filtrado de respuestas y ranking. Sin embargo, los modelos de recompensa actuales presentan dos vulnerabilidades críticas:

• Fragilidad ante perturbaciones: A menudo fallan bajo cambios de distribución o perturbaciones adversarias (ej. cambios de mayúsculas, repeticiones, errores ortográficos), asignando puntuaciones incorrectas a respuestas preferidas o no preferidas.
• Limitaciones en la detección de fallos: Los métodos existentes para identificar estos "modos de fallo" dependen de conocimientos previos sobre los atributos de las preferencias o utilizan generación contrafactual basada en atributos (ej. pedir a un LLM que genere ejemplos basados en características interpretables). Esto es poco práctico en escenarios reales donde la distribución de preferencias es compleja y los atributos relevantes no son conocidos de antemano.

El objetivo central es responder: ¿Se pueden identificar modos de fallo de manera tratable sin conocimiento previo de la distribución de preferencias, y puede el modelo de recompensa utilizar estos fallos para mejorar su propia robustez?

2. Metodología: Marco REFORM

Los autores proponen REFORM, un marco de auto-mejora que utiliza al propio modelo de recompensa para guiar la generación de ejemplos adversarios y luego reentrenarse con ellos. El proceso se divide en tres componentes clave:

A. Descubrimiento de Modos de Fallo mediante Decodificación Controlada (RQ1)

En lugar de depender de atributos externos, el método utiliza la propia política alineada (o desalineada) y el modelo de recompensa para generar ejemplos que satisfacen dos condiciones:

1. Clase Consistente (W1): La respuesta generada pertenece inequívocamente a una clase conocida (preferida o no preferida).
2. Inconsistencia de Recompensa (W2): El modelo de recompensa asigna una puntuación incorrecta a esa respuesta (ej. una respuesta preferida recibe una puntuación baja).

Mecanismo de Decodificación Controlada:

• Para falsos negativos (Respuestas preferidas con baja recompensa): Se toma una política alineada ($\pi_{\mathcal{D}}$) y se generan candidatos de los $k$ tokens más probables. En lugar de elegir el token con mayor probabilidad, se selecciona el token que minimiza la recompensa esperada del modelo $r_\phi$, sujeto a una regularización de lenguaje para mantener la fluidez.
  • Objetivo: $\arg \min_{y(i) \in v^k_i} [r_\phi(x, [y_{<i}, y(i)]) + \alpha \cdot \log \pi_{\mathcal{D}}(y(i) | x, y_{<i})]$
• Para falsos positivos (Respuestas no preferidas con alta recompensa): Se utiliza una política desalineada ($\pi_{\mathcal{D}-}$) entrenada con preferencias invertidas y se maximiza la recompensa para generar respuestas tóxicas o no deseadas que el modelo de recompensa evalúa erróneamente como buenas.

B. Aumento de Datos y Reentrenamiento (RQ2)

Una vez identificados los modos de fallo, el marco no requiere un conjunto de datos masivo nuevo.

1. Se selecciona el 5% de las muestras más influyentes del conjunto de entrenamiento original (aquellas con la pérdida de Bradley-Terry más baja, lo que indica que el modelo ya las clasifica bien y son críticas para el aprendizaje).
2. Se generan variantes de fallo para estas muestras.
3. Se corrigen las variantes (etiquetándolas correctamente) y se añaden al conjunto de datos original.
4. Se entrena un nuevo modelo de recompensa en este conjunto de datos aumentado ($\mathcal{D} \cup \mathcal{D}'$).

C. Evaluación de Robustez y Calidad (RQ3)

Se evalúa si el nuevo modelo mantiene su utilidad en datos no perturbados y si mejora la alineación downstream. Se prueban tres estrategias de alineación: Best-of-N (BoN), PPO y DPO.

3. Contribuciones Clave

1. Método Agnóstico a la Distribución: Propone un método para descubrir modos de fallo sin necesidad de atributos predefinidos o conocimiento externo, utilizando únicamente el modelo de recompensa y una política base.
2. Auto-Mejora (Self-Improvement): Demuestra que un modelo de recompensa puede utilizar sus propios errores (identificados mediante decodificación controlada) para generar datos de entrenamiento que lo hacen más robusto.
3. Eficiencia de Datos: Logra mejoras significativas en robustez utilizando solo un pequeño subconjunto de datos aumentados (5% de las muestras más influyentes), evitando la necesidad de reetiquetado masivo o datos sintéticos a gran escala.
4. Preservación de Calidad: Muestra que la robustez ganada no degrada el rendimiento en tareas de alineación downstream (diversidad, legibilidad, utilidad).

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos de seguridad: Anthropic Helpful-Harmless (HH) y PKU Beavertails, utilizando modelos Mistral 7B y Qwen 2.5 14B.

• Detección de Fallos (RQ1): REFORM superó a las líneas base de perturbación aleatoria y búsqueda basada en atributos (como Jiang et al., 2025) en la capacidad de generar respuestas preferidas que el modelo original clasificaba incorrectamente como malas. Los ejemplos generados fueron legibles y semánticamente apropiados.
• Robustez (RQ2): Los modelos de recompensa entrenados con REFORM mostraron una mayor resistencia a cuatro tipos de perturbaciones:
  • Verbosidad excesiva.
  • Mayúsculas en palabras dañinas.
  • Repetición de palabras dañinas.
  • Errores ortográficos intencionales.
  • Resultado: La caída en la tasa de victorias (win-rate) bajo perturbaciones fue significativamente menor en REFORM comparado con modelos originales o métodos de aumento de datos estándar (RRM).
• Calidad de Alineación (RQ3):
  • Precisión: El modelo REFORM mantuvo una alta precisión en datos de prueba no perturbados (win-rate similar al original).
  • Downstream: En tareas de alineación (BoN, PPO, DPO), los modelos entrenados con REFORM preservaron la legibilidad y la utilidad. En algunos casos, mejoraron la utilidad al eliminar correlaciones espurias (ej. el modelo original podía recompensar respuestas largas o con ciertas palabras clave de forma errónea; REORM corrigió esto).

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma de cómo se aborda la robustez en los modelos de recompensa:

• De pasivo a activo: En lugar de esperar a que los fallos ocurran en producción o depender de datos estáticos, el modelo puede proactivamente "atacarse a sí mismo" para encontrar sus puntos débiles y corregirlos.
• Independencia de Atributos: Elimina la necesidad de que los humanos definan qué atributos (longitud, tono, etc.) causan fallos, lo cual es crucial dado que los modelos de recompensa aprenden patrones complejos y a veces ocultos.
• Escalabilidad: Al ser un método automatizado que no requiere intervención humana masiva para la detección de fallos, es escalable para sistemas de IA en producción.

En conclusión, REFORM demuestra que los modelos de recompensa pueden volverse intrínsecamente más robustos mediante un ciclo de retroalimentación adversaria controlada, mejorando la seguridad y la fiabilidad de los LLMs alineados sin sacrificar su capacidad de generación útil.