💬 NLP

Distributionally Robust Reinforcement Learning with Human Feedback

Este artículo introduce variantes distribucionales robustas de RLHF basado en recompensas y DPO libre de recompensas para el ajuste fino de modelos de lenguaje de gran tamaño, proponiendo algoritmos de descenso de gradiente por mini-lotes con garantías de convergencia que mejoran significamente el rendimiento en tareas fuera de la distribución en comparación con los métodos estándar.

Autores originales: Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

Publicado 2026-06-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un asistente robótico muy inteligente cómo escribir correos electrónicos, resolver problemas matemáticos o charlar con la gente. Lo haces mostrándole miles de ejemplos de respuestas "buenas" frente a respuestas "malas". Este proceso se llama Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF).

Sin embargo, hay un problema. Si entrenas al robot solo con ejemplos de cómo escribir correos electrónicos amigables, y de repente le pides que escriba un contrato legal o un informe científico, podría confundirse y desempeñarse mal. Se ha "sobreespecializado" en los datos de entrenamiento y no puede manejar situaciones nuevas y diferentes. Esto es como un estudiante que memoriza las respuestas de un examen de práctica específico, pero reprueba el examen real porque las preguntas están redactadas de forma distinta.

Este artículo propone una nueva forma de entrenar a estos robots para que sean robustos, lo que significa que se mantienen inteligentes y útiles incluso cuando las preguntas camban o el entorno es ligeramente diferente a lo que vieron durante el entrenamiento.

Así es como lo hicieron, utilizando algunas analogías sencillas:

1. El Problema: La "Cámara de Eco"

Los métodos de entrenamiento actuales son como meter a un estudiante en una cámara de eco. Solo escuchan un tipo de voz (los datos de entrenamiento). Si el mundo real tiene un acento o un tono diferente, el estudiante se pierde. Los autores llaman a esto una falta de robustez fuera de la distribución (OOD).

2. La Solución: El Entrenador del "Peor Escenario"

Los autores introducen un concepto llamado Optimización Robusta ante la Distribución (DRO).

Imagina que estás entrenando a un corredor de maratón.

Entrenamiento Estándar: Solo corres en una pista plana y soleada.
Entrenamiento Robusto: Le dices al corredor: "Quiero que estés preparado para cualquier condición que sea ligeramente diferente a esta pista. Tal vez haya un poco de viento, tal vez el suelo esté un poco embarrado, tal vez la temperatura sea ligeramente más alta".

El robot no solo aprende a ser bueno en los datos "perfectos". En su lugar, aprende a ser bueno incluso si los datos cambian ligeramente hacia un escenario del "peor caso" dentro de un límite razonable. Se prepara para lo inesperado.

3. Cómo lo Hicieron (El Proceso de Dos Pasos)

El artículo se centra en dos etapas principales de enseñanza al robot:

Paso A: Aprender al "Juez" (Estimación de Recompensa)
Primero, el robot necesita un "Juez" (un modelo de recompensa) que le diga si una respuesta es buena o mala.

El Truco: En lugar de solo promediar las puntuaciones de los datos de entrenamiento, los autores enseñan al Juez a ser escéptico. Le preguntan: "¿Qué pasaría si los datos que estamos viendo están ligeramente sesgados o desplazados? ¿Cuál es la peor puntuación posible que podríamos obtener de una versión ligeramente diferente de estos datos?"
El Resultado: El Juez se vuelve más severo y confiable. No se deja engañar por las peculiaridades de los datos de entrenamiento. El artículo muestra que esto hace que el Juez sea mucho mejor en tareas de razonamiento (como matemáticas o lógica) cuando se prueba con datos nuevos.

Paso B: Aprender al "Actor" (Optimización de la Política)
Una vez que el Juez está listo, el robot (el "Actor") intenta escribir respuestas para complacer al Juez.

El Truco: Los autores actualizaron dos métodos populares para esto:
1. PPO (Optimización de Política Próxima): Un método donde el robot intenta maximizar la puntuación del Juez mientras se mantiene cerca de su personalidad original.
2. DPO (Optimización de Preferencias Directas): Un método abreviado que se salta el "Juez" y aprende directamente de los ejemplos de "bueno vs. malo".
La Innovación: Aplicaron el mismo pensamiento del "Peor Escenario" a estos pasos. El robot aprende a desempeñarse bien incluso si la distribución de los prompts (las preguntas que recibe) cambia ligeramente.

4. Los Resultados: "Super-Razonamiento"

El equipo probó sus nuevos robots "Robustos" contra robots estándar utilizando dos modelos diferentes (un modelo pequeño de 2 mil millones de parámetros y uno más grande de 7 mil millones de parámetros).

La Prueba: Entrenaron a los robots con un conjunto de datos masivo llamado "Unified-Feedback", pero luego los probaron en conjuntos de datos completamente diferentes (como "HHH-Alignment" o "MT-Bench") que los robots nunca habían visto.
El Resultado:
- Los robots Robustos funcionaron mejor en estas nuevas tareas no vistas que los robots estándar.
- La mayor mejora fue en el Razonamiento. Al igual que un estudiante que aprende los principios de las matemáticas en lugar de solo memorizar respuestas, el robot robusto mejoró significamente en tareas de lógica y razonamiento cuando las preguntas cambiaban.
- Encontraron un "punto ideal" para cuánto usar el pensamiento del "peor escenario" (un parámetro llamado $\rho$ ). Si hacían que el robot se preocupara demasiado por los escenarios del peor caso, este se confundía. Pero con la cantidad adecuada, se convirtió en un campeón para manejar situaciones nuevas.

Resumen

En resumen, este artículo enseña a los modelos de IA a dejar de memorizar los datos de entrenamiento y a empezar a comprender las reglas subyacentes. Al entrenarlos para esperar y manejar cambios ligeros en los datos (usando una estrategia de "Peor Escenario"), los modelos se vuelven mucho más confiables e inteligentes cuando encuentran tareas del mundo real que son diferentes a su entrenamiento.

Conclusión Clave: No quieres solo un robot que sepa las respuestas del examen de práctica; quieres un robot que pueda pasar el examen real incluso si las preguntas están escritas en un estilo diferente. Este artículo muestra cómo construir ese tipo de robot.

Resumen Técnico: Aprendizaje por Refuerzo con Retroalimentación Humana Distribucionalmente Robusto

Declaración del Problema

El Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) se ha convertido en una técnica estándar para alinear los Modelos de Lenguaje de Gran Escala (LLM) con las intenciones humanas. Sin embargo, los procesos de RLHF existentes sufren de una falta de robustez. Cuando la distribución de los prompts encontrados durante la inferencia (tareas descendentes) difiere significamente de la distribución del conjunto de datos de preferencias utilizado durante el ajuste fino, el rendimiento del modelo suele deteriorarse. Este problema se ve exacerbado por fenómenos como la sobreoptimización, donde las políticas mejoran las recompensas proxy a expensas de las funciones de recompensa reales, y los cambios de distribución causados por entornos cambiantes o el desplazamiento de las preferencias humanas. Los enfoques previos de robustez se han centrado en modelos de corrupción adversaria específicos, cambios en el modelo de preferencia o métodos heurísticos como la fusión de modelos, que a menudo fallan ante cambios distribucionales leves.

Metodología

Los autores proponen un marco de Optimización Distribucionalmente Robusta (DRO) para RLHF. El objetivo central es asegurar que los modelos ajustados (tanto los modelos de recompensa como las políticas) mantengan su rendimiento incluso cuando la distribución de los prompts se desplaza dentro de una distancia acotada de la distribución de entrenamiento. Los autores formulan esto introduciendo un problema de optimización minimax donde el aprendiz minimiza la pérdida frente a la distribución de peor caso dentro de una bola de $\phi$ -divergencia (específicamente la distancia de Variación Total) alrededor de la distribución empírica de entrenamiento.

El artículo desarrolla variantes robustas para dos procesos principales de RLHF:

Estimación de Recompensa Robusta:
- Formulación: El modelo de recompensa $r$ se entrena para minimizar la pérdida esperada de peor caso sobre distribuciones $D$ tales que $d_{TV}(D, D_{src}) \leq \rho$ .
- Algoritmo: Se propone un algoritmo de descenso de gradiente por minibatch (Algoritmo 1). En cada iteración, el algoritmo toma un minibatch y calcula los pesos óptimos $q^*_t$ que corresponden al desplazamiento de la distribución de peor caso dentro de la distancia $\rho$ . El gradiente es entonces reponderado por estos pesos óptimos antes de actualizar los parámetros de la recompensa.
- Convergencia: Bajo la suposición de una clase de función de recompensa lineal, los autores demuestran que el algoritmo converge a una solución $\epsilon$ -óptima con $T = O(1/\epsilon^2)$ iteraciones y $n = \tilde{O}(1/\epsilon^2)$ muestras por iteración.
Optimización de Política Robusta:
- Formulación: La política $\pi$ se optimiza para maximizar la función de valor regularizada por KL en el peor de los casos.
- Algoritmo: Los autores proponen un método de Gradiente de Política Natural (NPG) robusto (Algoritmo 2). De manera similar a la estimación de recompensa, este calcula los pesos de peor caso para el minibatch. Crucialmente, actualiza la política utilizando una matriz de información de Fisher ponderada derivada de estos pesos de peor caso, en lugar de la matriz de Fisher empírica estándar.
- Convergencia: Asumiendo una clase de política log-lineal y condiciones de concentrabilidad estándar, el método logra una tasa de convergencia lineal ( $T = O(\log(1/\epsilon))$ ) pero requiere una mayor complejidad de muestreo de $n = \tilde{O}(1/\epsilon^4)$ por iteración para asegurar la convergencia de la última iteración.
Optimización de Preferencia Directa (DPO) Robusta:
- Formulación: Se formula una versión distribucionalmente robusta de DPO, optimizando directamente la política sin un modelo de recompensa explícito.
- Algoritmo: El Algoritmo 3 aplica descenso de gradiente estocástico por minibatch con gradientes reponderados basados en el desplazamiento de la distribución de peor caso.
- Convergencia: El análisis muestra una complejidad de iteración de $T = O(1/\epsilon^2)$ y una complejidad de muestreo de $n = \tilde{O}(1/\epsilon^2)$ , similar a la fase de estimación de recompensa robusta.

Contribuciones Clave

Marco Teórico: El artículo establece las primeras formulaciones de robustez distribucional tanto para la fase de estimación de recompensa como para la de optimización de política de RLHF, así como para DPO.
Algoritmos: Introduce algoritmos prácticos basados en minibatch para la Estimación de Recompensa Robusta, NPG Robusto y DPO Robusto. Estos algoritmos están diseñados para ser mínimamente invasivos en los procesos existentes, requiriendo solo el cálculo de factores de reponderación (resuelto mediante optimización convexa) y la reponderación del gradiente.
Garantías de Convergencia: Los autores proporcionan pruebas teóricas para la convergencia de estos algoritmos. Establecen límites para la complejidad de muestreo e iteración para modelos de recompensa lineales y políticas log-lineales, demostrando que la robustez puede lograrse con garantías demostrables.
Validación Empírica: Los métodos se evalúan en tareas fuera de la distribución (OOD) utilizando el conjunto de datos Unified-Feedback para el entrenamiento y RewardBench, HHH-Alignment y MT-Bench para la evaluación.

Resultados Experimentales

Los autores evaluaron sus métodos utilizando los modelos base Gemma-2B-it y Mistral-7B-Instruct-v0.2.

Modelos de Recompensa: En el benchmark RewardBench, los modelos de recompensa distribucionalmente robustos (DR RM) mostraron una precisión promedio mejorada en comparación con los modelos Bradley-Terry (BTL) estándar, particularmente cuando el parámetro de robustez $\rho$ se estableció en 0.1 o 0.2. Notablemente, el rendimiento en el subconjunto de Razonamiento mejoró significativamente (por ejemplo, +23.4% en un subconjunto con $\rho=0.1$ ). Sin embargo, el rendimiento se degradó cuando $\rho$ se estableció demasiado alto (por ejemplo, $\rho \geq 0.6$ ), lo que indica un compromiso entre la robustez y el ajuste a la distribución de entrenamiento.
Optimización de Política (PPO): Al usar los modelos de recompensa robustos para entrenar políticas mediante PPO, las variantes robustas (DR PPO) generalmente igualaron o superaron el rendimiento del PPO estándar tanto en conjuntos de datos dentro de la distribución (Unified-Feedback) como fuera de la distribución (HHH-Alignment, MT-Bench). Se observó una mejora marcada en las tareas de razonamiento, con un aumento del +10.0% en la precisión para $\rho=0.1$ .
Optimización de Preferencia Directa (DPO): El DPO robusto (DR DPO) mejoró consistentemente el rendimiento en los conjuntos de datos OOD en comparación con el DPO estándar. Para HHH-Alignment, el mejor rendimiento se logró con $\rho=0.8$ , y para MT-Bench con $\rho=0.5$ . El DR DPO generalmente superó al DR PPO en las tareas OOD.

Significado y Reivindicaciones

El artículo sostiene que la optimización distribucionalmente robusta proporciona un enfoque fundamentado para mejorar la generalización de los LLM ante tareas no vistas y cambios de distribución. Los autores enfatizan que sus métodos requieren alteraciones mínimas a los procesos de RLHF eficientes existentes (por ejemplo, aquellos que utilizan las librerías de Hugging Face) mientras ofrecen garantías teóricas de convergencia.

Un hallazgo clave destacado por los autores es la mejora inesperada en las capacidades de razonamiento en los conjuntos de datos OOD cuando se impone la robustez distribucional. Los autores señalan que no es inmediatamente claro por qué la DRO debería afectar positivamente al razonamiento, sugiriendo que este fenómeno merece una mayor investigación sobre las conexiones entre el razonamiento y la robustez distribucional.

Este trabajo se posiciona como un paso hacia la alineación real de los LLM con las intenciones humanas en entornos del mundo real dinámicos, donde las distribuciones de datos no son estáticas, yendo más allá de las limitaciones del RLHF estándar que a menudo falla al generalizar más allá de los ejemplos de preferencia específicos vistos durante el entrenamiento.