🤖 machine learning

SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation

El artículo propone SMOPD, un marco de destilación de políticas en línea de dos etapas de "especialización y fusión" que entrena modelos maestros especializados en recompensas y los consolida en una única política estudiante para equilibrar eficazmente señales de múltiples recompensas de diversas granularidades, superando a métodos existentes como GDPO en diversas arquitecturas de modelos.

Autores originales: Wen Wang, Jiahua Bao, Tu Yongsiqi, Yihao Liu, Haotian Zhou, Haoxuan Ma, Mengyu Zhou, Wenkui Fan, Junwei He, Xiaoxi Jiang, Guanjun Jiang

Publicado 2026-08-05

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wen Wang, Jiahua Bao, Tu Yongsiqi, Yihao Liu, Haotian Zhou, Haoxuan Ma, Mengyu Zhou, Wenkui Fan, Junwei He, Xiaoxi Jiang, Guanjun Jiang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot a ser el asistente perfecto. Quieres que sea útil, inofensivo y que también sea capaz de seguir reglas de formato estrictas, como usar etiquetas específicas o llamar a las herramientas adecuadas. Este es el mundo del Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF). Piensa en esto como entrenar a un perro: le das un premio (una "recompensa") cuando hace algo bueno, y así aprende a repetir ese comportamiento. Pero aquí está la parte difícil: ¿qué pasa si quieres que el perro se siente y se quede quieto y traiga la pelota, todo a la vez? Si solo le das un gran premio por hacer todo, el perro podría confundirse. Podría darse cuenta de que "traer la pelota" es la forma más fácil de obtener un premio, por lo que ignora por completo "sentarse" y "quedarse quieto". En el mundo de la IA, esto se llama enmascaramiento de recompensa (reward masking), donde una señal fuerte ahoga a las demás.

Recientemente, los científicos intentaron solucionar esto dando a la IA puntuaciones separadas para cada tarea antes de combinarlas, un método llamado GDPO. Era como darle al perro una tarjeta de puntuación para sentarse, otra para quedarse quieto y una tercera para traer la pelota, y luego sumarlas. Pero había un inconveniente: algunas tareas son fáciles de medir (como "¿trajo la pelota?") mientras que otras son raras y difíciles de detectar (como "¿se quedó perfectamente quieto durante 10 segundos?"). Si la IA recibe un millón de puntuaciones de "traer la pelota" pero solo una de "quedarse quieto", la señal de "quedarse quieto" se pierde en el ruido. La IA aprende a traer la pelota perfectamente pero se olvida de quedarse quieta. Este artículo, SMOPD, plantea una pregunta sencilla: ¿Cómo nos aseguramos de que la IA aprenda las habilidades raras y difíciles de detectar sin olvidar las fáciles?

El Problema: El "Aula Ruidosa"

Imagina un aula donde un profesor intenta enseñar dos cosas a la vez a sus alumnos: cómo resolver problemas matemáticos complejos (una recompensa "densa" porque hay muchos pasos para hacerlo bien) y cómo levantar la mano antes de hablar (una recomposa "dispersa" o "esparcida" porque solo ocurre una vez por clase).

Si el profesor simplemente grita una puntuación total al final del día, los estudiantes se centrarán totalmente en las matemáticas. Ignorarán el levantar la mano porque, estadísticamente, los puntos de las matemáticas están en todas partes, mientras que los puntos por levantar la mano son escasos. Incluso si el profesor intenta ponderar el levantar la mano de forma equitativa, los estudiantes aún no la escuchan con suficiente claridad sobre el ruido de las puntuaciones de matemáticas. Los modelos de IA se enfrentaban exactamente a este problema: eran excelentes en las tareas "densas" pero terribles en las "dispersas", como formatear sus respuestas correctamente o ser inofensivos cuando más importaba.

La Solución: Especializar, Luego Fusionar

Los autores de este artículo proponen una estrategia ingeniosa de dos pasos llamada SMOPD (Destilación de Política en Línea mediante Especialización y Fusión). En lugar de intentar enseñar a un solo estudiante a ser perfecto en todo al mismo tiempo, crean un equipo de especialistas y luego combinan sus habilidades.

Paso 1: La Especialización (Los "Profesores Especialistas")
Primero, los investigadores entrenan varios modelos "profesores" diferentes. Pero aquí está el giro: cada profesor tiene la orden de concentrarse solo en una habilidad específica.

El Profesor A tiene la orden: "¡Ignora las matemáticas! Tu único trabajo es asegurar que los estudiantes levanten la mano". Para lograr esto, el profesor recibe un bono masivo por cada mano levantada, haciendo que esa señal sea imposible de ignorar.
El Profesor B tiene la orden: "¡Ignora el levantar la mano! Tu único trabajo es resolver los problemas matemáticos".

Debido a que cada profesor está hiperenfocado, se convierten en expertos en su trabajo específico. El Profesor A aprende la habilidad rara de "levantar la mano" perfectamente porque es lo único que le importa. El Profesor B se convierte en un mago de las matemáticas. No intentan equilibrar las dos cosas; simplemente se entregan por completo a una sola.

Paso 2: La Fusión (El Modelo "Estudiante")
Ahora, los investigadores presentan un nuevo modelo "estudiante". Este estudiante no solo escucha a un profesor; escucha a todos ellos al mismo tiempo.

Cuando el estudiante está escribiendo una respuesta, observa lo que haría el Profesor A (el de levantar la mano) y lo que haría el Profesor B (el genio de las matemáticas).
El estudiante aprende a copiar las mejores partes de ambos. Si el Profesor A tiene confianza en el formato, el estudiante lo copia. Si el Profesor B tiene confianza en las matemáticas, el estudiante también lo copia.

Crucialmente, el estudiante también tiene una "red de seguridad" (llamada ancla) que comprueba la respuesta final para asegurarse de que sigue siendo una buena respuesta global, y no solo un trabajo de copiar y pegar. Esto asegura que el estudiante aprenda a equilibrar las habilidades de forma natural, en lugar de ser solo una mezcla confusa de dos personas diferentes.

Lo que Encontraron

El equipo probó esta idea en modelos de IA de diferentes tamaños (1.5 mil millones, 3 mil millones y 7 mil millones de parámetros) utilizando dos desafíos muy diferentes:

Llamada a Herramientas (Tool Calling): Asegurarse de que la IA use las herramientas correctas (como una calculadora o un motor de búsqueda) y formatee la salida exactamente bien (como usar etiquetas XML específicas).
Seguridad: Asegurarse de que la IA sea útil pero también inofensiva.

Los resultados fueron impresionantes. En la prueba de "Llamada a Herramientas", los métodos antiguos (GDPO) lograron acertar el formato solo un 8.8% de las veces porque la señal de formato era demasiado dispersa. Pero con SMOPD, ¡los modelos acertaron el formato el 97.5% de las veces! Sorprendentemente, no perdieron sus habilidades matemáticas en el proceso. El modelo de 1.5 mil millones vio una mejora del 48% en su puntuación general en comparación con el mejor método anterior.

En las pruebas de "Seguridad", donde los objetivos de ser útil y ser inofensivo a veces chocan, SMOPD superó consistentemente a los otros métodos en todos los tamaños de modelo. Logró aprender los comportamientos "inofensivos" que son raros sin sacrificar su capacidad de ser útil.

Por qué esto Importa

El artículo sugiere que la vieja forma de intentar equilibrar todas las recompensas en una sola sesión de entrenamiento está llegando a un muro. No puedes simplemente ajustar los pesos para que todo sea perfecto; a veces, una habilidad es simplemente demasiado rara para ser aprendida en medio de una multitud. Al dejar que la IA se "especialice" primero —permitiéndole volverse muy buena en una cosa de forma aislada— y luego "fusionar" esas habilidades, la IA puede aprender lo difícil y raro sin olvidar lo fácil y sencillo.

Es como darse cuenta de que para construir una orquesta perfecta, no deberías simplemente decirle a todos que toquen todo a la vez. En su lugar, dejas que los violinistas practiquen su parte solos hasta que sean perfectos, dejas que los bateristas hagan lo mismo, y luego los reúnes para tocar la sinfonía. El resultado es una interpretación donde cada instrumento se escucha claramente, y la música suena mejor de lo que cualquiera esperaba.

Resumen Técnico: SMOPD

1. Planteamiento del Problema

El artículo aborda una limitación fundamental en el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) multirecompensa para Modelos de Lenguaje Grande (LLMs). Si bien los métodos existentes como la Optimización de Política con Normalización Desacoplada de Recompensa de Grupo (GDPO) han mejorado respecto a la Optimización de Política Relativa de Grupo (GRPO) estándar al normalizar las dimensiones de recompensa por separado antes de su agregación, todavía luchan contra el desequilibrio de densidad de recompensa.

En muchos escenarios prácticos, los modelos se entrenan con una mezcla de recompensas densas (que proporcionan retroalimentación fina y continua, por ejemplo, puntuaciones de precisión de 0.1 a 1.0) y recompensas dispersas (que proporcionan retroalimentación binaria de todo o nada, por ejemplo, cumplimiento de formato de 0 o 1).

El problema central: En la estimación de ventaja basada en grupos, las recompensas densas proporcionan una variación constante dentro del grupo, lo que permite al modelo aprender de manera efectiva. Las recompensas dispersas, sin embargo, suelen asignar valores idénticos (por ejemplo, 0) a la mayoría de las respuestas dentro de un grupo de ejecución (rollout). Esto resulta en una varianza dentro del grupo cero o cercana a cero para la dimensión dispersa.
Consecuencia: Incluso con la normalización por recompensa, la señal de la recompensa dispersa es abrumada por la señal de la recompensa densa durante la optimización equilibrada. El modelo no logra aprender la capacidad asociada con la recompensa dispersa (por ejemplo, el cumplimiento estricto del formato de salida) porque la señal de optimización es insuficiente para impulsar las actualizaciones de la política, independientemente de los pesos de prioridad asignados en una configuración de política única. Elevar la prioridad de la recompensa dispersa para hacerla aprendible suele sesgar la política final, degradando el rendimiento en otros objetivos.

2. Metodología: SMOPD

Para resolver esta tensión, los autores proponen la Destilación de Política en Línea Especializar-y-Fusionar (SMOPD), un marco de entrenamiento de dos etapas que desacopla la adquisición de capacidades del equilibrio de recompensas.

Etapa 1: Especializar (Maestros Especializados en Recompensas)

En lugar de entrenar una única política para equilibrar todas las recompensas, SMOPD entrena múltiples políticas "maestras", cada una especializada en una dimensión de recompensa específica.

Mecanismo: La política base se entrena con distintas configuraciones de prioridad de recompensa. Para una dimensión de recompensa objetivo $k$ , el peso de prioridad $w_k$ se establece significativamente más alto que los otros pesos ( $w_k \gg w_j$ ).
Efecto: Esto amplifica la señal del gradiente para la recompensa objetivo, permitiendo que el maestro aprenda efectivamente la distribución dispersa o difícil de aprender (por ejemplo, un "Maestro de Formato" que prioriza el cumplimiento binario del formato) sin ser ahogado por las señales densas.
Resultado: Se produce un conjunto de maestros complementarios, donde cada maestro destaca en una dimensión de recompensa específica, potencialmente a expensas de otras, pero cubriendo colectivamente todo el espacio de recompensa.

Etapa 2: Fusionar (Destilación de Política en Línea)

Las capacidades especializadas de los maestros se fusionan en una única política "estudiante" mediante Destilación de Política en Línea (OPD).

Mezcla de Maestros: En cada posición de token $t$ en una secuencia generada por el estudiante, la distribución objetivo es una mezcla de las distribuciones de siguiente token de los maestros. SMOPD utiliza una mezcla uniforme ( $\alpha_m = 1/M$ ) y aproxima la mezcla completa del vocabulario utilizando una construcción top- $\kappa$ (manteniendo los $\kappa$ tokens superiores de cada maestro) para asegurar la eficiencia computacional.
Pérdida de Destilación: El estudiante minimiza la divergencia KL directa (Forward KL divergence) entre su propia distribución y la mezcla de los maestros. Se elige la KL directa porque es "cobertora de modos" (mode-covering), lo que anima al estudiante a colocar masa de probabilidad en todos los tokens de alta probabilidad de cualquier maestro (crucial cuando diferentes maestros tienen confianza sobre diferentes tokens, por ejemplo, envoltorios de formato frente a argumentos de función).
Ancla GDPO: Para evitar que el estudiante se limite a imitar a los maestros y pierda la optimización a nivel de tarea, se añade una pérdida de ancla GDPO. Esta pérdida utiliza pesos equilibrados para todas las recompensas, proporcionando una señal a nivel de secuencia que guía al estudiante para optimizar el objetivo de recompensa original.
Objetivo Total: El estudiante optimiza una combinación de la pérdida de destilación (guía a nivel de token) y la pérdida de ancla (dirección de la tarea a nivel de secuencia).

3. Contribuciones Clave

Resolución de la Tensión de Equilibrio de Recompensas: SMOPD aborda el conflicto inherente en la optimización de múltiples recompensas de política única donde las recompensas dispersas son difíciles de aprender bajo prioridades equilibradas. Al especializar a los maestros, hace que las distribuciones dispersas sean aprendibles sin sesgar permanentemente la política final.
Marco de Especializar-y-Fusionar en Dos Etapas: El método introduce un flujo de trabajo novedoso donde la adquisición de capacidades se separa del equilibrio de recompensas. Los maestros aprenden en regímenes favorables (prioridad alta), y el estudiante fusiona estas capacidades mediante destilación a nivel de token.
Superioridad en Entornos Complementarios y Conflictivos: El artículo demuestra que SMOPD supera a las líneas base de escalado escalar (GRPO, GDPO, GD2PO) en diferentes escalas de modelos (1.5B, 3B, 7B) y estructuras de recompensa (complementarias: precisión de herramienta/formato; conflictivas: utilidad/inocuidad).
La Fusión Supera a los Maestros: La política estudiante fusionada no solo equilibra los objetivos, sino que a menudo supera el rendimiento de los maestros individuales especializados y de las líneas base de escalado escalar, lo que indica que el proceso de destilación recupera el conocimiento complementario no utilizado por el entrenamiento de un solo objetivo.

4. Resultados Experimentales

Los autores evaluaron SMOPD en dos configuraciones principales:

A. Recompensas Complementarias (Llamada a Herramientas)

Configuración: Entrenamiento en RLLA-4K con recompensas de precisión (densa) y de formato (dispersa binaria).
Hallazgos:
- Fallo de GDPO: Bajo prioridades equilibradas, GDPO logró solo un 8.8% de cumplimiento de formato en el backbone de 1.5B, ya que la señal dispersa fue abrumada.
- Éxito del Maestro: El maestro especializado en Formato (alta prioridad en formato) logró un 97.5% de cumplimiento, pero con menor precisión.
- Éxito de SMOPD: El estudiante fusionado logró un 97.5% de cumplimiento de formato manteniendo una alta precisión (puntuación media de RLLA de 2.740 frente a los 1.849 de GDPO). Esto representa una mejora de +48% sobre la línea base de GDPO en el modelo de 1.5B.
- Generalización: SMOPD también mostró un rendimiento superior en pruebas de control como API-Bank (LLM-Judge) y BFCL.

B. Recompensas Conflictivas (Utilidad vs. Inocuidad)

Configuración: Entrenamiento en entornos Safe-RLHF (HH-RLHF, PKU-SafeRLHF, Alpaca) con recompensas de utilidad e inocuidad.
Hallazgos:
- SMOPD superó consistentemente a GDPO y GD2PO en los backbones de 3B y 7B (Qwen2.5 y Llama-3.2).
- En Qwen2.5-7B, SMOPD logró una puntuación general de 5.646, superando a la mejor línea base de escalado escalar (GD2PO: 5.571) y a ambos maestros individuales.
- Incluso cuando los maestros individuales se degradaron (por ejemplo, en Llama-3.2-3B), el proceso de fusión recuperó el rendimiento para acercarse o superar las líneas base de escalado escalar.

C. Estudios de Ablación

Necesidad del Ancla: Eliminar el ancla GDPO (usando solo OPD) resultó en un estudiante que se estancaba en el nivel de rendimiento de la mezcla de maestros. El ancla es esencial para empujar al estudiante más allá del "techo de imitación" para optimizar la recompensa real de la tarea.
KL Directa vs. Inversa: Se encontró que la KL directa era superior a la KL inversa en este entorno de múltiples maestros porque preserva los diversos modos de la mezcla de maestros, mientras que la KL inversa tiende a ser buscadora de un modo (mode-seeking) y puede perder capacidades especializadas.
Sensibilidad de Top- $\kappa$ : Un $\kappa$ pequeño (por ejemplo, 16) fue suficiente, ya que retuvo aproximadamente el 99.4% de la masa de probabilidad de los maestros, validando la eficiencia de la aproximación.

5. Significación y Reivindicaciones

El artículo afirma que SMOPD ofrece una solución robusta al problema del desequilibrio de densidad de recompensa en el RL multirecompensa. Su significación radica en:

Desacoplar el Aprendizaje del Equilibrio: Desafía el paradigma de intentar equilibrar todas las recompensas simultáneamente dentro de un único paso de optimización. En su lugar, aprovecha la especialización para asegurar que todas las señales de recompensa se aprendan efectivamente antes de fusionarlas.
Granularidad a Nivel de Token: Al utilizar la destilación en línea a nivel de token, SMOPD proporciona una supervisión densa para las recompensas dispersas (como el formato) que la estimación de ventaja basada en grupos no puede proporcionar.
Escalabilidad y Generalidad: El método es efectivo a través de varios tamaños de modelo (de 1.5B a 7B) y tipos de recompensa (complementarias y conflictivas), lo que sugiere que es un enfoque generalizable para el alineamiento multiobjetivo en LLMs.

Los autores concluyen que SMOPD produce una política unificada que retiene las fortalezas de los maestros especializados mientras logra un equilibrio de optimización a nivel de tarea, superando eficazmente las limitaciones de los métodos actuales de escalado escalar multirecompensa.