🤖 machine learning

SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation

L'article propose SMOPD, un cadre de distillation de politique en ligne en deux étapes de type « spécialisation et fusion » qui entraîne des modèles enseignants spécialisés par récompense et les consolide en une politique étudiante unique pour équilibrer efficacement des signaux de récompense multiples de granularités variées, surpassant ainsi les méthodes existantes comme GDPO à travers divers backbones de modèles.

Auteurs originaux : Wen Wang, Jiahua Bao, Tu Yongsiqi, Yihao Liu, Haotian Zhou, Haoxuan Ma, Mengyu Zhou, Wenkui Fan, Junwei He, Xiaoxi Jiang, Guanjun Jiang

Publié 2026-08-05

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wen Wang, Jiahua Bao, Tu Yongsiqi, Yihao Liu, Haotian Zhou, Haoxuan Ma, Mengyu Zhou, Wenkui Fan, Junwei He, Xiaoxi Jiang, Guanjun Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à devenir l'assistant parfait. Vous voulez qu'il soit utile, inoffensif et capable de suivre des règles de formatage strictes, comme utiliser des balises spécifiques ou appeler les bons outils. C'est le monde de l'Apprentissage par Renforcement à partir du Feedback Humain (RLHF). Voyez cela comme l'entraînement d'un chien : vous lui donnez une friandise (une « récompense ») lorsqu'il fait quelque chose de bien, et il apprend à répéter ce comportement. Mais voici la partie délicate : et si vous vouliez que le chien s'assoie et reste immobile et rapporte un objet, tout cela en même temps ? Si vous lui donnez simplement une grosse friandise pour avoir fait tout cela, le chien pourrait être confus. Il pourrait réaliser que « rapporter l'objet » est le moyen le plus facile d'obtenir une friandise, et décider d'ignorer totalement le « s'asseoir » et le « rester immobile ». Dans le monde de l'IA, c'est ce qu'on appelle le masquage de récompense (reward masking), où un signal fort étouffe les autres.

Récemment, des scientifiques ont tenté de corriger cela en donnant à l'IA des scores distincts pour chaque tâche avant de les combiner, une méthode appelée GDPO. C'était comme donner au chien une fiche de notation pour s'asseoir, une autre pour rester immobile et une troisième pour rapporter l'objet, puis de les additionner. Mais il y avait un piège : certaines tâches sont faciles à mesurer (comme « a-t-il rapporté la balle ? »), tandis que d'autres sont rares et difficiles à repérer (comme « est-il resté parfaitement immobile pendant 10 secondes ? »). Si l'IA reçoit un million de scores de « rapport de balle » mais un seul score de « rester immobile », le signal « rester immobile » se perd dans le bruit. L'IA apprend à rapporter l'objet parfaitement, mais oublie de rester immobile. Ce papier, intitulé SMOPD, pose une question simple : comment s'assurer que l'IA apprenne les compétences rares et difficiles à repérer sans oublier les plus faciles ?

Le Problème : La « Classe Bruyante »

Imaginez une salle de classe où un enseignant essaie d'enseigner deux choses à la fois à ses élèves : comment résoudre des problèmes mathématiques complexes (une récompense « dense » car il y a de nombreuses étapes à réussir) et comment lever la main avant de parler (une récompense « éparse » car cela n'arrive qu'une seule fois par cours).

Si l'enseignant se contente de crier un score total à la fin de la journée, les élèves se concentreront entièrement sur les mathématiques. Ils ignoreront le fait de lever la main car, statistiquement, les points de mathématiques sont partout, alors que les points pour lever la main sont rares. Même si l'enseignant essaie de donner un poids égal au fait de lever la main, les élèves ne l'entendent toujours pas assez clairement au milieu du bruit des scores de mathématiques. Les modèles d'IA étaient confrontés à ce problème exact : ils étaient excellents pour les tâches « denses », mais médiocres pour les tâches « éparses », comme formater leurs réponses correctement ou être inoffensifs quand cela comptait vraiment.

La Solution : Spécialiser, puis Fusionner

Les auteurs de ce papier proposent une stratégie astucieuse en deux étapes appelée SMOPD (Specialize-and-Merge Online Policy Distillation). Au lieu d'essayer d'enseigner à un seul élève à être parfait en tout en même temps, ils créent une équipe de spécialistes, puis combinent leurs compétences.

Étape 1 : La Spécialisation (Les « Enseignants Spécialistes »)
D'abord, les chercheurs entraînent plusieurs modèles « enseignants » différents. Mais voici le tour de force : chaque enseignant est chargé de se concentrer uniquement sur une compétence spécifique.

L'Enseignant A reçoit l'ordre : « Ignorez les maths ! Votre seul travail est de vous assurer que les élèves lèvent la main. » Pour ce faire, l'enseignant reçoit un bonus massif pour chaque main levée, rendant ce signal impossible à ignorer.
L'Enseignant B reçoit l'ordre : « Ignorez le fait de lever la main ! Votre seul travail est de résoudre les problèmes de mathématiques. »

Parce que chaque enseignant est hyper-concentré, ils deviennent des experts dans leur domaine respectif. L'Enseignant A apprend la compétence rare de « lever la main » parfaitement car c'est la seule chose qui compte pour lui. L'Enseignant B devient un génie des mathématiques. Ils ne cherchent pas à équilibrer les deux ; ils se donnent à fond sur une seule chose.

Étape 2 : La Fusion (Le modèle « Élève »)
Maintenant, les chercheurs introduisent un nouveau modèle « élève ». Cet élève n'écoute pas seulement un enseignant ; il écoute tous les enseignants en même temps.

Lorsque l'élève rédige une réponse, il regarde ce que l'Enseignant A (le spécialiste de la main levée) ferait et ce que l'Enseignant B (le génie des maths) ferait.
L'élève apprend à copier les meilleures parties de chacun. Si l'Enseignant A est sûr de lui concernant le formatage, l'élève le copie. Si l'Enseignant B est sûr de lui concernant les maths, l'élève le copie aussi.

Crucialement, l'élève possède également un « filet de sécurité » (appelé ancre) qui vérifie la réponse finale pour s'assurer qu'il s'agit toujours d'une bonne réponse globale, et non d'un simple copier-coller. Cela garantit que l'élève apprend à équilibrer les compétences naturellement, plutôt que d'être un mélange confus de deux personnes différentes.

Ce qu'ils ont trouvé

L'équipe a testé cette idée sur des modèles d'IA de différentes tailles (1,5 milliard, 3 milliards et 7 milliards de paramètres) en utilisant deux défis très différents :

L'Appel d'Outils (Tool Calling) : S'assurer que l'IA utilise les bons outils (comme une calculatrice ou un moteur de recherche) et formate la sortie exactement comme prévu (comme l'utilisation de balises XML spécifiques).
La Sécurité (Safety) : S'assurer que l'IA est utile mais aussi inoffensive.

Les résultats sont impressionnants. Dans le test de « l'Appel d'Outils », les anciennes méthodes (GDPO) ne parvenaient à respecter le formatage que dans environ 8,8 % des cas, car le signal de formatage était trop éparse. Mais avec SMOPD, les modèles ont respecté le formatage 97,5 % du temps ! Plus surprenant encore, ils n'ont pas perdu leurs compétences en mathématiques dans le processus. Le modèle de 1,5 milliard a vu une amélioration de 48 % de son score global par rapport à la meilleure méthode précédente.

Dans les tests de « Sécurité », où les objectifs d'être utile et d'être inoffensif entrent parfois en conflit, SMOPD surpasse systématiquement les autres méthodes, quelle que soit la taille du modèle. Il a réussi à apprendre les comportements rares de « non-danger » sans sacrifier sa capacité à être utile.

Pourquoi cela importe

Le papier suggère que l'ancienne façon de tenter d'équilibrer tous les prix dans une seule session d'entraînement atteint un mur. On ne peut pas simplement ajuster les poids pour que tout soit parfait ; parfois, une compétence est simplement trop rare pour être apprise dans la foule. En laissant l'IA se « spécialiser » d'abord — en la laissant devenir très douée pour une chose en isolation — puis en « fusionnant » ces compétences, l'IA peut apprendre les choses difficiles et rares sans oublier les choses faciles.

C'est comme réaliser que pour construire un orchestre parfait, on ne devrait pas simplement dire à tout le monde de jouer de tout en même temps. Au lieu de cela, on laisse les violonistes pratiquer leur partie seuls jusqu'à ce qu'ils soient parfaits, on fait de même pour les batteurs, puis on les réunit pour jouer la symphonie. Le résultat est une performance où chaque instrument est entendu clairement, et où la musique sonne mieux que ce que tout le monde espérait.

Résumé Technique : SMOPD

1. Énoncé du Problème

L'article traite d'une limitation fondamentale de l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) multi-récompenses pour les grands modèles de langage (LLM). Bien que les méthodes existantes comme le Group Reward-Decoupled Normalization Policy Optimization (GDPO) aient amélioré le standard Group Relative Policy Optimization (GRPO) en normalisant séparément les dimensions de récompense avant agrégation, elles peinent toujours face au problème de déséquilibre de densité des récompenses.

Dans de nombreux scénarios pratiques, les modèles sont entraînés avec un mélange de récompenses denses (fournissant un retour granulaire et continu, par exemple des scores de précision de 0,1 à 1,0) et de récompenses éparses (fournissant un retour binaire, tout ou rien, par exemple la conformité du format de 0 ou 1).

Le problème central : Dans l'estimation de l'avantage par groupe, les récompenses denses fournissent une variation intra-groupe constante, permettant au modèle d'apprendre efficacement. Les récompenses éparses, en revanche, attribuent souvent des valeurs identiques (par exemple, 0) à la majorité des réponses au sein d'un groupe de tirage (rollout group). Cela entraîne une variance intra-groupe nulle ou proche de zéro pour la dimension éparse.
Conséquence : Même avec une normalisation par récompense, le signal de la récompense éparse est submergé par le signal de la récompense dense lors d'une optimisation équilibrée. Le modèle échoue à apprendre la capacité associée à la récompense éparse (par exemple, un format de sortie strict) car le signal d'optimisation est insuffsament puissant pour piloter les mises à jour de la politique, quel que soit le poids de priorité assigné dans un cadre de politique unique. Augmenter la priorité de la récompense éparse pour la rendre apprenable fausse souvent la politique finale, dégradant les performances sur les autres objectifs.

2. Méthodologie : SMOPD

Pour résoudre cette tension, les auteurs proposent le Specialize-and-Merge Online Policy Distillation (SMOPD), un cadre d'entraînement en deux étapes qui découple l'acquisition de capacités de l'équilibrage des récompenses.

Étape 1 : Spécialisation (Enseignants spécialisés par récompense)

Au lieu d'entraîner une seule politique pour équilibrer toutes les récompenses, SMOPD entraîne plusieurs politiques « enseignantes », chacune spécialisée pour une dimension de récompense spécifique.

Mécanisme : La politique de base est entraînée avec des configurations de priorité de récompense distinctes ; pour une dimension de récompense cible $k$ , le poids de priorité $w_k$ est fixé nettement plus haut que les autres poids ( $w_k \gg w_j$ ).
Effet : Cela amplifie le signal de gradient pour la récompense cible, permettant à l'enseignant d'apprendre efficacement la distribution éparse ou difficile (par exemple, un « Enseignant de Format » qui priorise la conformité binaire du format) sans être noyé par les signaux denses.
Résultat : Un ensemble d'enseignants complémentaires est produit, où chaque enseignant excelle dans une dimension de récompense spécifique, potentiellement au détriment des autres, mais couvrant collectivement tout l'espace de récompense.

Étape 2 : Fusion (Distillation de politique en ligne)

Les capacités spécialisées des enseignants sont fusionnées dans une politique « étudiante » unique via une distillation en ligne (OPD - On-Policy Distillation).

Mélange d'enseignants : À chaque position de jeton (token) $t$ dans une séquence générée par l'étudiant, la distribution cible est un mélange des distributions de jetons suivants des enseignants. SMOPD utilise un mélange uniforme ( $\alpha_m = 1/M$ ) et approxime le mélange complet du vocabulaire à l'aide d'une construction top- $\kappa$ (en conservant les $\kappa$ meilleurs jetons de chaque enseignant) pour garantir l'efficacité computationnelle.
Perte de distillation : L'étudiant minimise la divergence KL directe (Forward KL) entre sa propre distribution et le mélange des enseignants. La divergence KL directe est choisie car elle est « couvrante de modes » (mode-covering), encourageant l'étudiant à placer une masse de probabilité sur tous les jetons à haute probabilité de n'importe quel enseignant (crucial quand différents enseignants sont confiants sur différents jetons, par exemple les balises de format vs les arguments de fonction).
Ancre GDPO : Pour éviter que l'étudiant ne se contente d'imiter les enseignants et ne perde l'optimisation au niveau de la tâche, une perte d'ancrage GDPO est ajoutée. Cette perte utilise des poids équilibrés pour toutes les récompenses, fournissant un signal au niveau de la séquence qui guide l'étudiant pour optimiser l'objectif multi-récompenses original.
Objectif total : L'étudiant optimise une combinaison de la perte de distillation (guidage au niveau du jeton) et de la perte d'ancrage (direction de la tâche au niveau de la séquence).

3. Contributions Clés

Résolution de la tension d'équilibrage des récompenses : SMOPD résout le conflit inhérent de la multi-récompense en RL à politique unique où les récompenses éparses sont impossibles à apprendre sous des priorités équilibrées. En spécialisant les enseignants, il rend les distributions éparses apprenables sans fausser durablement la politique finale.
Cadre de Spécialisation et de Fusion en deux étapes : La méthode introduit un flux de travail novateur où l'acquisition de capacités est séparée de l'équilibrage des récompenses. Les enseignants apprennent dans des régimes favorables (haute priorité), et l'étudiant fusionne ces capacités via la distillation au niveau du jeton.
Supériorité dans les contextes complémentaires et conflictuels : L'article démontre que SMOPD surpasse les bases scalaires (GRPO, GDPO, GD2PO) à travers différentes échelles de modèles (1.5B, 3B, 7B) et structures de récompense (complémentaires : précision de l'outil/format ; conflictuelles : utile/inoffensif).
La fusion surpasse les enseignants : La politique étudiante fusionnée non seulement équilibre les objectifs, mais surpasse souvent les performances des enseignants individuels spécialisés et des bases scalaires, indiquant que le processus de distillation récupère des connaissances complémentaires non utilisées par l'entraînement à objectif unique.

4. Résultats Expérimentaux

Les auteurs ont évalué SMOPD sur deux configurations principales :

A. Récompenses Complémentaires (Appel d'outils)

Configuration : Entraînement sur RLLA-4K avec des récompenses de précision (dense) et de format (éparse binaire).
Constatations :
- Échec de GDPO : Sous des priorités équilibrées, GDPO n'a atteint que 8,8 % de conformité de format sur le backbone 1.5B, car le signal éparse était submergé.
- Succès de l'Enseignant : L'enseignant spécialisé en Format (haute priorité sur le format) a atteint 97,5 % de conformité mais une précision moindre.
- Succès de SMOPD : L'étudiant fusionné a atteint 97,5 % de conformité de format tout en maintenant une précision élevée (score moyen RLLA de 2,740 contre 1,849 pour GDPO). Cela représente une amélioration de +48 % par rapport à la base GDPO sur le modèle 1.5B.
- Généralisation : SMOPD a également montré des performances supérieures sur des benchmarks hors échantillon comme API-Bank (LLM-Judge) et BFCL.

B. Récompenses Conflictuelles (Utile vs Inoffensif)

Configuration : Entraînement sur des benchmarks Safe-RLHF (HH-RLHF, PKU-SafeRLHF, Alpaca) avec des récompenses d'utilité et d'innocuité.
Constatations :
- SMOPD a systématiquement surpassé GDPO et GD2PO sur les backbones 3B et 7B (Qwen2.5 et Llama-3.2).
- Sur Qwen2.5-7B, SMOPD a obtenu un score global de 5,646, dépassant la meilleure base scalaire (GD2PO : 5,571) et les deux enseignants individuels.
- Même lorsque les enseignants individuels se dégradaient (par exemple, sur Llama-3.2-3B), le processus de fusion récupérait les performances pour approcher ou dépasser les bases scalaires.

C. Études d'Ablation

Nécessité de l'Ancre : Supprimer l'ancre GDPO (en utilisant uniquement l'OPD) entraînait un étudiant qui plafonnait au niveau de la performance du mélange d'enseignants. L'ancre est essentielle pour pousser l'étudiant au-delà du « plafond d'imitation » afin d'optimiser la récompense réelle de la tâche.
KL Directe vs Inverse : La KL directe a été jugée supérieure à la KL inverse dans ce contexte multi-enseignants car elle préserve la diversité des modes du mélange d'enseignants, tandis que la KL inverse tend à être « chercheuse de mode » (mode-seeking) et peut perdre des capacités spécialisées.
Sensibilité du Top- $\kappa$ : Un petit $\kappa$ (par exemple 16) était suffisant, car il retenait environ 99,4 % de la masse de probabilité des enseignants, validant ainsi l'efficacité de l'approximation.

5. Signification et Revendications

L'article affirme que SMOPD offre une solution robuste au problème du déséquilibre de densité des récompenses dans le RL multi-récompenses. Sa signification réside dans :

Découplage de l'apprentissage et de l'équilibrage : Il remet en question le paradigme consistant à tenter d'équilibrer toutes les récompenses simultanément au sein d'une seule étape d'optimisation. Au lieu de cela, il exploite la spécialisation pour s'assurer que tous les signaux de récompense sont appris efficacement avant la fusion.
Granularité au niveau du jeton : En utilisant la distillation en ligne au niveau du jeton, SMOPD fournit une supervision dense pour les récompenses éparses (comme le formatage) que l'estimation d'avantage par groupe ne peut pas fournir.
Scalabilité et Généralité : La méthode est efficace à travers différentes tailles de modèles (1.5B à 7B) et types de récompenses (complémentaires et conflictuelles), suggérant qu'il s'agit d'une approche généralisable pour l'alignement multi-objectif des LLM.

Les auteurs concluent que SMOPD produit une politique unifiée qui conserve les forces des enseignants spécialisés tout en atteignant un équilibrage optimal de la tâche, surmontant ainsi les limites des méthodes actuelles de mise à l'échelle (scalarisation) multi-récompenses.