🤖 machine learning

Complementing reinforcement learning with SFT through logit averaging in the post training of LLMs

Ce papier présente une nouvelle méthode d'après-entraînement pour les grands modèles de langage qui améliore l'optimisation de politique relative de groupe (GRPO) en moyennant les logits d'une politique de référence SFT figée et d'une politique entraînable, éliminant ainsi le besoin de régularisation KL ou d'un critique tout en combinant efficacement les capacités de raisonnement du RL avec la stabilité de formatage du SFT.

Auteurs originaux : Xingwei Gan, Ying Zhu

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xingwei Gan, Ying Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Deux Enseignants, Un Élève

Imaginez que vous entraînez un grand modèle de langage (une IA) à résoudre des problèmes de mathématiques. Vous avez deux « enseignants » distincts qui tentent de l'enseigner :

L'Enseignant de la Mise en Forme (SFT) : Cet enseignant est excellent pour apprendre à l'IA comment rédiger des réponses soignées, utiliser les bons symboles et suivre des règles strictes (comme encadrer la réponse finale). Cependant, cet enseignant commet parfois des erreurs dans la logique mathématique elle-même.
L'Enseignant du Raisonnement (RL) : Cet enseignant est un génie des mathématiques capable de résoudre parfaitement des équations complexes. Mais, cet enseignant est désordonné ; il oublie souvent d'encadrer la réponse, saute des étapes ou écrit dans un format étrange qui ne correspond pas à ce que l'examen exige.

Le Problème :
Traditionnellement, lorsque vous essayez de combiner ces deux-là, vous utilisez une méthode appelée « Régularisation KL ». Imaginez cela comme un élastique reliant l'Enseignant du Raisonnement à l'Enseignant de la Mise en Forme. L'élastique force l'Enseignant du Raisonnement à rester proche du style de l'Enseignant de la Mise en Forme.

L'Écueil : Si l'Enseignant de la Mise en Forme fait une erreur de calcul, l'élastique entraîne l'Enseignant du Raisonnement dans la même erreur. L'IA reste coincée en essayant d'être « soignée » mais échoue à être « intelligente ».

La Nouvelle Solution : La Moyenne des Logits
Les auteurs de ce document proposent une nouvelle façon de combiner ces enseignants. Au lieu de les lier ensemble avec un élastique, ils créent une Voix Mélangée.

Imaginez que l'IA est un chœur. Au lieu de forcer les chanteurs à rester en parfaite unisson (ce qui limite leur étendue), la nouvelle méthode mélange leurs voix avant qu'ils ne chantent.

Si l'Enseignant de la Mise en Forme dit : « Encadre la réponse », et que l'Enseignant du Raisonnement dit : « La réponse est 5 », la Voix Mélangée dit : « Encadre la réponse : 5 ».
Si l'Enseignant de la Mise en Forme fait une erreur de calcul (en disant que la réponse est 6), mais que l'Enseignant du Raisonnement sait qu'elle est 5, la Voix Mélangée s'appuie fortement sur les mathématiques de l'Enseignant du Raisonnement tout en conservant l'instruction de l'Enseignant de la Mise en Forme de « l'encadrer ».

Comment Cela Fonctionne (La Magie des « Logits »)

En termes d'IA, la « voix » du modèle est constituée de nombres appelés logits (qui représentent la probabilité que le modèle choisisse un mot ou un nombre spécifique ensuite).

Le Mélange : Les chercheurs prennent les nombres de l'Enseignant de la Mise en Forme et de l'Enseignant du Raisonnement et les moyennent mathématiquement.
Le Résultat : Cela crée une nouvelle « Stratégie Mélangée » temporaire.
L'Entraînement : L'IA apprend en s'entraînant sur cette Stratégie Mélangée. Elle reçoit la récompense (des points) si la réponse finale est correcte.
- Parce que l'Enseignant de la Mise en Forme fait partie du mélange, l'IA n'oublie jamais comment écrire soigneusement.
- Parce que l'Enseignant du Raisonnement fait partie du mélange, l'IA est libre de corriger les erreurs de calcul de l'Enseignant de la Mise en Forme.

Pourquoi C'est Mieux (Le « Produit d'Experts »)

Le document utilise un concept appelé « Produit d'Experts ». Imaginez cela comme une décision de comité :

Si Expert A (Mise en Forme) est sûr du style, et Expert B (Raisonnement) est sûr des mathématiques, la décision finale est forte sur les deux plans.
Si Expert A se trompe sur les mathématiques, la confiance d'Expert B l'emporte, mais la confiance d'Expert A sur le style reste intacte.

Le document a constaté que cette approche de « Voix Mélangée » fonctionne mieux que l'ancienne méthode de « l'élastique ». L'IA a appris à résoudre correctement les problèmes de mathématiques et a conservé sa mise en forme soignée, alors que l'ancienne méthode faisait souvent oublier à l'IA comment formater correctement ou la laissait coincée dans les erreurs de calcul de l'Enseignant de la Mise en Forme.

Les Expériences

Les chercheurs ont testé cela sur trois différents « examens » (ensembles de données) :

MATH : Problèmes de mathématiques difficiles.
cn-k12 : Mathématiques du collège et du lycée chinois.
MMLU : Connaissances générales et raisonnement.

Ils l'ont testé sur trois tailles différentes de modèles d'IA (petit, moyen et grand).

Les Résultats :

Dans presque tous les cas, la nouvelle méthode de « Voix Mélangée » a obtenu des scores plus élevés que la méthode traditionnelle.
Elle était particulièrement bonne pour résoudre un problème spécifique : la méthode traditionnelle faisait souvent « oublier » à l'IA comment formater les réponses alors qu'elle apprenait à résoudre des mathématiques plus difficiles. La nouvelle méthode a maintenu les compétences de mise en forme intactes tout en améliorant les compétences mathématiques.

Un Exemple Concret du Document

Le document donne un exemple spécifique d'un problème de géométrie :

L'Enseignant de la Mise en Forme (SFT) : Met correctement en place l'équation mais fait une erreur de calcul, concluant que le rayon est 6. Il encadre la réponse soigneusement.
L'Enseignant du Raisonnement (RL) : Calcule correctement les mathématiques, trouvant que le rayon est 5, mais oublie d'encadrer la réponse ou de l'écrire dans le format final.
La Voix Mélangée : Elle prend les mathématiques correctes (5) de l'Enseignant du Raisonnement et l'instruction d'encadrement soigné de l'Enseignant de la Mise en Forme. La sortie finale est un 5 soigneusement encadré.

Résumé

Le document présente une méthode pour entraîner des modèles d'IA qui agit comme une équipe collaborative plutôt qu'une hiérarchie stricte. En moyennant mathématiquement les « pensées » (logits) d'un enseignant soigné mais désordonné et d'un enseignant intelligent mais désordonné, l'IA apprend à être à la fois intelligente et soignée, évitant les pièges de forcer l'un à suivre strictement l'autre.

Résumé Technique : Complémenter l'Apprentissage par Renforcement par un Affinement Supervisé via la Moyenne des Logits

1. Énoncé du Problème

L'entraînement postérieur des grands modèles de langage (LLM) repose généralement sur deux paradigmes : l'affinement supervisé (SFT) et l'apprentissage par renforcement (RL) avec des récompenses vérifiables (RLVR). Si le SFT fournit une supervision dense par token pour apprendre le formatage et le style, il est limité par la distribution des démonstrations d'entraînement. À l'inverse, les méthodes RL telles que l'optimisation de politique proximale (PPO) et l'optimisation de politique relative par groupes (GRPO) peuvent dépasser ces limites distributionnelles mais souffrent de signaux de récompense clairsemés et bruités.

L'approche standard combine ces deux méthodes séquentiellement : le SFT est appliqué en premier, suivi d'un RL avec un terme de régularisation de Kullback-Leibler (KL), $\beta \text{KL}(\pi_\theta \| \pi_{\text{sft}})$ , pour ancrer la politique entraînable $\pi_\theta$ à la référence SFT $\pi_{\text{sft}}$ . Les auteurs identifient une tension fondamentale dans cette recette « ancrée par le KL » : la pénalité KL tire $\pi_\theta$ vers $\pi_{\text{sft}}$ , contraignant potentiellement la politique aux limites du point de contrôle SFT (par exemple, erreurs algébriques, boucles de répétition) et l'empêchant de tirer pleinement parti des capacités de raisonnement développées durant le RL. Les praticiens atténuent souvent cela en choisissant un petit $\beta$ , mais les auteurs proposent une alternative structurelle à la régularisation.

2. Méthodologie

L'article introduit une méthode qui remplace la régularisation KL par une moyenne des logits. Au lieu de pénaliser la divergence, la politique entraînable $\pi_\theta$ et une politique de référence figée $\pi_{\text{ref}}$ (par exemple, SFT) sont couplées en moyennant leurs logits pour former une politique mixte $\pi^{\text{mix}}_{\theta, \alpha}$ .

Mécanisme Central :
Étant donné un poids $\alpha \in [0, 1]$ et un état $s$ , les logits mixtes $z^{\text{mix}}_{\theta, \alpha}(s)$ sont définis comme suit :
$z^{\text{mix}}_{\theta, \alpha}(s) = (1 - \alpha) z_\theta(s) + \alpha z_{\text{ref}}(s)$
La politique mixte est alors $\pi^{\text{mix}}_{\theta, \alpha}(a | s) = \text{softmax}(z^{\text{mix}}_{\theta, \alpha}(s))$ .

Objectif d'Entraînement :
Les auteurs adaptent l'objectif GRPO à cette politique mixte :

Déroulements (Rollouts) : Les trajectoires sont échantillonnées à partir de la politique mixte $\pi^{\text{mix}}_{\theta, \alpha}$ plutôt que de la politique purement entraînable $\pi_\theta$ .
Estimation de l'Avantage : Les avantages relatifs par groupe sont calculés à partir des récompenses de ces déroulements mixtes.
Optimisation : Les paramètres entraîables $\theta$ sont mis à jour pour maximiser la récompense sous la politique mixte. Les logits de référence $z_{\text{ref}}$ restent figés tout au long du processus.
Schémas de Pondération :
1. Poids Fixes : $\alpha$ est maintenu constant (par exemple, $\alpha=0.5$ ) tout au long de l'entraînement.
2. Poids Adaptatifs : $\alpha$ est mis à jour dynamiquement en fonction d'un ensemble de validation retenu. La règle de mise à jour utilise une métrique de « gain net » comparant la justesse de la politique pure versus la politique mixte, poussant $\alpha$ vers 1 si le mélange produit un gain net et vers 0 sinon.

Comparaison avec le RLVR :
Contrairement aux méthodes RLVR standard (PPO, GRPO, DAPO) qui utilisent un critique et une régularisation KL, cette approche n'a ni terme KL ni critique. La politique de référence participe à l'exploration via la moyenne des logits, et les ratios d'importance dans la fonction de perte sont calculés entre les politiques mixtes actuelle et précédente.

3. Contributions et Résultats Clés

Compétences Complémentaires (Motifs 1 & 2) :
L'analyse empirique sur les ensembles de données MATH, cn-k12 et MMLU révèle que le SFT et la politique entraînée par RL possèdent des compétences complémentaires :

SFT : Excellent pour le formatage (respect des modèles de sortie) mais peut échouer sur le raisonnement complexe.
Politique RL ( $\pi_\theta$ ) : Excellente pour le raisonnement (déduction de réponses numériques correctes) mais perd souvent la discipline de formatage.
Complémentarité : Une fraction significative de problèmes (22 %–38 %) est résolue correctement par exactement l'une des deux politiques. La moyenne des logits agit comme un « Produit d'Experts », combinant la force de formatage du SFT avec la force de raisonnement de la politique RL.

Résultats de Performance :
Évalué sur les modèles Qwen2.5-Instruct (1,5B, 3B, 7B) à travers trois ensembles de données :

Précision : La méthode de moyenne des logits atteint une précision de réponse supérieure ou comparable au GRPO régularisé par KL canonique dans les neuf configurations (ensemble de données $\times$ taille du modèle).
Ablation : Remplacer l'ancrage SFT par un modèle Instruct de base entraîne une performance nettement inférieure, confirmant que les gains proviennent du mélange avec une référence consciente du format.
Moyenne des Logits vs. Moyenne des Probabilités : La moyenne des logits (moyenne géométrique des distributions) surpasse la moyenne des probabilités (moyenne arithmétique). La moyenne des logits atteint des taux de résolution plus élevés avec des poids de mélange plus faibles et culmine à $\alpha=0.5$ , tandis que la moyenne des probabilités nécessite des poids plus élevés et culmine à $\alpha=0.6$ .

Connexion Théorique :
L'article établit que la moyenne des logits est mathématiquement équivalente à un Produit d'Experts (POE). La politique résultante minimise une somme pondérée des divergences KL vers les politiques RL et de référence. Cette structure permet à la politique de concentrer la probabilité sur les tokens favorisés par les deux experts, corrigeant efficacement les erreurs algébriques du SFT tout en conservant ses contraintes de formatage.

4. Importance et Revendications

Les auteurs affirment que cette méthode offre un avantage distinct par rapport à la recette standard régularisée par KL en découplant l'« ancre de formatage » de la « contrainte de gradient ».

Surmonter les Limites : Alors que la régularisation KL force $\pi_\theta$ à rester proche de $\pi_{\text{sft}}$ (potentiellement héritant de ses défauts de raisonnement), la moyenne des logits permet à $\pi_\theta$ de surmonter les limites de la référence tout en maintenant les avantages de formatage grâce au couplage structurel de la politique mixte.
Zone de Confiance Implicite : Le mélange agit comme une zone de confiance implicite, empêchant la dérive distributionnelle loin des styles de formatage qui affecte souvent le RL pur à grande échelle.
Priors Denses : Contrairement au RL qui propage les signaux uniquement depuis le token de récompense final, la moyenne des logits intègre un prior dense, au niveau du token, depuis l'ancrage SFT à chaque étape de décodage.
Évolutivité : L'approche s'étend naturellement aux ensembles de petits modèles de langage (SLM), permettant à un système de tirer parti d'experts spécialisés (par exemple, pour le code, la sécurité ou la terminologie de domaine) sans le coût de l'entraînement d'une politique unique massive.

L'article conclut que la moyenne des logits fournit une alternative robuste à la régularisation KL, exploitant avec succès la complémentarité entre le SFT et le RL pour améliorer la précision du raisonnement sans sacrifier la qualité du formatage.