💻 computer science

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

Cet article démontre qu'un ajustement fin supervisé (SFT) excessif peut compresser la distribution de déploiement, provoquant un effondrement de l'entropie qui entraîne une inversion de rang et une dégradation des performances lors de l'entraînement ultérieur par optimisation de politique relative au groupe (GRPO), un mode de défaillance qui peut être prédit et atténué en surveillant l'entropie pré-RL et la dynamique précoce de la GRPO.

Auteurs originaux : Siddharth Aphale, Kelly Liu

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Siddharth Aphale, Kelly Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le piège du « Trop Parfait »

Imaginez que vous entraînez un robot à écrire du code. La recette standard comporte deux étapes :

L'Ajustement Fin Supervisé (SFT - Supervised Fine-Tuning) : Vous montrez au robot des milliers d'exemples de code correct pour qu'il apprenne les modèles.
L'Apprentissage par Renforcement (RL - Reinforcement Learning) : Vous laissez le robot essayer de résoudre de nouveaux problèmes par lui-même. S'il réussit, il reçoit une récompense ; s'il échoue, il n'obtient rien.

Le Problème : L'article a découvert que si vous entraînez trop le robot lors de l'étape 1 (Surapprentissage de l'étape 1), il devient en réalité moins bon à l'étape 2.

D'habitude, nous pensons : « Plus le robot mémorise d'exemples à l'étape 1, meilleur il sera. » Les auteurs ont découvert l'inverse : le robot qui mémorise le plus à l'étape 1 est celui qui performe le moins bien à l'étape 2. En fait, le robot qui mémorise le moins finit par être le champion.

La Métaphore : Le Danseur Rigide vs Le Danseur Flexible

Pour comprendre pourquoi cela se produit, imaginez deux danseurs se préparant pour une compétition où ils doivent improviser une routine basée sur une musique aléatoire.

Le Danseur « Surentraîné » (SFT Profond) : Ce danseur a pratiqué les mêmes 10 routines parfaites des milliers de fois. Il est incroyablement précis. Mais quand la musique change, il se fige. Il ne connaît que ces 10 mouvements. Il n'a aucune idée de comment bouger autrement.
Le Danseur « Juste-ce qu'il faut » (SFT Peu Profond) : Ce danseur a pratiqué les bases mais a gardé son corps souple et flexible. Il connaît les règles, mais il peut encore se tortiller, pivoter et essayer de nouvelles choses quand la musique change.

La Compétition (RL) :
La compétition exige que les danseurs essaient de nombreux mouvements différents à la fois pour voir lequel fonctionne le mieux.

Le Danseur Surentraîné essaie de faire exactement le même mouvement parfait à chaque fois. Comme ils se ressemblent tous, les juges (l'algorithme) ne peuvent pas distinguer quel mouvement est meilleur. Le danseur reste bloqué et ne peut rien apprendre de nouveau.
Le Danseur Flexible essaie une grande variété de mouvements. Les juges peuvent voir : « Ah, ce mouvement a fonctionné, celui-là non ! » et le danseur apprend rapidement.

Le « Pourquoi » Technique : L'Effondrement de l'Entropie

L'article utilise un mot savant pour désigner la « variété » ou la « flexibilité » : l'Entropie.

Effondrement de l'Entropie : Quand le robot est surentraîné, son « esprit » devient trop étroit. Il cesse d'explorer différentes possibilités et se contente de répéter les mêmes quelques réponses. Dans l'article, on dit que son entropie s'effondre.
Le Signal Meurt : L'algorithme d'apprentissage (appelé GRPO) fonctionne en comparant différentes réponses. Si le robot donne la même réponse 8 fois de suite, l'algorithme est confus. Il ne peut pas calculer un « gradient » (une direction pour s'améliorer) car il n'y a aucune différence à comparer. C'est comme essayer de diriger une voiture alors que le volant est verrouillé droit devant.
L'Inversion de Rang : Cela mène à un résultat étrange appelé Inversion de Rang.
- Avant la deuxième phase d'entraînement, le robot surentraîné ressemble à un génie (il obtient la bonne réponse 100 % du temps au test d'entraînement).
- Après la deuxième phase d'entraînement, il devient un désastre.
- Pendant ce temps, le robot « moins parfait », qui semblait légèrement moins bon au début, devient la superstar.

Les Deux Modèles : Un Conte de Deux Villes

Les auteurs ont testé cela sur deux cerveaux de robots différents (modèles) :

Qwen (La Victime) : Ce modèle est tombé dans le piège. Plus ils l'entraînaient à l'étape 1, plus il se rigidifiait. Le « meilleur » point de contrôle (score le plus élevé) s'est avéré être le pire point de départ pour la phase suivante.
DeepSeek (Le Survivant) : Ce modèle était naturellement plus flexible. Même après un entraînement intensif, il ne s'est pas rigidifié. Il est resté dans la « zone de sécurité » où il pouvait encore apprendre. Cela a prouvé que le problème n'était pas la deuxième phase d'entraînement elle-même, mais spécifiquement la façon dont la première phase a ruiné la flexibilité du modèle Qwen.

La Solution : Un Double Contrôle de Santé

Les auteurs n'ont pas seulement trouvé le problème ; ils ont construit un outil de diagnostic pour le repérer avant de gaspiller du temps et de l'argent.

Étape 1 : Le Test d'Étirement (Entropie Pré-RL) : Avant de commencer la deuxième phase d'entraînement, ils vérifient à quel point l'esprit du robot est « lâche ». Si le robot est trop rigide (entropie faible), ils le signalent comme étant à haut risque.
Étape 2 : Le Moniteur d'Alerte Précoce : S'ils commencent la deuxième phase, ils surveillent les premières minutes. Si le robot arrête d'essayer de nouvelles choses et commence immédiatement à se répéter, ils arrêtent l'entraînement prématurément pour économiser les ressources.

Ce qui n'a pas fonctionné ?

Les auteurs ont essayé de réparer le robot cassé avec des astuces classiques, comme :

Ajouter une pénalité : « Ne dévie pas trop de ton entraînement d'origine. » (Cela l'a rendu encore moins bon).
Lisser les étiquettes (Labels) : « Sois un peu moins certain de tes réponses. » (Cela a redonné de l'assurance au robot, mais il a quand même échoué à la compétition).

La Conclusion : On ne peut pas réparer un danseur rigide en lui disant d'« essayer plus fort » pendant la compétition. Il faut arrêter de l'entraîner de manière aussi rigide dès le départ. L'article prouve que la variété (l'entropie) est plus importante que la perfection lorsque l'on veut qu'un modèle continue d'apprendre.

Résumé Technique : Le surapprentissage SFT prédit l'inversion de rang via l'effondrement de l'entropie sous RLVR

Énoncé du Problème
L'heuristique standard pour l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) dans la génération de code consiste à sélectionner le point de contrôle (checkpoint) de l'Ajustement Supervisé (SFT) ayant le score pass@1 le plus élevé pour initialiser la phase de RL (par exemple, GRPO). Cet article démontre que cette heuristique échoue lorsque le surapprentissage SFT comprime la distribution de déploiement (rollout) du modèle. Plus précisément, un SFT prolongé conduit à un « effondrement de l'entropie », où la diversité des sorties du modèle diminue au point que l'algorithme de RL ne peut plus générer un signal de gradient significatif. Dans ce régime, la sélection du checkpoint ayant le pass@1 le plus élevé identifie systématiquement le pire initialisateur de RL, entraînant une « inversion de rang » où les checkpoints SFT moins profonds surpassent les plus profonds après l'entraînement RL.

Méthodologie
L'étude isole la durée du SFT comme unique variable indépendante à travers deux familles de modèles : Qwen2.5-Coder-3B-Base et DeepSeek-Coder-6.7B-Base.

Configuration Expérimentale : Les deux modèles ont été affinés sur 5 000 problèmes de difficulté moyenne issus de KodCode-V1. Des checkpoints ont été sélectionnés à diverses profondeurs de SFT (1,0 à 5,8 époques pour Qwen ; 1,0 à 9,6 époques pour DeepSeek).
Entraînement RL : Tous les checkpoints ont subi un entraînement GRPO identique (400 étapes, taille de groupe $g=8$ , récompense binaire de correction) sur un ensemble de données de test (held-out).
Métriques : La performance a été mesurée via pass@1 et pass@10 (en utilisant un estimateur non biaisé) sur un sous-ensemble gelé de 40 problèmes HumanEval+. Crucialement, les auteurs ont suivi l'entropie pré-RL (entropie moyenne du prochain jeton à $T=1,0$ ) et l'entropie en cours d'entraînement pour diagnostiquer l'effondrement de la distribution.
Interventions : Pour tester s'il s'agissait d'un artefact d'hyperparamètre, les auteurs ont appliqué une pénalité KL à la politique de référence pendant GRPO et un lissage de labels (label smoothing) pendant le SFT pour restaurer artificiellement l'entropie.

Contributions Clés

Seuil Théorique d'Effondrement du Gradient : Les auteurs démontrent que pour des récompenses binaires, la variance attendue de l'avantage intra-groupe est $E[\sigma^2_G] = p(1-p)(g-1)/g$ . Ils identifient un seuil critique $p^*(g)$ où, si la probabilité d'un déploiement correct ( $p$ ) tombe en dessous de cette valeur, le signal relatif de groupe s'effondre structurellement (la plupart des groupes reçoivent des récompenses identiques), provoquant la disparition du gradient.
Étude de Cas d'Inversion de Rang : Sur Qwen2.5-Coder-3B, l'article documente une inversion de rang claire : à mesure que la profondeur SFT augmente, le pass@1 pré-RL augmente, mais le pass@10 maximal post-RL chute de manière monotone (de 0,806 à 0,481). Le checkpoint ayant le pass@1 le plus élevé (5,8 époques) est celui qui performe le plus mal sous RL.
Validation Contrastive : Sur DeepSeek-Coder-6.7B, où le pass@1 pré-RL reste nettement supérieur au seuil théorique de l'effondrement $p^*(8)$ , aucune inversion de rang ne se produit. Au lieu de cela, les rangs se compressent et tous les checkpoints s'améliorent, validant l'hypothèse du seuil.
Diagnostic en Deux Étapes : Les auteurs proposent un protocole de diagnostic pour identifier les checkpoints à haut risque avant ou tôt dans le RL :
- Étape 1 (Pré-RL) : Signaler les checkpoints où l'entropie moyenne du prochain jeton tombe en dessous d'un seuil ( $\tau_H = 0,18$ nats).
- Étape 2 (Début de RL) : Surveiller la chute relative de l'entropie du pire jeton entre les étapes GRPO 10 et 150. Une chute dépassant 50 % indique un effondrement.
Localisation de l'Échec : L'étude montre que des interventions simples (pénalités KL ou lissage de labels) échouent à sauver les checkpoints effondrés, suggérant que l'échec est enraciné dans la perte de plasticité et d'entropie lors de l'étape SFT, plutôt que dans un problème d'hyperparamètre ajustable de GRPO.

Résultats

Qwen2.5-Coder-3B : Une forte corrélation négative ( $\rho = -0,75$ ) existe entre le pass@1 pré-RL et le pass@10 maximal post-RL. Le checkpoint de 5,8 époques, malgré son pass@1 pré-RL le plus élevé (0,187), s'est effondré à un pass@10 maximal de 0,481, tandis que le checkpoint de 1,0 époque a atteint 0,806. L'entropie du modèle de 5,8 époques a chuté de 78 % pendant l'entraînement, contre 37 % pour le modèle de 1,0 époque.
DeepSeek-Coder-6.7B : Tous les checkpoints ont maintenu un pass@1 pré-RL bien au-dessus du seuil d'effondrement ( $p \geq 4,2 \times p^*(8)$ ). Par conséquent, tous les bras se sont améliorés sous GRPO, et le classement pré-RL a été parfaitement préservé post-RL ( $\rho = +1,00$ ).
Interventions : L'ajout d'une pénalité KL ( $\beta=0,01$ ) a réduit la performance pour les checkpoints peu profonds et profonds, mais n'a pas inversé l'inversion de rang. Le lissage de labels sur le checkpoint de 5,8 époques a augmenté le pass@1 pré-RL à 0,600 mais a résulté dans le pass@10 post-RL le plus bas (0,214), indiquant qu'aplatir artificiellement la distribution sans restaurer la diversité sous-jacente des solutions est insuffisant.

Signification et Revendications
L'article affirme que la pratique standard consistant à sélectionner le checkpoint SFT ayant le pass@1 le plus élevé pour le RL est trompeuse dans les régimes où le surapprentissage SFT conduit à un effondrement de l'entropie. Les auteurs soutiennent que le pass@1 mesure la capacité au mauvais niveau de température (glouton, $T=0$ ) et ne parvient pas à capturer la diversité requise pour le RL à $T=1,0$ .

La signification réside dans l'identification de l'effondrement de l'entropie comme le lien mécaniste entre le surapprentissage SFT et l'échec du RL. L'article pose que l'échec n'est pas un simple artefact des hyperparamètres de GRPO, mais un problème fondamental de perte de plasticité durant le SFT. Le diagnostic en deux étapes proposé offre une méthode pratique et agnostique au modèle (basée sur l'ordonnancement et les signaux de risque plutôt que sur des seuils universels) pour filtrer les checkpoints qui ont déjà épuisé leur signal d'apprentissage avant de dépenser du calcul RL. Les auteurs concluent que préserver l'entropie pendant le SFT est un prérequis pour un RLVR réussi, et qu'une fois l'entropie effondrée, les variantes standards de RL ne peuvent pas récupérer la politique.