Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions

Cette étude présente OXRL, un cadre unifié évaluant 51 algorithmes de post-entraînement, et révèle que les classements des méthodes sont instables selon l'échelle du modèle, que les modifications de la fonction de perte apportent des gains négligeables, et que le choix de l'algorithme n'a un impact significatif que pour des tâches spécifiques au domaine d'entraînement.

L'essentiel

Imaginez que vous êtes un chef cuisinier (le développeur d'IA) qui veut transformer un ingrédient brut (un modèle d'intelligence pré-entraîné) en un plat délicieux (un modèle capable de raisonner et d'aider).

Pendant les deux dernières années, des dizaines de nouvelles "recettes" (algorithmes) ont été inventées pour cette transformation finale, appelée post-entraînement. Les gens se demandent : Quelle est la meilleure recette ? Est-ce la DPO, la SimPO, la SFT ou la RL ?

Cette étude, appelée OXRL, est comme un grand concours de cuisine scientifique où l'on a testé 51 recettes différentes dans des conditions parfaitement identiques, pour enfin savoir qui gagne vraiment.

Voici les découvertes principales, expliquées simplement :

1. La taille du modèle change tout (Le paradoxe de l'échelle)

C'est la découverte la plus surprenante. Imaginez que vous testez ces recettes sur des modèles de différentes tailles : un petit modèle (0,5 milliard de paramètres) comme un enfant de 5 ans, et un gros modèle (7 milliards) comme un adulte expert.

• Chez les "enfants" (petits modèles) : La recette "RL en ligne" (SGRPO) est la championne incontestée. Elle apprend très vite en pratiquant.
• Chez les "adultes" (gros modèles) : Tout s'inverse ! La recette qui était la pire pour les enfants (SimPO) devient soudainement la meilleure pour les adultes.

L'analogie : C'est comme si vous appreniez à conduire. Pour un enfant, il vaut mieux qu'il suive strictement un manuel (SFT). Mais pour un adulte expérimenté, il vaut mieux qu'il apprenne par l'expérience et l'erreur (SimPO).
Leçon : Ne choisissez pas votre algorithme en fonction de ce qui fonctionne sur un petit modèle. Ce qui marche pour un petit modèle peut être catastrophique pour un grand, et vice-versa.

2. Changer la recette ne sert à presque rien (Le mythe des variantes)

Les chercheurs ont pris la recette de base la plus populaire (DPO) et ont créé 20 variantes en changeant de petits détails mathématiques (comme changer la quantité de sel ou le type de four).

Résultat : Aucune de ces 20 variantes n'a été meilleure que la recette de base originale. En fait, la plupart ont fait aussi bien, et une seule (SimPO) a fait beaucoup plus mal.

L'analogie : C'est comme si des centaines de chefs passaient des années à inventer de nouvelles formes de casseroles ou de nouveaux types de cuillères, en pensant que ça changerait le goût de la soupe. En réalité, le goût dépend surtout de la qualité des ingrédients (les données) et de la taille de la marmite (le modèle), pas de la forme de la cuillère.
Leçon : Arrêtez de chercher la "recette mathématique parfaite". Utilisez la version standard (Vanilla DPO), elle suffit amplement.

3. La compétence est spécifique à la tâche (Le spécialiste vs le généraliste)

Les modèles ont été entraînés sur des problèmes de mathématiques (GSM8K). Ensuite, on les a testés sur des mathématiques très difficiles (MATH) et sur des questions de culture générale.

• Sur les maths entraînées : Il y a une grande différence entre les recettes (certaines sont 19 points meilleures que d'autres).
• Sur les maths difficiles ou la culture générale : Toutes les recettes donnent le même résultat. Les différences disparaissent presque totalement.

L'analogie : Imaginez un étudiant qui a révisé intensivement pour un examen de mathématiques spécifique.

• Si on lui pose des questions exactement comme dans le livre, il sera excellent (et la méthode d'étude compte).
• Si on lui pose des questions de culture générale ou des maths très complexes qu'il n'a jamais vues, il aura le même niveau, quelle que soit sa méthode d'étude.
  Leçon : Le choix de l'algorithme ne compte que pour la tâche précise sur laquelle vous avez entraîné le modèle. Cela n'améliore pas (et ne détériore pas) l'intelligence générale du modèle.

4. La hiérarchie de l'importance (Ce qui compte vraiment)

L'étude classe les facteurs d'importance du plus puissant au moins puissant :

1. La taille du modèle (Le géant) : Passer d'un petit à un grand modèle fait gagner énormément de performance (comme passer d'une bicyclette à un avion).
2. Le paradigme d'entraînement (La méthode) : Choisir entre entraînement en ligne ou hors ligne fait une différence moyenne.
3. Le type de tâche : Si la tâche demande une réponse très structurée (comme un code ou une formule), la méthode compte. Sinon, peu importe.
4. La fonction de perte (La recette) : Changer les détails mathématiques de l'algorithme a un impact négligeable (moins de 1 point de différence).

En résumé pour vous, le praticien :

• Si vous avez un petit modèle : Utilisez l'entraînement classique (SFT), c'est le plus simple et le plus efficace.
• Si vous avez un gros modèle : Utilisez SimPO, c'est le plus performant et le plus rapide.
• Ne perdez pas de temps à inventer de nouvelles variantes mathématiques de l'algorithme DPO.
• Vérifiez toujours la taille de votre modèle avant de choisir votre algorithme, car le classement change complètement selon la taille.

Cette étude nous dit essentiellement : "Arrêtez de chercher la baguette magique mathématique. Concentrez-vous sur la taille de votre modèle et la qualité de vos données."

Résumé technique

Titre : Les algorithmes de post-entraînement diffèrent-ils réellement ?

Auteur : Xiaoyi Li ([e-mail])
Date : 23 mars 2026 (Note : date future indiquée dans le document, suggérant une simulation ou une projection)
Cadre : Étude contrôlée à grande échelle sur l'alignement des modèles de langage (LLM).

---

1. Problématique

Le domaine de l'alignement des modèles de langage (post-training) a vu une prolifération d'algorithmes concurrents ces deux dernières années (DPO, SimPO, KTO, GRPO, PPO, etc.). Cependant, les praticiens manquent de comparaisons contrôlées pour guider leur choix, car :

• Les articles existants utilisent des modèles de base, des jeux de données et des suites d'évaluation différents, rendant les comparaisons inter-méthodes peu fiables.
• Les études comparatives existantes sont limitées à 2 ou 3 méthodes et confondent souvent les différences algorithmiques avec des détails d'implémentation.
• Trois dimensions critiques restent inexplorées : l'évolution des classements selon l'échelle du modèle, l'impact réel des variantes de la fonction de perte (plus de 20 variantes de DPO existent), et le compromis calcul-performance entre méthodes en ligne (online) et hors ligne (offline).

2. Méthodologie : Le Framework OXRL

Les auteurs ont développé OXRL, un cadre unifié permettant la première évaluation comparative à grande échelle "pomme à pomme" (apples-to-apples) des algorithmes de post-entraînement.

• Infrastructure Unifiée : 51 algorithmes sont implémentés avec la même infrastructure (chargement de modèle, pipeline de données, entraînement distribué via DeepSpeed ZeRO-3, évaluation via vLLM). Seule la fonction de perte change entre les exécutions.
• Design Contrôlé :
  • Modèles : Famille Qwen 2.5 (0.5B, 1.5B, 3B, 7B).
  • Données : Paires de préférences générées par auto-jeu (self-play) sur GSM8K.
  • Configuration : Optimiseur AdamW, taux d'apprentissage cosinusoïdal, même nombre d'époques et de micro-lots.
  • Facteurs : Comparaison Full Fine-Tuning (FT) vs LoRA à 3B et 7B pour dissocier l'effet de l'échelle de celui de la régularisation LoRA.
• Protocole d'Évaluation :
  • Tâche principale : GSM8K (1 319 problèmes, exact-match).
  • Tâches secondaires : MATH (1.5B) et benchmarks de raisonnement général (ARC-Challenge, HellaSwag, WinoGrande).
  • Statistiques : 100 exécutions pour la taxonomie DPO (20 variantes × 5 graines), avec correction de Bonferroni pour les tests t de Welch.
  • Correction de bug : Les auteurs ont identifié et corrigé un bug de déterminisme dans DistributedSampler de PyTorch qui éliminait la variance dépendante des graines, affectant potentiellement d'autres études.

3. Contributions Clés et Résultats

A. Inversion des Classements selon l'Échelle (Scale-Dependent Ranking Inversions)

C'est la découverte la plus surprenante. Le classement des algorithmes n'est pas stable et s'inverse radicalement selon la taille du modèle :

• À 1.5B : L'approche Online RL (SGRPO) domine tous les autres (58,0 % sur GSM8K), surpassant le SFT de 3,6 points et le DPO de 8,9 points. Le SimPO est le pire (38,7 %).
• À 7B : Le SimPO devient le meilleur (85,8 %), tandis que le SFT s'effondre près du niveau de base. Le SimPO passe du dernier au premier, soit une inversion de ~21 points par rapport au SFT.
• Cause : Une étude factorielle 2×2 (3B/7B × Full FT/LoRA) confirme que cette inversion est pilotée par l'échelle du modèle et non par la régularisation LoRA. Le SimPO excelle à 7B car les modèles de grande capacité apprennent mieux le formatage autonome sans référence, ce qui est crucial pour les métriques strictes.

B. Impact Négligeable des Variantes de DPO

Sur 100 exécutions (20 variantes de DPO à 1.5B avec 5 graines chacune) :

• Aucune variante ne surpasse significativement le DPO "vanilla" après correction de Bonferroni.
• Le seul résultat statistiquement significatif est le SimPO, qui est pire que le DPO de base (-11,5 points, p < 10⁻⁴).
• Cela suggère que la plupart des modifications de fonctions de perte sont cosmétiques et que l'ingénierie de la fonction de perte est un axe à faible levier.

C. Spécificité de la Tâche et Compression de l'Écart

L'impact du choix de l'algorithme dépend fortement de la tâche :

• GSM8K (Tâche entraînée) : Écart de 19,3 points entre les méthodes.
• MATH (Raisonnement plus dur) : L'écart s'effondre à 0,54 point (compression 36x). Les classements s'inversent (SGRPO chute, SimPO monte).
• Benchmarks Généraux (ARC, HellaSwag) : L'écart est de 0,47 point (compression 41x). Aucune méthode n'améliore ou ne dégrade significativement les capacités générales par rapport au modèle de base.
• Conclusion : Le choix de l'algorithme n'a de sens que pour la tâche d'entraînement et les problèmes sensibles au formatage.

D. Hiérarchie du Levier (Hierarchy of Leverage)

Les auteurs établissent une hiérarchie de l'impact des décisions de conception :

1. Échelle du modèle (Scale) : ~50 points de pourcentage (pp).
2. Paradigme d'entraînement (Online vs Offline) : ~10 pp.
3. Choix de l'algorithme (Online vs Offline) : ~9 pp.
4. Fonction de perte (Loss function) : ~1 pp.

4. Signification et Recommandations

Cette étude remet en question la course actuelle à l'optimisation des fonctions de perte dans la communauté de l'alignement.

• Pour les praticiens :
  • Ne pas se fier aux résultats à petite échelle (<3B) pour prédire le comportement à grande échelle (7B+).
  • À ≤1.5B, privilégier le SFT (méthode hors ligne la plus forte et la moins coûteuse).
  • À ≥7B (avec LoRA), privilégier le SimPO (meilleure précision et efficacité calcul).
  • Utiliser le DPO vanilla ; les variantes complexes n'apportent pas de gains significatifs.
  • Pour le RL en ligne, utiliser SGRPO (niveau token) sur des tâches sensibles au format où le modèle peut générer lui-même les solutions correctes.
• Pour la communauté :
  • Investir moins dans de nouvelles fonctions de perte et plus dans la compréhension des interactions entre l'algorithme, l'échelle et la structure de la tâche.
  • Adopter des protocoles d'évaluation multi-graines avec une propagation vérifiée des graines (seed propagation) pour éviter les biais de déterminisme.

5. Ressources

Les auteurs publient OXRL comme un benchmark vivant pour la communauté, incluant le code, les configurations YAML pour chaque combinaison algorithme/échelle, et toutes les données brutes d'évaluation, permettant une vérification indépendante et l'extension à de nouveaux modèles et tâches.