🤖 AI

Selective Off-Policy Reference Tuning with Plan Guidance

L'article présente le Réglage de Référence Hors Politique Sélectif (SORT), une méthode qui exploite l'orientation par plan pour dériver des mises à jour de correction à partir de solutions de référence, transformant ainsi les échecs de déroulement en signaux d'apprentissage conscients de la structure qui améliorent considérablement les performances de raisonnement, en particulier sur les modèles plus faibles, par rapport aux approches GRPO standard.

Auteurs originaux : Duc Anh Le, Tien-Phat Nguyen, Thien Huu Nguyen, Linh Ngo Van, Trung Le

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Duc Anh Le, Tien-Phat Nguyen, Thien Huu Nguyen, Linh Ngo Van, Trung Le

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : L'Échec « Silencieux »

Imaginez que vous enseigniez à un élève (une IA) à résoudre des problèmes de mathématiques difficiles. Vous lui donnez un problème, et il tente de le résoudre.

Le Bon Scénario : Parfois, l'élève trouve la bonne réponse. Vous dites : « Excellent travail ! » et il apprend de ce succès.
Le Mauvais Scénario : Parfois, le problème est si difficile que l'élève essaie 8 façons différentes de le résoudre, et les 8 tentatives sont fausses.

Dans les méthodes d'entraînement standard de l'IA (appelées GRPO), lorsque l'élève échoue à chaque fois sur un problème difficile, le professeur est perdu. Le système dit : « Eh bien, puisqu'il n'a rien trouvé de juste, il n'y a aucun moyen de dire quelle partie de sa réflexion était bonne et quelle partie était mauvaise. Alors, nous allons simplement ignorer ce problème et passer à autre chose. »

Le papier soutient que c'est un énorme gaspillage. Même lorsque la réponse est fausse, l'élève possède souvent une « solution de référence vérifiée » (la clé de réponse correcte). Le problème est que copier simplement la clé de réponse est mauvais car cela force l'élève à mémoriser toute la solution, y compris les parties ennuyeuses comme « écrivez le chiffre 5 » ou « ajoutez une virgule », plutôt que d'apprendre les étapes de logique difficiles qui ont réellement causé l'échec.

La Solution : SORT (Le Détective du « Plan »)

Les auteurs proposent une nouvelle méthode appelée SORT (Ajustement de Référence Sélectif Hors-Politique avec Guidance par Plan). Imaginez-le comme un système de tutorat intelligent qui résout le problème de l'échec « silencieux » sans changer la façon dont l'élève tente de résoudre les problèmes au départ.

Voici comment SORT fonctionne, étape par étape :

1. Le « Tampon » (Sauvegarder les Échecs)

Lorsque l'IA tente un problème difficile et échoue à chaque fois, au lieu de jeter le problème, SORT le place dans une « salle d'attente » spéciale (un tampon). Il attend d'avoir quelques-uns de ces échecs difficiles, puis les traite séparément.

2. Le « Plan » (Le Plan Directeur)

Pour chaque problème échoué, SORT examine la clé de réponse correcte. Mais il ne se contente pas de lire la réponse ; il demande à l'IA d'extraire un « Plan » ou un « Plan Directeur » de cette réponse.

Analogie : Imaginez que la clé de réponse est une longue et désordonnée recette de gâteau. Le « Plan » n'est que la liste des étapes critiques : « Préchauffer le four », « Mélanger la farine », « Incorporer les œufs ». Il ignore les choses ennuyeuses comme « essuyer le comptoir » ou « remuer lentement ».

3. Le « Double Contrôle » (Le Test Magique)

C'est l'innovation centrale. SORT prend l'IA et lui demande d'examiner la clé de réponse correcte deux fois :

Test A : « Voici le problème. Maintenant, regardez cette étape dans la clé de réponse. Quelle est la probabilité que vous deviniez cette étape ? » (L'IA n'a aucune aide).
Test B : « Voici le problème ET voici le « Plan » (le plan directeur). Maintenant, regardez cette même étape dans la clé de réponse. Quelle est la probabilité que vous deviniez cette étape ? »

4. Le « Moment de Révélation » (Sélectivité)

SORT compare les deux résultats :

Si l'IA était déjà bonne pour deviner l'étape : Le « Plan » ne change pas grand-chose. Ce sont généralement des étapes ennuyeuses et routinières (comme écrire des chiffres). SORT dit : « Nous n'avons pas besoin d'enseigner cela à l'IA ; elle le sait déjà. »
Si l'IA était mauvaise pour deviner l'étape, mais que le « Plan » l'a rendue facile : C'est le « Moment de Révélation ». L'IA réalise : « Oh ! Si j'avais su que le plan était de « vérifier la parité », alors j'aurais pu deviner cette étape ! »
- Ce sont les étapes de raisonnement critiques (les lacunes logiques).
- SORT donne à ces étapes spécifiques un énorme boost dans l'apprentissage. Il dit à l'IA : « Concentrez toute votre énergie ici ! C'est là que vous avez échoué, et c'est la clé pour le corriger. »

Pourquoi C'est Mieux Que Les Autres Méthodes

Copie Standard (SFT) : Comme forcer un élève à copier une page entière de manuel mot à mot. Il apprend l'écriture et la mise en forme, mais peut-être pas la logique.
Autres Méthodes de « Indices » : Certaines méthodes donnent des indices à l'IA pendant qu'elle essaie de résoudre le problème. Cela change la façon dont l'IA pense pendant le test.
SORT : SORT laisse complètement seul le « processus de pensée » de l'IA (la génération). Il ne corrige que le « tutorat après l'école » (la mise à jour). Il utilise le « Plan » uniquement pour déterminer quels mots spécifiques dans la réponse correcte sont les plus importants à apprendre.

Les Résultats

Le papier a testé cela sur trois modèles d'IA différents (du plus petit au plus grand) et sur huit benchmarks différents de mathématiques et de raisonnement.

Le Gagnant : SORT a constamment battu les méthodes standard.
La Grande Victoire : Il a aidé les modèles les plus faibles le plus. Cela a du sens car les modèles plus faibles échouent plus souvent, ce qui signifie qu'ils ont plus d'échecs « silencieux » à corriger.
L'Efficacité : Cela n'a pas fait écrire à l'IA des réponses plus longues et traînantes (un effet secondaire courant des autres méthodes). Cela a simplement rendu les réponses plus intelligentes.

Analogie de Résumé

Imaginez un entraîneur regardant un joueur de basket rater 8 tirs d'affilée.

L'Ancienne Façon : L'entraîneur dit : « Vous avez tout raté. Nous allons ignorer cet exercice. »
La Mauvaise Façon : L'entraîneur dit : « Regardez cette vidéo parfaite d'un joueur professionnel marquant le panier. Copiez chaque mouvement, même la façon dont ils nouent leurs lacets. »
La Façon SORT : L'entraîneur dit : « Regardons la vidéo du professionnel. Je vais surligner le moment exact où ils ont plié les genoux et l'angle exact où ils ont relâché le ballon. Ce sont les deux choses que vous avez manquées. Ignorez le reste de la vidéo ; pratiquons juste ces deux mouvements spécifiques. »

En se concentrant uniquement sur les mouvements « structurels » que le joueur a manqués, SORT aide l'IA à apprendre plus vite et plus intelligemment, surtout lorsque les choses sont vraiment difficiles.

Résumé Technique : Affinage de Référence Hors-Politique Sélectif avec Guidance de Plan (SORT)

1. Énoncé du Problème

L'Apprentissage par Renforcement à partir de Récompenses Vérifiables (RLVR), et plus particulièrement l'Optimisation de Politique Relative par Groupe (GRPO), a amélioré le raisonnement dans les modèles de langage en renforçant les solutions échantillonnées qui produisent des résultats positifs. Cependant, le GRPO fait face à un mode d'échec critique sur les « prompts difficiles » où chaque déroulement échantillonné est incorrect. Dans ces scénarios, l'avantage relatif au groupe s'effondre à zéro car il n'y a aucune variance dans les récompenses (toutes sont nulles), rendant le prompt invisible pour la mise à jour du gradient de politique.

Ces prompts à récompense nulle sont souvent les signaux d'entraînement les plus informatifs, car ils sont accompagnés de solutions de référence vérifiées contenant la structure de raisonnement manquante. Cependant, les approches standard pour exploiter ces références — telles que l'Affinage Supervisé (SFT) uniforme ou l'imitation de trajectoire complète — échouent car elles mélangent les décisions de raisonnement fondamentales avec l'algèbre routinière, la mise en forme et la formulation de surface. Cette imitation uniforme peut entraîner un effondrement de la politique ou de la verbosité sans améliorer la précision du raisonnement. Les méthodes de guidance existantes modifient souvent la distribution des déroulements ou s'appuient sur des enseignants externes, ce qui introduit de la complexité ou des décalages de distribution.

2. Méthodologie : SORT

Les auteurs proposent l'Affinage de Référence Hors-Politique Sélectif avec Guidance de Plan (SORT), un mécanisme de réparation auxiliaire conçu spécifiquement pour les groupes GRPO à récompense nulle. SORT fonctionne sans modifier le processus principal de génération de déroulements GRPO.

Mécanisme Central

Mise en Tampon et Report : Lorsqu'un prompt ne produit que des déroulements incorrects (groupe à récompense nulle), il n'est pas jeté. Au lieu de cela, le prompt et sa solution de référence vérifiée sont mis en tampon.
Extraction de Plan : Pour chaque exemple mis en tampon, le modèle actuel extrait un « plan de raisonnement » à partir de la solution de référence. Ce plan est un aperçu ordonné des décisions clés de raisonnement (par exemple, lemmes, divisions de cas, propagation de contraintes) mais n'est pas utilisé comme séquence cible pour la génération.
Double Évaluation (Contexte Diagnostique) : Le modèle évalue les tokens de référence deux fois sous la même politique :
- Condition de Base : La probabilité du token est calculée en ne tenant compte que du prompt du problème.
- Condition Guidée par le Plan (Enseignant) : La probabilité du token est calculée en tenant compte du prompt du problème plus du plan de raisonnement extrait.
Score de Saillance des Tokens : La méthode calcule le rapport logarithmique entre la probabilité conditionnée par le plan et la probabilité de base. Les tokens dont la probabilité augmente significativement sous la condition de plan sont identifiés comme « structurellement informatifs » (c'est-à-dire qu'ils représentent des étapes de raisonnement que le modèle a manquées mais qu'il peut apprendre si la structure est explicite). Les tokens routiniers (algèbre, mise en forme) montrent peu de changement.
Pondération Géométrique : SORT construit une perte auxiliaire utilisant un poids de moyenne géométrique :
$\omega_{i,t} = \text{sg}\left(\sqrt{p^{\text{base}}_{i,t} \cdot p^{\text{plan}}_{i,t}}\right)$
Ce poids combine la stabilité du support du modèle de base (issu de l'Affinage Dynamique, DFT) avec la sélectivité de l'enseignant conditionné par le plan. Les tokens qui deviennent plus prévisibles avec le plan sont surpondérés ; ceux qui ne le sont pas sont sous-pondérés ou laissés inchangés.

Garanties Théoriques

Les auteurs formalisent SORT en utilisant un modèle de plan vérité-terrain. Ils prouvent que lorsque le plan extrait approxime le vrai plan de raisonnement, le poids SORT converge vers un poids « oracle » qui met exactement l'accent sur les tokens structurellement critiques. La borne de regret est montrée comme étant proportionnelle à l'erreur d'extraction du plan ( $\gamma$ ) et à la probabilité de base, garantissant que la méthode se dégrade gracieusement vers un comportement de type DFT si l'extraction du plan est médiocre.

3. Contributions Clés

Identification des Échecs à Avantage Nul : L'article identifie les prompts à récompense nulle comme un goulot d'étranglement spécifique dans le GRPO où l'avantage du groupe est nul, et introduit SORT pour réparer ces cas sans altérer la génération de déroulements.
Conditionnement de Plan par le Même Modèle : Contrairement aux méthodes qui injectent des traces hors-politique de modèles plus puissants ou utilisent des enseignants externes, SORT utilise le même modèle pour extraire un plan et noter les tokens de référence, évitant ainsi les dépendances externes.
Pondération des Tokens par Moyenne Géométrique : Un schéma de pondération novateur qui intègre la conscience du support de style DFT avec la sélectivité conditionnée par le plan, prouvé mathématiquement pour approximer la pondération des tokens structurels par un oracle.
Validation Empirique : Des expériences complètes démontrant des améliorations constantes par rapport au GRPO standard et aux bases de référence guidées à travers plusieurs tailles de modèles et benchmarks.

4. Résultats Expérimentaux

La méthode a été évaluée sur trois architectures de base affinées par instruction (Llama-3.2-3B, Qwen2.5-7B et Qwen3-4B) à travers huit benchmarks, incluant des tâches mathématiques en distribution (AIME, AMC, MATH-500) et du raisonnement hors distribution (GPQA, MMLU-Pro).

Gains de Performance : SORT a constamment surpassé le GRPO standard et d'autres bases de référence (LUFFY, ReLIFT, Scaf-GRPO).
- Sur le modèle le plus faible (Llama-3.2-3B), SORT a amélioré la moyenne en distribution de 17,8 % à 23,9 % et hors distribution de 22,5 % à 33,8 %.
- Sur les modèles plus puissants, SORT a fourni des gains marginaux mais constants, confirmant son utilité même lorsque les groupes à récompense nulle sont moins fréquents.
Comparaison avec les Bases de Référence :
- vs. SFT/ReLIFT : Contrairement au SFT ou au ReLIFT, qui ont souvent augmenté la longueur des réponses et la verbosité sans améliorer la précision (en particulier sur les modèles plus faibles), SORT a maintenu des générations compactes tout en boostant le raisonnement.
- vs. LUFFY : LUFFY, qui mélange des traces hors-politique plus puissantes, a montré moins de sélectivité et a parfois dégradé les performances sur les tâches hors distribution.
Dynamiques d'Entraînement : SORT a amélioré les scores de récompense sans l'expansion de longueur observée dans d'autres méthodes. Il a efficacement réparé les prompts difficiles en ciblant des tokens de raisonnement spécifiques plutôt qu'en imitant des trajectoires complètes.

5. Signification et Revendications

L'article revendique que SORT adresse une limitation fondamentale du RLVR : l'incapacité d'apprendre à partir des prompts les plus difficiles où l'exploration échoue. En traitant les références vérifiées non pas comme des trajectoires à copier, mais comme des preuves d'un plan de raisonnement, SORT convertit les échecs « tout-erronés » en signaux d'apprentissage structurés et sélectifs aux tokens.

Les auteurs soulignent que SORT est une mise à jour auxiliaire conservatrice qui préserve le processus de déroulement GRPO original. Il ne nécessite ni enseignants externes, ni trajectoires synthétisées, ni modifications de la distribution d'inférence. La méthode est particulièrement significative pour les modèles plus faibles où les groupes à récompense nulle sont les plus fréquents, offrant une voie pour améliorer les capacités de raisonnement sans le coût computationnel de la génération de déroulements corrects pour chaque prompt. L'approche est présentée comme une « forme sélective de distillation de soi » qui évite les pièges de la survalorisation des tokens faciles et routiniers tout en se concentrant sur les étapes de raisonnement incertaines et structurellement critiques.