📊 statistics

TREK: Distill to Explore, Reinforce to Refine

TREK est un cadre d'entraînement général et par étapes qui améliore le Group Relative Policy Optimization (GRPO) en utilisant la distillation de la divergence KL directe pour étendre les capacités d'exploration d'un modèle sur des invites difficiles via des solutions candidates vérifiées provenant de professeurs externes ou internes, accélérant ainsi la convergence et améliorant les performances sur des tâches de raisonnement mathématique et agentique complexes.

Auteurs originaux : Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian Sang, Xiaomin Li, Wenhui Zhu, Xinchen Du, Aida Rahmattalabi, Ran He, Sen Na, Zhipeng Wang, Alborz Geramifard

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian Sang, Xiaomin Li, Wenhui Zhu, Xinchen Du, Aida Rahmattalabi, Ran He, Sen Na, Zhipeng Wang, Alborz Geramifard

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant (l'IA) comment résoudre des énigmes très difficiles. Vous possédez un outil puissant appelé GRPO (Group Relative Policy Optimization). Considérez GRPO comme un entraîneur qui dit à l'étudiant : « Essaie de résoudre cette énigme de 16 manières différentes. Si tu réussis, tant mieux ! Si tu échoues, essaie de comprendre laquelle de tes 16 tentatives était la "moins mauvaise" et essaie d'en faire davantage de ce genre. »

Cela fonctionne très bien lorsque l'étudiant est déjà proche de la réponse. Mais que se passe-t-il lorsque l'énigme est si difficile qu'aucune des 16 tentatives n'est même proche du but ? L'étudiant tourne en rond, tâtonne de manière aléatoire, et ne parvient jamais à trouver le bon chemin. L'entraîneur est bloqué car il n'y a pas de tentative « bonne » à renforcer.

C'est ici que l'article introduit TREK (Teacher-Routed Exploration via Forward KL).

L'idée centrale : L'analogie du "Guide"

TREK change la donne en introduisant un Guide (l'Enseignant).

Le Problème : L'étudiant est bloqué sur une énigme spécifique et difficile. Il ne peut pas trouver la solution par lui-même.
L'Intervention : Au lieu de laisser l'étudiant deviner aveuglément à nouveau, TREK demande au Guide de résoudre l'énigme. Le Guide est plus intelligent (ou dispose de plus de temps/d'outils) et trouve la solution correcte.
Le Filtre : Le Guide peut trouver plusieurs façons de résoudre l'énigme. TREK ne se contente pas de tout copier. Il examine le niveau de compétence actuel de l'étudiant et choisit la solution qui est la plus proche de ce que l'étudiant pouvait déjà imaginer. C'est comme si le Guide disait : « Voici la réponse, mais je te montre la version qui n'est qu'à une étape de ce que tu sais déjà. »
L'« Étirement » (Forward KL) : Avant que l'étudiant ne retourne pratiquer seul, TREK lui donne une leçon rapide et ciblée sur cette solution « proche ». C'est comme un échauffement qui rend les muscles de l'étudiant assez flexibles pour atteindre ce nouvel endroit.
Le Retour : Maintenant, l'étudiant retourne au jeu des « 16 tentatives ». Grâce à l'échauffement, il peut enfin atteindre la solution correcte. Une fois qu'il peut l'atteindre, l'entraîneur d'origine (GRPO) peut prendre le relais et l'aider à la maîtriser.

Pourquoi est-ce spécial ?

La plupart des méthodes précédentes essayaient d'enseigner à l'étudiant en lui montrant les réponses du Guide pendant que l'étudiant essayait déjà de résoudre l'énigme. Mais si l'étudiant est complètement perdu, lui montrer la réponse ne l'aide pas à apprendre comment y parvenir ; cela ressemble simplement à de la magie.

TREK est différent car il traite la réponse du Guide comme une carte vers un nouveau territoire, et non comme une simple instruction de copier-coller. Il cible spécifiquement les moments où l'étudiant est totalement bloqué, utilise le Guide pour trouver un chemin qui est accessible, puis « étire » la capacité de l'étudiant à parcourir ce chemin.

Les Résultats : Plus rapides et plus intelligents

L'article a testé cette méthode sur deux types de défis :

Énigmes Mathématiques (AIME) : Imaginez un concours de mathématiques. La méthode standard (GRPO) réussissait environ 37 % des problèmes difficiles. Avec TREK, en utilisant un Guide super intelligent, le score a bondi à plus de 40 %. Plus impressionnant encore, lorsque l'étudiant essayait d'utiliser son propre cerveau avec des indices supplémentaires (au lieu d'un Guide externe), il s'améliorait tout de même de manière significative.
Tâches Robotiques (ALFWorld & ScienceWorld) : Imaginez un robot essayant de nettoyer une pièce ou de mener une expérience scientifique. Ce sont des tâches longues et complexes où le robot se perd souvent.
- La méthode standard restait bloquée sur les tâches les plus difficiles, mettant très longtemps à les résoudre.
- TREK a aidé le robot à réussir les tâches les plus difficiles beaucoup plus tôt dans le processus d'entraînement. C'est comme si le robot n'avait pas eu besoin de errer dans le noir pendant des heures ; le Guide a allumé une lumière juste assez pour montrer la porte au robot, et ensuite le robot a franchi la porte de lui-même.

La « Recette Secrète »

L'article souligne que TREK est très flexible. Le « Guide » n'a pas besoin d'être une autre IA, plus grande. Il peut être :

Une IA externe super intelligente (Black-box).
La même IA, mais dotée de plus de temps ou de meilleurs outils pour réfléchir (White-box/Self-context).
La même IA, fonctionnant simplement avec une « fiche de révision » de ses propres échecs passés.

La clé est que TREK n'utilise les réponses du Guide que lorsque l'étudiant est véritablement bloqué, et qu'il ne choisit que les réponses suffisamment proches pour que l'étudiant puisse réellement en tirer des leçons. C'est une approche par étapes intelligente : Explorer avec de l'aide, Étirer pour atteindre le nouvel endroit, puis Affiner par soi-même.

En résumé, TREK est une méthode qui empêche l'IA de se taper la tête contre un mur en lui tendant brièvement une échelle, en lui apprenant à grimper, puis en la laissant terminer l'ascension par elle-même.

Résumé Technique : TREK – Distiller pour Explorer, Renforcer pour Raffiner

1. Énoncé du Problème

Le papier traite d'un mode de défaillance spécifique de l'Optimisation de Politique Relative de Groupe (GRPO) lorsqu'elle est appliquée à des tâches de raisonnement complexes. Bien que la GRPO soit efficace lorsque la politique actuelle (l'étudiant) échantillonne déjà des trajectoires de solutions utiles, elle stagne souvent sur les prompts difficiles où les modes de solutions corrects se situent en dehors du support on-policy actuel de l'étudiant.

Dans ces régimes difficiles, l'étudiant échantillonne de manière répétée des trajectoires incorrectes, plausibles mais structurellement similaires. La rareté n'est pas due au signal de récompense (les vérificateurs peuvent noter les solutions correctes s'ils les trouvent), mais plutôt à la couverture d'exploration de l'espace de solution. La GRPO standard, étant une méthode on-policy, ne peut pas renforcer des comportements qu'elle n'échantillonne pas. Par conséquent, des groupes de rollouts plus larges ou des avantages relatifs plus tranchants échouent souvent à s'échapper de la région étroite du support actuel de l'étudiant.

Les méthodes existantes de distillation et d'information par l'enseignant se concentrent largement sur l'amélioration de la supervision ou de l'attribution de crédit pour les trajectoires que l'étudiant atteint déjà. Elles ne traitent pas directement le régime où l'étudiant échantillonne rarement toute trajectoire porteuse de récompense. Le défi central est : Comment rendre un comportement utile échantillonnable alors que l'exploration non assistée de l'étudiant échoue ?

2. Méthodologie : TREK

Les auteurs proposent TREK (Teacher-Routed Exploration via Forward KL), une procédure étagée qui reformule la distillation comme une expansion du support d'exploration plutôt que comme une simple imitation.

Philosophie Centrale

TREK traite un enseignant (externe ou auto-augmenté) non pas comme une cible de comportement universelle, mais comme un mécanisme de proposition. La méthode repose sur une interface de type "output-only" (sortie uniquement), ce qui signifie qu'elle ne nécessite que des trajectoires de sortie vérifiées, et non les logits, les états cachés ou les probabilités de l'enseignant. Cela permet l'utilisation d'enseignants "boîte noire", d'enseignants "boîte blanche", ou du même modèle avec un contexte d'inférence supplémentaire (ex: réflexion, budgets de raisonnement plus longs, ou leçons tirées des échecs).

L'Algorithme TREK

La procédure sépare la disponibilité de la proposition au niveau du prompt de la atteignabilité de la trajectoire :

Routage de Prompt (Minage de Prompts Difficiles) :
- Pour chaque prompt $x$ , le système estime le taux de réussite non assisté de l'étudiant $p_S(x)$ en échantillonnant $K$ rollouts.
- Si $p_S(x) \leq \tau_{low}$ (indiquant un prompt difficile où l'étudiant échoue), le prompt est routé vers la phase de proposition. Les prompts faciles restent dans le flux GRPO standard.
Génération et Sélection de Propositions :
- Une source de proposition $\pi_T$ (un modèle plus fort ou le même modèle avec un contexte supplémentaire) génère des solutions candidates pour les prompts difficiles routés.
- Les trajectoires sont filtrées par un vérificateur $V$ . Seuls les succès vérifiés sont conservés.
- Filtrage de l'Atteignabilité : Parmi les trajectoires vérifiées, le système les classe par probabilité actuelle de l'étudiant (mesurée via une log-vraisemblance négative tronquée et normalisée par la longueur, $d_S$ ).
- Les $r$ meilleures propositions vérifiées les plus proches de l'étudiant sont conservées. Cela garantit que l'on ne demande pas à l'étudiant d'imiter des solutions trop éloignées de ses capacités actuelles, en se concentrant plutôt sur des modes qu'il peut raisonnablement atteindre.
Consolidation par Forward-KL (Warm-Start) :
- Les trajectoires conservées forment un jeu de données $D_{scaf}$ .
- Une courte mise à jour Forward-KL est appliquée : $\min KL(q_{prop} \parallel \pi_\theta)$ .
- Cet objectif pénalise l'étudiant pour l'assignation d'une faible probabilité aux modes de proposition vérifiés, "tirant" ainsi ces modes de solution dans le support de l'étudiant. Ceci est distinct de la distillation standard (qui minimise souvent $KL(\pi_\theta \parallel q_{prop})$ ou utilise une distillation on-policy).
Raffinement On-Policy :
- Après le warm-start par Forward-KL, les prompts reviennent au flux de rollout GRPO standard.
- L'étudiant, ayant désormais étendu son support pour inclure les modes vérifiés, peut les échantillonner et recevoir des avantages relatifs du vérificateur pour affiner davantage sa politique.

3. Contributions Clés

Identification d'un Mode de Défaillance : Le papier identifie le "manque de support d'exploration" comme un goulot d'étranglement distinct pour la GRPO sur les prompts de raisonnement difficiles, séparé de la parcimonie de la récompense.
La Distillation comme Exploration : Il formule une vision de la distillation spécifiquement pour étendre le support atteignable de l'étudiant, plutôt que de simplement densifier la supervision sur les trajectoires déjà échantillonnées.
La Procédure TREK : Un algorithme de routage simple qui découple la difficulté du prompt de l'atteignabilité de la trajectoire, utilisant une courte phase de Forward-KL pour consolider les propositions vérifiées avant de revenir à la GRPO.
Compatibilité Boîte Noire : En ne nécessitant que des sorties vérifiées, la méthode est compatible avec des enseignants externes boîte noire, des enseignants boîte blanche ou l'augmentation de contexte par auto-réflexion, ce qui la rend largement applicable dans des contextes pratiques.
Efficacité de l'Entraînement : Il démontre que l'injection de modes de solutions vérifiés avant le début du RL accélère considérablement l'apprentissage sur les types de tâches les plus difficiles, réduisant le nombre d'étapes d'optimisation nécessaires pour atteindre une haute performance.

4. Résultats Expérimentaux

Les auteurs ont évalué TREK sur le raisonnement mathématique (AIME 2024/2025) et des tâches de planification agentique (ALFWorld, ScienceWorld).

Raisonnement Mathématique (Modèles Qwen3)

Configuration : Testé sur des modèles Qwen3 de 1.7B, 8B et 14B. Les propositions provenaient de DeepSeek-V4 (externe) ou du même modèle Qwen3 avec auto-contexte (leçons d'échec).
Performance : TREK a systématiquement surpassé la GRPO directe sur toutes les échelles.
- Qwen3-8B : Amélioration de l'AIME 2025 de 36.9% à 40.3% et de l'AIME 2024 de 47.9% à 51.1% (en utilisant des propositions DeepSeek-V4).
- Variante Auto-Contexte : Même sans enseignant externe, la variante auto-contexte a amélioré l'AIME 2025 à 38.5% et l'AIME 2024 à 49.6%.
Ablation : Le remplacement de la consolidation par Forward-KL par une supervision de type distillation on-policy (OPD) a entraîné des performances moindres, confirmant que l'objectif Forward-KL est supérieur pour étendre la couverture des modes sur les prompts difficiles.

Tâches Agentiques (Qwen2.5-7B-Instruct)

ALFWorld : Le taux de réussite est passé de 75.8% (GRPO) à 82.8% (TREK avec DeepSeek-V4) et 80.4% (auto-contexte).
ScienceWorld : Le taux de réussite a plus que doublé, passant de 12.5% (GRPO) à 26.7% (TREK avec DeepSeek-V4) et 23.4% (auto-contexte).
Analyse de la Difficulté des Tâches : Les gains sont concentrés sur les types de tâches les plus difficiles (ex: "Heat & Place", "Examine in Light") où la performance de base de la GRPO était la plus faible. Les tâches faciles n'ont montré que peu ou pas d'amélioration, confirmant que la méthode cible le goulot d'étranglement de l'exploration.
Dynamique d'Entraînement : TREK a atteint des taux de réussite élevés beaucoup plus tôt dans l'entraînement par rapport à la GRPO. Par exemple, sur ALFWorld, TREK a dépassé les 60% de réussite dès l'étape 20, tandis que la GRPO restait en dessous de 50% et nécessitait environ 5 fois plus d'étapes pour atteindre le même niveau.

5. Signification et Revendications

Le papier affirme que TREK offre un cadre généralisable pour améliorer les systèmes de raisonnement on-policy lorsque le principal goulot d'étranglement est l'incapacité à échantillonner des trajectoires porteuses de récompense.

Complémentarité : TREK est présenté comme complémentaire aux méthodes existantes (comme le pondération des tokens ou l'amélioration de l'attribution de crédit) qui opèrent à l'intérieur du support actuel de l'étudiant. TREK opère avant cela, en s'assurant que le support existe.
Efficacité : L'avantage principal n'est pas nécessairement d'élever le plafond asymptotique (car la GRPO peut éventuellement atteindre des niveaux similaires avec un calcul massif), mais de réduire drastiquement le budget d'entraînement requis pour découvrir les modes de solutions difficiles.
Praticité : Sa dépendance aux sorties vérifiées plutôt qu'aux internes de l'enseignant rend la méthode robuste pour le déploiement réel, où les enseignants boîte noire ou les boucles d'auto-réflexion sont courants, mais où les états internes des modèles sont inaccessibles.

Les auteurs concluent que ce paradigme "Distiller pour Explorer, Renforcer pour Raffiner" peut s'étendre à d'autres cadres de post-entraînement (ex: DAPO, GSPO) et aux scénarios d'acquisition continue de compétences, fournissant un moyen structuré d'introduire de nouvelles capacités via des propositions vérifiées avant de les stabiliser par le renforcement on-policy.