🤖 machine learning

Latent On-Policy Self-Distillation

Cet article introduit la Distillation Latente On-Policy (LOPD), un nouveau cadre qui remplace les artefacts privilégiés conçus à la main par des jetons latents apprenables dérivés d'expériences récupérées afin de permettre aux agents d'atteindre une performance et une efficacité de données supérieures dans des tâches d'auto-évolution telles que l'utilisation d'outils et la génération de code.

Auteurs originaux : Guibin Zhang, Jiayang Lyu, Ran Sun, Xinlei Yu, Haoyu Zhao, Qibing Ren, Shuicheng Yan

Publié 2026-08-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guibin Zhang, Jiayang Lyu, Ran Sun, Xinlei Yu, Haoyu Zhao, Qibing Ren, Shuicheng Yan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment jouer à un jeu vidéo complexe. Autrefois, vous deviez vous asseoir là et écrire manuellement un « guide » parfait pour chaque niveau, en lui disant exactement quels boutons presser. Mais et si le robot pouvait apprendre en jouant lui-même au jeu, en regardant ses propres rediffusions et en comprenant ce qui a fonctionné ? C'est le cœur d'un domaine appelé l'Auto-Distillation On-Policy. Voyez cela comme si le robot jouait son propre rôle de professeur. Il joue une manche (l'« étudiant »), puis une version plus intelligente de lui-même (le « professeur ») regarde la rediffusion et dit : « Hé, tu as hésité ici ; essaie plutôt ceci. » La magie opère lorsque le professeur donne un retour extrêmement détaillé sur chaque mouvement effectué par l'étudiant, et pas seulement sur le fait qu'il ait gagné ou perdu à la fin.

Cependant, il y a un bémol. Pour être un bon professeur, le robot a besoin d'un guide « privilégié » — quelque chose comme une solution parfaite ou une stratégie secrète qu'il ne possède pas encore. Habituellement, les humains doivent concevoir ces guides à la main, en les écrivant sous forme de texte clair ou de règles spécifiques. Mais et si le robot pouvait apprendre à créer ses propres guides automatiquement, en extrayant les éléments les plus utiles de ses aventures passées et en les transformant en un langage secret que seul le professeur comprend ? C'est la grande question que ce papier aborde : pouvons-nous arrêter de faire écrire les règles par des humains et laisser l'IA apprendre à résumer sa propre expérience en un guide parfait et invisible ?

Le Papier : Latent On-Policy Self-Distillation (LOPD)

Ce papier présente une nouvelle méthode appelée Latent On-Policy Self-Distillation (LOPD). Au lieu de demander à un concepteur humain d'écrire un « guide » spécifique (comme une réponse textuelle ou une description de compétence précise) pour que le professeur du robot puisse le lire, la LOPD apprend au robot à créer son propre guide.

Voici comment cela fonctionne, en utilisant une analogie ludique :

Imaginez un robot étudiant essayant de résoudre un labyrinthe. Il se cogne contre un mur, fait demi-tour et finit par trouver la sortie.

L'ancienne méthode : Un humain regarderait le labyrinthe et écrirait une note disant : « Tourne à gauche à la porte rouge. » Le robot professeur lirait cette note et dirait à l'étudiant : « Tu aurais dû tourner à gauche. » Mais cette note est rigide. Si le labyrinthe change légèrement, la note pourrait être inutile.
La méthode LOPD : Le robot n'utilise pas de note écrite. À la place, il possède un « Compositeur de Mémoire » (Memory Composer). Ce compositeur observe les passages réussis du robot dans des labyrinthes similaires. Il saisit les moments les plus importants et les compresse en un minuscule « code secret » invisible (appelé tokens latents). Ce code est comme un murmure compressé et de haute technologie que seul le robot professeur peut entendre.

Le robot professeur écoute ce murmure secret tout en regardant le robot étudiant jouer. Parce que le professeur possède ce code secret, il sait exactement ce que l'étudiant aurait dû faire à chaque étape. Il enseigne alors à l'étudiant : « Ne te contente pas de deviner ; voici le chemin dense et détaillé que tu aurais dû suivre. »

Le plus cool ? Le robot apprend à écrire ce code secret pendant qu'il apprend à jouer au jeu. Il découvre quels aspects de ses aventures passées sont réellement utiles et lesquels ne sont que du bruit. C'est comme si le robot apprenait à prendre ses propres notes dans une langue qu'il a inventée, plutôt que d'être forcé de lire un manuel écrit par un humain.

Ce qu'ils ont trouvé

Les chercheurs ont testé cela sur deux types de tâches très différents :

Utilisation d'outils agentiques (Agentic Tool Use) : Donner au robot un ensemble d'outils (comme une calculatrice, un moteur de recherche ou une base de données) et lui demander de résoudre des problèmes à étapes multiples, comme réserver un vol ou gérer un emploi du temps.
Génération de code : Demander au robot d'écrire des programmes informatiques fonctionnels.

Ils ont comparé la LOPD à d'autres méthodes où les humains devaient concevoir manuellement les « guides » (comme donner au professeur une réponse textuelle parfaite ou un résumé de compétence spécifique).

Les Résultats :

Meilleure Performance : La LOPD a systématiquement battu les autres méthodes. Sur les tests d'utilisation d'outils, elle a considérablement amélioré les scores. Par exemple, sur un test appelé EnvScaler, elle a fait passer le score de 61,8 à 63,7 avec un modèle plus petit, et de 60,2 à 66,4 avec un modèle plus grand. Sur les tests de codage, elle arrive également en tête, battant les meilleures méthodes conçues par l'homme.
Super Efficacité : Le robot a appris plus vite. Le papier note que la LOPD a obtenu ces résultats en utilisant moins de 30 % du « budget de rollout » (le nombre de parties d'entraînement) requis par d'autres méthodes de pointe comme GRPO et Skill-SD. C'est comme obtenir un A+ en mathématiques après avoir étudié seulement trois heures, alors que vos amis ont étudié pendant dix heures.
La « Recette Secrète » est Apprenable : Le papier a prouvé que le code secret (le contexte latent) doit être appris. Lorsqu'ils ont essayé d'utiliser une version figée et immuable du code, le robot n'a pas aussi bien appris. Mais lorsqu'ils ont laissé le robot ajuster le code lui-même, cela a parfaitement fonctionné.

Ce qu'ils ont écarté

Le papier argumente explicitement contre l'idée que nous devons continuer à inventer des « guides » de plus en plus complexes écrits par l'homme (comme des traces de raisonnement spécifiques, des réponses parfaites ou des descriptions de compétences rigides) pour rendre les robots plus intelligents. Ils ont montré que ces notes artisanales échouent souvent car elles sont trop rigides ; une note qui aide dans une situation peut confondre le robot dans une autre. La LOPD suggère que la meilleure voie est de laisser le robot déterminer ce qu'il doit mémoriser et comment le compresser, plutôt que de le forcer à lire un manuel pré-écrit.

À quel point sont-ils sûrs d'eux ?

Les auteurs sont assez confiants dans leurs conclusions car ils ont testé cela sur trois modèles de robots différents (Qwen3-4B, Qwen3-8B et Olmo3-7B) et sept benchmarks différents. Les résultats n'étaient pas un simple coup de chance ; ils se sont maintenus de manière constante. Ils ont également mené des expériences spécifiques pour prouver que la partie « apprentissage » du code secret était la véritable raison du succès, et non simplement la puissance de calcul supplémentaire. Bien qu'ils ne prétendent pas avoir résolu tout le mystère de l'évolution de l'IA, les données suggèrent fortement que laisser l'IA apprendre son propre « contexte privilégié » est une étape majeure pour créer des agents capables de s'améliorer continuellement.

Résumé Technique : Latent On-Policy Self-Distillation (LOPD)

1. Énoncé du Problème

L'article traite du défi consistant à permettre aux agents d'IA d'apprendre de l'expérience et de l'internaliser dans leur politique pour une auto-évolution. Bien que l'On-Policy Self-Distillation (OPSD) offre une voie prometteuse en utilisant un auto-enseignant « privilégié » pour fournir une supervision dense sur les propres trajectoires d'un étudiant, les méthodes existantes souffrent d'une limitation fondamentale : elles reposent lourdement sur des artefacts privilégiés conçus par des experts (par exemple, des réponses fixes, des traces de raisonnement, des compétences ou des trajectoires récupérées).

Ces contextes façonnés à la main contraignent le système à un format d'information spécifique choisi par le concepteur. Ils ne permettent pas à l'enseignant d'apprendre quels aspects de l'expérience passée sont réellement utiles pour superviser la trajectoire actuelle de l'étudiant, ni d'adapter la représentation de cette expérience à la tâche ou à l'état d'apprentissage spécifique. L'article postule que pour que l'auto-évolution de l'IA puisse passer à l'échelle, ni le contenu utile de l'expérience ni sa représentation ne devraient être fixés par des heuristiques humaines.

Question de recherche : Le contexte privilégié lui-même peut-il être appris de bout en bout à partir de l'expérience, permettant ainsi à l'auto-enseignant de déterminer quel savoir expérientiel conserver et comment l'encoder pour une supervision on-policy dense ?

2. Méthodologie : Latent On-Policy Self-Distillation (LOPD)

Le LOPD reformule le contexte privilégié non pas comme un artefact textuel prédéfini, mais comme un substrat latent apprenable. Le cadre opérationnel repose sur les composants suivants :

A. Contexte Privilégié Latent Apprenable

Au lieu de fournir à l'enseignant un artefact textuel fixe, le LOPD construit un contexte continu et différentiable à partir d'expériences récupérées :

Récupération d'Expérience : Une banque d'expériences hors ligne stocke les déploiements réussis (description de la tâche + trace compacte action-résultat). Pour une tâche actuelle, un récupérateur dense extrait les $J$ trajectoires les plus pertinentes.
Compositeur Latent : Un module apprenable ( $\Phi_\phi$ $Φ_{ϕ}$ ) transforme ces trajectoires récupérées en un ensemble compact de jetons (tokens) latents continus.
- Encodeur : Un backbone gelé, augmenté de paramètres LoRA entraînables, encode la paire tâche-expérience en états cachés.
  - Compresseur : Un module de type QFormer avec des requêtes apprises compresse ces états de longueur variable en un nombre fixe ( $K$ ) de jetons latents continus par expérience.
- Formation du Contexte : Ces jetons sont concaténés pour former le contexte privilégié $c_\phi$ , qui est injecté dans la fenêtre d'entrée de l'enseignant sous forme de jetons spéciaux.

B. Processus de Self-Distillation On-Policy

La boucle d'entraînement suit l'OPSD standard mais avec le contexte apprenable :

Déploiement de l'Étudiant (Student Rollout) : La politique de l'étudiant ( $\pi_S$ ) génère une trajectoire basée uniquement sur la tâche et l'historique d'interaction (sans contexte privilégié).
Évaluation de l'Enseignant : Un modèle enseignant gelé ( $\pi_T$ ), initialisé à partir du même backbone, réévalue les préfixes visités de la trajectoire de l'étudiant. Crucialement, l'enseignant est conditionné par le contexte latent appris $c_\phi$ dérivé des expériences récupérées.
Objectif de Distillation : L'étudiant est optimisé pour correspondre aux distributions de jetons de l'enseignant en utilisant la divergence de Kullback-Leibler (KL) inverse sur les top- $M$ logits plus un compartiment de queue (tail bucket). Cela encourage l'étudiant à se concentrer sur les comportements soutenus par le contexte enrichi de l'enseignant.

C. Contrainte de Marge Privilégiée (Privileged-Margin Constraint)

Pour éviter l'« effondrement » (collapse) où l'enseignant se contenterait de mimer l'étudiant (rendant le contexte latent non informatif), le LOPD introduit un objectif de marge privilégiée :

Alignement des Résultats : Le système lie l'avantage de jetons de l'enseignant au résultat vérifié de la trajectoire.
Contrainte : Une variable duale $\beta$ impose une marge $m$ telle que l'avantage de la log-probabilité de l'enseignant sur l'étudiant, lors de trajectoires réussies, doit dépasser un seuil.
Effet : Cela garantit que le contexte appris reste informatif et fournit un avantage vérifiable, orientant le compositeur vers des preuves qui soutiennent un comportement réussi plutôt que vers des solutions triviales.

D. Inférence

Après l'entraînement, seule la politique de l'étudiant est conservée. La banque d'expériences, le récupérateur, le compositeur et le contexte latent sont écartés. L'étudiant a internalisé le guidage, ne nécessitant aucune base de données externe ou entrée privilégiée lors du déploiement.

3. Principales Contributions

Reformulation du Contexte : L'article déplace le paradigme du contexte privilégié des artefacts textuels prédéfinis et conçus par l'humain vers un substrat latent apprenable de bout en bout. Cela permet à l'enseignant d'extraire automatiquement des signaux de supervision pertinents pour la tâche à partir de trajectoires brutes.
Solution Proposée (LOPD) : Un cadre qui optimise conjointement le contexte privilégié (via le compositeur) et la politique de l'étudiant. Il inclut une contrainte de marge privilégiée pour garantir que le contexte appris reste informatif et pour empêcher l'enseignant de s'effondrer vers l'étudiant.
Validation Expérimentale : Le LOPD démontre une performance et une efficacité supérieures par rapport aux méthodes existantes.

4. Résultats Expérimentaux

Les auteurs ont évalué le LOPD sur trois backbones de modèles (Qwen3-4B, Qwen3-8B, Olmo3-7B) et sept benchmarks couvrant l'usage d'outils agentiques (EnvScaler, BFCL-v3, ACEBench) et la génération de code (LiveCodeBench, EvalPlus).

Performance : Le LOPD a obtenu les meilleurs résultats agrégés dans les dix comparaisons backbone-benchmark.
- Sur EnvScaler avec Qwen3-8B, le LDP a atteint 66,4, surpassant le meilleur baseline (Skill-SD à 60,2).
- Sur ACEBench, le LOPD a atteint 62,7, battant nettement l'OPSD (52,7) et le SDPO (52,0).
- En génération de code, le LOPD a amélioré les scores pass@1 sur LiveCodeBench et EvalPlus, surpassant systématiquement les baselines comme GRPO et Skill-SD.
Efficacité d'Échantillonnage : Le LOPD a surpassé GRPO et Skill-SD avec moins de 30 % de leur budget de déploiement (rollout), atteignant une performance élevée tôt dans l'entraînement (ex: dépassant 0,61 de récompense moyenne après 320 générations contre une amélioration graduelle pour les baselines).
Études d'Ablation :
- Optimisation Conjointe : L'apprentissage conjoint du contexte est nécessaire ; l'utilisation d'un compositeur gelé ou la suppression de la contrainte de marge a entraîné des baisses de performance, confirmant que les gains proviennent de l'apprentissage de la représentation, et non simplement de l'ajout de paramètres.
- Apprenable vs Fixe : Les méthodes à contexte fixe (comme SDPO ou OPSD) ont parfois dégradé la performance par rapport aux modèles vanilla, tandis que le LOPD s'est constamment amélioré par rapport au baseline vanilla, démontant que les représentations apprenables s'adaptent mieux aux tâches et aux états d'apprentissage variables.
- Internalisation du Comportement : L'analyse a montré que les étudiants LOPD ont adopté des comportements de planification séquentielle plus poussés (moins d'appels d'outils par étape, réponses plus courtes à la première étape) même sans accès au contexte latent, prouvant que le guidage a été internalisé.

5. Signification et Revendications

L'article affirme que le LOPD représente une étape vers un paradigme plus scalable et autodirigé pour l'évolution des agents.

Principe de Conception : La revendication centrale est que les représentations d'expérience doivent être optimisées de bout en bout pour les politiques qu'elles sont censées améliorer, plutôt que de dépendre d'une succession de formats d'expérience de plus en plus élaborés et conçus par l'humain.
Scalabilité : En rendant le « contexte privilégié » apprenable, le système évite le goulot d'étranglement de la conception manuelle d'artefacts pour chaque nouveau domaine ou type de tâche.
Internalisation : La méthode transforme avec succès les trajectoires brutes en un substrat de supervision apprenable, permettant à l'agent de découvrir ce qu'il faut préserver comme preuve et comment l'encoder, rendant l'apprentissage par l'expérience véritablement de bout en bout.

Les auteurs soulignent que si la récupération seule est insuffisante et qu'une optimisation non contrainte peut mener à l'effondrement, la combinaison de la composition latente et de la contrainte de marge privilégiée permet une supervision productive qui persiste après le retrait du contexte.