🤖 machine learning

TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents

Ce papier présente **TCOD**, une méthode de distillation on-policy utilisant un curriculum temporel pour stabiliser l'apprentissage des agents autonomes multi-tours en augmentant progressivement la complexité des trajectoires, ce qui permet de surpasser la distillation classique et même les performances du modèle enseignant.

Auteurs originaux : Jiaqi Wang, Wenhao Zhang, Weijie Shi, Yaliang Li, James Cheng

Publié 2026-04-28

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiaqi Wang, Wenhao Zhang, Weijie Shi, Yaliang Li, James Cheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'Effet "Boule de Neige" de l'Erreur

Imaginez que vous essayez d'apprendre à un enfant (le "Student", un petit modèle d'IA) à cuisiner un plat complexe en 20 étapes, en le regardant faire sous l'œil attentif d'un Chef étoilé (le "Teacher", une IA géante et très intelligente).

Dans la méthode classique (appelée OPD), on demande à l'enfant de faire les 20 étapes d'un coup.

Le problème : Si l'enfant fait une toute petite erreur à l'étape 2 (il prend du sel au lieu du sucre), il se retrouve dans une situation qu'il ne maîtrise pas du tout.
À l'étape 3, il est perdu. À l'étape 10, il est complètement hors sujet.
Le Chef, voyant l'enfant faire n'importe quoi, devient de plus en plus confus et ne sait plus comment le corriger. C'est ce que les chercheurs appellent l'instabilité de la trajectoire. C'est comme une boule de neige qui dévale une pente : une petite erreur au début devient une avalanche de chaos à la fin. Résultat ? L'enfant n'apprend rien et finit par abandonner (le taux de réussite s'effondre).

La Solution : TCOD (Le Programme d'Entraînement Progressif)

Les chercheurs ont inventé une méthode appelée TCOD. Au lieu de jeter l'enfant directement dans le grand bain, ils utilisent une approche de "Curriculum" (comme à l'école) : on commence par des choses faciles, puis on augmente la difficulté.

Ils proposent deux manières de faire, comme deux styles d'apprentissage différents :

1. La méthode "Du début vers la fin" (TCOD-F2B)

C'est comme si on disait à l'enfant : "Aujourd'hui, on apprend juste à couper les légumes (étape 1 et 2). Demain, on apprendra à couper les légumes ET à faire revenir la viande (étapes 1, 2 et 3)."
On augmente le nombre d'étapes très progressivement. L'enfant maîtrise d'abord les bases solides avant d'affronter la complexité de la recette entière.

2. La méthode "De la fin vers le début" (TCOD-B2F)

C'est une approche encore plus maline. Imaginez que le Chef prépare presque tout le plat pour vous. Il fait les 18 premières étapes difficiles, et il vous laisse juste les 2 dernières pour finir la décoration.

Cela permet à l'enfant de goûter au "succès" immédiatement.
Petit à petit, le Chef fait de moins en moins d'étapes, et l'enfant doit en faire de plus en plus. À la fin, l'enfant est capable de faire toute la recette tout seul.

Les Résultats : Un élève qui dépasse son maître ?

Les résultats sont impressionnants. Grâce à cette méthode :

Stabilité : L'IA "élève" ne panique plus et ne fait plus d'erreurs en cascade.
Efficacité : L'entraînement est plus rapide (environ 32 % de temps gagné).
Le coup de génie : Dans certains tests très difficiles, l'élève est devenu meilleur que le maître ! C'est comme si l'enfant, à force de pratiquer par étapes bien structurées, avait fini par trouver des astuces que le Chef n'avait même pas vues.

En résumé

Au lieu de forcer une petite IA à imiter une grande IA sur des tâches trop longues et complexes (ce qui crée du chaos), les chercheurs de TCOD lui proposent un parcours de formation sur mesure, étape par étape, pour construire une intelligence solide et capable de naviguer dans le monde réel sans s'égarer.

Résumé Technique : TCOD

1. Problématique : L'instabilité de la distillation "On-Policy" (OPD)

La distillation on-policy (OPD) est une méthode efficace pour transférer les capacités de raisonnement de modèles frontières (enseignants) vers des modèles plus petits (étudiants). Cependant, les auteurs identifient une faille majeure lorsque cette méthode est appliquée aux agents autonomes multi-tours (environnements dynamiques et à long horizon) : l'instabilité de la divergence KL au niveau de la trajectoire.

Le problème provient de l'amplification des erreurs par cumul (compounding errors) :

À chaque tour, une petite erreur de l'étudiant modifie l'état de l'environnement.
Ces erreurs s'accumulent, poussant l'étudiant vers des états qui sortent de la distribution de l'enseignant (out-of-distribution).
En conséquence, la divergence KL (qui mesure l'écart entre l'étudiant et l'enseignant) explose, rendant le signal de supervision de l'enseignant peu fiable et provoquant l'effondrement du taux de réussite de l'agent.

2. Méthodologie : Le cadre TCOD

Pour résoudre ce problème, les auteurs proposent TCOD (Temporal Curriculum On-Policy Distillation). L'idée centrale est d'utiliser l'apprentissage par curriculum en contrôlant la profondeur de la trajectoire exposée à l'étudiant, en passant progressivement de séquences courtes à des séquences longues.

Le cadre propose deux variantes pratiques :

TCOD-F2B (Forward-to-Backward) : Un curriculum "du superficiel vers le profond". L'étudiant est d'abord limité à un petit nombre de pas d'interaction ( $k$ ). Au fil de l'entraînement, ce nombre $k$ augmente progressivement. Cela permet à l'étudiant de maîtriser d'abord les premières étapes de la tâche avant de devoir gérer des horizons temporels plus longs.
TCOD-B2F (Backward-to-Forward) : Un curriculum "de la fin vers le début". Ici, l'enseignant sert de "navigateur". On initialise l'environnement dans un état intermédiaire atteint par l'enseignant (via une trajectoire réussie pré-collectée). L'étudiant prend ensuite le relais pour terminer la tâche. La longueur de la partie "pilotée" par l'enseignant diminue progressivement jusqu'à ce que l'étudiant doive exécuter la tâche de bout en bout.

3. Contributions Clés

Identification d'un nouveau mode de défaillance : La caractérisation de l'instabilité de la divergence KL liée au cumul d'erreurs dans les environnements multi-tours.
Nouveau paradigme de distillation : L'introduction d'un curriculum temporel qui régule la complexité non pas par la difficulté de la tâche, mais par la profondeur de l'interaction.
Efficacité algorithmique : Les méthodes proposées nécessitent des modifications de code minimales et sont compatibles avec les frameworks de réglage fin par renforcement (RFT).

4. Résultats Expérimentaux

Les tests ont été menés sur trois benchmarks d'agents : ALFWorld, WebShop et ScienceWorld, en utilisant divers couples étudiant-enseignant (familles Qwen).

Amélioration des performances : TCOD améliore le taux de réussite jusqu'à 18 points par rapport à l'OPD classique. Il permet notamment de "sauver" des modèles très petits (ex: Qwen3-1.7B) qui s'effondraient avec l'OPD standard.
Stabilité accrue : Les courbes de divergence KL sont beaucoup plus stables et les taux de réussite ne s'effondrent pas pendant l'entraînement.
Généralisation au-delà de l'enseignant : De manière remarquable, TCOD-B2F parvient à surpasser les performances de l'enseignant sur des tâches difficiles où l'enseignant lui-même échouait (notamment sur le split "Hard" d'ALFWorld).
Efficacité temporelle : TCOD réduit le temps d'entraînement total jusqu'à 32 %, car les premières phases d'entraînement sur des trajectoires courtes sont beaucoup plus rapides.

5. Signification et Impact

Ce travail change la perspective sur la distillation pour les agents. Il démontre que pour les systèmes autonomes, la structure temporelle de l'apprentissage est aussi cruciale que la qualité du signal de supervision. En introduisant une progression contrôlée de l'horizon temporel, TCOD permet de transformer un processus d'apprentissage instable et inefficace en un processus robuste capable de dépasser les capacités du modèle expert initial. Cela ouvre la voie à l'entraînement d'agents de plus en plus complexes et autonomes sur de longs horizons.