🤖 machine learning

When Does Online Imitation Learning Help in LLM Post-Training? The Role of (Non-)Realizability Beyond Horizon

Cet article remet en question la vision conventionnelle selon laquelle l'accumulation d'erreurs est le moteur du succès de l'apprentissage par imitation en ligne, démontrant plutôt que son avantage sur les méthodes hors ligne est principalement déterminé par la non-réalisabilité, où l'interaction en ligne surmonte des goulots d'étranglement informationnels dans des contextes mal spécifiés que les approches hors ligne ne peuvent résoudre, même avec un horizon de un.

Auteurs originaux : Huaqing Zhang, Jingchu Gai, Juno Kim, Bingbin Liu, Andrej Risteski

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Huaqing Zhang, Jingchu Gai, Juno Kim, Bingbin Liu, Andrej Risteski

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Quand l'apprentissage par la pratique surpasse-t-il l'apprentissage par le manuel ?

Imaginez que vous essayez d'enseigner à un étudiant (le modèle d'IA) comment résoudre des problèmes mathématiques complexes. Vous avez deux méthodes pour le faire :

La Méthode du Manuel (Apprentissage Hors-Ligne / Offline Learning) : Vous donnez à l'étudiant une pile statique de corrigés écrits par un professeur génial. L'étudiant les lit et essaie d'en mémoriser les schémas. C'est ce qu'on appelle l'Apprentissage Supervisé par Affinement (SFT).
La Méthode du Tutorat (Apprentissage En Ligne / Online Learning) : L'étudiant essaie de résoudre un problème, et le professeur génial regarde la tentative spécifique de l'étudiant et lui dit : « Voici la probabilité que ce soit correct » ou « Essaie plutôt ceci ». L'étudiant apprend en interagissant avec le professeur en temps réel. C'est ce qu'on appelle l'Apprentissage par Imitation en Ligne (ou distillation on-policy).

Dans le monde réel, la « Méthode du Tutorat » fonctionne souvent mieux que la « Méthode du Manuel ». Mais pourquoi ?

Pendant longtemps, on a pensé que la réponse était l'« Accumulation d'Erreurs ».

L'ancienne théorie : Si un étudiant commet une petite erreur à l'étape 1 d'un long problème de mathématiques, il risque de s'égarer aux étapes 2, 3 et 4. La méthode du manuel ne détecte pas ces petits glissements tôt, donc les erreurs s'accumulent comme une boule de neige dévalant une pente. Le tuteur, lui, les attrape immédiatement.

Cet article dit : « Ce n'est pas toute l'histoire. »
Les auteurs soutiennent que la véritable raison pour laquelle l'apprentissage en ligne gagne est tout autre : le « Décalage de Taille » (Non-Réalisabilité).

La Découverte Centrale : Le Problème du « Petit Sac à Dos »

L'article introduit un concept appelé Réalisabilité.

Réalisable : L'étudiant est aussi intelligent (ou a la même « taille de cerveau ») que le professeur. L'étudiant peut copier parfaitement le raisonnement du professeur.
Non-Réalisable (Mal spécifié) : L'étudiant est plus petit ou moins capable que le professeur. Son « sac à dos » est trop petit pour transporter tout le raisonnement complexe du professeur.

Scénario A : L'étudiant est assez intelligent (Réalisable)

Imaginez que le professeur et l'étudiant soient tous deux des docteurs (PhD).

La découverte de l'article : Si vous donnez au doctorant le manuel (apprentissage hors-ligne), il apprendra tout parfaitement. Il égalera le score du professeur.
Le résultat : Ajouter un tuteur en direct (apprentissage en ligne) ne le rendra ni plus intelligent, ni plus rapide. La « Méthode du Manuel » est déjà parfaite.
Analogie : Si vous avez une carte parfaite d'une ville, vous n'avez pas besoin d'un guide GPS pour vous y rendre. Vous pouvez simplement suivre la carte.

Scénario B : L'étudiant est plus petit (Non-Réalisable)

Imaginez que le professeur soit un Grand Maître d'échecs, mais que l'étudiant soit un débutant. Les mouvements du professeur sont trop complexes pour que l'étudiant puisse les comprendre ou les copier directement.

Le problème du Manuel : Le corrigé du professeur pourrait dire : « Déplace le Cavalier en F3 ». Mais le cerveau de l'étudiant est trop simple pour comprendre pourquoi ce mouvement fonctionne, ou peut-être que l'étudiant ne peut même pas effectuer ce mouvement spécifique efficacement. L'étudiant essaie de mémoriser l'« apparence » de la réponse, mais comme le cerveau de l'étudiant est différent, il reste bloqué. Il se heurte à un goulot d'étranglement informationnel. Il ne peut pas apprendre les bons mouvements parce que les « bons » mouvements du manuel ne correspondent pas à son cerveau limité.
Le pouvoir du Tuteur : Lorsque l'étudiant tente un mouvement et demande conseil au professeur, celui-ci donne un feedback spécifiquement adapté à la tentative actuelle de l'étudiant. Même si l'étudiant est petit, le professeur peut le guider vers les meilleurs mouvements possibles que l'étudiant est réellement capable de réaliser.
La découverte de l'article : L'apprentissage en ligne brille ici car il aide l'étudiant à trouver la « meilleure version de lui-même » au sein de sa capacité limitée, alors que le manuel lui montre une version du jeu qu'il est incapable de jouer.

L'Analogie « Style vs Substance »

L'article explique également pourquoi le simple fait de mesurer « à quel point l'étudiant diffère du professeur » (discrépance distributionnelle) est trompeur.

Imaginez un professeur qui résout un problème de mathématiques en 3 étapes, et un étudiant qui le résout en 10 étapes.

L'ancienne vision : « Wow, l'étudiant est totalement différent du professeur ! Il utilise des mots différents et prend des chemins différents. L'étudiant doit échouer. »
La vision de l'article : « Attendez, les deux ont obtenu la bonne réponse (100 % de précision). La différence est juste dans le style (3 étapes vs 10 étapes). L'étudiant réussit en réalité très bien ! »

Dans le cadre « Non-Réalisable », l'étudiant peut devoir emprunter un chemin plus long et plus maladroit pour obtenir la bonne réponse parce qu'il ne peut pas utiliser le raccourci élégant du professeur.

Apprentissage Hors-Ligne (Manuel) : Tente de forcer l'étudiant à copier le chemin élégant en 3 étapes du professeur. L'étudiant échoue car il ne peut pas le faire.
Apprentissage En Ligne (Tuteur) : Voit l'étudiant lutter avec le chemin en 3 étapes et dit : « D'accord, tu ne peux pas faire ça. Mais si tu prends ce chemin en 10 étapes, tu peux quand même obtenir la bonne réponse. » Le tuteur aide l'étudiant à maximiser sa récompense (obtenir la bonne réponse), même si son style semble très différent de celui du professeur.

Résumé des affirmations de l'article

Si l'étudiant est assez intelligent (Réalisable) : La « Méthode du Manuel » (Hors-ligne) est déjà parfaite. L'apprentissage en ligne n'apporte aucune valeur ajoutée.
Si l'étudiant est plus petit (Non-Réalisable) : La « Méthode du Manuel » se heurte à un mur. Elle tente d'enseigner à l'étudiant des choses qu'il est physiquement incapable de représenter.
Le véritable gagnant : L'apprentissage en ligne fonctionne dans le cas « Non-Réalisable » car il ne cherche pas seulement à copier le style du professeur. Il trouve la meilleure solution possible que l'étudiant peut réellement atteindre, même si elle ressemble très différemment de la solution originale du professeur.
Le mythe de la « Boule de Neige » : L'article soutient que l'ancienne idée des « erreurs qui s'accumulent avec le temps » n'est pas la raison principale pour laquelle l'apprentissage en ligne gagne. Même dans des tâches courtes et simples (où les erreurs ne peuvent pas s'accumuler), l'apprentissage en ligne gagne toujours si l'étudiant est plus petit que le professeur.

En résumé : L'apprentissage en ligne aide non pas parce qu'il corrige les erreurs plus vite, mais parce qu'il aide un étudiant plus petit à trouver la meilleure façon de réussir, même lorsqu'il ne peut pas copier parfaitement le professeur.

Résumé Technique : Quand l'Apprentissage par Imitation en Ligne est-il Utile dans le Post-Entraînement des LLM ?

Énoncé du Problème

Le papier traite d'une question fondamentale dans le post-entraînement des Grands Modèles de Langage (LLM) : Pourquoi et quand l'apprentissage par imitation (IL) en ligne, spécifiquement la distillation on-policy, surpasse-t-il l'apprentissage supervisé hors ligne (SFT) ?

Bien que les études empiriques suggèrent que l'IL en ligne est supérieur, l'explication théorique prédominante — selon laquelle l'interaction en ligne atténue l'« accumulation d'erreurs » sur de longs horizons (comme dans les algorithmes de type DAgger) — est remise en question par des découvertes récentes. Foster et al. [15] ont démontré que dans des contextes réalisables (où la politique de l'expert appartient à la classe d'hypothèses de l'étudiant), l'IL hors ligne avec des objectifs de log-vraisemblance atteint les mêmes garanties de complexité d'échantillonnage que les méthodes en ligne. Cela soulève la question : si l'accumulation d'erreurs n'est pas le seul moteur, quelle est la source de l'avantage de l'IL en ligne dans l'entraînement pratique des LLM, où les modèles étudiants sont souvent plus petits et moins capables que les experts qu'ils imitent ?

Les auteurs proposent que la non-réalisabilité (mécompréhension/misspecification) — le scénario où la classe de politiques $\Pi$ de l'étudiant ne peut pas représenter la politique $\pi_e$ de l'expert — est le facteur critique. Ils étudient si l'interaction en ligne apporte des bénéfices dans des contextes de non-réalisabilité, même en l'absence d'erreurs de composition sur de longs horizons (c'est-à-dire dans des bandits contextuels avec un horizon $H=1$ ).

Méthodologie

Cadre Théorique

Les auteurs abstraient le post-entraînement des LLM comme un problème de bandit contextuel avec un horizon $H=1$ .

Contextes ( $X$ ) : Prompts.
Actions ( $Y$ ) : Séquences de réponses générées.
Politique ( $\pi$ ) : Une distribution conditionnelle sur les réponses.
Réalisabilité : Définie par $\pi_e \in \Pi$ . Si $\pi_e \notin \Pi$ , le contexte est non-réalisable.

Ils analysent deux paradigmes d'apprentissage :

IL Hors Ligne (SFT) : Apprend à partir d'un ensemble de données statiques de démonstrations d'experts i.i.d. en minimisant la perte de clonage de comportement (log-vraisemblance négative).
IL En Ligne (Distillation On-policy) : L'apprenant échantillonne à partir de sa politique actuelle $\pi$ , interroge l'expert pour obtenir la probabilité $\pi_e(y|x)$ , et optimise un objectif de divergence KL inverse (ou une fonction de mise en forme générale $f(\pi_e(y|x))$ ).

Outils Analytiques Clés

Analyse de Discrépance : Le papier critique les limites traditionnelles qui reposent sur des discrépances de distribution (par exemple, la distance de Variation Totale, la distance de Hellinger) entre l'expert et l'étudiant. Ils soutiennent que ces limites sont excessivement pessimistes dans les contextes non-réalisables et mal alignées avec l'objectif de récompense réel.
Limites d'Information-Théoriques (Hors Ligne) : Les auteurs dérivent une borne inférieure pour la complexité d'échantillonnage de l'IL hors ligne dans les contextes non-réalisables, montrant qu'elle dépend d'un coefficient de couverture $C_\infty^e$ . Ce coefficient mesure le décalage entre la distribution de l'expert et la meilleure politique réalisable au sein de la classe restreinte de l'étudiant.
Condition Structurelle pour l'IL en Ligne (Alignement Misspecification–Récompense) : Pour expliquer le succès de l'IL en ligne, ils proposent une condition où le signal de l'expert (utilisé pour la distillation) s'aligne avec la fonction de récompense de manière à ce que la classe de l'étudiant puisse l'exploiter, même si l'étudiant ne peut pas pleinement représenter l'expert.
- Hypothèse 1 (Alignement Misspecification–Récompense) : Le signal de l'expert $f(\pi_e(y|x))$ est décomposé en une composante alignée sur la récompense $\alpha r(x,y)$ et un résidu $h(x,y)$ . La condition exige que, dans l'ensemble des politiques proches de l'optimalité pour l'objectif en ligne, le terme résiduel $h$ ne distingue pas de manière significative les politiques qui diffèrent en performance de récompense. Essentiellement, la « mécompréhension » doit être orthogonale à la récompense ou non représentable par la classe de l'étudiant.

Contributions Clés et Résultats

1. Contextes Réalisables : L'IL Hors Ligne Suffit

Les auteurs vérifient empiriquement que dans les contextes réalisables, l'IL en ligne n'offre aucun avantage par rapport à l'IL hors ligne.

Expériences : Ils ont mené des expériences sur des tâches synthétiques (Countdown) et de raisonnement mathématique réel (GSM8K, DeepScaleR). Dans ces configurations, l'« expert » était généré par un modèle entraîné par RL issu de la même famille que l'étudiant, garantissant la réalisabilité.
Résultats : Le SFT (hors ligne) a pleinement récupéré la performance de l'expert. La distillation on-policy (en ligne) n'a apporté aucun gain en précision finale ou en vitesse d'entraînement par rapport au SFT. Cela confirme que l'accumulation d'erreurs n'est pas le principal moteur du succès de l'IL en ligne dans ces régimes.

2. Contextes Non-Réalisables : Le Goulot d'Étranglement de l'Information

Dans les contextes non-réalisables (où l'expert est un modèle beaucoup plus grand ou différent), le papier identifie une limitation fondamentale pour l'IL hors ligne :

Théorème 1 : Les algorithmes d'IL hors ligne apprenant à partir de données d'experts i.i.d. font face à une barrière d'information-théorique. Si l'expert place une faible masse de probabilité sur les réponses spécifiques que la classe restreinte de l'étudiant peut apprendre (haut $C_\infty^e$ ), l'IL hors ligne ne peut pas atteindre une sous-optimalité nulle, quel que soit la taille de l'échantillon. Les démonstrations de l'expert peuvent simplement ne pas contenir les exemples « corrects » pour que l'étudiant apprenne la politique optimale au sein de sa propre classe.

3. L'Avantage de l'IL en Ligne via l'Alignement Structurel

Le papier fournit une justification théorique de pourquoi l'IL en ligne réussit dans les contextes non-réalisables :

Théorème 2 : Sous la Condition d'Alignement Misspecification–Récompense, l'IL en ligne peut atteindre une faible sous-optimalité de récompense même avec de grandes discrépances de distribution.
Mécanisme : L'interaction en ligne permet à l'étudiant d'interroger l'expert sur les états (prompts) qu'il visite réellement. Si le signal de l'expert est structuré de telle sorte que l'information pertinente pour la récompense est accessible à l'étudiant (même si la distribution complète de l'expert ne l'est pas), l'IL en ligne peut converger vers une politique à haute récompense.
Validation Empirique : En utilisant les modèles DeepSeek-R1, les auteurs ont montré que les discrépances de distribution (par exemple, la longueur de la réponse ou la fréquence des mots-clés) peuvent être massives (environ 30 % de distance TV) alors que l'écart de performance reste faible (~5 %). Cela soutient l'idée que les bornes basées sur la discrépance sont lâches. De plus, ils ont montré que distiller à partir d'un expert ayant un meilleur « alignement » (Skywork-7B) donnait une performance d'étudiant nettement supérieure à celle d'un expert moins aligné (R1-Distill-7B), ce qui est cohérent avec leurs estimations de bornes théoriques.

Signification et Revendications

Le papier prétend déplacer la compréhension théorique du post-entraînement des LLM de la perspective de l'accumulation d'erreurs vers celle de la mécompréhension (misspecification).

Recadrage de l'Avantage : Le principal avantage de l'IL en ligne dans les LLM n'est pas simplement de corriger les erreurs de composition sur de longs horizons, mais de surmonter le goulot d'étranglement d'information-théorique causé par la non-réalisabilité. Dans les contextes réalisables, le SFT hors ligne est théoriquement et empiriquement suffisant.
Nécessité d'une Analyse Sensible à la Récompense : Les auteurs soutiennent que l'analyse de l'IL uniquement à travers les discrépances de distribution (par exemple, la divergence KL) est insuffisante et souvent trompeuse. Une analyse dépendante de la récompense est nécessaire pour expliquer pourquoi les méthodes en ligne réussissent lorsque l'étudiant ne peut pas parfaitement imiter l'expert.
Implications Pratiques : Les résultats suggèrent que l'écart de performance observé entre le SFT et les méthodes en ligne (comme le RL ou la distillation on-policy) dans la pratique provient souvent de la non-réalisabilité de l'expert par rapport à l'étudiant. Si l'expert est trop fort ou structurellement différent, les données hors ligne peuvent être insuffisantes, et l'interaction en ligne devient nécessaire pour guider l'étudiant vers les régions à haute récompense de son propre espace de politique.

Le papier conclut que bien que leur cadre explique l'écart entre le hors ligne et l'en ligne, il n'explique pas entièrement pourquoi la distillation on-policy est parfois plus efficace en termes d'échantillonnage que le RL (qui utilise également l'interaction en ligne), suggérant que la structure multi-étapes de la génération de langage et les signaux de récompense denses restent des domaines d'investigation ouverts.