💻 computer science

Draft-OPD: On-Policy Distillation for Speculative Draft Models

Ce papier présente Draft-OPD, un cadre de distillation on-policy qui surmonte les limites du fine-tuning supervisé pour le décodage spéculatif en utilisant des rollouts assistés par la cible et en rejouant le brouillage à partir des positions d'erreur afin d'obtenir une accélération sans perte supérieure à 5x pour les modèles de réflexion.

Auteurs originaux : Haodi Lei, Yafy Li, Haoran Zhang, Shunkai Zhang, Qianjia Cheng, Xiaoye Qu, Ganqu Cui, Bowen Zhou, Ning Ding, Yun Luo, Yu Cheng

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haodi Lei, Yafy Li, Haoran Zhang, Shunkai Zhang, Qianjia Cheng, Xiaoye Qu, Ganqu Cui, Bowen Zhou, Ning Ding, Yun Luo, Yu Cheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'écrire une histoire longue et complexe avec un auteur très célèbre et brillant (le Modèle Cible). Cet auteur est incroyablement intelligent et écrit des phrases parfaites, mais il est aussi très lent. Il prend beaucoup de temps pour réfléchir à chaque mot avant de l'écrire.

Pour accélérer le processus, vous engagez un stagiaire rapide et énergique (le Modèle Brouillon) pour deviner les prochains mots. Le stagiaire écrit quelques mots rapidement, puis l'auteur célèbre les vérifie. Si le stagiaire a raison, l'auteur dit : « Super, continue ! » et passe à la suite. Si le stagiaire se trompe, l'auteur barre l'erreur, écrit le mot correct et recommence.

Ce processus s'appelle le Décodage Spéculatif. L'objectif est que le stagiaire devine si bien que l'auteur doit rarement s'arrêter pour le corriger, ce qui permet de faire écrire toute l'histoire beaucoup plus vite.

Le Problème : Le « Manuel » contre le « Vrai Jeu »

Pendant longtemps, la façon d'entraîner ces stagiaires consistait à leur donner un manuel. Vous leur montriez des histoires que l'auteur célèbre avait déjà écrites et vous disiez : « Mémorisez ces modèles. » Cela s'appelle le Raffinement Supervisé (SFT).

Au début, cela fonctionne très bien. Le stagiaire s'améliore de plus en plus dans la copie du manuel. Mais éventuellement, il atteint un mur. Peu importe combien il étudie davantage le manuel, il cesse de devenir plus rapide pour deviner en temps réel.

Pourquoi ?
Parce que le manuel est statique. Il ne montre que les chemins que l'auteur célèbre a empruntés. Mais dans le vrai jeu, c'est le stagiaire qui fait le premier mouvement. Parfois, le stagiaire devine un mot étrange que l'auteur n'a jamais écrit dans le manuel. Lorsque le stagiaire fait une erreur, l'auteur la corrige. Mais le stagiaire n'apprend jamais de cette erreur parce que le manuel ne contenait pas ce scénario spécifique de « mauvaise devinette ». Le stagiaire étudie une carte d'une ville qu'il n'a jamais réellement parcourue.

La Solution : « Draft-OPD » (Apprendre en Faisant)

Les auteurs de cet article proposent une nouvelle méthode d'entraînement appelée Draft-OPD. Au lieu de simplement lire le manuel, ils permettent au stagiaire de s'entraîner dans un jeu simulé où l'auteur célèbre est là pour le coacher en temps réel.

Voici comment cela fonctionne, en utilisant une analogie simple :

L'Essai Pratique Sécurisé (Déploiement Assisté par la Cible) :
Imaginez que le stagiaire essaie d'écrire un paragraphe. S'il est bloqué ou s'écarte du chemin, l'auteur célèbre intervient immédiatement pour corriger et maintenir l'histoire en mouvement. Cela garantit que la séance d'entraînement ne se transforme pas en un chaos de charabia (ce qui arrive si le stagiaire essaie d'écrire toute une histoire seul).
La « Relecture des Erreurs » (Le Secret) :
C'est la partie la plus importante. Lorsque le stagiaire fait une devinette et que l'auteur doit la corriger, le système ne passe pas simplement à la suite. Il appuie sur « Retour en arrière ».
- Il revient au moment exact où le stagiaire a fait la mauvaise devinette.
- Il demande au stagiaire de réessayer cette devinette spécifique.
- Il demande à l'auteur d'expliquer pourquoi cette devinette était fausse.
C'est comme un entraîneur qui dit : « Stop ! Vous avez essayé de tirer le ballon à gauche, mais le gardien était là. Reculons et réessayons pour que vous appreniez à tirer à droite. » Cela enseigne au stagiaire spécifiquement les erreurs qu'il commet, et pas seulement les chemins parfaits empruntés par l'auteur.
Notation Intelligente (Distillation Consciente de l'Acceptation) :
Le système traite les devinettes du stagiaire différemment selon le résultat :
- Si le stagiaire avait raison : Le système dit : « Bon travail, continuez à faire exactement ce que vous avez fait. » (Renforcer les bonnes habitudes).
- Si le stagiaire avait tort : Le système dit : « Vous étiez confiant dans cette mauvaise réponse, mais elle était fausse. Concentrons-nous fortement sur la correction de ce type spécifique d'erreur. » (Punir les erreurs confiantes).

Les Résultats

L'article a testé cette nouvelle méthode sur des modèles d'IA très avancés (appelés « Modèles de Pensée » car ils sont bons en mathématiques et en codage).

Ancienne Méthode (Apprentissage par Manuel) : Le stagiaire pouvait accélérer le processus d'écriture d'environ 4,5 fois.
Nouvelle Méthode (Draft-OPD) : Le stagiaire a accéléré les choses de plus de 5 fois.

En termes simples, la nouvelle méthode d'entraînement a rendu le stagiaire tellement meilleur pour deviner que l'auteur célèbre a dû s'arrêter et le corriger beaucoup moins souvent. Cela signifie que l'histoire est écrite beaucoup plus vite, sans perdre aucune qualité.

Résumé

L'article soutient que pour rendre l'IA plus rapide, nous ne pouvons pas simplement lui apprendre à copier des exemples parfaits. Nous devons lui permettre de s'entraîner, de faire des erreurs, puis lui apprendre spécifiquement comment corriger ces erreurs. En rejouant les moments où l'IA a deviné faux, nous pouvons entraîner une IA « brouillon » bien meilleure pour prédire l'avenir, rendant l'ensemble du système significativement plus rapide.

Résumé Technique : Draft-OPD

Énoncé du Problème

Le décodage spéculatif (SD) accélère l'inférence des Grands Modèles de Langage (LLM) en utilisant un modèle brouillon léger pour proposer des blocs de tokens, lesquels sont ensuite vérifiés en parallèle par un modèle cible plus grand. Alors que les méthodes actuelles dominantes (par exemple, EAGLE-3, DFlash) entraînent ces modèles brouillons via un Affinement Supervisé (SFT) sur des trajectoires fixes générées par le modèle cible, cette approche atteint un plafond de performance.

Les auteurs identifient un décalage fondamental entre la phase hors ligne et l'inférence :

Phase d'Entraînement : Le modèle brouillon apprend à partir de trajectoires statiques où chaque préfixe est généré par le modèle cible.
Phase d'Inférence : Le modèle brouillon est évalué sur des blocs qu'il propose lui-même. La longueur d'acceptation (le nombre de tokens acceptés par étape de vérification) est déterminée par les états induits par la propre politique du modèle brouillon, et non par les états statiques observés lors du SFT.

Par conséquent, le SFT continu atteint rapidement un plateau, et le modèle brouillon échoue à améliorer sa longueur d'acceptation sur les données de test. De plus, la Distillation On-Policy (OPD) standard est difficile à appliquer directement aux modèles brouillons car :

Les déroulements (rollouts) uniquement brouillons (où le modèle brouillon génère des séquences indépendamment) sont instables et dégénèrent souvent en sorties répétitives.
Les déroulements assistés par la cible (où le modèle cible corrige le brouillon) produisent des séquences de haute qualité mais éliminent le signal « on-policy ». Le modèle cible rejette les erreurs du brouillon, ce qui signifie que le modèle brouillon n'apprend que de la distribution du modèle cible, échouant ainsi à traiter les erreurs spécifiques qui limitent l'acceptation spéculative.

Méthodologie : Draft-OPD

Pour combler ce fossé, les auteurs proposent Draft-OPD, un cadre de distillation on-policy conçu spécifiquement pour l'entraînement des modèles brouillons. La méthode permet au modèle brouillon d'apprendre à partir de ses propres états au moment de l'inférence, incluant à la fois les propositions réussies et les erreurs spécifiques causant les échecs de vérification.

Le cadre se compose de trois composants coordonnés :

1. Déroulement avec Collecte des Positions d'Erreur

Au lieu de forcer le modèle brouillon à générer des séquences complètes seul, Draft-OPD utilise des déroulements assistés par la cible pour assurer des continuations stables et de haute qualité.

Lors du décodage spéculatif, le modèle brouillon propose un bloc de tokens, et le modèle cible les vérifie.
Le système enregistre la position de départ de chaque bloc brouillé comme un ancrage.
Ce processus génère un déroulement valide (suivant la distribution cible) tout en préservant les états spécifiques où le modèle brouillon a agi.

2. Rejeu pour le Calcul des Log-Probabilités

Pour récupérer le signal « on-policy » perdu lors du déroulement assisté par la cible, le système rejoue le processus de brouillage à partir des ancrages enregistrés.

En partant d'un état ancre (le préfixe vérifié par la cible), le système ré-simule la proposition du bloc subséquent par le modèle brouillon.
Il calcule les log-probabilités à la fois pour le modèle brouillon (élève) et le modèle cible (enseignant) sur ces préfixes générés par le brouillon.
Crucialement, cela permet au système d'évaluer la distribution du modèle cible sur les tokens qui ont été rejetés lors de la vérification initiale, capturant ainsi les erreurs spécifiques commises par le modèle brouillon.

3. Objectif de Distillation Conscient de l'Acceptation

L'objectif d'entraînement traite différemment les tokens acceptés et rejetés pour optimiser l'acceptation spéculative :

Tokens Acceptés : Pour les tokens qui passent la vérification, la méthode utilise la Divergence KL Forward ( $D_{KL}(P_{target} || P_{draft})$ ). Cela encourage la distribution du brouillon à couvrir la distribution cible là où elles sont déjà d'accord, renforçant ainsi les comportements fiables.
Tokens Rejetés : Pour les tokens qui échouent à la vérification, la méthode utilise la Divergence KL Reverse ( $D_{KL}(P_{draft} || P_{target})$ ). Cela pénalise le modèle brouillon d'attribuer une probabilité élevée aux tokens que le modèle cible rejette, enseignant efficacement au modèle brouillon à éviter ses propres erreurs à haute confiance.
Pondération : Les tokens rejetés sont pondérés exponentiellement en fonction de leur position dans le bloc ( $w_k = \gamma^{k-1}$ ). Les erreurs survenant plus tôt dans un bloc sont pondérées plus lourdement car elles invalident tout le suffixe subséquent, ayant un impact plus important sur la longueur d'acceptation globale.

Contributions Clés

Identification de la Limite : L'article démontre que le SFT hors ligne pour les modèles brouillons atteint rapidement un plateau en raison du décalage entre les états d'entraînement (générés par la cible) et les états d'inférence (générés par le brouillon).
Analyse des Défis de l'OPD : Il explique pourquoi l'OPD standard échoue pour les modèles brouillons : les déroulements indépendants sont instables, tandis que les déroulements naïfs assistés par la cible effacent le signal d'erreur on-policy.
Cadre Draft-OPD : Il introduit un cadre novateur combinant des déroulements assistés par la cible avec un rejeu de position d'erreur, permettant un post-entraînement efficace sur les erreurs survenant au moment de la vérification.
Objectif Conscient de l'Acceptation : Il propose un objectif hybride de divergence KL qui différencie les tokens acceptés et rejetés pour cibler spécifiquement les erreurs limitant l'accélération spéculative.

Résultats Expérimentaux

Les auteurs ont évalué Draft-OPD sur la famille Qwen3 (4B, 8B et 30B-A3B-Thinking) à travers le raisonnement mathématique (GSM8K, MATH-500, AIME), la génération de code (MBPP, HumanEval, SWE-bench Lite) et le chat général (MT-Bench).

Gains de Performance : Avec un budget de FLOPs d'entraînement équivalent, Draft-OPD a constamment surpassé EAGLE-3 et DFlash.
- Il a atteint une accélération sans perte supérieure à 5× pour les modèles de réflexion.
- Il a amélioré la longueur d'acceptation moyenne et l'accélération de 23 % par rapport à EAGLE-3 et de 13 % par rapport à DFlash.
Débit : Dans les benchmarks de déploiement SGLang, Draft-OPD a montré des gains de débit constants à travers les niveaux de concurrence (1 à 32), avec des améliorations de longueur d'acceptation moyenne d'environ 11,2 % par rapport à DFlash.
Études d'Ablation :
- L'application simple du SFT sur des données générées par OPD (sans le mécanisme de rejeu) a échoué à améliorer les performances, confirmant la nécessité du signal d'erreur on-policy.
- L'utilisation d'une seule direction KL (tout-forward ou tout-reverse) était inférieure à l'objectif mixte et conscient de l'acceptation.
- La sélection aléatoire des ancrages de rejeu était moins efficace que la sélection d'ancrages basée sur les positions d'erreur, soulignant l'importance de concentrer l'entraînement sur les états d'échec.

Signification et Revendications

L'article revendique que Draft-OPD représente une avancée significative dans l'optimisation des modèles brouillons basés sur l'entraînement. En passant d'une supervision statique et hors ligne à une distillation dynamique et on-policy ciblant explicitement les erreurs survenant au moment de la vérification, la méthode brise le plateau de performance du SFT traditionnel.

Les auteurs soulignent que leur approche préserve le caractère sans perte du décodage spéculatif (maintenant la distribution de sortie du modèle cible) tout en améliorant substantiellement l'efficacité. Ils positionnent ce travail comme une solution pratique pour accélérer les modèles de « réflexion » et les tâches de raisonnement complexe, où les modèles brouillons standard peinent souvent en raison de la forte incertitude des traces de raisonnement longues. L'article conclut que le post-entraînement des modèles brouillons sur leurs propres erreurs d'inférence est une direction critique pour améliorer le décodage spéculatif, offrant une voie vers des longueurs d'acceptation plus élevées et une inférence plus rapide sans compromettre la qualité de génération.