🤖 machine learning

Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance

Cet article introduit le Décodage Spéculatif Variationnel (VSD), un nouveau cadre qui reformule l'entraînement du brouillon en une inférence variationnelle afin de maximiser l'acceptation des séquences par le modèle cible, atteignant ainsi des accélérations d'inférence significatives par rapport aux méthodes existantes en résolvant la divergence entre l'entraînement et le décodage grâce à une procédure d'Attente-Maximisation avec pondération adaptative et régularisation.

Auteurs originaux : Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

Publié 2026-08-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent comment écrire une histoire. Ce robot, connu sous le nom de Grand Modèle de Langage (LLM), est incroyablement talentueux mais aussi incroyablement lent. Il fonctionne comme une personne écrivant une phrase mot après mot, faisant une pause après chaque mot pour réfléchir à la suite. Ce processus de « réflexion par étape » est sûr et précis, mais il donne l'impression au robot qu'il avance dans la mélasse.

Pour accélérer les choses, les scientifiques ont inventé une astuce ingénieuse appelée « décodage spéculatif ». Pensez-y comme à une équipe de deux : un assistant junior énergique (le « modèle de brouillon ») et un superviseur sage et lent (le « modèle cible »). L'assistant junior essaie de deviner les prochains mots de l'histoire très rapidement. Le superviseur vérifie ensuite ses suppositions. Si les suppositions sont correctes, le robot accepte tous ces mots d'un coup, sautant ainsi le temps de « réflexion » lent. Si une supposition est fausse, le superviseur la corrige, et ils essaient à nouveau. L'objectif est que l'assistant junior devine de longues chaînes de mots correctes afin que le superviseur puisse les approuver par lots importants, ce qui fait décoller tout le processus.

Mais il y a un pièsel : l'assistant junior est généralement entraîné en lui montrant la réponse « parfaite » et en lui demandant de mémoriser ce chemin unique. Mais dans le vrai jeu, le superviseur ne regarde pas seulement un seul chemin parfait ; il regarde tout un arbre de possibilités, choisissant les meilleures parmi une foule. Il s'avère que le fait d'entraîner l'assistant à ne suivre qu'une seule ligne droite le rend incapable de deviner le bon chemin lorsque le superviseur regarde en réalité toute une forêt d'options. Ce décalage entre la façon dont l'assistant est entraîné et la façon dont il joue réellement au jeu a freiné la vitesse de ces robots IA.

L'idée majeure du papier : Une nouvelle façon d'entraîner l'assistant

Dans cet article, les chercheurs proposent une nouvelle méthode d'entraînement appelée Décodage Spéculatif Variationnel (VSD). Ils ont réalisé que l'ancienne façon d'entraîner le modèle de brouillon revenait à apprendre à un pilote de course à ne conduire que sur une seule piste droite, alors que la course réelle implique de naviguer sur un parcours complexe et sinueux avec de nombreux virages possibles.

Le problème de l'ancienne méthode
Les auteurs expliquent que les méthodes actuelles entraînent le modèle de brouillon à être « gourmand » (greedy). Cela signifie que le modèle est enseigné pour toujours choisir le mot suivant le plus probable, créant ainsi une seule ligne droite de texte. Mais pendant le jeu réel, le système ne vérifie pas seulement une ligne ; il génère un « arbre » de nombreuses combinaisons de mots possibles, puis choisit les meilleures. L'article montre que cela crée un décalage : le modèle est entraîné pour être parfait sur un chemin spécifique, mais le jeu exige qu'il soit bon sur de nombreux chemins différents. En fait, leurs expériences ont montré que dans environ 30 % des cas, le chemin « parfait » sur lequel le modèle a été entraîné est jeté pendant le jeu parce qu'il n'était pas réellement le meilleur choix parmi les nombreuses options.

La nouvelle solution : Apprendre de la forêt entière
Le VSD change les règles de l'entraînement. Au lieu de simplement mémoriser une ligne droite, la nouvelle méthode traite le modèle de brouillon comme un problème d'« inférence variationnelle ». En langage clair, cela signifie que le modèle apprend à comprendre toute la forêt de possibilités, et non pas seulement un arbre. Il apprend à deviner un ensemble de chemins qui sont susceptibles d'être acceptés par le superviseur, plutôt que de simplement deviner le mot « meilleur » unique.

Pour ce faire, les chercheurs utilisent un processus en deux étapes très astucieux (appelé procédure Espérance-Maximisation) :

La phase de supposition (étape E) : Le modèle génère de nombreux chemins d'histoires possibles. Un « oracle » spécial (un filtre intelligent) vérifie ces chemins et garde ceux qui semblent pouvoir passer le test du superviseur, tout en éliminant les mauvais.
La phase d'apprentissage (étape M) : Le modèle apprend à partir de ces chemins « conservés ». Mais voici le rebondissement : les chercheurs ont ajouté deux outils spéciaux pour rendre l'apprentissage stable et intelligent.
- Pondération de Rejet Adaptative (ARW) : Cela agit comme un coach qui sait quand l'élève est en difficulté. Si le modèle fait beaucoup de mauvaises suppositions, le coach ignore le bruit et se concentre sur les quelques bonnes. Si le modèle réussit bien, le coach prête attention aux erreurs pour l'aider à s'améliorer plus vite.
- Régularisation Sensible à la Confiance (CAR) : Cela empêche le modèle d'être « trop confiant ». Si le modèle est sûr à 99 % d'une mauvaise supposition, cet outil lui inflige une lourde pénalité. Il apprend au modèle à être humble et à explorer d'autres options plutôt qu'à s'en tenir obstinément à une mauvaise idée.

Ce qu'ils ont trouvé
Les chercheurs ont testé cette nouvelle méthode sur plusieurs modèles d'IA différents, incluant des modèles de texte uniquement (comme LLaMA) et des modèles capables de voir des images (comme LLaVA). Ils ont constaté que le VSD rendait systématiquement l'IA plus rapide sans la rendre moins intelligente.

Vitesse : Sur les modèles de texte, le VSD a rendu l'IA jusqu'à 9,6 % plus rapide que la meilleure méthode précédente (EAGLE-3).
Acceptation : L'« assistant » parvient à faire approuver plus de mots à la fois. En moyenne, il fait accepter 6 à 7 tokens (blocs de texte) en une seule fois, contre 5 à 6 pour les anciennes méthodes.
Magie Multimodale : Cela fonctionne tout aussi bien sur les modèles d'images et de texte, améliorant la vitesse de 7,9 % par rapport à la meilleure méthode existante pour ces modèles (ViSpec).

Pourquoi c'est important
L'article prouve qu'en changeant la façon dont nous entraînons l'« assistant » pour qu'il pense à l'ensemble du jeu plutôt qu'à un seul mouvement, nous pouvons considérablement accélérer l'IA. Les auteurs démontrent mathématiquement que leur méthode garantit l'amélioration de la « longueur d'acceptation attendue » (combien de mots sont approuvés à la fois). Ils n'ont pas seulement supposé cela ; ils l'ont mesuré à travers de nombreuses tâches, allant de l'écriture de code à la résolution de problèmes mathématiques et à la réponse à des questions sur des images.

En bref, le VSD corrige le décalage d'entraînement en apprenant au modèle de brouillon à être un meilleur explorateur de possibilités, garantissant que lorsqu'il fait une supposition, c'est une supposition que le superviseur est réellement susceptible d'accepter. Cela fait en sorte que l'IA ne semble plus avancer dans la mélasse, mais qu'elle sprinte.

Résumé Technique : Décodage Spéculatif Variationnel (VSD)

1. Énoncé du Problème : Discrépance de Distribution Entraînement-Décodage

Les méthodes actuelles de décodage spéculatif accélèrent l'inférence des modèles de langage (LLM) et des modèles de langage multimodaux (MLLM) en utilisant un modèle de brouillon (draft model) léger pour proposer des jetons, qu'un modèle cible vérifie en parallèle. Cependant, une discrépance de distribution entraînement-décodage fondamentale persiste :

Entraînement Déterministe vs Décodage Stochastique : Les modèles de brouillon existants sont généralement entraînés via l'entropie croisée pour prédire une trajectoire de jetons « greedy » (gloutonne) unique. En revanche, le décodage pratique implique un échantillonnage multi-chemins stochastique (ex: exploration basée sur des arbres), le classement de candidats et la vérification de plusieurs chemins.
Vraisemblance au Niveau du Jeton vs Utilité au Niveau du Chemin : L'entraînement optimise la vraisemblance des jetons individuels le long d'un chemin. Le décodage, cependant, prend des décisions au niveau du chemin, où la valeur d'un chemin de brouillon dépend de sa confiance cumulative et de sa capacité à survivre à la vérification sur une séquence.
La Conséquence : L'entraînement standard fait s'effondrer la distribution de brouillon vers un chemin déterministe unique. L'analyse empirique présentée dans l'article montre qu'environ 30 % des chemins greedy du temps d'entraînement sont élagués lors de la construction de l'arbre de brouillon, et le chemin accepté final coïncide avec le chemin greedy dans seulement ~36 % des cas. Ce désalignement limite l'accélération de l'inférence réalisable.

2. Méthodologie : Décodage Spéculatif Variationnel (VSD)

Les auteurs proposent le Décodage Spéculatif Variationnel (VSD), un cadre qui reformule l'entraînement du brouillon comme un problème d'inférence variationnelle sur des chemins de brouillon latents.

2.1. Formulation Variationnelle

VSD traite le chemin de brouillon $z$ comme une proposition latente. L'objectif est de maximiser la probabilité marginale qu'un chemin soit valide (c'est-à-dire accepté par le modèle cible).

Validité au Niveau du Chemin : Pour un chemin de brouillon $z = (z_1, \dots, z_\ell)$ , la probabilité de validité $\kappa(x, z)$ est définie comme la probabilité jointe que tous les jetons soient acceptés : $\kappa(x, z) = \prod_{i=1}^\ell \alpha_i(x, z_{<i})$ , où $\alpha_i$ est la probabilité d'acceptation du jeton.
Borne Inférieure de l'Évidence (ELBO) : Les auteurs dérivent une ELBO pour la log-probabilité marginale d'acceptation, $\log Z_\theta(x)$ $lo g Z_{θ} (x)$ :
$\mathcal{L}_{VSD}(\psi; x) = \mathbb{E}_{z \sim q_\psi}[\log \kappa(x, z)] - D_{KL}(q_\psi(z|x) \parallel p_\theta(z|x))$
- Le premier terme encourage le modèle de brouillon à générer des chemins ayant une haute probabilité d'acceptation (utilité du chemin).
- Le second terme (divergence KL) agit comme un régularisateur pour maintenir la distribution de brouillon proche de la distribution du modèle cible, évitant ainsi les solutions dégénérées.

2.2. Optimisation via l'Attente-Maximisation (EM)

Puisque la distribution postérieure sur les chemins valides est intractale, VSD optimise l'ELBO en utilisant une procédure EM basée sur Monte Carlo :

Étape E (Échantillonnage filtré par Oracle) : Le modèle de brouillon génère un lot de chemins candidats. Un « oracle » (basé sur le chemin greedy du modèle cible) filtre ces candidats, conservant les chemins à haute utilité et substituant les chemins rejetés par des échantillons correctifs provenant de la politique cible. Cela construit une approximation empirique de la distribution postérieure des chemins valides.
Étape M (Maximisation de la Vraisemblance Pondérée) : Les paramètres du modèle de brouillon sont mis à jour pour maximiser la vraisemblance des échantillons acceptés de l'étape E. Pour assurer la stabilité et l'efficacité, deux mécanismes sont introduits :
1. Pondération de Rejet Adaptative (ARW) : Un coefficient de variable de contrôle repondère dynamiquement les échantillons rejetés en fonction de la fiabilité actuelle du modèle de brouillon. Cela réduit la variance du gradient, évitant des mises à jour instables lorsque le modèle de brouillon est faible.
2. Régularisation Sensible à la Confiance (CAR) : Elle pénalise le modèle de brouillon lorsqu'il assigne une haute confiance à des chemins invalides (recherche de négatifs difficiles/hard-negative mining). Elle repondère les propositions rejetées en fonction de la confiance du modèle de brouillon, décourageant les erreurs de surconfiance qui augmentent les coûts de vérification.

3. Contributions Clés

Cadre Novateur : VSD est le premier cadre qui traite explicitement la discrépance de distribution entraînement-décodage en formulant l'entraînement du brouillon comme une inférence variationnelle sur des chemins latents, plutôt que sur la prédiction de jetons individuels.
Garanties Théoriques :
- Théorème 1 : Prouve que la maximisation de l'objectif VSD augmente une borne inférieure prouvable sur la longueur acceptée attendue.
- Théorème 2 : Démontre que VSD fournit une borne inférieure strictement plus serrée sur la longueur acceptée attendue par rapport à l'entraînement traditionnel basé uniquement sur la KL (qui ne minimise que $D_{KL}(q_\psi \parallel p_\theta)$ ).
- Théorème 3 : Caractérise la distribution de brouillon optimale à chaque étape EM comme étant la distribution postérieure des chemins valides au niveau de l'étape.
Innovations Algorithmiques : L'intégration de l'ARW et du CAR stabilise l'entraînement des objectifs au niveau du chemin, gérant la haute variance inhérente à l'échantillonnage Monte Carlo des arbres de brouillon.

4. Résultats Expérimentaux

Les auteurs ont évalué VSD sur divers LLM (LLaMA-3.1/3.3, Vicuna, DeepSeek-R1) et MLLM (LLaVA-1.5) sur des benchmarks incluant MT-Bench, HumanEval, GSM8K, et diverses tâches visuelles (VQAv2, ChartQA, etc.).

Gains de Performance :
- LLMs : VSD atteint une accélération allant jusqu'à 9,6 % par rapport à l'état de l'art EAGLE-3 et améliore la longueur d'acceptation de 7,6 % en moyenne.
- MLLMs : VSD atteint une accélération allant jusqu'à 7,9 % par rapport à la meilleure base de référence ViSpec et améliore la longueur d'acceptation de 7,9 %.
Compatibilité : VSD est modulaire et peut être appliqué pour améliorer les méthodes existantes (ex: EAGLE-3, MSD, ViSpec, GRIFFIN, HASS), apportant systématiquement des améliorations quel que soit l'architecture de brouillon sous-jacente.
Études d'Ablation :
- L'augmentation du nombre de propositions latentes ( $S$ ) améliore systématiquement les performances, confirmant la capacité de VSD à exploiter l'exploration multi-chemins.
- L'ARW et le CAR contribuent tous deux de manière significative à la performance ; supprimer ces mécanismes entraîne une réduction de l'accélération et de la longueur d'acceptation en raison d'une variance plus élevée et d'erreurs de surconfiance.
- VSD montre des gains relatifs plus importants sur les tâches nécessitant une cohérence à long terme (ex: génération de code, raisonnement mathématique) et lorsque le taux d'acceptation greedy de base est plus faible.

5. Signification et Revendications

L'article affirme que VSD représente un changement de paradigme dans l'entraînement du décodage spéculatif. En passant de la vraisemblance au niveau du jeton à l'acceptation au niveau de la séquence, VSD aligne l'objectif du modèle de brouillon avec le processus de décodage réel (vérification multi-chemins).

Alignement Théorique : Le travail établit un lien mathématique direct entre la borne variationnelle et l'accélération en temps réel (wall-clock speedup), garantissant théoriquement des améliorations d'efficacité par rapport à l'entraînement traditionnel par jeton.
Impact Pratique : Les résultats démontrent que VSD est une amélioration complémentaire, prête à l'emploi (drop-in), qui booste significativement l'efficacité de l'inférence pour les modèles textuels et multimodaux sans compromettre la qualité de sortie (sans perte/lossless).
Limites : Les auteurs notent que le passage à l'échelle du nombre de propositions latentes ( $S$ ) au-delà de 40 est contraint par le calcul dans leur configuration actuelle, bien qu'ils anticipent de nouveaux gains avec un $S$ plus grand. Ils identifient également l'extension de VSD à d'autres modalités (ex: parole) comme un travail futur.