🤖 machine learning

Approximate Speculative Decoding

Cet article introduit l'Approximate Speculative Decoding (ASD), une méthode sans entraînement qui accélère la génération autorégressive en acceptant sélectivement les décalages de jetons de brouillon basés sur un budget de regret afin de réutiliser des suffixes valides, améliorant ainsi le débit sans nécessiter de nouveaux modèles de brouillon ou de réglage fin.

Auteurs originaux : Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

Publié 2026-08-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'écrire une histoire avec un ami très intelligent, mais incroyablement lent. Chaque fois que vous voulez ajouter un nouveau mot à votre histoire, vous devez attendre que votre ami réfléchisse intensément, consulte toute sa bibliothèque de connaissances et vous dise exactement quel mot vient ensuite. C'est ainsi que fonctionnent les modèles de langage IA modernes : ils génèrent du texte un mot à la fois, et la partie « réflexion » prend la majeure partie du temps, ce qui donne l'impression de regarder la peinture sécher. Pour accélérer cela, les scientifiques ont inventé une astuce appelée « décodage spéculatif ». Imaginez que vous avez un assistant junior rapide qui devine les prochains mots pour vous. Vous demandez ensuite à votre ami expert, plus lent, de vérifier rapidement si ces suppositions sont correctes. Si l'expert est d'accord, vous pouvez écrire plusieurs mots à la fois au lieu d'un seul, ce qui permet de gagner un temps précieux.

Cependant, il y a un piège. Votre ami expert est un adepte des règles. Si l'assistant devine même un seul mot qui n'est pas le choix absolument parfait que l'expert aurait choisi, l'expert interrompt immédiatement tout le processus. Il jette tous les autres mots que l'assistant a devinés pour ce tour, même si la plupart d'entre eux étaient parfaits. C'est comme un professeur qui corrige une copie et arrête de lire dès qu'il voit une seule erreur, jetant le reste de la feuille à la poubelle. Cette règle du « tout ou rien » maintient la perfection de l'histoire, mais elle gaspille une grande partie du travail acharné de l'assistant.

Ce document présente une nouvelle méthode appelée Approximate Speculative Decoding (ASD), qui agit comme un professeur plus intelligent et plus flexible. Au lieu de jeter tout l'examen à cause d'une petite erreur, l'ASD demande : « Est-ce que cette erreur est minime ? Et l'assistant a-t-il quand même réussi les mots suivants ? » Si la réponse est oui, l'ASD accepte la petite erreur, conserve les bons mots qui suivent, et continue. C'est comme un professeur qui dirait : « Tu as mal orthographié "parce que", mais tu as parfaitement écrit les dix mots suivants, alors corrigeons juste le mot et continuons. » Les chercheurs ont découvert qu'en étant légèrement plus indulgents avec les petites erreurs, ils pouvaient faire écrire l'IA beaucoup plus vite sans altérer la qualité de l'histoire.

L'histoire de l'assistant « budgétisé »

L'idée centrale de l'ASD est de ne plus traiter chaque erreur comme une catastrophe. Dans l'ancienne méthode, si votre assistant devinait un mot qui n'était pas le premier choix, le système s'arrêtait immédiatement. Mais les auteurs ont réalisé que parfois, la supposition « erronée » de l'assistant est en réalité très proche de la bonne, et que les mots qui suivent sont toujours parfaits.

Pour corriger cela, l'équipe a créé un système avec un budget. Imaginez que vous avez un bocal de « jetons d'erreur ». Vous êtes autorisé à commettre quelques petites erreurs, mais vous devez les payer en utilisant votre bocal.

La Porte Locale (Local Gate) : Avant d'accepter une erreur, le système vérifie à quel point elle est « mauvaise ». Si la supposition de l'assistant est seulement légèrement moins probable que le mot parfait, c'est une erreur peu coûteuse. S'il s'agit d'une erreur énorme, elle coûte trop de jetons, et le système dit « non ».
Le Plafond de Bloc (Block Cap) : Vous ne pouvez pas faire trop d'erreurs dans un seul lot de suppositions. Cela empêche l'assistant de devenir trop imprécis d'un seul coup.
Le Budget de Requête (Request Budget) : Il s'agit du bocal total de jetons pour toute la conversation. Une fois que vous avez épuisé vos jetons, vous devez revenir à la perfection (en suivant strictement les anciennes règles) pour le reste de l'histoire.

La magie opère lorsque le système accepte une petite erreur. Parce que les prochaines suppositions de l'assistant étaient en fait parfaites (elles correspondaient à ce que l'expert aurait choisi), le système peut les « réutiliser ». Il n'a pas besoin de demander à l'expert lent de les vérifier à nouveau. Il les accepte simplement et avance. Cela transforme un moment de « arrêt et rejet » en un moment de « correction et continuation ».

Ce qu'ils ont découvert

Les chercheurs ont testé cette idée en utilisant des modèles d'IA très populaires (comme Qwen3 et DeepSeek) sur une variété de tâches, allant de la résolution de problèmes mathématiques à l'écriture de code. Ils n'ont pas eu besoin de réentraîner les modèles ni d'apprendre quoi que ce soit de nouveau à l'assistant ; ils ont simplement changé la façon dont le « professeur » (le vérificateur) corrigeait le travail.

Les résultats sont très prometteurs. En utilisant cette approche budgétisée, le système est devenu plus rapide sans nécessiter d'entraînement supplémentaire.

Sur un ensemble de sept tâches différentes, le système a été 7,78 % plus rapide en moyenne par rapport à la méthode ancienne et stricte.
Dans les meilleurs cas, comme sur le jeu de données MATH-500, la vitesse a augmenté de 11,73 %.
Lorsqu'ils l'ont testé sur un modèle massif appelé DeepSeek-V4-Flash, ils ont constaté que les taux d'acceptation (le nombre de suppositions conservées par le système) augmentaient d'environ 10 % à 16 %.

Le document précise avec prudence que ce n'est pas une baguette magique qui rend tout parfait. Les auteurs affirment explicitement que cette méthode modifie le chemin emprunté par l'IA pour parvenir à la réponse. Parfois, l'histoire peut être légèrement différente, ou le « hash » (l'empreinte numérique du texte) peut changer, même si la réponse finale est correcte. Par exemple, sur certains tests de codage, la précision a légèrement chuté (de moins de 1,5 point de pourcentage), mais sur de nombreuses autres tâches, la précision est restée exactement la même ou s'est même légèrement améliorée.

Pourquoi cela importe

La beauté de ce document est qu'il ne nécessite pas de construire une nouvelle IA plus rapide ou d'entraîner un nouvel assistant. Il change simplement les règles du jeu pour celui que vous avez déjà. C'est comme réaliser qu'un policier de la circulation très strict ralentit toute la ville parce qu'il arrête les voitures pour chaque infraction mineure, alors qu'une approche plus flexible permettrait de maintenir la circulation fluide avec des risques minimes et gérables.

Les auteurs suggèrent que cette méthode est un excellent moyen d'extraire plus de vitesse des systèmes d'IA actuels. Ils soulignent que, bien que les gains de vitesse soient réels et mesurables (jusqu'à 15,26 % dans certains cas), les utilisateurs doivent être conscients qu'ils troquent une part de perfection stricte contre beaucoup de vitesse. C'est un compromis calculé : vous faites écrire votre histoire beaucoup plus vite, et pour la plupart des gens, les légères différences de formulation n'auront aucune importance. Le document conclut que cette approche « budgétisée » est un moyen pratique, sans réentraînement, de rendre la génération par IA plus rapide, à condition de vérifier les résultats pour s'assurer que la qualité est toujours suffisante pour vos besoins.

Résumé Technique : Décodage Spéculatif Approximatif (ASD)

Énoncé du Problème

Les modèles de langage à grande échelle (LLM) autorégressifs génèrent des jetons (tokens) de manière séquentielle, ce qui crée un goulot d'étranglement important lors de l'inférence dû aux exécutions répétées d'un modèle cible volumineux. Le décodage spéculatif répond à cela en utilisant un modèle « rédacteur » (drafter) léger pour proposer un bloc de jetons futurs, qui sont ensuite vérifiés en parallèle par le modèle cible.

Sous la vérification gourmande standard (standard greedy verification), le processus est strictement binaire : le vérificateur valide le plus long préfixe de jetons rédigés qui correspond exactement au argmax (gourmand) du modèle cible. Le processus s'arrête au premier écart, rejetant les jetons rédigés restants et ajoutant un seul jeton de récupération de la cible. Cette approche présente deux limitations principales :

Troncation Binaire Inhérente : Elle traite un jeton rédigé avec un logit cible quasi équivalent (faible regret) de la même manière qu'un jeton fortement défavorisé, s'arrêtant immédiatement en cas de toute divergence.
Calcul Gaspillé : Lors d'une passe de vérification sous force du professeur (teacher-forced), le modèle cible a déjà scoré les jetons rédigés suivants conditionnés par le préfixe (incluant l'écart). Si un écart précoce est accepté, un suffixe contigu de jetons suivants peut déjà être « cible-gourmand » sous ce nouveau préfixe réalisé. La vérification standard rejette ces jetons réutilisables, nécessitant des passes de propagation (forward passes) supplémentaires de la cible pour les récupérer.

Le défi central est que l'acceptation d'un jeton non gourmand modifie la trajectoire de décodage. Bien que cela puisse débloquer des suffixes réutilisables, il ne s'agit pas d'une optimisation sans perte ; une accumulation incontrôlée d'écarts peut dégrader la qualité de la tâche. L'article postule que l'objectif n'est pas d'ignorer les écarts, mais de permettre un nombre borné d'exceptions explicites tout en contrôlant leur magnitude cumulative.

Méthodologie : Décodage Spéculatif Approximatif (ASD)

L'ASD est une méthode côté vérificateur sans entraînement qui remplace la règle de « troncation au premier écart » par une stratégie de sélection du plus long préfixe budgétisé. Elle fonctionne sans modifier le modèle rédacteur, ne nécessite aucun ajustement fin (fine-tuning) et n'ajoute aucune passe de propagation supplémentaire du modèle cible.

Mécanismes Fondamentaux

Regret Local du Logit Cible :
Pour un jeton rédigé $x_i$ et un argmax cible $y^*_i$ , l'ASD calcule le regret local $r_i = z_i(y^*_i) - z_i(x_i)$ , représentant la préférence de la cible pour le jeton correct par rapport au jeton rédigé.
Système de Contrôle à Trois Couches :
L'ASD n'accepte un écart que s'il satisfait trois contraintes, permettant de sélectionner le plus long préfixe contigu réalisable :
- Porte de Regret Local ( $g$ ) : Une porte normalisée $r_i / q_i \leq g$ (où $q_i$ est la longueur de proposition restante) filtre les écarts individuellement coûteux, favorisant les exceptions proportionnelles au potentiel de réutilisation du suffixe.
- Plafond d'Exceptions par Bloc ( $M$ ) : Limite le nombre d'exceptions au sein d'un seul bloc rédigé pour éviter la concentration d'erreurs.
- Budget de Regret Persistant au Niveau de la Requête ( $B$ ) : Maintient un registre du regret cumulé ( $s$ ) sur l'ensemble de la requête. Un préfixe n'est réalisable que si son regret cumulé $C_t \leq B - s$ . Cela borne la déviation totale sur la génération.
Réutilisation du Suffixe du Préfixe Réalisé :
Une fois que l'ASD valide un préfixe se terminant par un écart accepté, elle réutilise les jetons rédigés suivants qui restent cible-gourmands sous l'historique réalisé (l'historique incluant l'écart accepté). Ces jetons sont validés sans décisions approximatives supplémentaires ou passes de propagation de la cible.
Implémentation Vectorisée :
L'algorithme construit un masque de faisabilité pour chaque position dans le bloc rédigé basé sur les contraintes ci-dessus. La longueur acceptée est le plus long préfixe dont toutes les valeurs sont vraies, calculable via des sommes cumulées et des produits en temps $O(K)$ . Lorsque le budget $B=0$ , l'ASD retrouve exactement la vérification gourmande stricte standard.

Principales Contributions

L'article présente trois contributions majeures :

Formulation : Il formule la vérification gourmande approximative comme un problème de sélection du plus long préfixe contigu budgétisé, utilisant un registre persistant au niveau de la requête pour rendre compte des écarts acceptés entre le jeton rédigé et la cible.
Identification du Mécanisme : Il identifie et formalise la réutilisation du suffixe du préfixe réalisé, démontant qu'après une exception acceptée, un suffixe contigu cible-gourmand peut être validé sans décisions approximatives supplémentaires, à condition que les caches soient mis à jour de manière cohérente.
Validation Empirique : Il fournit des preuves expérimentales que ce vérificateur sans entraînement améliore significativement le débit à travers divers modèles et tâches sans modifier le mécanisme de génération de propositions.

Résultats Expérimentaux

Les expériences ont été menées sur des cibles Qwen3-8B/14B, Llama-3.1-8B et Qwen2.5-7B couplées à des rédacteurs DSpark, EAGLE3 et Medusa sur des benchmarks incluant GSM8K, MATH-500, HumanEval, MBPP, MMLU, MT-Bench et Alpaca.

Gains de Débit : L'ASD améliore le débit à charge de travail fixe de 3,05 % à 15,26 % par rapport au décodage spéculatif strict apparié.
- Sur Qwen3-14B + DSpark-14B, le gain moyen sur sept tâches est de 7,78 %.
- Le gain le plus élevé observé est de 15,26 % sur GSM8K avec Llama-3.1-8B + EAGLE3.
Compromis de Précision : La méthode est une approximation contrôlée, et non une optimisation préservant la sortie.
- Sur la matrice principale DSpark-14B, cinq des sept tâches ont montré des changements de précision non négatifs.
- Les réductions de précision observées étaient faibles (ex: -0,61 point sur HumanEval, -0,64 sur MT-Bench) et dépendantes de la tâche.
- Sur GSM8K et MATH-500, la divergence de hachage a dépassé 95 %, indiquant des trajectoires altérées, pourtant la précision mesurée est restée stable ou s'est améliorée.
Scalabilité : Les gains persistent à travers différentes familles de rédacteurs (DSpark, EAGLE3, Medusa) et modèles cibles, indiquant que le bénéfice est piloté par le mécanisme côté vérificateur plutôt que par des architectures de proposition spécifiques.
Compatibilité avec les Grands Modèles : Sur DeepSeek-V4-Flash (284B) avec DSpark dans un réglage de compatibilité FP4-vers-FP8, l'ASD a augmenté l'acceptation côté vérificateur d'environ 10 % à 16 % sur GSM8K et MATH-500.

Signification et Revendications

L'article affirme que l'ASD offre une voie largement compatible et sans entraînement pour accélérer le décodage spéculatif par blocs gourmands. Sa signification réside dans :

Découplage de la Proposition et de la Vérification : Contra-irement aux travaux antérieurs qui se concentrent sur l'amélioration du rédacteur, l'ASD optimise la décision de validation du vérificateur après la complétion du scoring.
Contrôle Explicite du Compromis : En introduisant un budget de regret persistant et des portes locales, l'ASD permet aux utilisateurs de régler explicitement la frontière vitesse-précision, dépassant la nature binaire « tout ou rien » de la vérification stricte.
Efficacité du Système : La méthode réduit le nombre de cycles coûteux de vérification de la cible en réutilisant les suffixes scorés par la cible, atteignant des gains de débit sans passes de propagation ou réentraînement de modèle supplémentaires.

Les auteurs soulignent que l'ASD borne le regret local accumulé mais ne garantit pas des sorties identiques, la préservation sémantique ou la justesse des tâches. Par conséquent, ils préconisent un modèle de déploiement où les contrôles du vérificateur sont gelés sur des données disjointes, suivis d'un audit de qualité de tâche naturel (EOS) pour chaque combinaison spécifique de cible, rédacteur et charge de travail.