💬 NLP

LogitSpec: Accelerating Retrieval-based Speculative Decoding via Next Next Token Speculation

LogitSpec est une méthode de décodage spéculatif basée sur la récupération, sans entraînement et prête à l'emploi, qui accélère l'inférence des LLM en exploitant les logits du dernier token pour spéculer le token « suivant-suivant », étendant ainsi la plage de récupération afin d'obtenir une accélération allant jusqu'à 2,61× et des taux d'acceptation de tokens plus élevés.

Auteurs originaux : Tianyu Liu, Qitan Lv, Hao Li, Xing Gao, Xiao Sun, Xiaoyan Sun

Publié 2026-04-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianyu Liu, Qitan Lv, Hao Li, Xing Gao, Xiao Sun, Xiaoyan Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé (le Modèle de Langage à Grande Échelle, ou LLM) essayant d'écrire une recette complexe. L'ancienne façon de faire est très lente : vous pensez à un mot, vous l'écrivez, vous attendez que l'ordinateur vérifie s'il est correct, puis vous pensez au mot suivant, et ainsi de suite. C'est comme écrire une lettre lettre par lettre, en attendant un cachet d'approbation après chaque lettre individuelle.

La Décision Spéculative est une nouvelle façon d'accélérer ce processus. Au lieu d'écrire un mot à la fois, vous engagez un sous-chef (un modèle de brouillon) pour deviner les mots suivants pour vous. Vous vérifiez ensuite rapidement si le sous-chef avait raison. S'il avait raison, vous acceptez tous ces mots d'un coup. S'il s'est trompé, vous jetez simplement les mauvaises suppositions et vous réessayez. Cela économise beaucoup de temps.

Cependant, engager un sous-chef pose des problèmes :

Vous devez les former spécifiquement pour votre cuisine (c'est coûteux et difficile).
Ils prennent de la place supplémentaire dans votre cuisine (mémoire).
Si vous changez votre recette principale, vous devez reformer le sous-chef.

Le problème avec la « Récupération » (L'approche de la bibliothèque)

Certains chercheurs ont essayé de résoudre ce problème en renvoyant le sous-chef et en utilisant une bibliothèque à la place. Au lieu d'une personne qui devine, l'ordinateur examine ce que vous avez déjà écrit et cherche dans une immense base de données de recettes passées pour trouver une phrase correspondante.

Le défaut : C'est comme essayer de trouver le mot suivant dans une phrase en regardant le mot immédiatement précédent.

Votre phrase : « Quelle est l'aire du... »
La supposition de la bibliothèque : Elle voit « du » et pense : « Oh, "du" va habituellement avec "triangle" ! » (Parce qu'elle a trouvé une phrase passée : « Quelle est l'aire du triangle ? »).
La réalité : Vous vouliez en fait dire « Quelle est l'aire du cercle ? » ou « Quelle est l'aire du champ ? »
Résultat : La bibliothèque reste bloquée sur le mauvais mot parce qu'elle ne regarde que le contexte immédiat, pas l'idée complète.

La solution : LogitSpec (Le chef « Boule de cristal »)

Les auteurs de cet article, LogitSpec, ont réalisé que le chef principal (le LLM) possède en réalité un super-pouvoir caché qu'il n'utilise pas assez souvent.

Lorsque le chef prédit le mot suivant, il a aussi une « intuition » (mathématiquement appelée logits) sur ce qui vient après ce mot suivant. Même si le chef n'est censé dire que le mot suivant, son cerveau murmure déjà : « Et après cela, c'est probablement "cercle". »

LogitSpec utilise ce murmure pour corriger la recherche dans la bibliothèque.

Voici comment cela fonctionne, étape par étape, en utilisant une analogie créative :

1. L'étape « Boule de cristal »

Au lieu de simplement regarder le dernier mot (« du »), LogitSpec demande au chef : « Si vous deviez deviner le mot deux étapes plus loin, quel serait-il ? »

Le chef examine ses « intuitions » internes et dit : « Je parie que le mot après "du" est "cercle". »
C'est la Spéculation du Token Suivant-Suivant.

2. L'étape « Super-recherche »

Maintenant, au lieu de chercher dans la bibliothèque seulement « du », LogitSpec cherche la phrase « le cercle ».

Ancienne méthode (Récupération Vanilla) : Cherche « du ». Trouve « le triangle », « le ciel », « le chien ». (Faux !)
Méthode LogitSpec : Cherche « le cercle ». Trouve « le cercle d'amis », « le cercle de la vie », « le cercle du champ ». (Beaucoup plus précis !)

3. La vérification

L'ordinateur prend ces meilleures suppositions et les vérifie contre le chef principal. Parce que les suppositions sont maintenant beaucoup plus précises, le chef principal les accepte plus souvent.

Pourquoi est-ce une grande avancée ?

Aucun entraînement supplémentaire : Vous n'avez pas besoin d'engager ou de former un nouveau sous-chef. Vous utilisez simplement les « intuitions » (logits) existantes du chef principal, qui étaient déjà là.
Plug-and-Play : Cela fonctionne avec n'importe quel modèle de langage existant sans modifier son code ni ses poids.
Vitesse : Dans leurs tests, cette méthode a rendu l'ordinateur 2,6 fois plus rapide pour écrire du texte. Cela a également permis à l'ordinateur d'accepter, en moyenne, 3,28 mots à la fois au lieu d'un seul.

La conclusion

Pensez à LogitSpec comme à un détective qui ne regarde pas seulement la scène du crime (le dernier mot) pour deviner ce qui s'est passé ensuite. Au lieu de cela, le détective utilise une intuition psychique (le logit) pour deviner la prochaine scène du crime, puis utilise cette intuition pour trouver la preuve parfaite dans la bibliothèque.

En regardant deux étapes en avant, le système cesse de se confondre avec des mots qui se ressemblent et trouve les bons mots beaucoup plus vite, permettant à l'IA d'écrire du texte considérablement plus rapidement sans avoir besoin d'entraînement supplémentaire ni de matériel coûteux.

1. Énoncé du Problème

Les modèles de langage de grande taille (LLM) souffrent d'une latence d'inférence élevée due au décodage auto-régressif, où un seul token est généré par passage avant. Le Décodage Spéculatif (SD) remédie à cela en utilisant un petit modèle « brouillon » pour proposer plusieurs tokens, que le modèle cible valide en parallèle.

Cependant, les approches SD existantes font face à deux limitations principales :

SD basé sur un Modèle Brouillon : Nécessite l'entraînement et le déploiement d'un modèle brouillon supplémentaire (par exemple, Medusa, Eagle). Cela introduit une surcharge mémoire significative, des défis de déploiement complexes et des coûts d'entraînement.
SD sans Modèle Brouillon (basé sur la Récupération) : Des méthodes comme REST ou PLD récupèrent des tokens brouillons à partir du contexte ou d'une base de données externe sans modèle brouillon. Cependant, elles reposent sur un paradigme de correspondance qui échoue souvent. Si le contexte actuel ne possède pas une correspondance exacte de n-gramme dans la référence, la récupération échoue, entraînant de faibles taux d'acceptation. Comme le montre l'article, les méthodes de récupération standard échouent à trouver des tokens correspondants dans plus de 30 % des étapes de décodage dans certains scénarios.

Défi Central : Comment améliorer la précision du décodage spéculatif basé sur la récupération sans entraîner de modèle supplémentaire, spécifiquement lorsque les correspondances exactes de contexte sont rares.

2. Méthodologie : LogitSpec

Les auteurs proposent LogitSpec, un cadre sans entraînement, plug-and-play, qui améliore le SD basé sur la récupération en exploitant les logits du dernier token pour spéculer le token suivant-suivant ( $x_{i+2}$ ).

Insight Clé

L'article observe empiriquement que la distribution des logits du token courant ( $x_i$ ) contient suffisamment d'informations pour prédire le token suivant-suivant ( $x_{i+2}$ ) avec une grande précision, même sans fine-tuning. Dans plus de 50 % des étapes de décodage, le token suivant-suivant de vérité terrain apparaît parmi les 60 premières entrées de la distribution des logits du dernier token.

Le Flux de Travail LogitSpec

LogitSpec opère en deux phases principales par étape de décodage :

Spéculation et Expansion de la Récupération :
- Étape 1 (Token Suivant) : Le modèle prédit le token suivant ( $x_{i+1}$ ) normalement.
- Étape 2 (Spéculation Suivant-Suivant) : Au lieu de s'arrêter, LogitSpec prend les k premières entrées du dernier logit (en excluant le $x_{i+1}$ prédit) comme spéculations candidates pour le token suivant-suivant ( $\hat{x}_{i+2}$ ).
- Étape 3 (Récupération Duale) : Le système récupère des références pertinentes pour à la fois le token suivant ( $x_{i+1}$ $x_{i + 1}$ ) et les tokens suivants-suivants spéculés ( $\hat{x}_{i+2}$ $\overset{x}{^}_{i + 2}$ ).
  - Requête 1 : $g^{(1)} = (x_{i-m+2}, \dots, x_i, x_{i+1})$
  - Requête 2 : $g^{(2)} = (x_{i-m+3}, \dots, x_i, x_{i+1}, \hat{x}_{i+2})$
- Cela élargit efficacement l'espace de recherche de récupération. Même si la séquence exacte pour $x_{i+1}$ n'est pas trouvée, le modèle peut trouver une correspondance pour la séquence $x_{i+1} + \hat{x}_{i+2}$ , augmentant considérablement la probabilité de trouver des tokens brouillons valides.
Construction de l'Arbre Brouillon et Vérification :
- Les tokens récupérés sont organisés en un arbre brouillon où $x_{i+1}$ est la racine, et les branches correspondent aux différents tokens suivants-suivants spéculés.
- Un masque d'attention d'arbre est appliqué pour permettre la vérification parallèle de toutes les branches par le modèle cible.
- Stratégie d'Élagage : Pour contrôler le coût computationnel, une stratégie d'élagage heuristique est appliquée en fonction du rang du token suivant-suivant spéculé. Les spéculations à plus haute confiance (rang plus bas) conservent plus de tokens récupérés, tandis que celles à plus faible confiance en conservent moins.

3. Contributions Clés

Observation Nouvelle : Les auteurs démontrent que les logits du dernier token peuvent prédire de manière robuste le token suivant-suivant à travers divers modèles (Vicuna, Llama, Qwen) et tâches, sans fine-tuning.
Cadre LogitSpec : Une nouvelle méthode de SD basée sur la récupération qui utilise la spéculation du token suivant-suivant comme ancre de guidage pour étendre la plage de récupération. Elle est sans entraînement et plug-and-play.
Gains de Performance : Des expériences extensives montrent que LogitSpec atteint jusqu'à 2,61× d'accélération et une moyenne de 3,28 tokens acceptés par étape de décodage, surpassant significativement les bases de référence existantes basées sur la récupération (REST, PLD, Lookahead).
Robustesse : Contrairement à d'autres méthodes de récupération qui peinent dans des contextes à faible répétition (par exemple, traduction ou raisonnement complexe), LogitSpec maintient des performances élevées car le mécanisme de spéculation compense l'absence de correspondances exactes de contexte.

4. Résultats Expérimentaux

Les auteurs ont évalué LogitSpec sur des benchmarks diversifiés incluant Spec-Bench (MT, Trans, Sum, QA, Math, RAG), HumanEval (Code), GSM8K (Math), MATH, AIME, et LongBench.

Accélération :
- Vicuna-7B : A atteint 2,61× d'accélération sur CNN/DM et 2,47× sur HumanEval.
- Moyenne : Sur tous les benchmarks, LogitSpec a atteint une accélération moyenne de 2,26× (Vicuna-7B), contre ~1,33× pour REST et ~1,78× pour PLD.
Taux d'Acceptation :
- A atteint un Nombre Moyen de Tokens Acceptés (MAT) de 3,28 sur CNN/DM, contre 1,64 pour REST.
- Sur LongBench (contexte long), il a atteint 2,01× d'accélération, démontrant son efficacité même avec des fenêtres de contexte massives.
Succès de la Récupération :
- Les méthodes de récupération standard (PLD) ont échoué à trouver des correspondances dans >30 % des étapes.
- LogitSpec a atteint un taux de récupération réussie de 97,76 % sur Spec-Bench, une amélioration massive pilotée par le guidage du token suivant-suivant.
Surcharge :
- Le processus de récupération ajoute une surcharge négligeable (~1,17 % du temps total d'horloge) grâce à une implémentation efficace basée sur le hachage.
- La méthode est compatible avec les frameworks existants (par exemple, Hugging Face Transformers) et ne nécessite aucune mémoire GPU supplémentaire pour un modèle brouillon.

5. Signification et Impact

Élimination des Coûts d'Entraînement : LogitSpec supprime la nécessité d'entraîner ou de maintenir un modèle brouillon séparé, rendant le décodage spéculatif accessible immédiatement pour tout LLM pré-entraîné.
Résolution du Problème de Récupération « Démarrage à Froid » : En utilisant la capacité prédictive propre du modèle (logits) pour guider la récupération, il surmonte la limitation fondamentale des méthodes basées sur la récupération qui échouent lorsque la répétition de contexte est faible.
Évolutivité : La méthode s'adapte bien à différentes tailles de modèles (de 0,5B à 70B) et architectures, prouvant que le signal « token suivant-suivant » est une propriété fondamentale des LLM modernes.
Déploiement Pratique : Étant plug-and-play, il peut être facilement intégré dans les moteurs d'inférence de production (comme vLLM) pour accélérer le service LLM sans changements architecturaux ni réentraînement.

En conclusion, LogitSpec représente une avancée significative dans l'inférence efficace des LLM en réutilisant astucieusement les logits internes du modèle pour améliorer la récupération, atteignant des performances proches de celles d'un modèle brouillon sans les coûts associés.