💬 NLP

EntMTP: Accelerating LLM Inference with Entropy Guided Multi Token Prediction

EntMTP est un ordonnanceur sans entraînement qui ajuste dynamiquement la profondeur de la prédiction multi-tokens en fonction de l'entropie de génération locale afin de maximiser le débit d'inférence tout en maintenant la qualité de sortie, atteignant une accélération allant jusqu'à 1,36x par rapport aux bases de référence existantes.

Auteurs originaux : Carrie Chen

Publié 2026-06-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Carrie Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'écrire une histoire, mais que vous avez une règle très stricte : vous ne pouvez écrire qu'un seul mot à la fois, et après chaque mot, vous devez vous arrêter, vérifier l'intégralité de votre œuvre pour vous assurer que ce mot est parfait, puis continuer. C'est ainsi que les grands modèles de langage (LLM) actuels fonctionnent généralement. C'est incroyablement précis, mais c'est aussi terriblement lent parce que vous vous arrêtez constamment pour vérifier votre travail.

Pour accélérer cela, des chercheurs ont inventé une astuce appelée Multi-Token Prediction (MTP). Au lieu d'écrire un mot et de le vérifier, le modèle essaie de deviner les trois ou quatre mots suivants d'un coup, comme un brouillon. Ensuite, il effectue une seule grande « vérification » pour voir combien de ses prédictions étaient correctes. S'il a deviné trois mots correctement, il gagne beaucoup de temps.

Cependant, l'article EntMTP souligne une faille dans la manière dont cette astuce est actuellement utilisée.

Le Problème : L'erreur du « Taille Unique »

Actuellement, les modèles utilisent une stratégie statique. Imaginez que vous conduisez une voiture. La méthode actuelle dit : « Peu importe si vous roulez sur une autoroute lisse ou sur une piste de terre cahoteuse, vous devez toujours garder le pied sur l'accélérateur à la même vitesse exacte et regarder exactement à 30 mètres devant vous. »

Sur une autoroute lisse (faible entropie) : La route est prévisible. Vous pourriez en toute sécurité regarder à 30 mètres devant vous et deviner parfaitement les prochains virages.
Sur une piste de terre cahoteuse (haute entropie) : La route est chaotique. Regarder à 30 mètres devant vous est une perte de temps car vous pourriez heurter un nid-de-poule ou un animal. Vous devriez seulement regarder à quelques mètres devant vous et conduire avec prudence.

Les modèles existants (comme Hydra et Medusa) choisissent un « horizon de prédiction » (une forme d'arbre spécifique) avant de commencer et s'y tiennent pour toujours. C'est inefficace. Parfois, ils devinent trop loin devant et gaspillent de l'énergie ; d'autres fois, ils ne devinent pas assez loin et ratent une occasion de gagner du temps.

La Solution : EntMTP (Le Copilote Intelligent)

Les auteurs proposent EntMiment (EntMTP) (Entropy-guided Multi-Token Prediction). Considérez cela comme un copilote intelligent qui vérifie constamment l'état de la route et dit au conducteur jusqu'où il doit regarder devant lui.

Lire l'« Entropie » (les conditions de la route) :
Le modèle mesure constamment à quel point les mots suivants sont « surprenants ».
- Faible Entropie (Prévisible) : Le texte coule de source (ex: « Le soleil se lève dans l'est... »). Le copilote dit : « Facile ! Devinons les 4 mots suivants ! »
- Haute Entropie (Chaotique) : Le texte est complexe ou difficile (ex: un problème mathématique difficile ou un rebondissement soudain dans l'intrigue). Le copilote dit : « Oula, c'est risqué. Ne devinons que le mot suivant pour être en sécurité. »
La « Banque d'Arbres » (La boîte à outils) :
Avant même que le modèle ne commence à écrire, les chercheurs préparent une petite « banque » de différentes stratégies de prédiction (des arbres). Certains sont grands et agressifs (deviner beaucoup de mots), et d'autres sont petits et conservateurs (deviner peu de mots).
- Crucialement, ils ne se contentent pas d'en choisir un ; ils créent un menu des meilleures options pour différentes situations.
Le Changement (Le passage de vitesse) :
Pendant le processus d'écriture, EntMTP agit comme un levier de vitesse.
- Si le texte est facile, il passe en Grande Vitesse (le grand arbre) pour foncer vers l'avant.
- Si le texte devient difficile, il passe instantanément en Petite Vitesse (le petit arbre) pour éviter de s'écraser.
- La Magie : Changer de vitesse ne prend presque aucun temps. C'est juste un changement rapide de pointeur dans la mémoire de l'ordinateur, pas une reconstruction lourde.

Les Résultats : Plus Rapide Sans Perdre en Qualité

L'article a testé ce nouveau « Copilote Intelligent » sur trois types de tâches très différents :

Codage (HumanEval) : Écrire des programmes informatiques.
Mathématiques (GSM8K) : Résoudre des problèmes mathématiques de niveau primaire.
Discussion (ShareGPT) : Avoir une conversation.

Le Résultat :

Vitesse : EntMTP était systématiquement 9 % à 15 % plus rapide que les meilleures méthodes précédentes (Hydra). Dans certains cas, il était 36 % plus rapide que les anciennes méthodes.
Qualité : Comme le modèle vérifie toujours parfaitement son travail, la qualité de l'écriture n'a pas baissé du tout. C'est comme conduire plus vite mais arriver exactement à la même destination avec la même sécurité.
Efficacité : Il a obtenu cette accélération non pas en rendant l'ordinateur plus puissant, mais en rendant l'ordinateur plus intelligent sur le moment de deviner loin devant et le moment d'être prudent.

L'Essentiel à Retenir

Considérez l'ancienne méthode comme un coureur qui sprinte à pleine vitesse pendant 100 mètres, s'arrête pour lacer ses chaussures, sprinte 100 mètres, s'arrête à nouveau, peu importe si la piste est plate ou pleine d'obstacles.

EntMTP est le coureur qui regarde la piste. Si elle est plate, il sprinte fort. S'il voit un obstacle arriver, il ralentit juste assez pour le franchir en toute sécurité, puis sprinte immédiatement à nouveau. Cela lui permet de terminer la course beaucoup plus rapidement sans trébucher.

Résumé Technique : EntMTP

Problématique

Les modèles de langage de grande taille (LLM) font face à un goulot d'étranglement significatif en matière de latence dû à la nature séquentielle du décodage autorégressif, où chaque génération de jeton nécessite une passe avant complète à travers tous les paramètres du modèle. Bien que le décodage spéculatif (Speculative Decoding) remédie à cela en préparant des jetons candidats avec un modèle plus léger et en les vérifiant en parallèle, les approches de Prédiction Multi-Jetons (Multi-Token Prediction - MTP) telles que Medusa et Hydra intègrent cette capacité directement dans le modèle cible via des têtes légères, éliminant ainsi le besoin d'un modèle de brouillon distinct.

Cependant, les implémentations MTP existantes (par exemple, Hydra) reposent sur une topologie d'attention arborescente statique. Cela signifie que la profondeur de spéculation et le coût computationnel de la vérification restent constants tout au long de la séquence de génération, quel que soit le contexte. Les auteurs soutiennent que cela est fondamentalement désaligné avec les motifs d'entropie du langage naturel :

Les régions à faible entropie (hautement prévisibles) favorisent une préparation multi-étapes fiable et bénéficient d'arbres plus profonds.
Les régions à haute entropie (imprévisibles) nécessitent une spéculation conservatrice pour éviter de gaspiller des cycles de vérification.

De plus, la topologie optimale est spécifique à la tâche. Une topologie qui est Pareto-optimale pour un benchmark donné (par exemple, la génération de code) peut être sous-optimale pour un autre (par exemple, le dialogue conversationnel), pourtant les méthodes actuelles choisissent souvent une topologie globale unique hors ligne.

Méthodologie : EntMTP

Le papier propose EntMTP (Entropy-guided Multi-Token Prediction), un ordonnanceur sans entraînement (training-free scheduler) qui bascule dynamiquement entre différentes topologies d'attention basées sur des arbres en fonction d'une estimation en cours de l'entropie de génération locale. Le système opère en deux phases :

1. Hors ligne : Construction de la frontière de Pareto du débit

Au lieu de sélectionner un arbre statique unique, EntMTP construit une banque d'arbres spécifiques aux tâches et Pareto-optimaux :

Construction gloutonne (Greedy Construction) : En utilisant une procédure d'auto-rollout sur un ensemble de calibration, le système construit de manière gloutonne une séquence d'arbres de proposition de taille croissante. Il évalue les arbres candidats selon la longueur moyenne d'acceptation, en tranchant en faveur de profondeurs plus faibles et de sommes de rangs d'enfants plus petites.
Recalibrage : Pour corriger le biais optimiste du scoring initial (où les candidats sont évalués par rapport à un arbre conjoint plus large), les frontières sont recalibrées par rapport à un auto-rollout Hydra canonique en utilisant la proposition et le masque d'attention spécifiques à chaque candidat.
Évaluation du débit : Le système évalue l'ensemble de la frontière d'acceptation de bout en bout sur la charge de travail cible, mesurant le nombre de jetons de sortie par seconde en temps réel. Cela identifie une « banque de Pareto du débit » ( $B = \{T_1, \dots, T_K\}$ ) d'arbres qui offrent les meilleurs compromis coût-débit pour cette tâche spécifique.

2. En ligne : Ordonnanceur d'arbre au moment de l'inférence

Au moment de l'exécution, EntMTP sélectionne l'arbre optimal de la TopologyBank précompilée pour chaque étape de décodage sans reconstruire de masques ou de noyaux (le basculement est un échange de pointeur $O(1)$ ).

Entrée de caractéristiques : L'ordonnanceur consomme des caractéristiques prêtes à l'emploi du modèle, spécifiquement la valeur de chemin EAGLE-2 (dérivée de la probabilité top-1 du LM de base et des probabilités top-1 des têtes Hydra). Ce scalaire $s$ représente la meilleure valeur de chemin et est corrélé de manière monotone avec la longueur d'acceptation attendue.
Politiques de sélection : Le papier introduit trois politiques pour mapper la caractéristique $s$ $s$ à un indice d'arbre :
- ENTMTP∗ : Une règle statique sélectionnant l'arbre unique optimal pour la tâche.
- ENTMTP-l : Une échelle de seuils (threshold ladder) qui compartimente $s$ en $K$ intervalles, sélectionnant différents arbres pour différents niveaux de confiance.
- ENTMTPτ : Une règle binaire hystérétique utilisant des seuils de déclenchement (« on » $\tau_{on}$ ) et de désactivation (« off » $\tau_{off}$ ) distincts. Cela permet de basculer entre un arbre conservateur (petit/peu profond) et un arbre agressif (large/profond), évitant ainsi le scintillement (jitter) par étape lors des fluctuations d'entropie.

Contributions Clés

Identification de la dépendance aux tâches : Le papier démontre que le comportement d'acceptation et les frontières de débit sont fortement dépendants de la charge de travail, invalidant l'utilisation d'une topologie globale unique pour diverses tâches.
Ordonnancement dynamique sans entraînement : EntMTP introduit un ordonnanceur d'exécution qui adapte la profondeur de spéculation à la prédictibilité du contexte local sans nécessiter d'entraînement supplémentaire du modèle ou de réglage fin (fine-tuning).
Implémentation efficace : Le système réalise un basculement dynamique avec un surcoût négligeable (< 0,1 ms par étape) en utilisant des masques d'attention et des décalages de position précompilés, réduisant le coût du basculement à un simple échange de pointeur.
Accélération sans perte : La méthode préserve la distribution cible exacte, garantissant que les gains de vitesse ne se font pas au détriment de la qualité de génération (la perplexité reste à moins de 0,02 nats du modèle de base).

Résultats

Évalué sur les benchmarks HumanEval, ShareGPT et GSM8K en utilisant Vicuna-7B, EntMTP surpasse systématiquement les lignes de base existantes :

vs. Hydra : EntMTP obtient une accélération de 1,09–1,15x par rapport au défaut de Hydra. L'ordonnanceur dynamique (ENTMTPτ) produit les meilleurs résultats, atteignant 124,7 tok/s sur HumanEval (+14,0 % par rapport à Hydra) et 117,5 tok/s sur ShareGPT (+7,8 % par rapport à Hydra).
vs. Medusa : EntMTPτ atteint une accélération de pointe de ~1,36x par rapport aux bases Medusa.
vs. Autorégressif (AR) : EntMTPτ fournit une accélération de 3,13x à 3,47x par rapport au décodage autorégressif classique sur tous les benchmarks.
Efficacité : L'ordonnanceur dynamique (ENTMTPτ) ajoute une amélioration marginale de 0,5–2,1 % par rapport à l'arbre statique optimal pour la tâche (ENTMTP∗), avec les gains les plus importants observés sur GSM8K, où le mélange d'arbres conservateurs pendant les étapes de raisonnement à haute entropie permet de recycler les cycles du vérificateur.

Signification

Le papier affirme qu'EntMTP représente une étape significative dans le décodage spéculatif en alignant la profondeur de spéculation avec la prédictibilité inhérente du texte généré. En s'éloignant des topologies statiques « taille unique » pour une approche guidée par l'entropie et sensible au contexte, EntMTP maximise le débit de jetons acceptés attendus à travers toute la distribution du texte généré. Ce travail démontre que des réductions significatives de la latence peuvent être obtenues grâce à un ordonnancement intelligent des architectures MTP existantes sans compromettre la fidélité de la sortie générée.