EAGLE-Pangu: Accelerator-Safe Tree Speculative Decoding on Ascend NPUs

Each language version is independently generated for its own context, not a direct translation.

🌳 EAGLE-Pangu : L'Art de deviner l'avenir sans se tromper

Imaginez que vous demandez à un grand sage (l'intelligence artificielle) de raconter une histoire. Traditionnellement, ce sage réfléchit très lentement : il écrit un mot, s'arrête, vérifie sa pensée, écrit le mot suivant, s'arrête encore... C'est ce qu'on appelle le "décodage auto-régressif". C'est précis, mais c'est très lent.

Pour aller plus vite, les chercheurs ont inventé une technique appelée décodage spéculatif. L'idée est d'envoyer un petit assistant (un "brouillon" ou draft) qui devine les prochains mots pendant que le sage réfléchit. Si le sage valide les devinettes de l'assistant, on gagne du temps.

EAGLE-Pangu est une nouvelle version de cette technique, spécialement conçue pour fonctionner sur des puces spéciales appelées Ascend NPU (utilisées par la technologie Pangu). Mais il y a un gros problème : faire fonctionner cette technique sur ces puces est comme essayer de conduire une voiture de course sur un chemin de terre avec des pneus de Formule 1. Ça ne marche pas bien, ça casse, et ça fait des erreurs.

Voici comment EAGLE-Pangu résout ce problème, grâce à trois astuces principales :

1. Le Chef d'Orchestre et ses Chemins de Traverse (La Gestion de la Mémoire)

Imaginez que le sage doit explorer plusieurs fins d'histoire en même temps.

Le problème : Si l'assistant essaie 5 fins différentes, le sage ne doit pas mélanger ses notes. Si une fin est rejetée, il ne doit pas garder les notes de cette fin dans sa mémoire principale. Sur les puces Ascend, gérer ces mémoires séparées est très compliqué et risqué (comme essayer de copier un livre entier à la main à chaque fois).
La solution EAGLE-Pangu : Ils ont créé un gestionnaire de mémoires intelligent. Au lieu de copier tout le livre à chaque fois, ils créent des "branches" temporaires et isolées. Si une branche est validée, ils l'intègrent proprement. Si elle est rejetée, on l'efface sans salir le livre principal. C'est comme si le sage avait un bloc-notes spécial pour chaque idée, et qu'il ne collait l'idée dans son livre officiel que s'il était sûr à 100 %.

2. Le GPS qui ne connaît pas les "Nombres Négatifs" (La Sécurité des Indices)

Pour explorer plusieurs chemins en même temps, l'ordinateur doit utiliser des "adresses" (des numéros) pour savoir où aller.

Le problème : Dans certains systèmes, si vous demandez l'adresse "-1" (pour dire "le mot précédent"), l'ordinateur panique ou fait une erreur silencieuse (il lit le mauvais mot sans que personne ne le remarque). Sur les puces Ascend, les nombres négatifs sont souvent interdits ou dangereux.
La solution EAGLE-Pangu : Ils ont inventé un système d'adresses "sécurisé". Au lieu d'utiliser des nombres négatifs pour dire "pas de parent", ils utilisent un "faux parent" spécial (un numéro 0 qui sert de point de départ). C'est comme si, au lieu de dire "je n'ai pas de grand-père", on disait "mon grand-père est le roi du château". Cela évite que l'ordinateur ne s'écrase et garantit que l'histoire reste logique.

3. Le Filtre Anti-Fuite d'Information (Le Masque d'Attention)

Quand le sage regarde plusieurs fins d'histoire en même temps, il ne doit pas lire la fin de l'histoire B quand il écrit l'histoire A.

Le problème : Si les informations se mélangent, l'histoire devient incohérente (comme si un personnage d'un roman de science-fiction parlait à un personnage d'un roman policier).
La solution EAGLE-Pangu : Ils ont créé un masque de sécurité très précis. C'est comme une vitre teintée qui permet au sage de voir uniquement ses propres ancêtres (les mots qui ont mené à l'idée actuelle) et qui bloque tout le reste. Cela permet d'utiliser les moteurs ultra-rapides des puces Ascend sans risquer de mélanger les idées.

🚀 Les Résultats : Plus vite, plus fort, plus sûr

Grâce à ces innovations, EAGLE-Pangu a testé son système sur des conversations et des tests de logique (comme des énigmes de programmation).

La vitesse : En moyenne, le système est 1,27 fois plus rapide que la méthode classique.
Le pic de performance : Dans les cas les plus difficiles (la queue de la distribution, ou "p99"), il peut être 2,46 fois plus rapide.
La fiabilité : Contrairement à d'autres tentatives qui plantent ou donnent des réponses bizarres, EAGLE-Pangu est conçu pour être reproductible. Si ça plante, on sait exactement pourquoi grâce à des "traces" détaillées (comme une boîte noire d'avion).

💡 En résumé

EAGLE-Pangu, c'est comme avoir transformé une voiture de course fragile en un véhicule tout-terrain robuste. Il permet à l'intelligence artificielle de deviner plusieurs futurs en même temps (comme un arbre qui grandit) sans se perdre, sans casser la machine, et en allant beaucoup plus vite pour nous donner nos réponses.

C'est une preuve que l'on peut faire tourner des technologies de pointe sur des puces spécifiques (Ascend) en adaptant intelligemment les règles du jeu, plutôt que de simplement essayer de forcer les choses.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Le décodage auto-régressif constitue le goulot d'étranglement principal dans le service des grands modèles de langage (LLM), car chaque nouveau token nécessite une nouvelle passe avant (forward pass) coûteuse à travers le modèle "professeur". Le décodage spéculatif atténue ce problème en utilisant un modèle "brouillon" (draft) plus petit pour proposer plusieurs tokens candidats, qui sont ensuite vérifiés par le modèle professeur.

Cependant, l'extension de cette idée vers un décodage spéculatif en arbre (Tree Speculative Decoding), qui valide plusieurs continuations en parallèle pour augmenter le débit, se heurte à des défis majeurs lors de son portage sur des backends hétérogènes et des piles d'accélérateurs spécifiques (comme les NPU Ascend d'Huawei) :

Fragilité du portage : Les implémentations naïves échouent souvent en raison de différences dans les mises en page des caches KV (Key-Value), les masquages d'attention et les sémantiques d'indexation.
Problèmes d'indexation : Certains accélérateurs ne supportent pas les index négatifs (souvent utilisés comme sentinelles pour les racines d'arbres), ce qui peut provoquer des erreurs d'exécution ou des calculs silencieux erronés.
Fuites d'information : Dans un contexte d'arbre, il est crucial d'empêcher les tokens de différentes branches de s'attirer mutuellement lors de l'attention, ce qui nécessite des masques d'attention complexes et précis.

2. Méthodologie

Les auteurs proposent EAGLE-PANGU, un système conçu pour rendre le décodage spéculatif en arbre portable, correct et reproductible sur un backend Pangu exécuté sur des NPU Ascend. L'approche ne modifie pas l'algorithme de décodage lui-même (basé sur EAGLE-3), mais résout les problèmes de niveau système et d'infrastructure.

A. Abstraction de cache KV branchable (Branchable KV-cache)

Pour gérer l'état partagé entre le préfixe validé et les branches spéculatives :

Le système sépare le cache engagé (committed prefix) des caches de branche (per-branch speculative state).
À chaque itération, les caches de branche sont clonés de manière isolée à partir du cache engagé.
Une fois les tokens acceptés, le système met à jour le cache engagé via deux modes :
1. Par longueur : Garde le préfixe original et ajoute les $A$ premiers tokens de la branche sélectionnée.
2. Par index de chemin : Réorganise le cache de la branche sélectionnée pour correspondre exactement au chemin accepté, avec une optimisation "fast reorder" pour éviter de déplacer inutilement les segments de préfixe déjà validés.

B. Sémantiques tensorielles d'arbre sûres pour l'accélérateur

Pour éliminer les comportements indéfinis (comme les index négatifs) sur les NPU :

Indexation avec racine factice : Au lieu d'utiliser une valeur sentinelle négative (ex: -1) pour le parent de la racine, le système alloue une ligne factice à l'index 0 représentant l'état de la racine (le préfixe validé). Tous les index de parent sont décalés pour être strictement positifs.
Tables d'ancêtres : Construction de tables d'indexation pour les ancêtres, garantissant que toutes les opérations de collecte (gather) sur l'accélérateur utilisent des index valides et bornés.
Vérification d'invariants : Des contrôles structurels (plage, absence de cycles, cohérence des profondeurs) sont effectués avant l'exécution des noyaux fusionnés pour détecter les corruptions silencieuses.

C. Exécution du professeur avec masquage d'attention en arbre

Masque d'attention 4D : Le système intègre des masques d'attention spécifiques à l'arbre qui permettent à un token d'une branche de ne s'attirer qu'avec ses ancêtres (y compris lui-même), empêchant toute fuite d'information entre branches.
Compatibilité noyaux fusionnés : L'implémentation est conçue pour fonctionner avec les noyaux d'attention fusionnés (fused kernels) des NPU Ascend, tout en conservant un mode "eager" (non fusionné) pour le débogage et la vérification.

3. Contributions Clés

Gestionnaire de cache KV branchable : Une interface qui découple le décodage en arbre des représentations spécifiques au backend, assurant l'isolation des branches et la cohérence lors de l'engagement.
Sémantiques tensorielles sûres : Un schéma d'indexation qui élimine les index négatifs indéfinis et garantit la validité des opérations de collecte sur l'accélérateur, complété par des vérifications d'invariants structurels.
Chemin de vérification compatible noyaux fusionnés : Intégration formelle des masques d'attention en arbre dans le chemin d'exécution du professeur, supportant à la fois les performances (noyaux fusionnés) et le débogage (fallback eager).
Pipeline distribué reproductible : Un mécanisme de prétraitement et de mise en cache distribué pour éviter les travaux redondants et gérer les échecs de synchronisation dans les grandes exécutions.
Outils de débogage structurés : Un système de traces et de contrôles d'exécution (mode référence vs mode performance) permettant une analyse fine des erreurs et des goulots d'étranglement.

4. Résultats Expérimentaux

Les évaluations ont été menées sur 240 tours de conversation (issus de MT-Bench et HumanEval) utilisant des NPU Ascend.

Amélioration du débit : EAGLE-PANGU améliore le débit de décodage global d'un facteur moyen de 1,27x par rapport au décodage gourmand (greedy) du seul professeur.
Performance dans la queue (Tail Latency) : Les gains sont particulièrement significatifs pour les cas les plus lents, atteignant jusqu'à 2,46x au 99e percentile (p99).
Analyse des paramètres (Budget Sweep) :
- Le débit n'est pas monotone par rapport à la taille de l'arbre. Le point optimal trouvé est un budget de nœuds $M=16$ et une profondeur maximale $D_{max}=10$ , offrant un speedup moyen de 1,48x.
- Augmenter la taille de l'arbre au-delà de ce point réduit les gains en raison des coûts de masquage et de la diminution des taux d'acceptation pour les positions profondes.
Impact de la troncature : Une troncature naïve du contexte du modèle brouillon (draft) à une fenêtre fixe (ex: 128 tokens) réduit drastiquement le taux d'acceptation et annule les gains de débit, soulignant l'importance de préserver le contexte historique pour le modèle brouillon.
Analyse des coûts : La construction des masques et la tensorisation de l'arbre représentent des coûts négligeables (de l'ordre de la milliseconde) par rapport à la passe avant du professeur et à la mise à jour du cache.

5. Signification et Conclusion

Ce travail démontre qu'il est possible de déployer efficacement le décodage spéculatif en arbre sur des accélérateurs propriétaires (Ascend NPU) sans réécrire les noyaux fondamentaux, à condition de respecter des invariants de correction stricts au niveau système.

Portabilité et Robustesse : En résolvant les problèmes d'indexation et de gestion de cache spécifiques aux NPU, le système offre une voie pratique pour l'adoption de techniques de décodage avancées dans des environnements de production hétérogènes.
Efficacité sans compromis de qualité : Les résultats montrent que l'on peut réduire le nombre d'appels au modèle professeur (et donc la latence) tout en maintenant la qualité de génération, à condition de bien calibrer le budget de spéculation.
Reproductibilité : L'approche modulaire et les outils de traçage fournis permettent de déboguer et d'optimiser ces pipelines complexes, comblant le fossé entre la recherche algorithmique et le déploiement industriel sur des matériels spécifiques.

En résumé, EAGLE-PANGU fournit une infrastructure robuste pour exploiter le parallélisme du décodage en arbre sur les NPU Ascend, offrant des gains de performance significatifs tout en garantissant la correction sémantique et la stabilité opérationnelle.