🤖 machine learning

Depth Exploration for LLM Decoding

Le document propose le Depth Exploration Decoding (DEX), un algorithme sans perte qui améliore l'efficacité de l'inférence des LLM en remplaçant la sélection à profondeur unique par une exploration parallèle de plusieurs profondeurs candidates, réduisant ainsi le gaspillage de calcul et surpassant les méthodes existantes de décodage adaptatif à la profondeur et de décodage spéculatif.

Auteurs originaux : Weisi Yang, Zipeng Sun, Stephen Xia

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weisi Yang, Zipeng Sun, Stephen Xia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'habitude de l'« escalier complet »

Imaginez un Grand Modèle de Langage (LLM) comme un immense bâtiment de 100 étages. Pour générer un seul mot (token) de texte, le modèle force généralement l'information à voyager du rez-de-chaussée jusqu'au 100e étage, quoi qu'il arrive.

Cependant, les chercheurs ont découvert que pour beaucoup de mots, la réponse est déjà claire dès que l'information atteint le 40e étage. Les 60 étages restants ne sont qu'une perte de temps et d'énergie, répétant un travail déjà accompli.

L'ancienne solution (Sélection de profondeur) :
Les méthodes précédentes tentaient de corriger cela en pariant sur un étage spécifique. Elles disaient : « Vérifions la réponse au 40e étage. »

Si elles avaient raison : Super ! Elles économisent 60 étages de travail.
Si elles se trompaient : La réponse au 40e étage était en fait différente de la réponse finale au 100e étage. Elles doivent alors jeter ce travail, repartir du rez-de-chaussée et grimper jusqu'au 100e étage. Ce « repli » (fallback) gaspille encore plus de temps.

C'est comme essayer de deviner la météo en regardant par une fenêtre au 40e étage. Si vous vous trompez, vous devez courir jusqu'au toit pour vérifier la vraie météo, perdant ainsi tout le temps passé au 40e étage.

La Nouvelle Solution : Depth Exploration Decoding (DEX)

Les auteurs proposent une nouvelle méthode appelée DEX. Au lieu de parier sur un seul étage, DEX envoie une équipe de scouts pour vérifier plusieurs étages en même temps.

L'analogie : L'ascenseur à « Multi-Scouts »
Imaginez que vous deviez trouver la température correcte pour une recette.

L'ancienne méthode : Vous envoyez une personne au 40e étage. Si elle se trompe, vous envoyez une autre personne au 100e étage.
La méthode DEX : Vous envoyez quatre personnes simultanément :
- Le Scout A vérifie le 25e étage.
- Le Scout B vérifie le 50e étage.
- Le Scout C vérifie le 75e étage.
- Le Scout D (le chef) vérifie le 100e étage.

Ils font tous un rapport en même temps. Le chef (le 100e étage) est la « vérité ».

Si la réponse du Scout A correspond à celle du chef, vous utilisez la réponse du Scout A et vous vous arrêtez. Vous avez économisé 70 étages de travail !
Si le Scout A s'est trompé mais que le Scout B correspond au chef, vous utilisez le Scout B. Vous avez quand même économisé 50 étages.
Si seul le chef correspond, vous utilisez la réponse du chef.

Pourquoi est-ce meilleur :
Dans l'ancienne méthode, si vous choisissiez le mauvais étage, vous perdiez tout. Avec DEX, si le scout peu profond se trompe, vous ne paniquez pas. Vous regardez simplement le scout suivant, plus profond, qui pourrait avoir raison. Vous ne « gaspillez » que le temps qu'il a fallu pour vérifier les étages qui étaient trop peu profonds, et non toute la montée.

Comment ça marche (Le cycle « Expand, Commit, Collapse »)

L'article décrit une danse spécifique en trois étapes que l'ordinateur effectue pour chaque mot qu'il génère :

Expand (Expansion) : L'ordinateur exécute des « branches » de calcul parallèles. C'est comme dérouler une échelle où chaque barreau est une profondeur différente. Il calcule les réponses potentielles à diverses profondeurs simultanément.
Commit (Engagement) : L'ordinateur regarde la réponse du 100e étage (la « Référence »). Il la compare à toutes les réponses des scouts moins profonds. Il choisit le scout le plus peu profond qui correspond à la réponse finale. C'est le mot qu'il écrit officiellement.
Collapse (Effondrement) : C'est le tour de magie. Une fois le mot écrit, l'ordinateur examine toutes les autres branches qu'il était en train de calculer.
- Toute branche qui a prédit un mot différent est jetée (élaguée/pruned).
- Toute branche qui a prédit le même mot est conservée et « fusionnée » (collapsed) dans le chemin principal. Cela signifie que l'ordinateur n'a pas besoin de recalculer cette partie du cerveau pour le mot suivant ; il peut réutiliser le travail qu'il vient de faire.

L'astuce de l'« Adapter »

L'article note que cela fonctionne mieux sur les modèles qui sont déjà entraînés pour être compatibles avec l'« early-exit » (les modèles qui savent quand s'arrêter tôt). Pour les modèles standards qui ne le sont pas, les auteurs attachent de petits « adapters » (comme des petites roues d'entraînement) aux couches intermédiaires. Cela aide les couches intermédiaires à parler le même langage que la couche finale, rendant plus facile pour les scouts peu profonds de donner des réponses précises.

Les Résultats

Les chercheurs ont testé cela sur plusieurs grands modèles d'IA (comme Llama et CodeLlama) et ont constaté que :

Vitesse : DEX est plus rapide que les anciennes méthodes de « supposition unique ».
Scalabilité (Évolutivité) : Plus vous ajoutez de « scouts » (explorateurs de profondeur), plus c'est rapide. C'est comme ajouter plus d'ascenseurs dans le bâtiment ; plus vous en avez, plus vous vous rapprochez de la vitesse maximale théorique.
Précision : Il produit exactement le même texte que la méthode standard, qui est lente. Il est « sans perte » (lossless), ce qui signifie qu'il ne fait pas d'erreurs pour aller plus vite.

Résumé

DEX change la donne : on passe de « deviner un étage et espérer » à « vérifier plusieurs étages à la fois et choisir le meilleur match ». En exécutant des vérifications parallèles et en ne gardant que celles qui concordent avec la vérité finale, il économise une quantité massive de puissance de calcul sans sacrifier la précision. Il transforme la « profondeur » du modèle d'IA d'un goulot d'étranglement en une autoroute.

Résumé Technique : Depth Exploration Decoding (DEX)

1. Énoncé du Problème

Le décodage autorégressif (AR) dans les grands modèles de langage (LLM) est intrinsèquement coûteux car chaque jeton généré doit traverser l'intégralité de la pile de couches avant que le jeton suivant ne puisse être produit. Des études récentes ont identifié une redondance significative le long de la dimension de la profondeur : de nombreux jetons deviennent prévisibles à des couches intermédiaires, ce qui signifie qu'ils n'exigent pas strictement la pleine profondeur du modèle pour être précis.

Les méthodes existantes de sélection de profondeur sans perte tentent d'exploiter cela en employant une stratégie de sélection de profondeur. Ces méthodes proposent un jeton à partir d'une profondeur intermédiaire pré-sélectionnée et le vérifient par rapport au modèle de profondeur finale. Cependant, les auteurs identent un goulot d'étranglement de sélection critique :

Sortie tardive (Late Exit) : Si la profondeur de sortie choisie est trop profonde, de la puissance de calcul est gaspillée sur des couches qui étaient déjà redondantes.
Sortie précoce (Early Exit) : Si la sortie choisie est trop superficielle et que la prédiction ne correspond pas à la sortie de la profondeur finale, le système déclenche un repli (fallback). Cela non seulement rejette le jeton actuel, mais invalide également tout "descendant" (draft) dépendant, entraînant des pertes d'efficacité significatives.

Le papier postule que l'écart entre les méthodes actuelles de sélection et un "oracle" idéal (qui connaît la profondeur exacte où un jeton devient stable) est substantiel. La question centrale est de savoir si cette redondance peut être exploitée plus efficacement en réduisant le risque d'une mauvaise décision de profondeur de sortie.

2. Méthodologie : Depth Exploration Decoding (DEX)

Les auteurs proposent le Depth Exploration Decoding (DEX), un algorithme sans perte qui remplace la sélection à profondeur unique par une exploration parallèle sur plusieurs profondeurs candidates.

Concepts Clés

Profondeur de Disponibilité Précoce (Earliest Available Depth - EAD) : Les auteurs définissent l'EAD comme la couche la plus superficielle où la prédiction d'un jeton correspond à la sortie de la profondeur finale et reste stable à travers les couches suivantes.
Ensemble d'Exploration ( $X$ ) : Au lieu de choisir une seule sortie, DEX définit un ensemble de profondeurs candidates $\{d_0, d_1, \dots, d_{N-1}\}$ , où $d_{N-1}$ est la profondeur finale.
Résolution : Le surcoût de DEX est limité par la "résolution" de cet ensemble (l'écart maximal entre une couche et la profondeur explorée suivante). À mesure que l'ensemble devient plus fin, le surcoût tend vers zéro.

L'Algorithme : Expand–Commit–Collapse (Expansion–Engagement–Effondrement)

DEX opère sur un treillis de profondeur-position géré par une machine à états finis (FSM). Le processus se compose de trois phases :

Expansion du Treillis (Exploration Parallèle) :
- Le modèle est partitionné en $N$ étapes de profondeur, chacune gérée par un "explorateur de profondeur" distinct (potentiellement sur différentes unités matérielles).
- À chaque position d'engagement (commit), le système étend les branches candidates en parallèle. Un jeton d'exploration peut subir une expansion de profondeur (transmettre son état caché à l'explorateur de la couche suivante) ou une expansion de position (utiliser le candidat actuel comme préfixe pour générer la position du jeton suivant).
- Cela crée un arbre de futurs potentiels, où différentes branches représentent des prédictions faites à différentes profondeurs.
Engagement (Validation) :
- Une fois que le "chemin d'ancrage" (la branche traversant toutes les couches) atteint la profondeur finale, il produit le jeton de référence de profondeur finale.
- DEX valide tous les jetons candidats non-finaux du chemin d'ancrage par rapport à cette référence.
- Il sélectionne la branche la plus superficielle dont le jeton correspond à la référence de profondeur finale. Si aucun match intermédiaire n'est trouvé, il revient à la branche de profondeur finale.
- Crucialement, le jeton ajouté à la sortie est toujours celui produit par la référence de profondeur finale, garantissant une équivalence sans perte avec le décodage AR standard.
Effondrement (Élagage d'État) :
- Après l'engagement d'un jeton, le système effondre le treillis. Les branches incohérentes avec le nouveau préfixe engagé sont écartées.
- Seuls les états (caches KV, états cachés) de la branche sélectionnée sont préservés pour l'étape suivante.
- Cela garantit que, bien que le système explore plusieurs profondeurs, il maintienne l'état exact requis pour la prochaine étape AR.

Optimisations

Échantillonnage Couplé à la Profondeur (Depth-Coupled Sampling - DECS) : Pour éviter que différentes profondeurs dans la même chaîne de slots ne proposent le même jeton (ce qui gaspillerait l'exploration), DEX masque les jetons déjà proposés par des profondeurs plus superficielles lors du décodage de candidats plus profonds. Cela encourage la diversité des propositions intermédiaires sans modifier la distribution d'échantillonnage finale.
Adaptateur d'Induction : Pour les LLM standards où les couches intermédiaires ne sont pas naturellement alignées avec la tête de sortie, les auteurs proposent de fixer de petits adaptateurs résiduels aux profondeurs intermédiaires. Ceux-ci sont entraînés via auto-distillation pour aligner les états cachés intermédiaires avec la tête LM finale, améliant ainsi la "préparation" des jetons aux profondeurs plus superficielles.

3. Contributions Clés

Formalisation de la Disponibilité du Jeton : Le papier définit la Profondeur de Disponibilité Précoce (EAD) pour quantifier quand un jeton devient prévisible. Il utilise cela pour démontrer mathématiquement le "goulot d'étranglement de sélection" des méthodes existantes, montant que leur surcoût est piloté par le risque d'une mauvaise sélection plutôt que par le simple coût de calcul.
L'Algorithme DEX : Un algorithme de décodage sans perte qui instancie l'exploration de profondeur via une procédure d'expansion–engagement–effondrement. Il préserve l'équivalence exacte avec le décodage AR standard tout en réduant le coût de l'engagement des jetons.
Validation Empirique : Les auteurs démontrent que DEX surpasse les bases de référence de sélection de profondeur représentatives (LayerSkip, AdaDecode, DEL) et atteint des performances de débit compétitives par rapport aux méthodes de décodage spéculatif ou distribué (Lookahead, PEARL, EAGLE).

4. Résultats Expérimentaux

Les auteurs ont évalué DEX sur des modèles entraînés à l'extraction précoce (modèles entraînés par LayerSkip : CodeLlama-34B et Llama-2-70B) et sur des LLM standards (CodeLlama-34B, Llama-2-70B, Qwen3-32B) à travers des tâches incluant le raisonnement mathématique (GSM8K), la génération de code (HumanEval) et la synthèse (XSum).

Gains de Débit : DEX a systématiquement obtenu des jetons par seconde (TPS) plus élevés que les bases de référence de sélection de profondeur. Sur les modèles LayerSkip, DEX a réalisé une fraction plus grande de la marge théorique de l'oracle que les méthodes de sélection.
Évolutivité avec la Résolution : Le débit s'est amélioré à mesure que la résolution de l'exploration devenait plus fine (c'est-à-dire en ajoutant plus d'explorateurs). Par exemple, sur Llama-2-70B, passer de 3 à 8 explorateurs a considérablement réduit l'écart avec l'accélération de l'oracle.
Compétitivité : Dans les comparaisons de bout en bout, DEX (avec 3–4 explorateurs) est compétitif face au parallélisme de tenseur multi-GPU (TP) et au décodage spéculatif distribué (PEARL, EAGLE) sur un matériel équivalent.
Ablation : La suppression des branches intermédiaires (variante à sortie unique) a montré que le gain de performance provient spécifiquement de l'exploration de plusieurs profondeurs, et non simplement de la parallélisation des couches.

5. Signification et Revendications

Le papier affirme que l'exploration de profondeur parallèle offre un moyen évolutif d'exploiter l'axe de profondeur sous-utilisé du décodage des LLM.

Changement de Paradigme : Contrairement aux méthodes précédentes qui parient sur un seul point de sortie, DEX traite l'adaptation de la profondeur comme un problème de résolution contrôlée. En explorant un ensemble de profondeurs, il convertit l'incertitude de "quand sortir" en un surcoût borné déterminé par l'espacement de l'ensemble d'exploration.
Efficacité Sans Perte : DEX atteint ces gains sans compromettre la correction de la sortie (sans perte) et sans nécesser de modifications de l'architecture du modèle (hormis les adaptateurs optionnels pour les modèles standards).
Complémentarité : Les auteurs notent que DEX opère sur l' "axe de la profondeur" (combien tôt un jeton est déterminé), ce qui est complémentaire aux méthodes d'accélération de l' "axe du jeton" (combien de jetons futurs sont prédits). Ils suggèrent que bien qu'une combinaison soit possible, elle nécessite une coordination complexe.

En conclusion, l'article établit qu'en remplaçant la sélection de profondeur unique par une exploration parallèle, il est possible de réduire considérablement la latence de décodage tout en maintenant le comportement exact des modèles autorégressifs standards.