🤖 machine learning

Depth Exploration for LLM Decoding

Het artikel stelt Depth Exploration Decoding (DEX) voor, een verliesvrij algoritme dat de efficiëntie van LLM-inferentie verbetert door selectie op één diepte te vervangen door parallelle exploratie van meerdere kandidaat-dieptes, waardoor computationele verspilling wordt verminderd en bestaande diepte-adaptieve en speculatieve decoderingmethoden wordt overtroffen.

Oorspronkelijke auteurs: Weisi Yang, Zipeng Sun, Stephen Xia

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weisi Yang, Zipeng Sun, Stephen Xia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Volledige Trap"-gewoonte

Stel je een Large Language Model (LLM) voor als een enorm, honderd verdiepingen tellend gebouw. Om één woord (token) tekst te genereren, dwingt het model de informatie meestal om van de begane grond helemaal naar de 100e verdieping te reizen, ongeacht wat er gebeurt.

De onderzoekers ontdekten echter dat voor veel woorden het antwoord al duidelijk is tegen de tijd dat de informatie de 40e verdieping bereikt. De resterende 60 verdiepingen zijn slechts een verspilling van tijd en energie, omdat ze werk herhalen dat al is gedaan.

De Oude Oplossing (Depth Selection):
Eerdere methoden probeerden dit op te lossen door te wedden op een specifieke verdieping. Ze zeiden: "Laten we het antwoord controleren op de 40e verdieping."

Als ze het goed raadden: Geweldig! Ze besparen 60 verdiepingen aan werk.
Als ze het fout raadden: Het antwoord op de 40e verdieping was eigenlijk anders dan het uiteindelijke antwoord op de 100e verdieping. Ze moeten dat werk weggooien, terug naar de begane grond gaan en alsnog naar de 100e verdieping klimmen. Deze "fallback" verspilt nog meer tijd.

Het is also려 te proberen het weer te voorspellen door uit een raam op de 40e verdieping te kijken. Als je het fout hebt, moet je helemaal naar het dak rennen om het echte weer te controleren, waardoor je alle tijd die je op de 40e verdieping hebt doorgebracht, verliest.

De Nieuwe Oplossing: Depth Exploration Decoding (DEX)

De auteurs stellen een nieuwe methode voor genaamd DEX. In plaats van te wedden op slechts één verdieping, stuurt DEX een team van verkenners uit om tegelijkertijd meerdere verdiepingen te controleren.

De Analogie: De "Multi-Scout" Lift
Stel je voor dat je de juiste temperatuur voor een recept moet vinden.

Oude manier: Je stuurt één persoon naar de 40e verdieping. Als diegene het fout heeft, stuur je een andere persoon naar de 100e verdieping.
DEX manier: Je stuurt vier mensen tegelijkertijd uit:
- Verkenner A controleert de 25e verdieping.
- Verkenner B controleert de 50e verdieping.
- Verkenner C controleert de 75e verdieping.
- Verkenner D (de baas) controleert de 100e verdieping.

Ze rapporteren allemaal tegelijkertijd terug. De baas (de 100e verdieping) is de "waarheid".

Als het antwoord van Verkenner A overeenkomt met dat van de baas, gebruik je het antwoord van Verkenner A en stop je. Je hebt 75 verdiepingen aan werk bespaard!
Als Verkenner A het fout had, maar Verkenner B komt overeen met de baas, gebruik je Verkenner B. Je bespaart nog steeds 50 verdiepingen.
Als alleen de baas overeenkomt, gebruik je het antwoord van de baas.

Waarom dit beter is:
In de oude methode, als je de verkeerde verdieping koos, verloor je alles. In DEX, als de ondiepe verkenner het fout heeft, raak je niet in paniek. Je kijkt gewoon naar de volgende, diepere verkenner die misschien wel gelijk heeft. Je "verspilt" alleen de tijd die het kostte om de verdiepingen te controleren die te ondiep waren, niet de volledige klim.

Hoe het werkt (De "Expand, Commit, Collapse" Cyclus)

Het paper beschrijft een specifieke driedelige dans die de computer uitvoert voor elk woord dat hij genereert:

Expand (Uitbreiden): De computer voert parallelle "takken" van berekeningen uit. Het is alsof je een ladder uitrolt waarbij elke sport een andere diepte is. Het berekent potentiele antwoorden op verschillende dieptes tegelijkertijd.
Commit (Vastleggen): De computer kijkt naar het antwoord op de 100e verdieping (de "Referentie"). Het vergelijkt dit met alle antwoorden van de ondiepere verkenners. Het kiest de ondiepst gelegen verkenner die overeenkomt met het definitieve antwoord. Dit is het woord dat de computer officieel opschrijft.
Collapse (Samenvoegen): Dit is de magische truc. Zodra het woord is geschreven, kijkt de computer naar alle andere takken die hij aan het berekenen was.
- Elke tak die een ander woord voorspelde, wordt weggegooid (gepruned).
- Elke tak die hetzelfde woord voorspelde, wordt behouden en "samengevoegd" (collapsed) met het hoofdpad. Dit betekent dat de computer dat deel van het brein niet opnieuw hoeft te berekenen voor het volgende woord; hij kan het werk dat hij net heeft gedaan hergebruiken.

De "Adapter" Truc

Het paper merkt op dat dit het beste werkt op modellen die al getraind zijn om "early-exit" vriendelijk te zijn (modellen die weten wanneer ze vroeg moeten stoppen). Voor standaardmodellen die hier niet op getraind zijn, voegen de auteurs kleine "adapters" (zoals kleine zijwieltjes) toe aan de middelste lagen. Deze helpen de middelste lagen om dezelfde taal te spreken als de laatste laag, waardoor het voor de ondiepe verkenners makkelijker wordt om nauwkeurige antwoorden te geven.

De Resultaten

De onderzoekers hebben dit getest op verschillende grote AI-modellen (zoals Llama en CodeLlama) en vonden:

Snelheid: DEX is sneller dan de oude "single-guess" methoden.
Schaalbaarheid: Hoe meer "verkenners" (depth explorers) je toevoegt, hoe sneller het wordt. Het is alsof je meer liften aan een gebouw toevoegt; hoe meer je er hebt, hoe dichter je bij de theoretische maximale snelheid komt.
Nauwkeurigheid: Het produceert exact dezelfde tekst als de standaard, trage methode. Het is "lossless", wat betekent dat het geen fouten maakt om sneller te zijn.

Samenvatting

DEX verandert het spel van "één verdieping gokken en hopen" naar "meerdere verdiepingen tegelijk controleren en de beste match kiezen." Door parallelle controles uit te voeren en alleen degenen te houden die overeenkomen met de uiteindelijke waarheid, bespaart het een enorme hoeveelheid rekenkracht zonder de nauwkeurigheid op te offeren. Het verandelt de "diepte" van het AI-model van een flessenhals in een snelweg.

Technische Samenvatting: Depth Exploration Decoding (DEX)

1. Probleemstelling

Autoregressieve (AR) decodering in Large Language Models (LLMs) is inherent duur omdat elk gegenereerd token door de volledige laagstap moet passeren voordat het volgende token geproduceerd kan worden. Recente studies hebben significante redundantie langs de diepte-dimensie geïdentificeerd: veel tokens worden voorspelbaar op intermediaire lagen, wat betekent dat ze niet strikt de volledige modeldiepte nodig hebben om accuraat te zijn.

Bestaande verliesvrije diepte-adaptieve methoden proberen dit uit te buiten door een diepte-selectiestrategie te hanteren. Deze methoden ontwerpen een token vanuit een enkele, vooraf geselecteerde intermediaire diepte en verifiëren dit tegen het model met de finale diepte. De auteurs identificeren echter een kritieke selectie-bottleneck:

Late Exit: Als de gekozen exit-diepte te diep is, gaat er rekenkracht verloren aan lagen die al redundant waren.
Vroege Exit: Als de gekozen exit te ondiep is en de voorspelling afwijkt van de output van de finale diepte, triggert dit een fallback. Dit verwerpt niet alleen het huidige token, maar invalideert ook alle afhankelijke "afstammende" drafts, wat leidt tot aanzienlijke efficiëntieverliezen.

De paper stelt dat de kloof tussen huidige selectie-gebaseerde methoden en een ideale "oracle" (die de exacte vroegste diepte weet waarop een token stabiel wordt) substantieel is. De kernvraag is of deze redundantie effectiever geëxploiteerd kan worden door het risico op een foutieve exit-diepte beslissing te verminderen.

2. Methodologie: Depth Exploration Decoding (DEX)

De auteurs stellen Depth Exploration Decoding (DEX) voor, een verliesvrij algoritme dat single-depth selectie vervangt door parallelle exploratie over meerdere kandidaat-dieptes.

Kernconcepten

Earliest Available Depth (EAD): De auteurs definiëren EAD als de ondiepste laag waar een token's voorspelling overeenkomt met de output van de finale diepte en stabiel blijft door de daaropvolgende lagen.
Exploratie-set ( $X$ ): In plaats van één exit te kiezen, definieert DEX een verzameling kandidaat-dieptes $\{d_0, d_1, \dots, d_{N-1}\}$ , waarbij $d_{N-1}$ de finale diepte is.
Resolutie: De overhead van DEX wordt begrensd door de "resolutie" van deze set (de maximale afstand tussen een laag en de volgende geëxploreerde diepte). Naarmate de set fijner wordt, nadert de overhead nul.

Het Algoritme: Expand–Commit–Collapse

DEX werkt op een diepte-positie rooster dat wordt beheerd door een Finite State Machine (FSM). Het proces bestaat uit drie fasen:

Lattice Expansion (Parallelle Exploratie):
- Het model wordt verdeeld in $N$ dieptestadia, elk afgehandeld door een aparte "depth explorer" (mogelijk op verschillende hardware-units).
- Bij elke commit-positie breidt het systeem kandidaat-vertakkingen parallel uit. Een exploratie-token kan een diepte-expansie ondergaan (het doorgeven van de verborgen staat aan de volgende laag-explorer) of een positie-expansie (de huidige kandidaat gebruiken als prefix om de volgende token-positie te genereren).
- Dit creëert een boom van potentiële toekomsten, waarbij verschillende vertakkingen voorspellingen vertegenwoordigen die gemaakt zijn op verschillende dieptes.
Commit (Validatie):
- Zodra het "ankerpad" (de vertakking die alle lagen doorloopt) de finale diepte bereikt, produceert het de final-depth reference token.
- DEX valideert alle niet-finale kandidaat-tokens van het ankerpad tegen deze referentie.
- Het selecteert de ondiepste vertakking waarvan de token overeenkomt met de final-depth referentie. Als er geen intermediaire match wordt gevonden, valt het terug op de final-depth vertakking.
- Cruciaal is dat het token dat aan de output wordt toegevoegd altijd degene is die geproduceerd is door de final-depth referentie, wat zorgt voor verliesvrije equivalentie met standaard AR-decodering.
Collapse (State Pruning):
- Na het committen van een token, laat het systeem het rooster instorten (collapse). Vertakkingen die inconsistent zijn met de nieuwe gecommitteerde prefix worden weggegooid.
- Alleen de staten (KV-caches, verborgen staten) van de geselecteerde vertakking worden bewaard voor de volgende stap.
- Dit zorgt ervoor dat hoewel het systeem meerdere dieptes verkent, het de exacte staat behoudt die vereist is voor de volgende AR-stap.

Optimalisaties

Depth-Coupled Sampling (DECS): Om te voorkomen dat verschillende dieptes in dezelfde slot-keten dezelfde token voorstellen (wat exploratie verspilt), maskeert DEX tokens die al door ondiepere dieptes zijn voorgesteld wanneer diepere kandidaten worden gedecodeerd. Dit stimuleert diversiteit in intermediaire voorstellen zonder de finale sampling-distributie te wijzigen.
Inducing Adapter: Voor standaard LLM's waarbij intermediaire lagen niet natuurlijk zijn uitgelijnd met de output head, stellen de auteurs voor om kleine residual adapters aan intermediaire dieptes te koppelen. Deze worden getraind via zelf-distillatie om intermediaire verborgen staten uit te lijnen met de finale LM head, wat de "gereedheid" van tokens op ondiepere dieptes verbetert.

3. Belangrijkste Bijdragen

Formalisering van Token Readiness: De paper definieert Earliest Available Depth (EAD) om te kwantificeren wanneer een token voorspelbaar wordt. Het gebruikt dit om wiskundig aan te tonen de "selectie-bottleneck" in bestaande methoden, waarbij wordt aangetoond dat hun overhead wordt gedreven door het risico op een foutieve selectie, in plaats van enkel door de kosten van berekening.
Het DEX-algoritme: Een verliesvrij decoderingsalgoritme dat diepte-exploratie instantiëert via een expand–commit–collapse procedure. Het behoudt exacte equivalentie met standaard AR-decodering terwijl het de kosten van het committen van tokens vermindert.
Empirische Validatie: De auteurs demonstreren dat DEX de representatieve diepte-selectie baselines (LayerSkip, AdaDecode, DEL) overtreft en een concurrerende end-to-end throughput behaalt ten opzichte van speculatieve en gedistribueerde decoderingsmethoden (Lookahead, PEARL, EAGLE).

4. Experimentele Resultaten

De auteurs evalueerden DEX op zowel early-exit-getrainde modellen (LayerSkip-getrainde CodeLlama-34B en Llama-2-70B) als standaard LLM's (CodeLlama-34B, Llama-2-70B, Qwen3-32B) over taken zoals wiskundige redenering (GSM8K), codegeneratie (HumanEval) en samenvatting (XSum).

Throughput Winsten: DEX behaalde consistent hogere tokens-per-seconde (TPS) dan diepte-selectie baselines. Op LayerSkip-modellen realiseerde DEX een groter deel van de theoretische "oracle" headroom dan selectiemethoden.
Schaling met Resolutie: De throughput verbeterde naarmate de exploratie-resolutie fijner werd (d.w.z. meer explorers werden toegevoegd). Bijvoorbeeld, op Llama-2-70B zorgde het verhogen van de explorers van 3 naar 8 voor een aanzienlijke verkleining van de kloof met de oracle speedup.
Concurrentievermogen: In end-to-end vergelijkingen was DEX (met 3–4 explorers) competitief met multi-GPU tensor parallelism (TP) en gedistribueerde speculatieve decodering (PEARL, EAGLE) op vergelijkbare hardware-resources.
Ablatie: Het verwijderen van intermediaire vertakkingen (single-exit variant) toonde aan dat de prestatiewinst specif van het verkennen van meerdere dieptes komt, en niet enkel van het paralleliseren van de lagen.

5. Betekenis en Claims

De paper claimt dat parallelle diepte-exploratie een schaalbare manier biedt om de onderbenutte diepte-as van LLM-decodering te exploiteren.

Paradigmaverschuiving: In tegen tegenovergaan van eerdere methoden die gokken op een enkel exit-punt, behandelt DEX diepte-adaptatie als een resolutie-gecontroleerd probleem. Door een verzameling dieptes te verkennen, zet het de onzekerheid van "wanneer te exiten" om in een begrensde overhead die bepaald wordt door de tussenruimte van de exploratie-set.
Verliesvrije Efficiëntie: DEX behaalt deze winsten zonder de correctheid van de output in gevaar te brengen (verliesvrij) en zonder wijzigingen te vereisen in de modelarchitectuur (behalve optionele adapters voor standaard modellen).
Complementariteit: De auteurs merken op dat DEX opereert op de "diepte-as" (hoe vroeg een token wordt bepaald), wat complementair is aan "token-as" acceleratiemethoden (hoeveel toekomstige tokens worden voorspeld). Ze suggereren dat hoewel het combineren ervan mogelijk is, dit complexe coördinatie vereist.

Concluderend stelt de paper vast dat door single-depth selectie te vervangen door parallelle exploratie, het mogelijk is om de decodering-latentie aanzienlijk te verminderen terwijl het exacte gedrag van standaard autoregressieve modellen behouden blijft.