Technische Samenvatting: Aandrift in Autoregressieve Speculatieve Decoding

Probleemstelling

Speculatieve decoding versnelt de inferentie van Large Language Models (LLM) door een lichtgewicht "drafter"-model te gebruiken om toekomstige tokens te voorspellen, die vervolgens worden geverifieerd door een groter "doel"-model. Hoewel effectief, vertonen huidige drafter-modellen (specifiek EAGLE-3 en Multi-Token Prediction-koppen) aanzienlijke kwetsbaarheid onder implementatievariaties, zoals template-perturbaties en invoer met lange context. Beoefenaars moeten vaak drafters opnieuw trainen voor specifieke inferentie-engines of prompts om prestaties te behouden, wat wijst op een onderliggende architectonische instabiliteit.

Het artikel identificeert een eerder ongerapporteerd fenomeen genaamd Aandrift. Terwijl een drafter een reeks speculatieve tokens genereert, verschuift zijn aandachtsmechanisme progressief weg van de "aandachtsput" (een stabiel anker-token, typisch nabij het begin van de prompt) en concentreert zich steeds meer op zijn eigen recent gegenereerde tokens. Deze drift correleert met een verslechtering van acceptatiepercentages, met name in scenario's met lange context en wanneer invoertemplates afwijken van trainingsdistributies.

Methodologie en Analyse

De auteurs onderzoeken de oorzaken van aandrift door een combinatie van empirische observatie en architecturale analyse over meerdere model families (Llama 3.1, Qwen 3/3.5 en GPT-oss).

1. Fenomenologische Observatie

Met behulp van aandachtswarmtekaarten en kwantitatieve metrieken tonen de auteurs aan dat:

• Putmigratie: In modellen met sterke aandachtsputten (bijv. Llama, Qwen) neemt de aandacht van de drafter voor het put-token af naarmate de speculatieketen dieper wordt, terwijl de aandacht voor het meest recent gedraaide token toeneemt.
• Universaliteit: Deze drift wordt waargenomen bij zowel EAGLE-3-drafters (post-hoc getraind op bevroren doelen) als MTP-koppen (gezamenlijk getraind met het doel), wat suggereert dat het een eigenschap is van autoregressieve ontwerpen die hun eigen output consumeren.
• Afwezigheid van put: Zelfs in modellen die zijn ontworpen om putten te onderdrukken (bijv. GPT-oss met gegateerde aandacht of leerbare bias), treedt een vorm van drift op waarbij de aandacht zich concentreert op terugkerende template-tokens in plaats van het begin van de prompt.

2. Oorzaakanalyse: Grootte van Verborgen Toestanden

Het artikel leidt aandrift terug naar het genormaliseerde residu-pad tussen speculatiestappen in standaard pre-norm-architecturen:

• Monotoon Groei: In pre-norm transformers accumuleren residu-verbindingen grootte zonder normalisatie. De auteurs tonen aan dat de grootte van de verborgen toestand van de drafter ($\|h^*_k\|$) monotoon groeit met de speculatie-diepte ($k$).
• Laagstapeling versus Autoregressie: Deze groei zorgt ervoor dat de drafter zich minder gedraagt als een zelfstandige autoregressieve voorspeller en meer als een reeks extra transformerlagen die bovenop het doel zijn gestapeld. Op stap $k$ benadert de drafter effectief het doelmodel op diepte $N+k$, in plaats van het volgende token te voorspellen op basis van een stabiele distributie.
• Ongelijke Invoer: De samengevoegde verborgen toestanden van het doelmodel ($h_{FC}$) worden vaak gedomineerd door diepere lagen met grotere grootte, wat de schaalverschillen verder verergert wanneer deze aan de drafter worden doorgegeven.

3. Voorgestelde Interventies

Om de accumulatie van grootte tegen te gaan en het draftproces te stabiliseren, stellen de auteurs twee architecturale wijzigingen voor:

1. Post-Norm op Verborgen Toestanden van de Drafter: Het toepassen van RMSNorm op de verborgen toestanden van de drafter na de residu-verbinding (tussen speculatiestappen) voorkomt de monotoon groei van grootte. Dit dwingt de drafter om een diepte-invariante autoregressieve regel te leren in plaats van dieptespecifieke verfijningen.
2. Per-Verborgen-Toestand RMSNorm: Het toevoegen van RMSNorm-lagen voordat de verborgen toestanden van het doel ($h_{low}, h_{mid}, h_{high}$) worden samengevoegd tot de drafter-invoer, om de grootte van het inkomende signaal in evenwicht te brengen.

De auteurs evalueren ook Gegateerde Aandacht (onderdrukken van afhankelijkheid van een vaste put) als een aparte interventie. Zij stellen vast dat hoewel gating de put elimineert, het de groei van grootte niet voorkomt, en dat het combineren van gating met post-norm kan leiden tot over-regulering (entropie-inzakking).

Belangrijkste Resultaten

De voorgestelde post-norm-architectuur werd geëvalueerd tegen de huidige state-of-the-art pre-norm EAGLE-3 over diverse benchmarks en condities:

• Template-perturbatie: Bij template-perturbaties (bijv. verwijderen van chattemplates of begin-van-reeks-tokens) verbeterde de post-norm-drafter de acceptatielengte met maximaal 2× ten opzichte van pre-norm. Pre-norm-modellen leden aan catastrofale dalingen (tot 52% verlies), terwijl post-norm-modellen veerkrachtig bleven (maximaal 5% verlies).
• Taken met lange context: Bij taken met lange context (LongBench, multi-turn-chat met schuifvenster-aandacht) verbeterde post-norm de acceptatielengte met 1,18×. In volledige-aandacht instellingen met lange context stortten pre-norm-modellen in tot bijna nul acceptatie, terwijl post-norm bruikbare prestaties behield.
• Standaard benchmarks: Over zeven standaard benchmarks (multi-turn-chat, wiskunde, codering) toonde post-norm een consistente verbetering van 1,10× in acceptatielengte.
• Trainings-efficiëntie: Post-norm-drafters generaliseren naar inferentie-dieptes buiten hun trainingshorizon. Dit maakt training mogelijk met kortere "train-time-test" (TTT)-dieptes (bijv. vermindering van 8 naar 4 stappen), wat de trainingsduur met ongeveer een derde verkort zonder prestaties op te offeren.
• Robuustheid tegen ruis: Post-norm-architecturen tolereren aanzienlijk meer ruis in verborgen toestanden (58% acceptatiebehoud bij $\alpha=0.5$ ruis versus 5% voor pre-norm), wat wijst op betere robuustheid tegen kwantisatie en distributieveranderingen.

Betekenis en Claims

Het artikel beweert dat Aandrift een kritieke, eerder ongerapporteerde foutmodus is in speculatieve decoding die voortkomt uit de interactie tussen genormaliseerde residu-paden en autoregressieve zelf-feedback.

• Diagnose: De auteurs betogen dat aandrift een symptoom is van een dieper probleem: de accumulatie van de grootte van verborgen toestanden, waardoor de drafter diepte-afhankelijke transformaties leert in plaats van stabiele token-voorspelling.
• Oplossing: Zij stellen dat het simpelweg repareren van de aandachtsput (bijv. via gating) onvoldoende is; de onderliggende dynamiek van grootte moet worden aangepakt. De voorgestelde post-norm-architectuur wordt gepresenteerd als een eenvoudige, effectieve oplossing die het draftproces stabiliseert.
• Generalisatie: De bevindingen suggereren dat post-norm als standaard architectonische keuze voor speculatieve decoding-drafters moet worden beschouwd, met name voor productiesystemen die robuustheid vereisen tegen variërende prompts en lange contexten.

Het artikel concludeert dat het benoemen en karakteriseren van "aandrift" een nuttige diagnose biedt voor de robuustheid van drafters, en dat architecturale interventies die gericht zijn op accumulatie van grootte essentieel zijn voor betrouwbare speculatieve decoding.