🤖 machine learning

Attention Drift: What Autoregressive Speculative Decoding Models Learn

Dieser Beitrag identifiziert „Attention Drift" als eine wesentliche Einschränkung bei autoregressiven spekulativen Dekodierungsmodellen, bei denen sich die Aufmerksamkeit aufgrund nicht normalisierter Residualpfade vom Prompt auf generierte Tokens verlagert, und schlägt architektonische Korrekturen wie Post-Norm und pro-verstecktem-Zustand RMSNorm vor, die die Akzeptanzlängen über verschiedene Aufgaben und Kontextlängen hinweg erheblich verbessern.

Ursprüngliche Autoren: Doğaç Eldenk, Payal Mohapatra, Yigitcan Comlek, Kaan Oktay, Hongyang Zhang, Stephen Xia

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Doğaç Eldenk, Payal Mohapatra, Yigitcan Comlek, Kaan Oktay, Hongyang Zhang, Stephen Xia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine sehr kluge, aber langsame Bibliothekarin (das Zielmodell), die eine Geschichte schreibt, zu beschleunigen. Um Zeit zu sparen, stellen Sie einen schnellen, aber weniger erfahrenen Assistenten (den Entwerfer) ein, um die nächsten paar Wörter zu erraten, bevor die Bibliothekarin sie überprüft. Wenn der Assistent richtig liegt, sagt die Bibliothekarin nur „Gut gemacht" und fährt fort, wobei sie die langsame Arbeit des Ausdenkens dieser Wörter überspringt. Dies nennt man Spekulatives Decodieren.

Das Papier entdeckt jedoch einen seltsamen Fehler in der Funktionsweise dieser Assistenten, den die Autoren „Aufmerksamkeitsdrift" nennen.

Das Problem: Der Assistent wird selbstbezogen

Stellen Sie sich vor, die Bibliothekarin erzählt eine Geschichte über einen Drachen. Der Assistent soll seine Augen auf die Anweisungen der Bibliothekarin (den Prompt) gerichtet halten, um die nächsten Wörter zu erraten.

Aber so läuft es ab, wenn der Assistent versucht, eine lange Kette von Wörtern zu erraten (wie „Drache", „flog", „über", „den", „Berg"):

Der Anfang: Ganz am Anfang betrachtet der Assistent die Anweisungen der Bibliothekarin.
Die Drift: Sobald der Assistent beginnt, seine eigenen Wörter zu erraten, wird er abgelenkt. Er hört auf, die ursprünglichen Anweisungen der Bibliothekarin zu betrachten, und starrt intensiv auf die Wörter, die er gerade geschrieben hat.
Das Ergebnis: Der Assistent wird von seinem eigenen kürzlich erzeugten Output besessen. Er vergisst den Kontext der Geschichte. Wenn Sie die Art und Weise ändern, wie die Geschichte eingeführt wird (eine „Vorlagenstörung"), oder die Geschichte sehr lang machen, gerät der Assistent völlig durcheinander und hört auf, korrekt zu erraten.

Das Papier nennt dies Aufmerksamkeitsdrift. Der Fokus des Assistenten „driftet" von dem Ausgangsmaterial ab und bleibt an seinen eigenen jüngsten Gedanken hängen.

Warum passiert das? Die Analogie des „Lautstärkereglers"

Die Autoren haben sich die Mathematik angesehen, um herauszufinden, warum dies passiert. Sie fanden ein verstecktes „Lautstärkeregler"-Problem im Gehirn des Assistenten (seinen internen Datenzuständen).

Das aktuelle Design (Pre-norm): Stellen Sie sich vor, der Assistent hat ein Mikrofon, das jedes Mal lauter wird, wenn er ein Wort spricht.
- Wort 1: Normale Lautstärke.
- Wort 2: Etwas lauter.
- Wort 10: Schreien.
- Wort 20: Gehörmessend laut.

Da die interne „Lautstärke" des Assistenten (die Größe seiner versteckten Zustände) mit jedem Wort, das er errät, weiter wächst, beginnt es sich so anzufühlen, als würde er immer mehr Schichten von Komplexität auf die Bibliothekarin stapeln. Er hört auf, wie ein einfacher Errater zu agieren, und beginnt, wie ein völlig neues, tieferes Modell zu handeln, das versucht, die vorherigen Erratungen zu „verfeinern". Diese wachsende Lautstärke lässt ihn das Gleichgewicht verlieren und die ursprünglichen Anweisungen vergessen.

Die Lösung: Der „Reset-Knopf" (Post-norm)

Die Autoren schlugen eine einfache Korrektur vor: Post-norm.

Stellen Sie sich dies als einen „Lautstärke-Reset"-Knopf nach jedem Wort vor, das der Assistent errät.

Bevor der Assistent das nächste Wort errät, überprüft das System seine interne Lautstärke und normalisiert sie auf ein Standardniveau zurück.
Dies verhindert, dass die „Lautstärke" ohrenbetäubend laut wird.
Es zwingt den Assistenten, bodenständig zu bleiben und jede Erratung als eine frische, unabhängige Vorhersage zu behandeln, anstatt als ein chaotisches Aufeinandertreffen vorheriger Erratungen.

Sie fügten auch einen ähnlichen „Reset" für die Daten ein, die von der Bibliothekarin kommen, bevor der Assistent überhaupt mit dem Erraten beginnt, um sicherzustellen, dass das Startsignal nicht zu laut oder unausgewogen ist.

Die Ergebnisse: Ein robusterer Assistent

Durch das Hinzufügen dieser „Reset-Knöpfe" (Post-norm) wurde der Assistent in seiner Arbeit deutlich besser:

Weniger abgelenkt: Er driftete nicht mehr von den ursprünglichen Anweisungen ab.
Robuster: Selbst wenn Sie das Format der Geschichte änderten (wie das Entfernen bestimmter Tags oder das Ändern der Begrüßung), stürzte der Assistent nicht ab. Er bewältigte diese Änderungen 2-mal besser als die alte Version.
Längere Geschichten: Er konnte viel längere Geschichten bewältigen, ohne verwirrt zu werden.
Schnelleres Training: Da der Assistent stabiler war, konnten sie ihn auf kürzeren Sequenzen trainieren, und er würde später auch auf längeren Sequenzen gut funktionieren.

Die große Erkenntnis

Das Papier argumentiert, dass der Grund, warum diese Assistenten in realen, chaotischen Situationen versagen, nicht nur darin liegt, dass sie „dumm" sind. Es liegt daran, dass ihr internes Design dazu führt, dass sie im Laufe ihrer Arbeit „laut" und selbstbezogen werden. Durch das einfache Hinzufügen eines Normalisierungsschritts, um ihre interne Lautstärke konstant zu halten, werden sie zuverlässig, konsistent und viel schneller darin, dem großen Modell beim Schreiben zu helfen.

Kurz gesagt: Das Papier hat festgestellt, dass KI-Entwerfer von ihrer eigenen Arbeit abgelenkt werden, weil ihre interne „Lautstärke" weiter ansteigt. Das Herunterdrehen dieser Lautstärke mit einer einfachen architektonischen Korrektur macht sie in ihrer Arbeit deutlich besser.

Technische Zusammenfassung: Attention Drift beim autoregressiven spekulativen Decodieren

Problemstellung

Das spekulativen Decodieren beschleunigt die Inferenz von Large Language Models (LLM), indem ein leichtgewichtiges „Drafter"-Modell zukünftige Tokens vorhersagt, die anschließend von einem größeren „Target"-Modell verifiziert werden. Obwohl effektiv, zeigen aktuelle Drafter-Modelle (insbesondere EAGLE-3 und Multi-Token-Prediction-Köpfe) unter Einsatzvariationen wie Template-Perturbationen und Eingaben mit langem Kontext eine erhebliche Fragilität. Praktiker müssen Drafters oft für spezifische Inferenz-Engines oder Prompts neu trainieren, um die Leistung aufrechtzuerhalten, was auf eine zugrunde liegende architektonische Instabilität hindeutet.

Die Arbeit identifiziert ein bisher nicht berichtetes Phänomen namens Attention Drift. Während ein Drafter eine Sequenz von spekulativen Tokens generiert, verschiebt sich sein Aufmerksamkeitsmechanismus progressiv weg vom „Attention Sink" (ein stabiler Anker-Token, typischerweise nahe dem Beginn des Prompts) und konzentriert sich zunehmend auf seine eigenen kürzlich generierten Tokens. Diese Drift korreliert mit einer Verschlechterung der Akzeptanzraten, insbesondere in Szenarien mit langem Kontext und wenn Eingabetemplates von den Trainingsverteilungen abweichen.

Methodik und Analyse

Die Autoren untersuchen die Ursachen von Attention Drift durch eine Kombination aus empirischer Beobachtung und architektonischer Analyse über mehrere Modellfamilien hinweg (Llama 3.1, Qwen 3/3.5 und GPT-oss).

1. Phänomenologische Beobachtung

Mittels Attention-Heatmaps und quantitativer Metriken zeigen die Autoren Folgendes:

Sink-Migration: In Modellen mit starken Attention Sinks (z. B. Llama, Qwen) nimmt die Aufmerksamkeit des Drafters auf den Sink-Token ab, je tiefer die Spekulationskette wird, während die Aufmerksamkeit auf den zuletzt gedrafteten Token zunimmt.
Universalität: Diese Drift wird sowohl bei EAGLE-3-Draftern (nachträglich auf eingefrorenen Targets trainiert) als auch bei MTP-Köpfen (gemeinsam mit dem Target trainiert) beobachtet, was darauf hindeutet, dass es sich um eine Eigenschaft autoregressiver Designs handelt, die ihre eigenen Ausgaben konsumieren.
Fehlen von Sinks: Selbst in Modellen, die entwickelt wurden, um Sinks zu unterdrücken (z. B. GPT-oss mit gated attention oder lernbaren Bias-Terms), tritt eine Form der Drift auf, bei der sich die Aufmerksamkeit auf wiederkehrende Template-Tokens konzentriert, anstatt auf den Beginn des Prompts.

2. Ursachenanalyse: Betrag der Hidden States

Die Arbeit führt Attention Drift auf den nicht normalisierten Residualpfad zwischen Spekulationsschritten in Standard-Pre-Norm-Architekturen zurück:

Monotones Wachstum: In Pre-Norm-Transformern akkumulieren Residualverbindungen den Betrag ohne Normalisierung. Die Autoren zeigen, dass der Betrag des Hidden States des Drafters ( $\|h^*_k\|$ ) mit der Spekulationstiefe ( $k$ ) monoton wächst.
Schichtstapelung vs. Autoregression: Dieses Wachstum lässt den Drafter weniger wie ein eigenständiger autoregressiver Prädiktor und mehr wie eine Sequenz zusätzlicher Transformer-Schichten wirken, die auf das Target gestapelt sind. Im Schritt $k$ approximiert der Drafter effektiv das Target-Modell in der Tiefe $N+k$ , anstatt den nächsten Token basierend auf einer stabilen Verteilung vorherzusagen.
Ungleichgewichtige Eingaben: Die fusionierten Hidden States aus dem Target-Modell ( $h_{FC}$ ) werden oft von tieferen Schichten mit größeren Beträgen dominiert, was das Skalendefizit weiter verschärft, wenn sie in den Drafter eingespeist werden.

3. Vorgeschlagene Interventionen

Um die Betragsakkumulation zu kompensieren und den Drafting-Prozess zu stabilisieren, schlagen die Autoren zwei architektonische Modifikationen vor:

Post-Norm auf Hidden States des Drafters: Die Anwendung von RMSNorm auf die Hidden States des Drafters nach der Residualverbindung (zwischen Spekulationsschritten) verhindert das monotone Wachstum des Betrags. Dies zwingt den Drafter, eine tiefen-invariante autoregressive Regel zu lernen, anstatt tiefenspezifische Verfeinerungen.
Per-Hidden-State-RMSNorm: Das Hinzufügen von RMSNorm-Schichten vor dem Fusionieren der Hidden States des Targets ( $h_{low}, h_{mid}, h_{high}$ ) in den Drafter-Eingang, um die Magnitude des eingehenden Signals auszugleichen.

Die Autoren bewerten auch Gated Attention (Unterdrückung der Abhängigkeit von einem festen Sink) als separate Intervention. Sie stellen fest, dass Gating zwar den Sink eliminiert, das Betragswachstum jedoch nicht verhindert, und dass die Kombination von Gating mit Post-Norm zu einer Überregularisierung (Entropie-Kollaps) führen kann.

Hauptergebnisse

Die vorgeschlagene Post-Norm-Architektur wurde im Vergleich zum aktuellen State-of-the-Art-Pre-Norm-EAGLE-3 über verschiedene Benchmarks und Bedingungen hinweg evaluiert:

Template-Perturbation: Unter Template-Perturbationen (z. B. Entfernen von Chat-Templates oder Beginning-of-Sequence-Tokens) verbesserte der Post-Norm-Drafter die Akzeptanzlänge um bis zu 2× im Vergleich zu Pre-Norm. Pre-Norm-Modelle erlitten katastrophale Einbrüche (bis zu 52 % Verlust), während Post-Norm-Modelle widerstandsfähig blieben (max. 5 % Verlust).
Aufgaben mit langem Kontext: Bei Aufgaben mit langem Kontext (LongBench, Multi-Turn-Chat mit Sliding-Window-Attention) verbesserte Post-Norm die Akzeptanzlänge um 1,18×. In Full-Attention-Szenarien mit langem Kontext kollabierten Pre-Norm-Modelle auf eine Akzeptanz nahe Null, während Post-Norm eine brauchbare Leistung aufrechterhielt.
Standard-Benchmarks: Über sieben Standard-Benchmarks hinweg (Multi-Turn-Chat, Mathematik, Codierung) zeigte Post-Norm eine konsistente Verbesserung der Akzeptanzlänge um 1,10×.
Trainings-Effizienz: Post-Norm-Drafter verallgemeinern auf Inferenztiefen jenseits ihres Trainingshorizonts. Dies ermöglicht das Training mit kürzeren „Train-Time-Test" (TTT)-Tiefen (z. B. Reduzierung von 8 auf 4 Schritte), was die Trainingszeit um etwa ein Drittel verkürzt, ohne die Leistung zu beeinträchtigen.
Rausch-Robustheit: Post-Norm-Architekturen tolerieren signifikant mehr Rauschen in Hidden States (58 % Akzeptanz-Erhaltung bei $\alpha=0,5$ Rauschen vs. 5 % für Pre-Norm), was auf eine bessere Robustheit gegenüber Quantisierung und Verteilungsverschiebungen hindeutet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Attention Drift ein kritischer, bisher nicht berichteter Ausfallmodus beim spekulativen Decodieren ist, der aus der Interaktion zwischen nicht normalisierten Residualpfaden und autoregressivem Selbst-Feedback resultiert.

Diagnose: Die Autoren argumentieren, dass Attention Drift ein Symptom eines tieferen Problems ist: die Akkumulation des Betrags von Hidden States, die dazu führt, dass der Drafter tiefenabhängige Transformationen lernt, anstatt eine stabile Token-Vorhersage.
Lösung: Sie betonen, dass das einfache Beheben des Attention Sinks (z. B. durch Gating) nicht ausreicht; die zugrunde liegende Betragdynamik muss adressiert werden. Die vorgeschlagene Post-Norm-Architektur wird als einfache, effektive Lösung präsentiert, die den Drafting-Prozess stabilisiert.
Verallgemeinerung: Die Ergebnisse legen nahe, dass Post-Norm als Standard-Architekturwahl für spekulativen Decodier-Drafter betrachtet werden sollte, insbesondere für Produktionssysteme, die Robustheit gegenüber variierenden Prompts und langem Kontext erfordern.

Die Arbeit schließt, dass die Benennung und Charakterisierung von „Attention Drift" eine nützliche Diagnose für die Robustheit von Draftern bietet und dass architektonische Interventionen, die auf die Betragsakkumulation abzielen, für ein zuverlässiges spekulatives Decodieren unerlässlich sind.