🤖 machine learning

The Routing and Filtering Structure of Attention

Dieser Artikel schlägt $S$ - $D$ -Attention vor, eine stabile Parametrisierung, die die Routing- und Filterkomponenten der Aufmerksamkeit entkoppelt, um eine tiefenabhängige spektrale Kaskade aufzudecken, die eine signifikante Modellkompression und Linearisierung früher Schichten bei minimalen Perplexitätsverlusten ermöglicht.

Ursprüngliche Autoren: Shafayeth Jamil, Rehan Kapadia

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shafayeth Jamil, Rehan Kapadia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Transformer (das KI-Gehirn hinter Modellen wie GPT) als ein riesiges, geschäftiges Bürogebäude mit 12 Etagen vor. Jede Etage hat die gleiche Anzahl von Mitarbeitern, den gleichen Schreibtischplatz und die gleiche Menge an zu erledigenden Papierkram. Die Architekten dieser Gebäude haben stets angenommen, dass jede Etage gleich komplex sein muss, und bauen sie daher alle auf die gleiche Weise.

Diese Arbeit argumentiert, dass diese Annahme falsch ist. Es stellt sich heraus, dass die „Mitarbeiter" (der Aufmerksamkeitsmechanismus) tatsächlich zwei sehr unterschiedliche Aufgaben erfüllen, aber gezwungen wurden, denselben Schreibtisch zu teilen, was es unmöglich macht, zu erkennen, wer was tut.

Hier ist die Aufschlüsselung dessen, was die Autoren entdeckt haben, unter Verwendung einfacher Analogien.

1. Die zwei Aufgaben: Der „Verkehrspolizist" und der „Filter"

In einem Standard-KI-Modell berechnet es bei jedem Blick auf einen Satz ein riesiges Gitter aus Werten. Die Autoren erkannten, dass dieses Gitter tatsächlich eine unordentliche Mischung aus zwei distincten Aufgaben ist:

Der Verkehrspolizist (Routing): Diese Aufgabe dreht sich um die Richtung. Sie entscheidet: „Token A sollte Informationen an Token B senden, aber nicht umgekehrt." Es ist wie eine Einbahnstraße. Es bewegt Informationen, ohne ihr Volumen zu verändern.
Der Filter (Filtering): Diese Aufgabe dreht sich um die Relevanz. Sie entscheidet: „Token A und Token B sind sehr ähnlich, also verstärken wir ihre Verbindung" oder „Sie sind nicht miteinander verbunden, also ignorieren wir sie." Es ist wie ein Lautstärkeregler, der Signale auf- oder abdreht.

Das Problem: In Standardmodellen sind diese beiden Aufgaben in einer großen, unordentlichen Matrix verwickelt. Die Aufgabe des „Filters" ist so laut und dominant, dass sie den „Verkehrspolizisten" übertönt. Da sie gemischt sind, verschwendet die KI eine enorme Menge an Energie damit, ein komplexes „Verkehrspolizisten"-System zu bauen, das sie kaum nutzt.

2. Das Experiment: Den Knoten lösen

Um zu sehen, was wirklich vor sich ging, bauten die Autoren eine neue Art von Aufmerksamkeit namens S–D-Aufmerksamkeit. Stellen Sie sich dies als den Bau eines neuen Büros vor, in dem der „Verkehrspolizist" und der „Filter" separate, dedizierte Schreibtische haben.

Der Verkehrspolizist (S): Er wurde so konstruiert, dass er perfekt ausgeglichen ist (mathematisch „schiefsymmetrisch"). Er kann nur Informationen bewegen, niemals erzeugen oder zerstören.
Der Filter (D): Er wurde als einfache Liste von „Lautstärkeregler" (diagonale Matrix) konstruiert. Er skaliert Dinge nur hoch oder runter.

Durch die Trennung konnten sie beobachten, wie sich die KI organisierte, ohne dass das Rauschen des „Filters" alles dominierte.

3. Die Entdeckung: Der „Spektrale Kaskade"

Als sie die KI in dieser neuen, getrennten Weise organisieren ließen, entstand ein schönes Muster, das sie Spektrale Kaskade nennen.

Stellen Sie sich die 12 Etagen des Büros erneut vor.

Die unteren Etagen (Schichten 0–5): Diese Etagen sind unglaublich einfach. Sie benötigen nur zwei „Verkehrspolizisten"-Richtungen, um ihre Arbeit zu erledigen. Sie sind wie ein einfacher Flur, in dem sich alle nur nach links oder rechts bewegen. Sie benötigen kein komplexes Verkehrssystem.
Die mittleren Etagen: Die Komplexität nimmt langsam zu.
Die oberen Etagen (Schichten 10–11): Dies sind die einzigen Etagen, die ein riesiges, komplexes Verkehrssystem mit vielen Richtungen benötigen.

Die große Enthüllung: In Standardmodellen baute die KI auf den unteren Etagen, wo es nicht benötigt wurde, ein „komplexes Verkehrssystem" (hoher Rang). Sie übertrieb die einfachen Teile. Als sie die Aufgaben trennten, organisierte sich die KI natürlich: einfach unten, komplex oben.

4. Die „Operation": Das Fett abschneiden

Da sie nun genau sehen konnten, wie viel Komplexität jede Etage benötigte, führten sie eine „Operation" an den Modellen durch:

Linearisierung der Unterseite: Sie ersetzten den komplexen Aufmerksamkeitsmechanismus in den ersten 7 Etagen durch einen sehr einfachen, billigen linearen mathematischen Trick (wie die Verwendung einer geraden Linie statt einer Kurve).
- Ergebnis: Die Leistung des Modells sank kaum (weniger als 5 % schlechter).
- Standardmodell: Wenn Sie dies bei einem normalen Modell versuchen würden, würde es sofort zusammenbrechen. Das normale Modell verließ sich auf diese Komplexität, selbst dort, wo sie nicht benötigt wurde.
Die Umkehrung: In normalen Modellen bricht das Modell zusammen, wenn Sie versuchen, den „Filter" (die Lautstärkeregler) zu vereinfachen. Aber in ihrem neuen getrennten Modell schadete es kaum etwas, den „Filter" auf eine einzige Zahl pro Kopf zu vereinfachen. Der „Verkehrspolizist" war der eigentliche Arbeitspferd.

5. Der neue Bauplan

Die Autoren nutzten diese „Spektrale Kaskade"-Karte, um die KI-Architektur neu zu gestalten. Anstatt jeder Etage die gleiche Menge an Leistung zu geben, bauten sie ein benutzerdefiniertes Modell:

Untere Etagen: Winzig, schmal und einfach.
Obere Etagen: Breit und komplex.

Das Ergebnis: Sie schufen ein Modell, das in Bezug auf Aufmerksamkeitsparameter 47 % bis 65 % kleiner ist, aber dennoch fast so gut funktioniert wie die riesigen, einheitlichen Modelle. Sie erkannten im Wesentlichen, dass die unteren Etagen schwere Koffer trugen, die sie nicht brauchten, und warfen diese Koffer weg.

Zusammenfassung

Die Arbeit behauptet, dass aktuelle KI-Modelle ineffizient sind, weil sie jede Schicht des Gehirns so behandeln, als müsste sie gleich komplex sein. Durch die Trennung des „Bewegens" von Informationen vom „Filtern" von Informationen entdeckten sie, dass die frühen Schichten tatsächlich sehr einfach sind.

Durch den Bau von Modellen, die dieser natürlichen „einfach-zu-komplex"-Struktur entsprechen, können sie KI-Modelle erheblich kleiner und günstiger im Betrieb machen, ohne viel Intelligenz zu verlieren. Es ist wie die Erkenntnis, dass man keinen Ferrari-Motor braucht, um zum Lebensmittelgeschäft zu fahren; man braucht ihn nur für die Autobahn.

Technische Zusammenfassung: Die Routing- und Filterstruktur der Aufmerksamkeit

Problemstellung

Standard-Transformer-Architekturen verteilen Aufmerksamkeitsressourcen gleichmäßig über alle Schichten hinweg und weisen jeder Schicht unabhängig von ihrer spezifischen Funktion identische Kopf-Dimensionen und Rechenkomplexität ( $O(N^2)$ ) zu. Diese Uniformität besteht fort, da es kein prinzipielles Maß gibt, das eine nicht-uniforme Verteilung steuern würde. Jüngste hybride Architekturen (z. B. Nemotron-H, Jamba, Griffin) versuchen, dies durch umfangreiche Hyperparameter-Sweeps zu lösen, um optimale Verhältnisse zwischen quadratischen und linearen Schichten zu finden; diese Verhältnisse sind jedoch skalenabhängig und nicht übertragbar.

Das erkannte Kernproblem besteht darin, dass die Aufmerksamkeits-Interaktionsmatrix $QK^\top$ zwei unterschiedliche Rechenfunktionen innerhalb einer einzigen unbeschränkten Matrix verstrickt:

Routing: Eine schiefsymmetrische Komponente, die den Informationsfluss zwischen Positionen lenkt (konservativer Transport).
Filterung: Eine symmetrische Komponente, die die gegenseitige Relevanz zwischen Tokens skaliert (Gain-Control).

In der Standard-Aufmerksamkeit konkurrieren diese Funktionen um dieselbe Matrixkapazität. Eine empirische Analyse von 1.776 Köpfen über fünf vortrainierte Modelle hinweg (GPT-2-Varianten, BERT-base, Pythia-410M) zeigt, dass die Filterung das spektrale Budget dominiert, während das Routing mit einem niedrigen Rang operiert, der weit unter der vom Gewichts-Kernel zugewiesenen Kapazität liegt. Darüber hinaus erweisen sich alle Standard-Aufmerksamkeitsköpfe als dynamisch instabil (mit Eigenwerten, die positive Realteile aufweisen) und sind stark auf die Schichtnormalisierung (Layer Normalization, LN) angewiesen, um diese Instabilität einzudämmen, was die wahre spektrale Struktur des Routing-Mechanismus verschleiert.

Methodik

Um diese Funktionen zu entwirren und die zugrundeliegende spektrale Struktur offenzulegen, führen die Autoren S–D-Aufmerksamkeit ein, eine diagnostische Parametrisierung, die Routing und Filterung konstruktiv trennt:

Routing ( $S$ ): Modelliert als gelernte schiefsymmetrische Matrix ( $S = -S^\top$ ). Dies stellt sicher, dass die Eigenwerte rein imaginär sind und konservativen, nullsummenartigen Informationstransport (Rotation zwischen Modi) repräsentieren.
Filterung ( $D$ ): Modelliert als gelernte positive Diagonalmatrix ( $D = \text{diag}(d_1, \dots, d_N)$ ). Dies stellt eine dissipative Filterung dar, bei der jeder Token einen skalaren Dämpfungskoeffizienten besitzt.

Die Interaktionsmatrix ist definiert als $L = S - D$ . Die Autoren beweisen, dass für jede reelle schiefsymmetrische $S$ und positiv semidefinite Diagonalmatrix $D$ der Realteil jedes Eigenwerts die Bedingung $\text{Re}(\lambda) \le 0$ erfüllt. Dies garantiert architektonische Stabilität ohne die Notwendigkeit einer Schichtnormalisierung.

Die Autoren trainieren S–D-Modelle in verschiedenen Größenordnungen (7M bis 355M Parameter) auf OpenWebText, einschließlich Konfigurationen mit und ohne Schichtnormalisierung, um zu beobachten, wie sich das Routing selbst organisiert, wenn es nicht durch Verstrickung oder normalisierungsinduzierte Angleichung eingeschränkt ist.

Wichtige Erkenntnisse und Ergebnisse

1. Die Spektrale Kaskade

Wenn Routing und Filterung entwirrt und die Normalisierung entfernt wird, organisiert sich das Routing zu einer spektralen Kaskade (einer Ranghierarchie) über die Tiefe hinweg:

Schicht 0: Konvergiert zu einem effektiven Rang von 2 (eine einzelne Rotationsebene für eine breite Umverteilung von Informationen).
Zwischenschichten: Halten eine niedrigrangige Plateau-Phase aufrecht (effektiver Rang $\approx 2$ –$3$).
Terminalschichten: Erweitern sich auf höhere Ränge (bis zu 10+ unabhängige Rotationsebenen), wobei der endgültige Rang durch die Kopf-Dimension und nicht durch die Tiefe bestimmt wird.
Skaleninvarianz: Dieses aufsteigende Kaskadenmuster gilt über alle getesteten Skalen hinweg (7M bis 355M). Mit zunehmender Modellgröße wächst der Anteil der Schichten, die mit minimalem spektralen Rang operieren (von 33 % bei 18M Parametern auf 92 % bei 355M).

2. Kollaps der Filterung

In der entwirrten S–D-Architektur kollabiert die Filterkomponente zu einem einzigen Skalar pro Kopf. Das Abschneiden der Filterkomponente auf einen pro-Kopf-Mittelskalar verursacht nur vernachlässigbare Perplexitätskosten (+0,3 PPL), während das vollständige Entfernen des Routing zu einem katastrophalen Ausfall führt. Dies steht im Gegensatz zur Standard-Aufmerksamkeit, bei der die Filterung dominiert und das Routing einen niedrigen Rang aufweist.

3. Umsetzbare Spektrale Chirurgie

Die spektrale Kaskade ermöglicht eine „chirurgische" Vereinfachung der Architektur:

Linearisierung: Die ersten 7 Schichten eines 125M S–D-Modells können linearisiert werden (ersetzt durch ELU+1 kausale lineare Aufmerksamkeit) mit weniger als 5 % Perplexitätsverschlechterung. Im Gegensatz dazu kollabiert die Standard-Aufmerksamkeit unter derselben Intervention bereits in Schicht 3.
Parameter-Reallokation: Durch die Anpassung der Kopf-Dimensionen ( $d_{head}$ ) an den gemessenen spektralen Rang (z. B. $d_{head}=8$ für frühe Schichten, $d_{head}=64$ für Terminalschichten) reduzierten die Autoren die Aufmerksamkeitsparameter um 47–65 % bei lediglich einer Perplexitätssteigerung von +3,9 % bis +8,4 %.
Inversion: Die Arbeit demonstriert eine strukturelle Inversion: Bei Standard-Aufmerksamkeit ist das Abschneiden der Filterung prohibitiv und das Abschneiden des Routings kostengünstig; bei S–D ist das Abschneiden des Routings prohibitiv und das Abschneiden der Filterung frei.

Bedeutung und Behauptungen

Die Autoren behaupten, ihr primärer Beitrag sei die Messung und nicht die Architektur selbst. Die Bedeutung liegt darin, das „spektrale Budget" der Aufmerksamkeit lesbar und handlungsleitend zu machen:

Diagnose: Die S–D-Parametrisierung dient als Diagnosewerkzeug, um die tatsächlich erforderliche Routing-Kapazität in jeder Schicht zu messen und zeigt auf, dass Standard-Aufmerksamkeit übermäßige Kapazität für niedrigrangige Schichten allokiert.
Leitfaden für Hybride Architekturen: Die spektrale Kaskade bietet ein kontinuierliches, messbares Maß, um zu bestimmen, welche Schichten eine vollständige quadratische Aufmerksamkeit benötigen und welche durch lineare oder niedrigrangige Mechanismen ersetzt werden können. Dies verlagert das Design hybrider Architekturen von der „Suche" (Sweeps von Verhältnissen) zur „Messung" (Vorgabe basierend auf dem Rang).
Neubewertung linearer Aufmerksamkeit: Die Ergebnisse deuten darauf hin, dass das historische Versagen einfacher linearer Aufmerksamkeit (z. B. ELU+1) auf einer Fehlallokation (Anwendung auf hochrangige Schichten) beruhte und nicht auf intrinsischen Kapazitätsgrenzen. Die Arbeit zeigt, dass lineare Aufmerksamkeit im niedrigrangigen „Plateau", das durch die Kaskade identifiziert wird, effektiv funktioniert.

Die Autoren schließen, dass die spektrale Kaskade die natürliche Lösung des Optimierers ist, wenn Verstrickung und Normalisierung entfernt werden, und dass diese Struktur den Aufbau effizienterer, nicht-uniformer Transformer-Architekturen leiten kann.