🤖 AI

Role-Decoupled Attention Residuals: Separating Matching and Content Retrieval Across Depth

Dieses Paper führt Role-Decoupled Attention Residuals (RD-AttnRes) ein, eine minimale architektonische Erweiterung, die das Tiefen-Routing für das Attention-Matching (Queries/Keys) von der Inhaltsabfrage (Values) trennt und durch umfangreiche Experimente nachweist, dass diese Entkopplung die Modellleistung konsistent verbessert, indem sie diesen unterschiedlichen Funktionen den Zugriff auf verschiedene Schichten der Residual-Hierarchie ermöglicht.

Ursprüngliche Autoren: Kehan Wang

Veröffentlicht 2026-08-04

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kehan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Bibliothek des Geistes

Stellen Sie sich eine riesige, magische Bibliothek vor, in der jedes Buch ein Satz ist und der Bibliothekar ein superintelligenter Roboter, der versucht zu lernen, wie man neue Geschichten schreibt. Dieser Roboter liest nicht nur ein Buch nach dem anderen; er besitzt einen speziellen „Gedächtnisstrom“, der die wichtigsten Ideen aus jedem Buch hält, das er jemals berührt hat. In der Welt der Künstlichen Intelligenz nennt man das einen Transformer, und dieser Gedächtnisstrom ist sein „Residual Stream“.

Lange Zeit war die Regel des Roboters simpel: Um das nächste Wort zu verstehen, musste er sich auf das letzte Ding beziehen, das er gerade gelesen hatte. Es war wie ein Schüler, der nur die Seite direkt vor der aktuellen Seite betrachten konnte. Doch vor kurzem entdeckten Wissenschaftler einen viel cooleren Weg: Lassen Sie den Roboter auf jede beliebige Seite aus seiner gesamten Geschichte schauen, nicht nur auf die letzte. Dies wird „Depth Routing“ genannt. Es ist, als würde man dem Bibliothekar einen Zauberstab geben, mit dem er augenblicklich die perfekte Seite aus der Vergangenheit heraufbeschwören kann, um das aktuelle Problem zu lösen.

Es gab jedoch einen Haken. In der neuesten Version dieser Magie benutzte der Roboter dieselbe Seite aus der Vergangenheit für zwei sehr unterschiedliche Aufgaben gleichzeitig. Erstens nutzte er diese Seite, um zu entscheiden, wo er suchen sollte (wie das Scannen einer Karte, um einen Schatz zu finden). Zweitens nutzte er genau dieselbe Seite, um zu entscheiden, was er lesen sollte (wie das eigentliche Aufheben eines Buches und das Lesen der Geschichte). Die große Frage war: Ist es klug, dieselbe Karte und dasselbe Buch für beide Aufgaben zu verwenden, oder sollte es dem Roboter erlaubt werden, eine andere Karte für das Finden des Ortes und ein anderes Buch für das Lesen der Geschichte zu wählen?

Die große Idee des Papers: Die Arbeit aufteilen

Dieses Paper mit dem Titel „Role-Decoupled Attention Residuals“ schlägt vor, dass der Roboter versuchte, zu viele Dinge mit einem einzigen Werkzeug zu erledigen. Der Autor, unter der Leitung von Kehan Wang, schlägt eine winzige, aber clevere Anpassung daran vor, wie der Roboter auf sein Gedächtnis zugreift. Sie nennen ihre neue Methode RD-AttnRes.

Stellen Sie sich den Zugriff des Roboters auf sein Gedächtnis wie einen Koch in einer Küche vor. Im alten System (genannt Block AttnRes) musste der Koch dieselbe einzelne Zutat benutzen, um sowohl zu entscheiden, welches Gericht gekocht wird (die Matching-Aufgabe) als auch um das Essen tatsächlich zu schmecken (die Content-Aufgabe). Es ist, als würde man versuchen, einen Löffel zu benutzen, um sowohl die Suppe umzurühren als auch sie zu probieren, aber der Löffel wird verwirrt darüber, welche Aufgabe er gerade erfüllt.

Die neue Methode, RD-AttnRes, sagt: „Geben wir dem Koch zwei verschiedene Löffel.“

Der „Wo“-Löffel (Queries und Keys): Dieser Löffel wird verwendet, um die Küche abzusuchen und zu entscheiden, welche Zutaten zum Rezept passen.
Der „Was“-Löffel (Values): Dies ist ein separater, unabhängiger Löffel, der dazu dient, die spezifischen Zutaten tatsächlich zu greifen.

Das Magische daran ist, dass der Koch immer noch in dieselbe Speisekammer schaut (dieselbe Gedächtnisquelle), aber nun ein separates, spezialisiertes Werkzeug hat, um das Essen zu greifen versus zu entscheiden, was zu greifen ist. Der Autor stellte sicher, dass diese Änderung minimal ist: Sie fügt nur eine winzige Menge an zusätzlicher „Rechenleistung“ hinzu (etwa 0,007 % mehr Parameter in ihren kleinen Tests) und erfordert nicht, dass der Roboter zusätzliche komplexe Mathematik durchführt, um Wörter miteinander zu vergleichen.

Was sie herausfanden: Ein klarer Sieg

Um zu testen, ob diese „Zwei-Löffel“-Idee tatsächlich funktioniert, führte das Team ein sehr sorgfältiges Experiment durch. Sie bauten zwei Versionen des Roboters: einen mit der alten „Ein-Löffel“-Regel und einen mit der neuen „Zwei-Löffel“-Regel. Sie stellten sicher, dass alles andere exakt gleich war – dasselbe Startgehirn, dieselben Bücher zum Lesen und dieselbe Zeit, die mit Lernen verbracht wurde. Sie testeten dies an zwei verschiedenen Größen von Robotern: einem kleinen mit 120 Millionen „Neuronen“ und einem mittleren mit 343 Millionen.

Die Ergebnisse waren überraschend konsistent. In jedem einzelnen Test (alle fünf Paare von Robotern bei beiden Größen) lernte der neue „Zwei-Löffel“-Roboter besser.

Für den kleinen Roboter reduzierte die neue Methode seine Verwirrung (gemessen als „negative Log-Likelihood“) um durchschnittlich 0,0301. Das klingt klein, aber in der Welt der KI ist das eine große Sache – es bedeutet, dass die Vorhersagen des Roboters um etwa 2,97 % genauer wurden.
Für den mittleren Roboter sank die Verwirrung um 0,0247, was ihn etwa 2,43 % genauer machte.

Der Autor hörte nicht nur bei „es hat funktioniert“ auf. Er spielte Detektiv, um sicherzustellen, dass der Sieg kein Zufall war.

Liegt es nur an den mehr vorhandenen Parametern? Nein. Sie fügten auf andere Weise zusätzliche Parameter hinzu, und das half nicht.
Liegt es nur daran, dass der Roboter mehr Arbeit leistet? Nein. Sie ließen zwei Routen laufen, zwangen sie aber dazu, sich zu mitteln, und auch das half nicht.
Hat der Roboter tatsächlich gelernt, die Löffel unterschiedlich zu benutzen? Ja! Als sie in das Gehirn des Roboters blickten, sahen sie, dass der „Wo“-Löffel und der „Was“-Löffel tatsächlich auf unterschiedliche Teile des Gedächtnisses schauten. Sie kopierten sich nicht einfach gegenseitig; sie entwickelten ihre eigenen, einzigartigen Stile.

Das Urteil: Ein einfaches Gestaltungsprinzip

Das Paper kommt zu dem Schluss, dass die Trennung der Aufgabe des „Findens des richtigen Ortes“ von der des „Wählens des richtigen Inhalts“ für die spezifische Art des Trainings, das sie getestet haben, eine echte Verbesserung darstellt. Es legt nahe, dass wir KI-Modellen, wenn wir ihnen erlauben, wie sie in ihre eigenen Erinnerungen zurückgreifen, nicht vorschreiben sollten, denselben Pfad für alles zu nutzen.

Der Autor ist jedoch vorsichtig damit, dies als die ultimative Lösung für alle KI-Probleme zu behaupten. Er gibt zu, dass ihre Tests auf eine bestimmte Art von Text (pädagogische Webinhalte), eine bestimmte Größe des Roboters und eine bestimmte Dauer des Trainings beschränkt waren. Er merkte auch an, dass die neue Methode etwas langsamer war und etwas mehr Computerarbeit (Speicher) beanspruchte, er glaubt jedoch, dass dies später durch bessere Software-Tricks behoben werden kann.

Kurz gesagt, das Paper schlägt eine einfache, aber kraftvolle Idee vor: Nur weil zwei Aufgaben gleichzeitig stattfinden, müssen sie nicht dasselbe Werkzeug benötigen. Indem sie dem Roboter erlauben, einen dedizierten Pfad für das „Was zu lesen ist“ zu nutzen, lernte er, ein etwas besserer Geschichtenerzähler zu sein.

Technisches Resümee: Rollen-entkoppelte Attention-Residuals

Problemstellung

In Standard-Transformer-Architekturen fungiert der Residual-Stream als fester Speicher, bei dem jede Schicht den unmittelbar vorangegangenen Zustand über serielle Addition erbt. Jüngste Tiefen-Routing-Architekturen, wie etwa Block Attention Residuals (Block AttnRes), verbessern dies, indem sie es Subschichten ermöglichen, eine inhaltsabhängige Mischung früherer Repräsentationen abzurufen, anstatt nur des unmittelbaren Vorgängers. Dies transformiert die Tiefe von einer festen Berechnungsordnung in eine gelernte Abrufachse.

Block AttnRes führt jedoch eine spezifische Design-Einschränkung ein: Es verwendet eine einzelne Tiefenverteilung, um den gemeinsamen Input für alle drei Attention-Projektionen (Queries, Keys und Values) zu konstruieren. Dies koppelt zwei funktional unterschiedliche Rollen:

Matching-Geometrie: Bestimmt durch Queries und Keys; sie entscheiden, wo gesucht wird (welche Token-Positionen übereinstimmen).
Inhaltsabruf (Content Retrieval): Bestimmt durch Values; sie entscheiden, was an Inhalt abgerufen wird.

Die Arbeit postuliert, dass das Erzwingen der Repräsentation, die am besten geeignet ist, um zu entscheiden, „wo man sucht“, auch diejenige zu sein, die am besten geeignet ist, um zu entscheiden, „was man liest“, eine unnötige Kopplung darstellt. Die zentrale Frage ist, ob die Entkopplung dieser Rollen das Training von Sprachmodellen verbessert, wenn alle anderen Faktoren konstant gehalten werden.

Methodik: Rollen-entkoppelte Attention-Residuals (RD-AttnRes)

Der Autor führt Role-Decoupled Attention Residuals (RD-AttnRes) ein, eine minimale architektonische Lockerung von Block AttnRes.

Architektur: RD-AttnRes behält den Quellsatz, die Block-Topologie, die Normalisierung, die MLP-Routen und die Writeback-Mechanismen der Elternarchitektur bei. Die einzige Modifikation findet auf der Seite des Attention-seitigen Tiefen-Reads statt.
Entkopplungsmechanismus:
- Queries und Keys (Q/K): Teilen eine einzige gelernte Routen-Abfrage ( $q^{QK}_\ell$ ), um eine Mischung ( $h^{QK}_\ell$ ) aus dem Residual-Tiefenspeicher zu berechnen. Dies bewahrt eine kohärente Matching-Geometrie.
- Values (V): Lernen eine unabhängige Routen-Abfrage ( $q^V_\ell$ ), um eine separate Mischung ( $h^V_\ell$ ) über exakt dieselbe Menge an Residual-Quellen zu berechnen.
Parametereffizienz: Die Modifikation fügt pro Schicht nur einen Vektor der Dimension $d$ (Modellbreite) hinzu. Für die getesteten Skalen (120M und 343M Parameter) stellt dies eine vernachlässigbare Erhöhung der Parameter dar (<0,01 %).
Exakte Rekonstruktion: Wenn die Value-Routen-Abfrage an die Q/K-Abfrage gebunden ist ( $q^V_\ell = q^{QK}_\ell$ ), reduziert sich RD-AttnRes exakt auf die ursprüngliche Block AttnRes Architektur. Dies stellt sicher, dass der Vorschlag eine strikte, prüfbare Erweiterung ist und kein System mit mehreren gleichzeitigen Änderungen.
Rechenaufwand: Die Methode fügt pro Attention-Schicht $O(BTK_\ell d)$ Arbeit hinzu (wobei $B$ die Batch-Größe, $T$ die Sequenzlänge und $K_\ell$ die Anzahl der Quellen ist), führt aber keine neuen $O(T^2d)$ Token-zu-Token-Attention-Terme ein.

Experimentelles Design

Die Studie verwendet ein rigoroses, gepaartes experimentelles Protokoll, um den Effekt der Rollen-Entkopplung zu isolieren:

Datensätze: FineWeb-Edu (10BT Stichprobe), mit einem deterministischen Split für Training, Validierung und Test.
Modelle: Zwei Decoder-only Pre-Norm Transformer-Skalen:
- S: 120M Parameter (16 Schichten, Breite 576).
- M: 343M Parameter (24 Schichten, Breite 832).
Protokoll: Fünf gematchte Seeds pro Skala. Sowohl Block AttnRes als auch RD-AttnRes wurden mit identischer Initialisierung, Datenreihenfolge, Optimierungsplänen und einem 2,0B Token-Budget trainiert.
Kontrollen: Richtungsgebundene Kontrollen bei 0,5B Tokens umfassen:
- Tied (Gebunden): Erzwingt, dass die Value-Route der Q/K-Route entspricht (rekonstruiert den Eltern-Zustand).
- Average (Durchschnitt): Führt zwei Routen aus, mittelt aber deren Mischungen (testet, ob die doppelte Ausführung allein hilft).
- Frozen-V (Eingefroren): Hält die Value-Route uniform (testet, ob eine feste Route hilft).
Diagnostik: Die Jensen–Shannon (JS) Divergenz wird zwischen den Q/K- und V-Tiefenverteilungen gemessen, um zu verifizieren, ob die Routen unterschiedliche Strategien lernen.

Zentrale Ergebnisse

Verbesserung des Validierungsverlusts: RD-AttnRes verbessert die Validierungs-Negative-Log-Likelihood (NLL) in allen 10 Paarvergleichen (5 Seeds × 2 Skalen).
- 120M Skala: Mittlere NLL-Reduktion von 0,0301, was einer Reduktion der Perplexität um 2,97 % entspricht.
- 343M Skala: Mittlere NLL-Reduktion von 0,0247, was einer Reduktion der Perplexität um 2,43 % entspricht.
Beständigkeit des Gewinns: Die Verbesserung ist bei allen Evaluierungs-Meilensteinen sichtbar (0,25B, 0,5B, 1,0B und 2,0B Tokens), wenngleich die absolute Magnitude der Differenz im Verlauf des Trainings leicht abnimmt.
Validierung der Kontrollen:
- Tied und Average Kontrollen performen ähnlich wie das ursprüngliche Block AttnRes, was zeigt, dass der Gewinn nicht auf die Parameteranzahl oder duplizierte Berechnungen zurückzuführen ist.
- Frozen-V schneidet schlecht ab, was bestätigt, dass die Value-Route gelernt werden muss und nicht fixiert sein darf.
Routen-Divergenz: Die gelernten Q/K- und V-Verteilungen kollabieren nicht zu derselben Lösung. Die durchschnittliche JS-Divergenz über die Schichten beträgt etwa 0,218 (120M) und 0,215 (343M), was bestätigt, dass das Modell unterschiedliche Tiefen-Abrufe für Matching versus Inhaltsabruf lernt.

Bedeutung und Ansprüche

Die Arbeit stellt einen engen, begrenzten Anspruch auf und keine universelle Behauptung. Der Autor behauptet nicht, dass RD-AttnRes gegenüber allen aktuellen Routing-Architekturen überlegen ist oder ein universelles Skalierungsverhalten etabliert.

Stattdessen stützen die Ergebnisse die spezifische Schlussfolgerung, dass innerhalb des getesteten Trainingsregimes (FineWeb-Edu, 2B Tokens, spezifische Modellskalen), der gemeinsame QKV-Tiefen-Read in Block AttnRes eine konsequente Einschränkung darstellt. Die Evidenz legt nahe, dass Matching (Q/K) und Inhaltsabruf (V) unterschiedliche Tiefen-Reads benötigen.

Eingeständliche Limitationen:

Die Studie ist auf einen englischen Web-Korpus und Modelle mit weniger als einer Milliarde Parametern beschränkt.
Der absolute Leistungsunterschied verringert sich über längere Trainingshorizonte; zukünftige Arbeiten müssen klären, ob die Lücke bei 4B–10B Tokens bestehen bleibt oder wächst.
Es gibt einen System-Aspekt: Die aktuelle Implementierung verursacht im Vergleich zum Referenz-Block-AttnRes einen Durchsatz-Verlust (~9–10 %) und einen erhöhten Speicherverbrauch, wobei gefügte Kernel dies mildern könnten.
Vergleiche mit anderen aktuellen Architekturen (z. B. MUDDFormer, Delta AttnRes) sind konzeptioneller Natur und keine empirisch gematchten Baselines.

Fazit:
Die Arbeit stellt fest, dass, wenn die Tiefe zu einer gelernten Abrufachse wird, das Teilen der Ressourcen der nachgeschalteten Funktion (Rolle) folgen sollte und nicht der Implementierungskomfort. Durch die Entkopplung des Value-Pfades mit minimalem Parameter-Overhead erzielt RD-AttnRes konsistente Verbesserungen im Pretraining-Loss, was die Hypothese validiert, dass Matching-Geometrie und Inhaltsabruf zwei unterschiedliche Aufgaben sind, die unterschiedliche Tiefen-Repräsentationen erfordern.