🤖 machine learning

Interdomain Attention: Beyond Token-Level Key-Value Memory

Das Papier schlägt Interdomain Attention vor, eine neuartige Architektur, die State Space Models (SSMs) über Kernel-Methoden in Aufmerksamkeitsmechanismen integriert, um eine abfragekonditionierte Aufmerksamkeit über einen Zustand fester Größe zu erreichen und damit die Skalierbarkeit und Längenrobustheit von SSMs mit den Leistungsvorteilen inhaltsbasierter Zuordnungen zu kombinieren.

Ursprüngliche Autoren: Naoki Kiyohara, Harrison Bo Hua Zhu, Riccardo El Hassanin, Zhuo Sun, Wenlong Chen, Samir Bhatt, Yingzhen Li

Veröffentlicht 2026-05-26

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Naoki Kiyohara, Harrison Bo Hua Zhu, Riccardo El Hassanin, Zhuo Sun, Wenlong Chen, Samir Bhatt, Yingzhen Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Dilemma „Zu viel Stoff"

Stellen Sie sich vor, Sie versuchen, eine Geschichte zu schreiben, haben aber ein schreckliches Gedächtnis.

Der alte Weg (Standard-Transformer): Um den nächsten Satz zu schreiben, müssen Sie auf jedes einzelne Wort zurückblicken, das Sie bisher geschrieben haben. Wenn Sie ein 100-seitiges Buch schreiben, muss Ihr Gehirn alle 100 Seiten gleichzeitig im Kopf behalten, um die richtigen Verbindungen zu finden. Dies ist unglaublich langsam und erfordert eine massive Menge an geistiger Energie (Rechenleistung). Je länger die Geschichte wird, desto mehr wird Ihr Gehirn überfordert.
Der alternative Weg (State Space Models/SSM): Um Energie zu sparen, fassen Sie die ganze Geschichte auf einer einzigen, winzigen Notizkarte zusammen. Sie schauen nur auf diese Notizkarte, um den nächsten Satz zu schreiben. Dies ist superschnell und effizient, egal wie lang die Geschichte wird. Da Sie jedoch nur eine winzige Notizkarte haben, verpassen Sie oft spezifische Details. Sie könnten den Namen eines Charakters vergessen, der vor drei Kapiteln erwähnt wurde.

Das Ziel: Die Autoren wollten ein System bauen, das die Geschwindigkeit und Effizienz der winzigen Notizkarte mit dem Gedächtnis und der Detailgenauigkeit des Blicks auf das ganze Buch vereint.

Die Lösung: „Interdomain Attention"

Die Autoren entwickelten eine neue Methode namens Interdomain Attention. Stellen Sie sich dies als einen intelligenten Bibliothekar vor, der eine Bibliothek auf eine sehr spezifische Weise verwaltet.

1. Die „komprimierte Bibliothek" (Der SSM-Kern)

Anstatt jedes einzelne Buch (Token) auf einem Regal zu behalten, nutzt der Bibliothekar eine spezielle Maschine (ein SSM), um die gesamte Geschichte in einen festgelegten Satz von „Zusammenfassungs-Koeffizienten" zu komprimieren.

Analogie: Stellen Sie sich vor, Sie haben einen 1.000-seitigen Roman. Anstatt alle 1.000 Seiten zu behalten, destillieren Sie die Geschichte in 64 spezifische „Themen" oder „Vibes" (wie „die Heldenreise", „das Motiv des Bösewichts", „die Stimmung der Kulisse"). Diese 64 Themen sind Ihr „Zustand". Egal, ob die Geschichte 10 Seiten oder 10.000 Seiten lang ist, Sie müssen diese 64 Themen immer nur in der Hand halten.

2. Die „intelligente Abfrage" (Der Attention-Teil)

Wenn Sie den nächsten Satz schreiben wollen, schauen Sie nicht blind auf die 64 Themen. Sie stellen eine spezifische Frage (eine „Abfrage").

Der Zaubertrick: Das System nimmt Ihre Frage und übersetzt sie in dieselbe „Sprache" wie diese 64 Themen. Dann prüft es: „Welches dieser 64 Themen ist für meine aktuelle Frage am relevantesten?"
Das Ergebnis: Sie bekommen das Beste aus beiden Welten. Sie schauen auf eine komprimierte Zusammenfassung (schnell!), aber Sie wählen die richtigen Teile dieser Zusammenfassung basierend darauf aus, worüber Sie gerade nachdenken (intelligent!).

Wie es funktioniert (Die „Küche"-Analogie)

Stellen Sie sich vor, Sie sind ein Koch, der eine Suppe macht (die Ausgabe).

Standard-Attention: Sie haben einen riesigen Topf voller Zutaten (die gesamte Geschichte). Um Salz hinzuzufügen, müssen Sie jede einzelne Zutat im Topf probieren, um zu entscheiden, wie viel Salz Sie hinzufügen. Das dauert ewig, je größer der Topf wird.
Standard-SSM: Sie haben ein winziges Gewürzregal mit nur 64 Gläsern. Sie greifen einfach ein Glas und geben es hinzu. Es ist schnell, aber Sie können die spezifischen Zutaten nicht mehr schmecken.
Interdomain Attention:
1. Sie haben eine Maschine, die ständig ein festes Gewürzregal (die 64 Themen) basierend auf allem, was Sie bisher gekocht haben, aktualisiert.
2. Wenn Sie Salz hinzufügen wollen, probieren Sie nicht den ganzen Topf. Stattdessen halten Sie einen speziellen Probierlöffel (die Abfrage-Feature-Karte), der Ihnen sofort sagt: „Basierend auf dem aktuellen Geschmack müssen Sie 30 % des 'Tomaten'-Glases und 70 % des 'Kräuter'-Glases mischen."
3. Sie mischen diese spezifischen Mengen aus Ihrem festen Gewürzregal. Es ist schnell, weil das Regal klein ist, aber es ist genau, weil Ihr Löffel genau weiß, wie man sie für den aktuellen Moment mischt.

Was das Paper tatsächlich herausfand

Die Autoren testeten diese neue „Interdomain Attention" an Sprachmodellen, die von klein (125 Millionen Parameter) bis groß (1,3 Milliarden Parameter) reichten. Hier sind ihre wichtigsten Behauptungen:

Es schlägt die „winzige Notizkarte" (SSM): Bei jedem Test war Interdomain Attention besser darin, Text zu schreiben als die Standard-SSM-Methode. Es verstand den Kontext besser, blieb dabei aber schnell.
Es schlägt den „riesigen Topf" (Standard-Attention) im großen Maßstab: Bei der größten getesteten Größe (1,3 Milliarden Parameter) schrieb Interdomain Attention tatsächlich besseren Text (niedrigere „Perplexität" und bessere Scores für gesunden Menschenverstand) als die Standardmethode, die jedes Wort betrachtet.
Es vergisst keine langen Geschichten: Der größte Gewinn ist die Länge. Standardmethoden geraten in Verwirrung und machen Fehler, wenn die Geschichte länger wird als das, wofür sie trainiert wurden. Interdomain Attention blieb ruhig und konsistent, selbst wenn die Geschichte 3,5-mal länger war als das, wofür sie trainiert wurde. Es wurde nicht langsamer oder verwirrter; es arbeitete einfach weiter.
Das Geheimnis: Sie führten eine „Mechanismus-Zerlegung" durch (eine ausgefallene Art, die Maschine auseinanderzunehmen, um zu sehen, welcher Teil die Arbeit leistete). Sie stellten fest, dass die abfrage-konditionierte Projektion (der „intelligente Löffel", der Ihre Frage in die Zusammenfassungssprache übersetzt) der Hauptgrund für den Erfolg war. Ohne diesen spezifischen Schritt verhielt sich das System wie ein Standard-SSM und performte schlecht.

Der Kompromiss (Was es nicht kann)

Das Paper ist ehrlich bezüglich einer Schwäche: Exakte Erinnerung.

Analogie: Wenn Sie das System fragen: „Was war die genaue Telefonnummer des Charakters, der auf Seite 4 erwähnt wurde?", ist die Standardmethode (Blick auf das ganze Buch) großartig darin, sie zu finden. Interdomain Attention ist, da sie auf einer komprimierten Zusammenfassung basiert, nicht so gut darin, exakte Textfolgen (wie Telefonnummern oder spezifische Namen) abzurufen, wenn sie nicht Teil der Haupt„Themen" sind.
Die Autoren stellen jedoch fest, dass dies eine Einschränkung jedes Systems ist, das Informationen komprimiert, und nicht nur ihrer neuen Methode.

Zusammenfassung

Interdomain Attention ist eine neue Art für KI, Dinge zu merken. Anstatt zu versuchen, die ganze Welt im Kopf zu behalten (langsam) oder nur eine winzige Notiz (vergesslich), führt es eine intelligente, komprimierte Zusammenfassung der Welt. Wenn es schreiben muss, verwendet es einen speziellen Übersetzer, um die genau richtigen Teile dieser Zusammenfassung auszuwählen. Dies macht es schnell, effizient und überraschend gut darin, sehr lange Geschichten zu handhaben, ohne verwirrt zu werden.

Technische Zusammenfassung: Interdomain Attention

Problemstellung

Transformer und tiefe State Space Models (SSMs) repräsentieren zwei gegensätzliche Designparadigmen für die Sequenzmodellierung. Standard-Attention-Mechanismen (Vaswani et al., 2017) nutzen einen wachsenden Key-Value (KV)-Cache und leiten Queries über inhaltsbasiertes Matching weiter. Obwohl dies ein scharfes Abrufen ermöglicht, entstehen quadratische Rechenkosten ( $O(N_q N)$ ) und ein linearer Speicherwachstum ( $O(N)$ ) in Bezug auf die Sequenzlänge. Im Gegensatz dazu komprimieren tiefe SSMs (z. B. S4, Mamba) den gesamten Kontext in einen rekurrenten Zustand fester Größe, der pro Schritt in $O(1)$ Zeit aktualisiert wird. Diese Kompression geht jedoch mit dem Verlust des direkten Query-Key-Matchings einher; der feste Zustand ist nicht direkt durch spezifische Queries adressierbar, was häufig zu schwächerer Leistung bei Aufgaben führt, die eine präzise Abrufung oder inhaltsbasierte Aufmerksamkeit erfordern.

Hybride Architekturen haben versucht, diese Ansätze zu verflechten, und Varianten der linearen Aufmerksamkeit haben versucht, die Aufmerksamkeitskosten direkt zu reduzieren. Dieser Artikel schlägt einen anderen Weg vor: die direkte Integration eines SSM in den Attention-Mechanismus, um die Effizienz eines Zustands fester Größe beizubehalten und gleichzeitig zu ermöglichen, dass jede Query auf die komprimierte Historie achtet.

Methodik: Interdomain Attention

Der Kernbeitrag ist Interdomain Attention, ein Token-Mixer, der Kernel-Attention und State-Space-Modelle vereint. Die Methode leitet sich aus einer Kernel-Regression-Sichtweise der Attention und einer HiPPO-artigen Basisprojektion ab.

Theoretische Herleitung

Kernel-Feature-Map: Der Attention-Kernel $K(q, k)$ wird durch eine endliche Feature-Map $\xi(q)^\top \xi(k)$ approximiert.
Basisprojektion: Anstatt alle Keys und Values zu speichern, projiziert die Methode die Key-Features $\xi(k)$ und die Values $v$ auf einen gemeinsamen Satz von Basisfunktionen, der durch eine einzelne SSM-Rekurrenz (speziell im HiPPO-Stil) verwaltet wird. Dies resultiert in einem zustandsfester Größe, der unabhängig von der Sequenzlänge ist.
Komprimierte Koeffizienten: Die Integrale dieser Projektionen ergeben drei Zustandskomponenten:
- $U$ : Basisprojektionskoeffizienten für Keys (induzierende Variablen).
- $\Gamma$ : Value-Projektionen.
- $\eta$ : Normalisierungskonstanten.
Query-konditionierte Readout: An jeder Position wird die Query $q$ in den Feature-Raum $\xi(q)$ abgebildet. Die Ausgabe wird berechnet, indem auf die komprimierten Koeffizienten statt auf einzelne Tokens geachtet wird:
$\tilde{o} = \frac{\sum_m (\xi(q)^\top u_m) \gamma_m}{\sum_m (\xi(q)^\top u_m) \eta_m}$
In Matrixform: $\tilde{O} = \frac{F_q U^\top \Gamma}{F_q U^\top \eta}$ , wobei $F_q$ die Query-Feature-Matrix ist.

Skalierbare Implementierung

Die praktische Implementierung ist eine gelernte Relaxierung der theoretischen Herleitung, die für Stabilität und Effizienz ausgelegt ist:

Feature-Map: Verwendet eine DeltaNet-artige neuronale Feature-Map $\xi(x) = \text{SiLU}(\text{SC}(x)) / \|\text{SiLU}(\text{SC}(x))\|^2$ , wobei SC eine kausale Tiefenkonvolution ist.
Rekurrenter Kern: Approximiert die HiPPO-Projektion mittels einer komplex-diagonalen S4D-Rekurrenz. Der SSM-Eingang verkettet die Key-Feature $\xi(k)$ und den Value $v$ .
Normalisierung: Wendet vor dem Eintritt in das SSM eine Eingabe-RMSNorm mit lernbaren pro-Kopf-Bias auf die Key- und Value-Hälften an.
Nennerfreie Readout: Um das Mischen inkompatibler Skalen durch Eingabeneu-Skalierung zu vermeiden, wird der Normalisierungsterm $\eta$ weggelassen, was zu einer linearen Attention-Readout führt: $\tilde{O} = F_q U^\top \Gamma$ .
Architektur: Eingebettet in einen Llama-artigen Decoder mit Vor-Normalisierung, SwiGLU-Feedforward-Schichten und rotierenden Positionseingebettungen (RoPE).

Hauptbeiträge

Konstruktion: Ein query-konditionierter Token-Mixer fester Größe, abgeleitet aus Kernel-Regression und HiPPO-Basisprojektion, mit einer klaren Unterscheidung zwischen der idealen theoretischen Herleitung und der skalierbaren Implementierung.
Mechanismus-Zerlegung: Eine Ablationsstudie bei 125 Millionen Parametern identifiziert die query-konditionierte Projektion als den dominierenden Faktor, der Leistungssteigerungen gegenüber Standard-S4D-Mixern bewirkt. Der duale Key/Value-Eingang trägt einen kleineren, sekundären Gewinn bei.
Skalierungsstudie: Eine umfassende Evaluierung auf FineWeb-Edu von 125 Millionen bis 1,3 Milliarden Parametern unter einem angepassten Budget für rekurrente Zustände.

Experimentelle Ergebnisse

Die Studie vergleicht Interdomain Attention mit einem reinen S4D-Token-Mixer und einer Standard-Softmax-Attention-Baseline.

Leistung vs. S4D: Interdomain Attention verbessert den S4D-Token-Mixer in jeder Skalierung (125M–1,3B) und erreicht eine 13–16 % niedrigere Validierungs-Perplexität.
Leistung vs. Softmax: Bei 1,3 Milliarden Parametern übertrifft Interdomain Attention die gleichrezeptige Softmax-Baseline in der Validierungs-Perplexität (7,98 vs. 8,63) und in einem acht Aufgaben umfassenden CommonSense-Suite (+3,03 Prozentpunkte durchschnittliche Genauigkeit). Bei 125 Millionen Parametern liegt sie etwa gleichauf mit Softmax.
Längsextrapolation: Dank ihres rekurrenten Kerns fester Größe zeigt Interdomain Attention ein „längenflaches" Verhalten. Während die Perplexität der Softmax-Baseline jenseits des Trainingskontexts (4K) signifikant verschlechtert, behält Interdomain bis zu 14K (3,5-fach des Trainingskontexts) eine stabile Leistung bei.
Abrufbeschränkungen: Der Artikel stellt fest, dass Interdomain Attention wie andere Modelle mit festem Zustand im Vergleich zur Softmax-Attention Schwierigkeiten mit dem exakten assoziativen Abruf von Zeichenketten (z. B. Nadel-im-Heuhaufen-Aufgaben) hat. Dies wird als strukturelle Einschränkung der Kompression mit festem Zustand und nicht als spezifischer Fehler des Interdomain-Mechanismus identifiziert.

Bedeutung und Behauptungen

Der Artikel behauptet, dass Interdomain Attention erfolgreich die Lücke zwischen der Effizienz fester Zustände bei SSMs und den inhaltsbasierten Abrufmöglichkeiten von Attention schließt. Durch die Projektion von Features auf eine SSM-Basis ermöglicht es Queries, auf eine komprimierte Historie zu achten, ohne die quadratischen Kosten oder das lineare Speicherwachstum der Standard-Attention.

Die primäre Bedeutung liegt darin zu demonstrieren, dass eine query-konditionierte Projektion auf einen rekurrenten Zustand fester Größe sowohl reine SSMs als auch, bei größeren Skalen, Standard-Softmax-Attention übertreffen kann, während sie gleichzeitig die wünschenswerten Eigenschaften der Längsextrapolation von SSMs erbt. Die Autoren schlagen vor, dass dieser Ansatz einen gangbaren Weg für die Sprachmodellierung mit langem Kontext bietet, bei dem Speichereffizienz und konsistente Leistung über variierende Kontextlängen hinweg entscheidend sind. Als zukünftige Arbeitsrichtungen werden die Integration stärkerer rekurrenter Kerne fester Größe (z. B. Mamba-3) oder die Kombination der Readout mit schnellen Gewichts-Update-Regeln genannt.