💬 NLP

Cubit: Token Mixer with Kernel Ridge Regression

Dieser Beitrag stellt Cubit vor, eine neuartige Deep-Learning-Architektur, die den Aufmerksamkeitsmechanismus des Transformers durch Kernel-Ridge-Regression ersetzt, um eine stärkere mathematische Grundlage zu bieten und verbesserte Fähigkeiten zur Modellierung langer Sequenzen nachzuweisen.

Ursprüngliche Autoren: Chuanyang Zheng, Jiankai Sun, Yihang Gao, Yuehao Wang, Liangchen Tan, Mac Schwager, Anderson Schneider, Yuriy Nevmyvaka, Xiaodong Liu

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chuanyang Zheng, Jiankai Sun, Yihang Gao, Yuehao Wang, Liangchen Tan, Mac Schwager, Anderson Schneider, Yuriy Nevmyvaka, Xiaodong Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine Geschichte zu schreiben, und müssen entscheiden, welches Wort als Nächstes kommt. Um dies zu tun, schauen Sie auf alle Wörter zurück, die Sie bereits geschrieben haben. Die derzeitige Standardmethode hierfür (der Transformer) ist wie eine sehr organisierte Bibliothekarin, die Ihre gesamte Liste vergangener Wörter durchliest, jedem ein „Relevanz-Score" zuweist und dann eine Zusammenfassung basierend auf diesen Scores erstellt.

Die Autoren dieses Papiers, Cubit, argumentieren, dass diese Bibliothekarin eine bestimmte Art von Mathematik anwendet, die als Nadaraya-Watson-Regression bezeichnet wird. Es ist ein bisschen so, als würde man fragen: „Wie ähnlich ist dieses neue Wort den alten?" und dann die alten Wörter basierend auf dieser Ähnlichkeit mittelt. Es funktioniert gut, aber die Autoren glauben, dass es einen besseren, robusteren Weg gibt, die Mathematik durchzuführen.

Hier ist die einfache Aufschlüsselung dessen, was sie vorschlagen:

1. Das Problem: Die „Bibliothekarin" ist gut, aber nicht perfekt

Die aktuelle Transformer-Architektur ist wie eine Bibliothekarin, die hervorragend darin ist, ähnliche Wörter zu finden, aber manchmal durch Rauschen verwirrt wird oder in Schwierigkeiten gerät, wenn die Geschichte sehr lang wird. Die Mathematik dahinter ist ein wenig „locker", wenn es darum geht, Fehler oder Grenzen zu handhaben (wie den sehr Anfang oder das Ende eines Satzes).

2. Die Lösung: Cubit (Der „intelligente Buchhalter")

Die Autoren schlagen eine neue Architektur namens Cubit vor. Anstatt nur zu fragen „Wie ähnlich sind diese Wörter?", verwendet Cubit ein anderes mathematisches Werkzeug namens Kernel Ridge Regression (KRR).

Die Analogie: Wenn die alte Methode eine Bibliothekarin ist, die Dinge einfach mittelt, ist Cubit wie ein intelligenter Buchhalter, der nicht nur die Ähnlichkeiten betrachtet, sondern auch eine komplexe Gleichung löst, um die bestmögliche Antwort zu finden.
Der „Ridge"-Teil: In der Mathematik ist „Ridge" wie ein Sicherheitsnetz. Es verhindert, dass der Buchhalter von einer einzelnen seltsamen Zahl (Rauschen) zu sehr erregt wird, und stellt sicher, dass die endgültige Antwort stabil und ausgewogen ist. Das Papier behauptet, dass dies das Modell mathematisch solider macht und weniger anfällig für Fehler, wenn die Geschichte kompliziert wird.

3. Das Geheimnis: Limited-Range Rescale (LRR)

Die Autoren stellten fest, dass bei dem Versuch, diese neue Mathematik anzuwenden, die Zahlen manchmal zu groß oder zu klein werden konnten, was dazu führte, dass das Modell abstürzte oder langsam lernte.

Die Analogie: Stellen Sie sich vor, Sie drehen einen Lautstärkeregler an einer Stereoanlage. Wenn Sie ihn ganz aufdrehen, könnten die Lautsprecher durchbrennen. Wenn Sie ihn ganz herunterdrehen, können Sie nichts hören.
Die Lösung: Cubit führt eine Funktion namens Limited-Range Rescale (LRR) ein. Dies ist wie das Anbringen eines „Begrenzers" am Lautstärkeregler. Es zwingt die Lautstärke, innerhalb eines sicheren, kontrollierten Bereichs zu bleiben (zwischen einem unteren und oberen Limit). Dies hält das Modell stabil und hilft ihm, schneller zu lernen, ohne zu kaputtgehen.

4. Was passiert, wenn sie es testen?

Die Autoren führten Experimente durch, um zu sehen, ob ihr „intelligenter Buchhalter" (Cubit) besser war als die „Bibliothekarin" (Transformer) und ein weiterer Konkurrent namens DeltaFormer.

Lange Geschichten: Das aufregendste Ergebnis ist, dass Cubit, je länger die Geschichten (Sequenzen) werden, im Vergleich zu den anderen signifikant besser wird. Während der alte Transformer Schwierigkeiten hat, sich an Dinge von vor 8.000 Wörtern zu erinnern, scheint Cubit lange Kontexte viel effektiver zu bewältigen.
Größere Modelle: Als sie die Modelle größer machten (mehr „Gehirnkraft"), wurde Cubit weiterhin besser, während die anderen Modelle begannen, sich zu plateauieren oder ihren Vorteil zu verlieren.
Verschiedene Aufgaben: Ob sie nun auf wissenschaftlichen Artikeln, Büchern oder dem Internet trainiert wurden, Cubit erzielte konsistent bessere Ergebnisse (niedrigerer „Verlust", was eine ausgefallene Art ist, „weniger Fehler" zu sagen).

Zusammenfassung

Das Papier behauptet, dass sie durch den Austausch der alten Mathematik (Nadaraya-Watson) gegen eine robustere mathematische Technik (Kernel Ridge Regression) und das Hinzufügen eines Lautstärkekontrollmechanismus (LRR) eine neue Art von KI-Gehirn namens Cubit gebaut haben.

Die Hauptaussage: Cubit ist eine mathematisch stabilere Methode, Informationen zu mischen. Es rät nicht nur basierend auf Ähnlichkeit; es löst unter Verwendung eines Sicherheitsnetzes nach der besten Antwort und glänzt besonders hell, wenn es mit sehr langen Textsequenzen umgeht.

Technische Zusammenfassung: Cubit – Token-Mixer mit Kernel-Ridge-Regression

Problemstellung

Seit der Einführung der Transformer-Architektur im Jahr 2017 hat sie sich als dominantes Paradigma im Deep Learning für natürliche Sprachverarbeitung, Computer Vision und multimodale Aufgaben etabliert. Der Kernmechanismus der Token-Mischung in Transformern basiert jedoch auf Self-Attention, was sich theoretisch als Durchführung einer Nadaraya–Watson (NW)-Regression mit einem exponentiellen Kernel (via Softmax) und L1-Normierung interpretieren lässt.

Obwohl dieser auf NW basierende Ansatz effektiv ist, weist er inhärente Einschränkungen auf:

Rechenkomplexität: Die Standard-Attention verursacht quadratische Rechenkosten ( $O(N^2)$ ) in Bezug auf die Sequenzlänge, was die Skalierbarkeit für lange Sequenzen begrenzt.
Theoretische Einschränkungen: Die NW-Regression fehlt eine explizite Regularisierung für den Bias-Varianz-Kompromiss und kann empfindlich gegenüber Rauschen und Randeffekten sein.
Skalierbarkeit von Verbesserungen: Obwohl zahlreiche Modifikationen (sparse attention, linear attention, mixture-of-experts) vorgeschlagen wurden, bleibt das fundamentale Rechenparadigma in der NW-Regression verankert.

Die Autoren gehen davon aus, dass der Ersatz des NW-Regression-Fundaments durch ein robusteres statistisches Framework Architekturen mit stärkeren mathematischen Grundlagen und verbesserten Fähigkeiten zur Modellierung langer Sequenzen hervorbringen könnte.

Methodik: Die Cubit-Architektur

Die Arbeit schlägt Cubit vor, eine neuartige Architektur, die die NW-Regression des Attention-Moduls durch Kernel-Ridge-Regression (KRR) ersetzt.

1. Theoretische Grundlage: Von NW zu KRR

Nadaraya–Watson (Transformer): Bei der Standard-Attention ist das Ausgabe-Token $z_i$ eine gewichtete Summe von Value-Vektoren $v_j$ , wobei die Gewichte durch softmax-normalisierte Ähnlichkeiten zwischen Queries und Keys bestimmt werden. Dies entspricht der NW-Regression, die einen Funktionswert basierend auf einem lokalen gewichteten Durchschnitt schätzt, ohne ein globales System zu lösen.
Kernel-Ridge-Regression (Cubit): KRR löst ein regularisiertes Problem der empirischen Risikominimierung. Die Vorhersage für eine neue Eingabe beinhaltet die Inverse der Kernel-Matrix plus einen Regularisierungsterm: $(K + \lambda I)^{-1}$ $(K + λ I)^{- 1}$ .
- Hauptunterschied: Im Gegensatz zur NW führt KRR einen expliziten Regularisierungsparameter $\lambda$ ein, um den Bias-Varianz-Kompromiss zu steuern, und nutzt die Inverse der Gram-Matrix, um Informationen über alle Datensamples hinweg zu koppeln, was eine größere Robustheit gegenüber Rauschen und Randeffekten bietet.

2. Architektonisches Design

Cubit modifiziert die klassische Attention-Berechnung durch die Integration der geschlossenen Formlösung der KRR:

Kernel-Konstruktion: Die Kernel-Matrix wird unter Verwendung von Feature-Maps konstruiert, die aus Key-Embeddings abgeleitet sind. Die Autoren parametrisieren die Feature-Map $\psi(x)$ mittels einer trainierbaren Projektionsmatrix $W_K$ und einer vorgegebenen Aktivierungsfunktion $\phi$ .
Normalisierung via Inverse Matrix: Anstelle einer zeilenweisen Softmax-Normalisierung berechnet Cubit eine Normalisierungsmatrix $\Sigma^{(h)} = (K^{(h)}K^{(h)\top} + \lambda I)^{-1}$ . Diese Matrix wirkt als globaler Kopplungsoperator.
Ausgangsformulierung: Die Ausgabe wird berechnet als $Z^{(h)} = A^{(h)} \Sigma^{(h)} V^{(h)}$ , wobei $A^{(h)}$ die Kernel-Ähnlichkeitsmatrix (Query-Key-Interaktionen) darstellt und $\Sigma^{(h)}$ die von KRR inspirierte Normalisierungsmatrix ist.
Kausale Einschränkung: Um die autoregressive Generierung zu handhaben, wird die Kernel-Konstruktion so angepasst, dass das $i$ -te Token nur auf sich selbst und vorherige Token achtet, wodurch sichergestellt wird, dass die Regression auf dem verfügbaren Kontext durchgeführt wird.

3. Limited-Range Rescale (LRR)

Um Stabilitätsprobleme beim Training zu adressieren, die mit dem Invertieren großer Matrizen verbunden sind, führen die Autoren das Limited-Range Rescale (LRR) ein:

Ein lernbarer Skalierungsvektor $s^{(h)}$ wird angewendet, um die Kernel-Präzision adaptiv anzupassen.
Die Skalierungsfaktoren werden mittels einer Sigmoid-Funktion auf einen begrenzten Bereich $(\beta, \alpha + \beta)$ beschränkt.
Dies gewährleistet die Invertierbarkeit der Skalierungsmatrix und begrenzt die Inverselemente, wodurch numerische Instabilität während der Lösung des linearen Systems verhindert wird.

4. Unterscheidung von verwandter Arbeit

Die Arbeit unterscheidet Cubit explizit von DeltaFormer (welches ebenfalls Inverse Matrizen nutzt):

Motivation: DeltaFormer kombiniert DeltaNet und Transformer; Cubit wird durch den theoretischen Wechsel von NW zu KRR motiviert.
Implementierung: DeltaFormer verwendet zwei verschiedene Embeddings, um die Inverse zu konstruieren, und zwingt diagonale Werte auf 1. Cubit verwendet ein einziges spezifisches Embedding (z. B. nur $K$ ), um die Invertierbarkeit natürlich sicherzustellen, ohne diagonale Werte auf 1 zu zwingen.
Stabilität: Cubit schlägt LRR vor, um die Stabilität zu verbessern, eine Komponente, die in DeltaFormer fehlt.

Hauptbeiträge

Vereinigtes theoretisches Framework: Die Autoren stellen eine Verbindung zwischen Token-Mischmechanismen und klassischen Regressionsmethoden her, analysieren systematisch NW-Regression und KRR und bieten eine neue Perspektive für die Entwicklung von Modellarchitekturen.
Cubit-Architektur: Der Vorschlag eines KRR-basierten Token-Mixers, der den NW-Schätzer in Transformern ersetzt und über den Limited-Range Rescale (LRR)-Mechanismus verfügt, um die Trainingsstabilität zu erhöhen.
Empirische Validierung: Umfassende Experimente zeigen, dass Cubit stärkere Fähigkeiten zur Modellierung langer Sequenzen aufweist als Standard-Transformer und DeltaFormer, wobei die Leistungsgewinne mit zunehmender Sequenzlänge steigen.

Experimentelle Ergebnisse

Die Autoren bewerteten Cubit gegenüber Transformern und DeltaFormer über diverse Datensätze (Arxiv, Books3, FinWeb-Edu), Sequenzlängen (512 bis 8192) und Modellgrößen (125M bis 1,3B Parameter).

Leistung beim Sprachmodellieren: Cubit erreichte konsistent eine niedrigere Perplexität (Validierungsverlust) als die Baselines. Beispielsweise erzielte Cubit auf dem Arxiv-Datensatz (125M-Modell, 512 Token) einen Verlust von 1,8802 im Vergleich zu 1,9003 für den Transformer.
Modellierung langer Sequenzen: Die Leistungslücke zwischen Cubit und dem Transformer vergrößerte sich, wenn die Trainingssequenzlänge zunahm. Bei 8192 Token stabilisierte sich die Verlustlücke bei 0,05–0,06, was darauf hindeutet, dass der kernelbasierte Mechanismus von Cubit langreichweitige Abhängigkeiten effektiver erfasst.
Skalierungseigenschaften: Cubit zeigte ein günstiges Skalierungsverhalten. Während der Vorteil von DeltaFormer gegenüber dem Transformer mit zunehmender Modellgröße abnahm (von 350M auf 1,3B), blieben die Leistungsgewinne von Cubit erhalten und verbesserten sich.
Downstream-Aufgaben: Bei Zero-Shot-Evaluierungen (ARC, HellaSwag, PIQA usw.) übertraf Cubit sowohl Transformer als auch DeltaFormer konsistent über verschiedene Datengrößen (10B bis 50B Token) und Maßstäbe hinweg.
Ablationsstudien:
- Architektonisches Design: Die Leistungsgewinne wurden dem strukturellen Design (KRR-Formulierung) zugeschrieben und nicht einer Erweiterung der Parameter.
- Wirksamkeit von LRR: Die Einbeziehung von LRR brachte messbare Verbesserungen; „Cubit-NoLRR" übertraf zwar immer noch den Standard-Transformer, aber „Cubit" (mit LRR) erzielte die besten Ergebnisse.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Cubit durch die Nutzung der theoretischen Vorteile der Kernel-Ridge-Regression, einschließlich expliziter Regularisierung, schnellerer Konvergenzraten in Reproducing Kernel Hilbert Spaces (RKHS) und Robustheit gegenüber Rauschen, eine stärkere mathematische Grundlage als der Vanilla-Transformer bietet.

Die Autoren schlagen vor, dass Cubit eine Architektur für foundation models der nächsten Generation darstellen könnte, insbesondere für Aufgaben, die ein Verständnis langer Kontexte erfordern. Sie stellen fest, dass die Leistungsgewinne nicht lediglich auf eine erhöhte Anzahl von Trainings-Token zurückzuführen sind, sondern auf die architektonische Effizienz bei langen Sequenzen. Obwohl die Arbeit anerkennt, dass das Potenzial für Missbrauch leistungsfähigerer Modelle besteht, betont sie die potenziellen gesellschaftlichen Vorteile verbesserter Modellierungsfähigkeiten.

Die Arbeit deutet auch auf zukünftige Richtungen hin, wie die Erforschung der Local Linear Regression (welche Bias an den Rändern adressiert, aber rechnerisch langsamer ist) und anderer regressionsbasierter Frameworks für die Token-Mischung, was darauf hindeutet, dass die regressionsbasierte Perspektive auf Attention ein fruchtbarer Boden für weitere architektonische Innovationen ist.