🤖 machine learning

Online Vector Quantized Attention

Dieser Artikel stellt die Online-Vector-Quantized (OVQ)-Aufmerksamkeit vor, eine Schicht zur Sequenzmischung, die durch spärliche Speicheraktualisierungen lineare Rechenkosten und konstante Speicherkosten bei gleichzeitig signifikant verbesserter Leistung im Langkontext erreicht und damit eine wettbewerbsfähige Alternative zur Selbst-Aufmerksamkeit mit einem Bruchteil des Speicherverbrauchs bietet.

Ursprüngliche Autoren: Nick Alonso, Tomas Figliolia, Beren Millidge

Veröffentlicht 2026-05-18

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nick Alonso, Tomas Figliolia, Beren Millidge

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das „zu große" und das „zu kleine" Gehirn

Stellen Sie sich vor, Sie versuchen, einen massiven Roman mit 100.000 Seiten zu lesen, um eine spezifische Frage über einen Charakter zu beantworten, der auf Seite 5 erwähnt wird.

Der alte Weg (Self-Attention): Dies ist wie ein superintelligenter Assistent, der bei jeder Frage das gesamte Buch liest. Er erinnert sich perfekt an jedes einzelne Wort. Um dies zu tun, benötigt er jedoch eine Bibliothek von der Größe einer Stadt, um all diese Notizen zu speichern. Je länger das Buch wird, desto größer wird die Bibliothek und desto langsamer wird der Assistent. Es ist genau, aber teuer und langsam.
Der effiziente Weg (Linear Attention/SSMs): Dies ist wie ein Assistent, der nur ein winziges Notizbuch führt. Er fasst das Buch zusammen, während er liest, und behält nur die wichtigsten Statistiken bei. Er ist unglaublich schnell und benötigt nur ein taschengroßes Notizbuch. Aber da das Notizbuch so klein ist, vergisst er oft die spezifischen Details, die für lange, komplexe Geschichten benötigt werden. Er hat Schwierigkeiten, diesen auf Seite 5 erwähnten Charakter zu finden, wenn das Buch 100.000 Seiten lang ist.

Das Ziel: Die Autoren wollten einen Assistenten bauen, der so schnell und speichereffizient ist wie der Typ mit dem „Taschennotizbuch", aber so klug und detailliert wie der Typ mit der „Stadt-Bibliothek".

Die Lösung: Der „intelligente Aktenschrank" (OVQ-Attention)

Die Autoren entwickelten eine neue Methode namens Online Vector Quantized (OVQ) Attention. Stellen Sie sich dies als einen intelligenten Aktenschrank vor, der sich in Echtzeit aktualisiert.

So funktioniert es, Schritt für Schritt:

1. Das Wörterbuch (Die Ordner)

Anstatt jedes einzelne Wort zu merken (wie die Stadt-Bibliothek) oder nur eine Zusammenfassung (wie das Taschennotizbuch), verwendet dieses System ein Wörterbuch aus Ordnern.

Stellen Sie sich einen Schrank mit beispielsweise 4.000 leeren Ordnern vor.
Während der Assistent das Buch liest, schreibt er nicht jedes Wort auf. Stattdessen betrachtet er den aktuellen Satz und fragt: „In welchen dieser 4.000 Ordner passt dieser Satz am besten?"
Er legt den Satz in diesen Ordner ab.

2. Die „Online"-Magie (Aktualisierung der Ordner)

In früheren Versionen dieser Idee waren die Ordner vor dem Lesen des Buches durch den Assistenten bereits festgelegt. Wenn das Buch Wörter enthielt, die die Ordner nicht erwarteten, geriet der Assistent in Verwirrung.

Bei OVQ-Attention sind die Ordner am Anfang leer. Während der Assistent das Buch liest:

Er erstellt bei Bedarf neue Ordner, wenn er etwas Einzigartiges sieht.
Er aktualisiert die bestehenden Ordner, um besser zu dem zu passen, was er gerade sieht.
Entscheidend: Er aktualisiert nur den spezifischen Ordner, zu dem der aktuelle Satz gehört. Er schreibt nicht den gesamten Schrank um. Dies hält die Arbeit schnell (linear) und den Speicherverbrauch gering (konstant).

3. Das „sparse" Update (Der effiziente Trick)

Normalerweise benötigen Sie, wenn Sie sich mehr Details merken wollen, einen größeren Schrank, der mehr Platz einnimmt.

Der Trick des Papers: Die Autoren erkannten, dass Sie selbst bei einem Schrank mit 100.000 Ordnern immer nur wenige davon gleichzeitig berühren.
Da die Updates sparse sind (Sie berühren nur den spezifischen Ordner, der für den aktuellen Satz relevant ist), wächst der Aufwand zum Aktualisieren des Schranks nicht nur deshalb, weil der Schrank riesig ist.
Ergebnis: Sie können einen massiven Schrank haben (hohe Speicherkapazität), ohne die „Aufwandssteuer" eines massiven Schranks zu zahlen. Sie bekommen das Beste aus beiden Welten: riesiger Speicher, geringe Kosten.

Die Ergebnisse: Wie gut hat es funktioniert?

Die Autoren testeten diesen „intelligenten Aktenschrank" an mehreren Herausforderungen:

Der „Nadel im Heuhaufen"-Test (In-Context Recall):
- Die Aufgabe: Ein spezifisches Schlüssel-Wert-Paar (wie eine Telefonnummer) in einem riesigen Textblock verstecken und das Modell später auffordern, es zu finden.
- Das Ergebnis: Die alten „Taschennotizbuch"-Modelle versagten nach einer bestimmten Länge kläglich. Die „Stadt-Bibliothek"-Modelle funktionierten perfekt, waren aber langsam. Das OVQ-Attention-Modell funktionierte fast genauso perfekt wie die Stadt-Bibliothek, selbst mit einem viel kleineren Speicherbedarf, und konnte Texte mit bis zu 64.000 Wörtern verarbeiten.
Der „Lernen während des Lesens"-Test (In-Context Learning):
- Die Aufgabe: Dem Modell eine Reihe von Beispielen für eine neue Regel geben (z. B. „Wenn Sie X sehen, tun Sie Y") und es auffordern, diese Regel später im Text auf neue Sätze anzuwenden.
- Das Ergebnis: Das OVQ-Modell lernte die Regeln genauso gut wie die schweren, langsamen Modelle, während die effizienten, aber dumm wirkenden Modelle versagten, die komplexen Muster zu lernen.
Lange Geschichten lesen (Sprachmodellierung):
- Wenn das Modell aufgefordert wurde, das nächste Wort in einer langen Geschichte vorherzusagen (unter Verwendung des PG19-Datensatzes), schnitt das OVQ-Modell trotz eines Bruchteils des Speicherverbrauchs wettbewerbsfähig mit den besten Standardmodellen ab.

Das Geheimnis: Gaußsche Mischungsregression

Das Paper erklärt die Mathematik dahinter mit einem Konzept namens Gaußsche Mischungsregression.

Einfache Analogie: Stellen Sie sich vor, Sie versuchen, das Wetter basierend auf einer Wolke vorherzusagen.
- Standardmodelle versuchen, die Wolke mit jeder vergangenen Wolke abzugleichen, die sie je gesehen haben.
- OVQ-Attention gruppiert Wolken in „Typen" (z. B. „Gewitterwolke", „Flauschwolke").
- Wenn neue Wolken erscheinen, merkt sich das System sie nicht einfach; es passt die Definition der „Gewitterwolke" an, um besser zu den neuen Daten zu passen. Es lernt die Form der Wolkenarten während des Lesens, was seine Vorhersagen über lange Zeiträume hinweg viel genauer macht.

Zusammenfassung

Das Paper stellt OVQ-Attention vor, eine neue Methode für KI, lange Texte zu verarbeiten.

Alte effiziente Modelle: Schnell und klein, aber vergesslich.
Alte leistungsstarke Modelle: Klug und detailliert, aber langsam und speicherhungrig.
OVQ-Attention: Verwendet ein dynamisches, sich selbst aktualisierendes Ablagesystem. Es behält einen kleinen, konstanten aktiven Speicher bei, kann aber eine massive Menge an Informationen speichern, indem es sie in Cluster organisiert. Es lernt diese Cluster während es liest, was es ermöglicht, sowohl schnell als auch über sehr lange Kontexte hinweg (bis zu 64k Tokens) unglaublich intelligent zu sein.

Die Autoren kommen zu dem Schluss, dass dies ein großer Schritt nach vorn ist, um KI-Modelle zu schaffen, die sowohl effizient sind als auch in der Lage sind, lange, komplexe Aufgaben zu bewältigen, ohne Supercomputer zu benötigen.

Technische Zusammenfassung: Online Vektorquantisierte Aufmerksamkeit

1. Problemstellung

Standard-Schichten zur Sequenzmischung in Large Language Models (LLMs) stehen vor einem grundlegenden Zielkonflikt zwischen Recheneffizienz und Leistung bei langen Kontexten.

Self-Attention: Obwohl sie für Aufgaben mit langen Kontexten (Lernen im Kontext, Schlussfolgern, Abruf) hochwirksam ist, verursacht sie quadratische Rechenkosten ( $O(T^2)$ ) und linear wachsende Speicherkosten ( $O(T)$ ), was sie für sehr lange Sequenzen teuer macht.
Lineare Aufmerksamkeit und State Space Models (SSMs): Diese bieten lineare Rechenkosten ( $O(T)$ ) und konstanten Speicher ( $O(1)$ ). Allerdings leiden sie unter signifikanten Leistungseinbußen bei Aufgaben, die eine präzise Verarbeitung von Informationen über große Distanzen erfordern, aufgrund ihrer begrenzten Speicherkapazität.
Vektorquantisierte (VQ) Aufmerksamkeit: Ein vorheriger Ansatz (Lingle, 2023), der lineare Berechnung und konstanten Speicher durch Quantisierung von Schlüsseln in ein festes Wörterbuch von Zentroiden erreicht. Vorläufige Tests zeigten jedoch, dass die ursprüngliche VQ-Aufmerksamkeit bei Aufgaben mit langen Kontexten Schwierigkeiten hat. Die Hauptengpass wurde als das statische, vortrainierte Schlüsselwörterbuch ( $D_k$ ) identifiziert, das Schlüssel während des Vorwärtsdurchlaufs nicht effektiv modelliert, was zu Quantisierungsfehlern führt, die die Leistung verschlechtern. Eine Vergrößerung des Wörterbuchs erbrachte abnehmende Grenzerträge.

2. Methodik: Online Vektorquantisierte (OVQ) Aufmerksamkeit

Die Autoren schlagen Online Vektorquantisierte (OVQ) Aufmerksamkeit vor, eine neuartige Schicht zur Sequenzmischung, die sowohl das Schlüsselwörterbuch ( $D_k$ ) als auch das Wertwörterbuch ( $D_v$ ) online während des Vorwärtsdurchlaufs lernt.

Theoretische Grundlage: Gaußsche Mischungsregression (GMR)

Die Arbeit stellt einen theoretischen Zusammenhang zwischen OVQ-Aufmerksamkeit und Gaußscher Mischungsregression (GMR) her.

Self-Attention als GKR: Standard-Self-Attention ist unter spezifischen Annahmen äquivalent zur Gaußschen Kernel-Regression (GKR).
VQ-Aufmerksamkeit als GMR: Die Autoren zeigen, dass VQ-Aufmerksamkeit (und folglich OVQ) enger mit GMR verwandt ist. Bei GMR wird ein Gaußsches Mischungsmodell (GMM) an einen Datensatz von Eingabe-Ausgabe-Paaren (Schlüssel und Werte) angepasst.
Der Zusammenhang: Die Vorhersageformel für GMR vereinfacht sich unter den Annahmen von Einheitsnorm-Abfragen/Schlüsseln und isotroper Kovarianz zur linearen Zeit-VQ-Aufmerksamkeitsgleichung:
$O_{ovq} = \text{softmax}(\beta Q D_k^\top + \log(c)) D_v$
wobei $c$ die Anzahl der Schlüssel darstellt, die jedem Zentroid zugeordnet sind.
Implikation: Im Gegensatz zur Standard-VQ-Aufmerksamkeit, die $D_k$ und $D_v$ separat lernt (Vortraining vs. Online), lernt GMR sie simultan, um denselben Datensatz anzupassen. Dies motiviert den OVQ-Ansatz, beide Wörterbücher online zu lernen, um die bedingte Verteilung $P(V|K)$ genau zu modellieren.

Formulierung des Online-Lernens

OVQ-Aufmerksamkeit operiert innerhalb eines Testzeit-Trainingsrahmens unter Verwendung einer chunk-parallelen Formulierung:

Vorhersage: Für jeden Chunk von Abfragen berechnet das Modell die Aufmerksamkeit unter Verwendung des aktuellen Zustands der Wörterbücher ( $D_k, D_v$ ) und der Zählvektoren ( $c$ ). Im Gegensatz zur ursprünglichen VQ-Aufmerksamkeit werden die Schlüssel und Werte des aktuellen Chunks nicht quantisiert, bevor sie in die Aufmerksamkeit berechnung einfließen; sie werden direkt an die Wörterbücher angehängt.
Zustandsaktualisierung: Nach der Generierung von Vorhersagen aktualisiert das Modell die Wörterbücher unter Verwendung der Schlüssel und Werte des aktuellen Chunks.
- Wörterbuchwachstum: Die Anzahl der Zentroiden ( $N_t$ ) wächst asymptotisch gegen ein Maximum $N$ unter Verwendung einer sich abflachenden Wachstumfunktion, die vom Dirichlet-Prozess inspiriert ist. Dies ermöglicht dem Modell, seine Speicherkapazität dynamisch anzupassen.
- Initialisierung der Zentroiden: Neue Zentroiden werden mit einem „Spread-maximierenden" Schema initialisiert (ähnlich wie k-means++), wobei Datenpunkte mit den kleinsten Skalarprodukten zu bestehenden Zentroiden ausgewählt werden, um Diversität sicherzustellen.
- Aktualisierungsregel: Bestehende Zentroiden werden über eine Online-Version des Batch-K-means-Updates aktualisiert. Die Autoren beweisen, dass unter ihren Annahmen das erste Batch-EM-Update an einem GMM einem Newton-Update auf der Negativen Log-Likelihood (NLL) entspricht, was eine Approximation zweiter Ordnung zur Minimierung des Verlusts liefert.

Rechen Eigenschaften

Speicher: OVQ behält konstanten Speicher ( $O(N)$ ) unabhängig von der Sequenzlänge bei, da der Zustand durch die Wörterbücher und Zählungen definiert ist, nicht durch die vollständige Sequenz.
Berechnung: Die Schicht verursacht lineare Rechenkosten ( $O(T)$ ). Die Aktualisierungsoperation ist spärlich; jedes Token in einem Chunk aktualisiert nur eine einzelne Zeile der Wörterbücher. Dies ermöglicht, dass die Zustandsgröße ( $N$ ) erheblich erhöht werden kann, ohne den Speicherbedarf des Aktualisierungstensors zu vergrößern, im Gegensatz zur linearen Aufmerksamkeit, bei der sich die Zustandsaktualisierungen mit der Zustandsdimension skalieren.

3. Hauptbeiträge

Vorschlag von OVQ-Aufmerksamkeit: Eine neue Schicht zur Sequenzmischung, die sowohl Schlüssel- als auch Wertwörterbücher online lernt und die Einschränkung statischer Wörterbücher der vorherigen VQ-Aufmerksamkeit überwindet.
Theoretischer Rahmen: Eine neuartige Herleitung, die OVQ-Aufmerksamkeit mit Gaußscher Mischungsregression verknüpft und eine fundierte Basis für den Online-Lernalgorithmus bietet, einschließlich Wörterbuchwachstum und spärlicher Aktualisierungsregeln.
Empirische Validierung: Umfassende Tests an synthetischen Aufgaben (Abruf im Kontext, Lernen im Kontext) und der Sprachmodellierung mit langen Kontexten (PG19).

4. Experimentelle Ergebnisse

Die Autoren bewerteten OVQ-Aufmerksamkeit gegen starke Baselines, einschließlich vollständiger Self-Attention, linearer Aufmerksamkeit und SSMs (z. B. Mamba, Gated Delta Net).

Synthetischer Abruf im Kontext (ICR):
- OVQ-Aufmerksamkeit übertraf die ursprüngliche VQ-Aufmerksamkeit und Baselines der linearen Aufmerksamkeit bei den Aufgaben „Basic ICR" und „Positional ICR" erheblich.
- Sie erreichte oder weichte leicht von Baselines der vollständigen Self-Attention bis zu 64k Sequenzlängen ab, trotz der Verwendung einer Zustandsgröße von nur 10–25 % der von vollständiger Self-Attention verwendeten Größe.
- Die Leistung verbesserte sich mit größeren Wörterbuchgrößen zum Testzeitpunkt und demonstrierte eine effektive Extrapolation der Länge.
Synthetisches Lernen im Kontext (ICL):
- Bei einer linearen Regressionsaufgabe mit langen Kontexten und mehreren Funktionen lernte OVQ-Aufmerksamkeit in Szenarien mit bis zu 128 verschiedenen Funktionen erfolgreich alle Funktionen und erreichte die Leistung der vollständigen Self-Attention.
- Die ursprüngliche VQ-Aufmerksamkeit und Baselines der linearen Aufmerksamkeit versagten beim Erlernen selbst einer einzigen Funktion in diesen schwierigen Szenarien mit langen Kontexten.
Sprachmodellierung mit langen Kontexten (PG19):
- Hybride Architekturen, die OVQ mit Schichten mit gleitendem Fenster verflochten, verbesserten die Leistung drastisch gegenüber reinen Modellen mit gleitendem Fenster oder Gated Delta Net.
- OVQ-Aufmerksamkeit erreichte oder übertraf leicht Standard-Baselines der Self-Attention auf dem PG19-Datensatz bei Kontextlängen von 16k.
Benchmarks mit kurzen Kontexten:
- Auf Standard-Benchmarks mit kurzen Kontexten (PIQA, HellaSwag usw.) schnitt OVQ-Aufmerksamkeit vergleichbar mit Standard-Self-Attention ab, was bestätigt, dass sie die Leistung bei Aufgaben, bei denen keine Komprimierung erforderlich ist, nicht verschlechtert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass OVQ-Aufmerksamkeit einen bedeutenden Schritt nach vorne darstellt, um Effizienz und Leistung für die Verarbeitung langer Kontexte in Einklang zu bringen.

Effizienz vs. Kapazität: Im Gegensatz zur linearen Aufmerksamkeit und SSMs verwendet OVQ-Aufmerksamkeit spärliche Speicheraktualisierungen, die unabhängig von der gesamten Zustandsgröße sind. Dies ermöglicht dem Modell, sehr große Speicherzustände (hohe Kapazität) zu nutzen, während ein konstanter Speicherbedarf und lineare Rechenkosten beibehalten werden.
Potenzial für kontinuierliches Lernen: Die Autoren schlagen vor, dass die spärliche, Online-Clustering-Natur von OVQ-Aufmerksamkeit sie inhärent widerstandsfähiger gegen „katastrophales Vergessen" macht als die dichten Gradientenaktualisierungen, die bei linearer Aufmerksamkeit/SSMs verwendet werden. Dies positioniert OVQ als vielversprechenden Kandidaten für Szenarien des kontinuierlichen Lernens, bei denen sich Datenverteilungen im Laufe der Zeit verschieben.
Skalierbarkeit: Obwohl aktuelle Experimente auf einer relativ kleinen Skala liegen (<500 Millionen Parameter), deuten die theoretischen Eigenschaften der Architektur darauf hin, dass sie ein gangbarer Weg hin zu effizienten LLMs mit langen Kontexten ohne die quadratischen Kosten der Self-Attention ist.

Die Arbeit schließt, dass OVQ-Aufmerksamkeit eine überzeugende Alternative zur Self-Attention bietet, die bei Aufgaben mit langen Kontexten wettbewerbsfähige Leistung mit einem Bruchteil des Speicherbedarfs erzielt und damit eine wichtige Forschungsrichtung für effiziente Sequenzmodellierung markiert.