🤖 machine learning

Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers

Dieses Paper führt Looped Latent Attention (LLA) ein, einen Post-Training-Codec, der die Low-Rank-Struktur von loop-indizierten KV-Caches in gewichtstetigen Transformern ausnutzt, um eine extreme Kompression (bis zu 32x) zu erreichen und die Batch-Kapazität signifikant zu erhöhen, während durch SVD-Initialisierung und Destillation eine nahezu verlustfreie Performance beibehalten wird.

Ursprüngliche Autoren: James O' Neill, Fergal Reid

Veröffentlicht 2026-07-20

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: James O' Neill, Fergal Reid

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Gedächtnisproblem in KI-Gehirnen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Schreiben einer Geschichte beizubringen. Der Roboter hat ein Gehirn, das aus Millionen winziger Schalter (Parameter) besteht, die wissen, wie Wörter zusammenpassen. Aber hier ist der Haken: Um eine lange Geschichte zu schreiben, kann der Roboter nicht einfach nur in sein Gehirn schauen; er braucht einen Notizblock. Jedes Mal, wenn er ein neues Wort schreibt, muss er sich an alles erinnern, was er gerade geschrieben hat, damit er sich nicht wiederholt oder den Faden verliert. In der Welt der Künstlichen Intelligenz wird dieser Notizblock als KV-Cache bezeichnet. Es ist ein privates Notizbuch für jedes einzelne Gespräch, und es wird mit jedem Wort, das der Roboter spricht, größer.

Stellen Sie sich nun einen speziellen Typ von Roboter vor, der darauf ausgelegt ist, super effizient zu sein. Anstatt ein riesiges Gehirn mit vielen verschiedenen Räumen (Layern) für unterschiedliche Aufgaben zu haben, besitzt dieser Roboter einen kleinen, klugen Raum, den er immer wieder besucht. Er nutzt denselben Satz von Anweisungen wieder und durchläuft sie in einer Schleife, um tiefer nachzudenken. Dies nennt man einen Looped Transformer. Er spart Platz im Gehirn selbst, was großartig ist. Aber es gibt ein heimliches Problem: Obwohl der Roboter denselben Raum wiederverwendet, schreibt er bei jedem Durchlauf der Schleife eine neue Seite in seinen Notizblock. Wenn der Roboter vier Mal durch die Schleife geht, um ein Matheproblem zu lösen, endet er mit vier separaten Seiten an Notizen für denselben Moment in der Geschichte. Das bedeutet, dass der „geloopte“ Roboter immer noch eine massive Menge an Speicher benötigt, um zu laufen, was den Zweck der Effizienz zunichtemacht. Die große Frage für Wissenschaftler lautet: Können wir diesen Notizblock schrumpfen, ohne dass der Roboter vergisst, wie man denkt?

Die Entdeckung des Papers: Eine geheime Abkürzung in den Notizen

Dieses Paper führt einen cleveren Trick namens Looped Latent Attention (LLA) ein, um dieses Gedächtnisproblem zu lösen. Die Forscher entdeckten, dass die Notizen des Roboters gar nicht so chaotisch sind, wie sie aussehen. Wenn der Roboter seinen Denkprozess durch die Schleifen durchläuft, ändern sich die Notizen, die er für dasselbe Wort schreibt, nicht wild; sie folgen einem glatten, vorhersehbaren Pfad, wie eine Murmel, die einen sanften Hügel hinunterrollt. Anstatt jede einzelne Seite des Notizblocks des Roboters zu speichern, speichert die neue Methode nur eine winzige „Zusammenfassung“ dieses Pfades und einen Satz von Anweisungen, wie die spezifischen Seiten wieder aufgebaut werden können, wenn der Roboter sie tatsächlich lesen muss.

Denken Sie an Folgendes: Stellen Sie sich vor, Sie beobachten einen Film, in dem der Hauptcharakter einen Flur entlangläuft. In einem normalen Computer würden Sie von jedem einzelnen Schritt, den der Charakter macht, ein vollfarbiges Hochglanzfoto speichern. Das verbraucht eine enorme Menge an Speicherplatz. Aber mit LLA erkennen Sie, dass der Charakter einfach nur in einer geraden Linie läuft. Anstatt also tausende Fotos zu speichern, speichern Sie ein Foto des Charakters und eine einfache Notiz: „Gehe bei Schritt 2 einen Zoll vorwärts, 2 Zoll bei Schritt 3“. Wenn der Computer den Charakter bei Schritt 3 sehen muss, zeichnet er dieses Bild schnell mithilfe der Notiz nach. Genau das macht das Paper für die KI: Es komprimiert den „Loop“-Teil des Gedächtnisses und verwandelt einen Stapel von vier Seiten in eine einzige, winzige Zusammenfassung, die sofort wieder zu den vollen Seiten expandiert werden kann.

Die Forscher testeten dies an mehreren KI-Modellen, darunter eines namens Ouro-1.4B. Sie fanden heraus, dass diese Methode unglaublich gut funktioniert. Tatsächlich konnten sie auf einem leistungsstarken Computerchip namens H200 gleichzeitig 768 verschiedene Gespräche im Speicher unterbringen, während es vorher nur 32 waren. Das ist ein massiver Sprung in der Anzahl der Menschen, die die KI gleichzeitig nutzen können. Sie zeigten auch, dass dieser Trick selbst dann funktioniert, wenn die KI sehr lange, schwierige Matheaufgaben löst, obwohl sie ein wenig zusätzliches Training benötigt, um nicht verwirrt zu werden, wenn sie ihre eigene Geschichte schreibt, anstatt nur einem Lehrer zu kopieren.

Was dieses Paper „Nein“ sagt

Es ist wichtig zu wissen, was diese Methode nicht ist. Die Forscher testeten zuerst eine sehr einfache Idee: „Was wäre, wenn wir einfach die ersten drei Seiten der Notizen wegwerfen und nur die allerletzte behalten?“ Sie dachten, vielleicht beruhigt sich der Roboter nach ein paar Schleifen auf eine endgültige Antwort, sodass die früheren Notizen nicht mehr wichtig sind. Sie probierten dies aus, und es war eine Katastrophe. Die KI vergaß völlig, wie man rechnet, und erzielte Null Punkte in Tests. Dies beweist, dass der „Pfad“, den die Notizen nehmen, wichtig ist; man kann nicht einfach den Endpunkt greifen. Man muss die Reise erfassen.

Sie verglichen ihre Methode auch mit anderen Wegen, den Speicher zu verkleinern, wie etwa das Zusammendrücken der Notizen (Quantisierung) oder das Teilen von Notizen zwischen verschiedenen Teilen des Gehirns (Head-Axis-Compression). Während diese Methoden ein wenig helfen, zeigt das Paper, dass die Komprimierung der „Loop“-Achse die Geheimzutat ist. Wenn man versucht, die anderen Teile anstatt der Loops zu komprimieren, verliert die KI ihre Fähigkeit zu logischem Denken. Das Paper ist sehr deutlich: Der Loop ist der redundanteste Teil des Gedächtnisses, und das ist der einzige Ort, an dem man pressen sollte.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich in diese Ergebnisse, weil sie diese direkt gemessen haben. Sie haben nicht nur geraten; sie ließen die KI reale Aufgaben lösen, wie das Lösen von Matheproblemen (GSM8K) und das Schreiben von Code (HumanEval). Sie zeigten, dass die KI mit einer 4-fachen Komprimierung (sie machen den Speicher 4-mal kleiner) immer noch fast so gut funktioniert wie die ursprüngliche, unkomprimierte Version. Als sie die extreme Komprimierung auf das 21,3-fache trieben, konnte die KI immer noch viele Aufgaben bewältigen, begann aber, bei den sehr langen, komplexen Denkproschritten zu kämpen.

Sie testeten dies auch auf einem anderen Typ von KI-Modell namens Huginn-3.5B, das eine andere Gehirnstruktur hat und bis zu 32 Mal loopt. Selbst dort funktionierte die Methode, was beweist, dass dies kein Zufall für einen spezifischen Roboter ist. Das Paper legt nahe, dass dieser „Low-Rank-Trajektorie“ (der glatte Pfad der Notizen) eine fundamentale Eigenschaft der Art und Weise ist, wie diese loopenden Roboter denken. Während sie bewiesen haben, dass es zur Speichereinsparung und Kapazitätssteigerung funktioniert, merken sie an, dass die KI für die absolut beste Leistung bei sehr langen Aufgaben eine zweite Runde des Trainings benötigt, in der sie mit ihren eigenen komprimierten Notizen übt, anstatt nur einem Lehrer zu kopieren. Dieses „On-Policy“-Training behebt die kleinen Fehler, die auftreten, wenn der Roboter beginnt, seine eigene Geschichte zu schreiben.

Kurz gesagt zeigt dieses Paper, dass wir die looping KI-Modelle viel effizienter machen können, indem wir erkennen, dass ihr Gedächtnis auf eine spezifische Weise repetitiv ist. Indem wir eine winzige Zusammenfassung dieser Wiederholung speichern, anstatt die vollständigen Notizen, können wir hunderte Male mehr Gespräche auf einem einzigen Computerchip unterbringen, was leistungsstarke KI für mehr Menschen verfügbar macht, ohne dass extrem teure Hardware benötigt wird.

Technisches Resümee: Looped Latent Attention (LLA)

Problemstellung

In gewichtsgebundenen, iterativen (looped) Transformer-Modellen wird ein einzelner Block wiederholt angewendet (Rekursion), um die Anzahl der Parameter zu reduzieren. Während dies die Modellgewichte effektiv komprimiert, bleibt der Flaschenhals im Inferenzspeicher der Key/Value (KV)-Cache. Im Standard-Loop-Inferenzprozess berechnet das Modell die Attention bei jedem Rekursionsschritt neu und speichert einen separaten KV-Cache für jeden Schritt, jede Schicht und jeden Kopf. Folglich trägt ein Modell mit $T$ Schleifen über $D$ Schichten einen KV-Cache, der einem $T \times D$ Schichten starken Decoder entspricht, was den Vorteil der Gewichtsbindung zunichtemacht.

Das Paper postuliert, dass dieser schleifenindizierte Cache eine hochgradig strukturierte Form besitzt. Für ein festes Token, eine Schicht und einen Kopf beschreiben die K/V-Vektoren über die Rekursionsschritte hinweg eine kurze, niedrigdimensionale Trajektorie (low-rank trajectory), anstatt einen hochdimensionalen Raum zu explorieren. Die Redundanz ist spezifisch für die Schleifenachse (loop axis); die Spektren entlang der Kopf- und Schichtachsen bleiben signifikant flacher (höherer Rang). Die Herausforderung besteht darin, diese Rekursionsachse zu komprimieren, ohne die Trajektorie zu einem einzigen fixen Punkt kollabieren zu lassen, was die Leistung beeinträchtigen würde.

Methodik: Looped Latent Attention (LLA)

Die Autoren führen Looped Latent Attention (LLA) ein, einen Post-Training-Cache-Codec, der die $T$ pro-Schleife vorhandenen K/V-Vektoren durch eine kompakte latente Repräsentation und schleifenspezifische Rekonstruktions-Maps ersetzt.

Kernmechanismus

Latente Speicherung: Anstatt $T$ $T$ Vektoren ( $x_1, \dots, x_T$ $x_{1}, \dots, x_{T}$ ) für ein spezifisches Token, eine Schicht und einen Kopf zu speichern, speichert LLA einen einzelnen zentrierten Low-Rank-Latent-Vektor $c \in \mathbb{R}^r$ $c \in R^{r}$ .
- $c = (x - \mu)W_{\text{down}}$
- Hierbei ist $\mu$ der Mittelwert eines Kalibrierungsdatensatzes und $W_{\text{down}}$ eine Down-Projektionsmatrix.
Schleifenspezifische Rekonstruktion: Der spezifische K/V-Vektor für den Rekursionsschritt $t$ $t$ wird mittels einer schleifenspezifischen Up-Projektion rekonstruiert:
- $\hat{x}_t = c W_{\text{up},t}^\top + \mu_t$
Asymmetrische Ränge: Die Methode verwendet separate Ränge für Keys ( $r_k$ ) und Values ( $r_v$ ). Empirische Analysen zeigen, dass sich Value-Vektoren über die Schleifen hinweg langsamer stabilisieren als Key-Vektoren, was ein $r_v > r_k$ motiviert.
LLA-2D-Variante: Für extreme Kompression faltet LLA die Kopf-Achse (head axis) in den Latenten ein und speichert einen einzigen Latenten pro Token und Schicht, um alle $H$ Köpfe zu rekonstruieren. Dies reduziert die Cache-Größe um den Faktor $H$ , koppelt jedoch die Köpfe miteinander.

Training und Initialisierung

SVD-Initialisierung: Der Codec wird mittels Singularwertzerlegung (SVD) der Teacher-Aktivierungen auf einem Kalibrierungsdatensatz initialisiert. Die Down-Projektion wird durch die Top- $r$ rechtsseitigen Singulärvektoren gesetzt. Diese Initialisierung ist entscheidend; eine zufällige Initialisierung führt zu einer signifikant höheren KL-Divergenz.
Destillation: Der Codec wird verfeinert, indem das Teacher-Modell eingefroren wird und die Forward-KL-Divergenz zwischen der Verteilung des Teachers und der des ausgetauschten Modells minimiert wird, ergänzt durch einen Attention-Output-Matching-Term.
On-Policy-Verfeinerung: Um das Exposure-Bias bei langen autoregressiven Durchläufen (wo das Modell auf seinen eigenen generierten Präfixen basiert statt auf denen des Teachers) zu adressieren, wird eine zweite Stufe der On-Policy-Destillation eingesetzt. Der Codec wird unter Verwendung von Präfixen aktualisiert, die aus dem Student-Modell selbst gesampelt wurden, was die Stabilität bei langen Generationen erhöht.

Zentrale Beiträge

Definition von LLA: Ein kreuz-schleifenbasierter (cross-loop) latenter K/V-Codec für gewichtsgebundene Transformer, der ein Kompressionsverhältnis von $\rho = \frac{2Td_{\text{head}}}{r_k + r_v}$ erreicht. Er speichert $(r_k + r_v)H$ Skalare pro Token pro Schicht anstelle von $2Td_{\text{head}}$ .
Achsenspezifische Kompression: Das Paper zeigt, dass die Rekursionsachse (loop axis) die am leichtesten komprimierbare Dimension in iterativen Modellen ist (Ouro-1.4B, Ouro-2.6B-Thinking und Huginn-3.5B). Die Kompression der Schleifenachse übertrifft die Kompression der Kopf-Achse (MLA), der Schicht-Achse (Cross-Layer-Sharing) oder die Anwendung von Quantisierung bei gleichem Cache-Budget.
Ablehnung des Fixed-Point-Kollapses: Die Autoren zeigen, dass die Schleifen-Trajektorie nicht durch einen einzigen Zustand (den finalen Loop) ersetzt werden kann. Ein Zero-Parameter-Control, der nur den K/V-Vektor des finalen Loops wiederverwendet, lässt die Performance der Generierung kollabieren (GSM8K Genauigkeit sinkt auf 0.000), was beweist, dass die „kurze, niedrigdimensionale Trajektorie“ notwendig ist.
Auswirkungen auf die Bereitstellung (Deployment): Die exakte Reduktion der Skalare übersetzt sich direkt in eine höhere Serving-Kapazität. Auf einer einzelnen H200 GPU erhöht LLA die maximale Batch-Größe für Ouro-1.4B bei 4k Kontext von 32 auf 768 Sequenzen (bei 21,3-facher Kompression).

Experimentelle Ergebnisse

Kompression vs. Genauigkeit

GSM8K-Performance: Bei Ouro-1.4B erreicht leichte Kompression (1,33× bis 2×) die Genauigkeit des Teachers (ca. 0,79–0,80). Bei 4× Kompression hält LLA eine Genauigkeit von 0,59 aufrecht, was signifikant besser ist als die Kopf-Achsen-Kompression (0,52) und die Wiederverwendung des finalen Loops (0,00).
Skalierungs-Generalisierung: Bei Ouro-2.6B-Thinking bleibt LLA über 4× bis 10,67× Kompression hinweg nahezu verlustfrei (0,81–0,83), während die Kopf-Achsen-Baselines einen erheblichen Genauigkeitsverlust erleiden.
Transfer auf Huginn: Die Methode überträgt sich auf Huginn-3.5B (32 Rekursionsschritte). Ein trainingsfreier SVD-Codec erreicht eine nahezu verlustfreie Fidelität bis zu 32× in decoder-unabhängigen Metriken.

Stabilität bei langen Generationen

MATH-500: Lange mathematische Durchläufe sind empfindlich gegenüber Prefix-Drift. Off-Policy-Training (unter Verwendung von Teacher-Präfixen) führt zu einer Degradation der Genauigkeit und hohen "No-Answer"-Raten, wenn die Generationslänge zunimmt.
On-Policy-Gewinn: Die Anwendung der On-Policy-Verfeinerung steigert die MATH-500 Genauigkeit von 0,43 auf 0,66 bei 4× Kompression und reduziert die Anzahl der "No-Answer"-Generationen signifikant.

Serving-Kapazität

Speicherreduktion: Die Reduktion des Caches ist exakt. Bei 21,3× Kompression sinkt der KV-Cache für Ouro-1.4B bei 1M Kontext von 768 GiB auf 36 GiB.
Durchsatz: Der "Latent-Store Capacity Path" (Speichern nur der Latenten) ist rechengebunden (compute-bound), ermöglicht aber Batches und Kontexte, die zuvor aufgrund von OOM (Out of Memory) unmöglich waren. Der "Fast Path" (Rekonstruktion und Speicherung voller K/V) bewahrt den Durchsatz, realisiert aber nicht die Speicherersparnis.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Rekursion die am leichtesten komprimierbare Cache-Achse in gewichtsgebundenen, iterativen Transformern ist. Die Bedeutung liegt in:

Mechanistischem Verständnis: Es identifiziert, dass die Schleifenachse spektral verschieden (niedrigerer Rang) von der Kopf- und Schichtachse ist, was eine effiziente Kompression ermöglicht, ohne das dynamische Verhalten des Modells in einen statischen Fixpunkt kollabieren zu lassen.
Praktischer Implementierung: Es bietet eine Post-Training-Lösung, die direkt die Batch-Größe und die Kontextlängen-Kapazitäten auf bestehender Hardware erhöht, ohne das zugrunde liegende Modell zu neu trainieren.
Zukünftige Richtung: Die Ergebnisse legen nahe, dass native rekursive Architekturen von entkoppelten latenten Caches profitieren könnten, bei denen die Rekursion gemeinsamen Inhalt plus kostengünstige pro-Schleifen-Deltas berechnet, anstatt volle K/V-Zustände neu zu materialisieren.

Die Autoren betonen, dass ihre Genauigkeitsansprüche nicht auf implementierten Absorptions-Attention-Methoden beruhen; das Kernergebnis ist die Validität der Annahme der niedrigdimensionalen Trajektorie und die Effektivität des Codecs bei der Bewahrung des Teacher-Verhaltens unter strengen Speicherbeschränkungen.