💬 NLP

KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference

KV-Fold ist ein einfaches, trainingsfreies Protokoll für die Inferenz mit langen Kontexten, das den KV-Cache als Linksfalt-Akkumulator behandelt, um eine stabile, speichereffiziente Sequenzverarbeitung über tiefe Ketten hinweg zu ermöglichen, ohne dass ein Nachtrainieren des Modells oder architektonische Änderungen erforderlich sind.

Ursprüngliche Autoren: Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine brillante, überaus kluge Bibliothekarin (das KI-Modell), die ein Buch lesen und Fragen dazu beantworten kann. Aber es gibt einen Haken: Diese Bibliothekarin hat einen sehr kleinen Schreibtisch. Sie kann nur wenige Seiten des Buches gleichzeitig offen vor sich liegen haben. Wenn Sie ihr einen 1.000-seitigen Roman geben, kann sie nicht das gesamte Buch auf einmal lesen, ohne dass ihr Schreibtisch überläuft.

Normalerweise lösen wir dieses Problem, indem wir der Bibliothekarin entweder befehlen:

Den Anfang zu vergessen: Nur die letzten paar Seiten anzusehen (wie ein gleitendes Fenster).
Die Vergangenheit zu zusammenfassen: Versuchen, die gesamte Geschichte in eine winzige Notiz zu komprimieren (was oft Details verliert).
Einen größeren Schreibtisch zu bauen: Was teuer ist und für riesige Bücher oft unmöglich.

KV-Fold ist ein neuer, cleverer Trick, der es der Bibliothekarin ermöglicht, das gesamte Buch zu lesen, ohne einen größeren Schreibtisch zu benötigen, ohne zusammenzufassen und ohne den Anfang zu vergessen.

Die Kernidee: Der „Falt"-Trick

Stellen Sie sich das Buch als einen langen Papierstreifen vor. Anstatt zu versuchen, den gesamten Streifen auf einmal zu lesen, schneiden Sie ihn in kleine, handliche Abschnitte.

Der erste Abschnitt: Die Bibliothekarin liest den ersten Abschnitt. Während sie liest, macht sie Notizen auf einem speziellen „klebenden Zettel" (dies ist der KV-Cache). Diese Notiz enthält das Wesentliche dessen, was sie gerade gelesen hat, aber in einer Form, die es ihr ermöglicht, später auf spezifische Details zurückzugreifen.
Der nächste Abschnitt: Wenn sie zum zweiten Abschnitt übergeht, wirft sie den ersten klebenden Zettel nicht weg. Stattdessen klebt sie die neuen Notizen aus dem zweiten Abschnitt direkt neben die ersten. Nun hat sie einen längeren Streifen mit Notizen.
Die Rekursion: Sie macht dies weiterhin. Einen Abschnitt lesen, die Notizen zum wachsenden Streifen hinzufügen und zum nächsten Abschnitt übergehen.

Der Artikel nennt dies einen „Left Fold" (Linker Faltvorgang). Stellen Sie sich vor, Sie falten ein langes Stück Papier immer wieder um. Jede Faltung fügt eine neue Schicht hinzu, aber die vorherigen Schichten sind darunter immer noch vorhanden und zugänglich. Die Bibliothekarin trägt diesen wachsenden Stapel von Notizen Schritt für Schritt mit sich weiter.

Die große Überraschung: Es wird nicht „unübersichtlich"

Sie könnten denken: „Wenn ich ständig Notizen zu einem Stapel hinzufüge, wird die Bibliothekarin irgendwann verwirrt. Die Notizen von Seite 1 könnten im Lärm von Seite 500 untergehen."

Der Artikel entdeckte etwas Erstaunliches: Die Bibliothekarin wird nicht verwirrt.

Das „Drift"-Plateau: Am Anfang, wenn die Bibliothekarin vom ersten zum zweiten Abschnitt wechselt, verändert sich ihre Denkweise leicht (wie das Anpassen an einen neuen Raum). Aber schon nach wenigen Schritten hört diese Verschiebung auf. Sie erreicht ein „flaches Plateau".
Stabiler Zustand: Selbst nach dem Lesen von Hunderten von Abschnitten (in ihren Tests bis zu 511 Schritten) wird die Leistung der Bibliothekarin nicht immer schlechter. Sie bleibt stabil. Es ist, als hätte die Bibliothekarin einen angenehmen Rhythmus gefunden und sich daran gehalten.
Präzision spielt keine Rolle: Selbst wenn Sie das „Lineal" ändern, mit dem die Bibliothekarin Dinge misst (von hochpräziser Mathematik zu niedrigpräziser Mathematik), bleibt das Ergebnis gleich. Die Stabilität ist in die Logik eingebaut, nicht nur in die Mathematik.

Der „Nadel im Heuhaufen"-Test

Um zu beweisen, dass dies funktioniert, spielten die Forscher ein Spiel namens „Nadel im Heuhaufen".

Das Spiel: Sie versteckten einen bestimmten Satz (die „Nadel") tief in einem massiven Dokument (dem „Heuhaufen").
Der Test: Sie baten die Bibliothekarin, diesen Satz zu finden, nachdem sie das gesamte Dokument gelesen hatte.
Das Ergebnis:
- Alte Methoden (Streaming): Wenn sich die Nadel in den ersten paar Seiten befand, fand sie die Bibliothekarin. Befand sich die Nadel in der Mitte oder am Ende, vergaß sie sie, weil der „Schreibtisch" zu klein war.
- KV-Fold: Die Bibliothekarin fand die Nadel zu 100 %, selbst wenn sie am Anfang eines 128.000-Wörter-Dokuments vergraben war. Sie konnte sich an die genauen Details aus dem allerersten Abschnitt erinnern, selbst nachdem sie seitdem Hunderte von Abschnitten gelesen hatte.

Warum das wichtig ist (ohne Fachjargon)

Kein Neulernen: Sie müssen der Bibliothekarin keine neue Denkweise beibringen. Sie ändern nur wie Sie ihr das Buch übergeben. Die Bibliothekarin ist bereits klug genug, dies zu tun; wir haben ihr nur einen besseren Arbeitsablauf gegeben.
Speicher-Abwägung: Die Bibliothekarin muss immer noch alle Notizen (den KV-Cache) auf ihrem Schreibtisch behalten. Der Schreibtisch wächst also, je länger das Buch wird. Dies ist jedoch viel besser als zu versuchen, das gesamte Buch auf einmal im Kopf zu behalten, was für aktuelle Computer unmöglich ist.
Exakte Erinnerung: Im Gegensatz zu Methoden, die zusammenfassen oder alte Seiten wegwerfen, hält KV-Fold jedes Detail zugänglich. Wenn Sie nach etwas aus dem allerersten Satz fragen, kann die Bibliothekarin es immer noch finden.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie erzählen einer Freundin eine lange Geschichte.

Alte Art: Sie erinnern sich nur an die letzten 5 Minuten der Geschichte. Wenn ich nach dem Anfang frage, sagen Sie: „Ich weiß es nicht."
KV-Fold-Art: Sie führen eine laufende Liste aller Charaktere und Handlungspunkte, die Sie bisher erwähnt haben. Wenn Sie den nächsten Teil der Geschichte erzählen, werfen Sie einen Blick auf Ihre Liste, um sich daran zu erinnern, wer wer ist. Obwohl die Liste länger wird, werden Sie davon nicht verwirrt. Sie können immer noch antworten: „Wie hieß der Hund aus dem allerersten Satz?", weil dieser Name immer noch auf Ihrer Liste steht, perfekt bewahrt.

Der Artikel zeigt, dass KI-Modelle diese „Listen"-Fähigkeit bereits eingebaut haben. Wir mussten nur erkennen, dass wir sie als wiederholende Schleife nutzen können, um unendlich lange Bücher zu lesen, ohne den Speicher des Computers zu sprengen.

Technische Zusammenfassung: KV-Fold

Problemstellung

Große vortrainierte Transformer sind durch die quadratischen Speicherkosten der vollständigen Aufmerksamkeit und das feste Kontextfenster eines einzelnen Vorwärtsdurchlaufs begrenzt. Obwohl neuere Modelle Kontextfenster von bis zu Hunderttausenden von Token unterstützen, überschreiten reale Arbeitslasten (z. B. Code auf Repository-Ebene, longitudinale medizinische Aufzeichnungen) diese Grenzen häufig. Bestehende Lösungen stehen vor einem anhaltenden Zielkonflikt:

Streaming-Methoden (z. B. StreamingLLM) halten den Speicherbedarf begrenzt, indem sie nur die jüngsten Token und „Attention Sinks" beibehalten, verlieren jedoch die Fähigkeit, Informationen abzurufen, sobald diese das gleitende Fenster verlassen.
KV-Cache-Komprimierung und rekurrente Speicher-Methoden erfordern oft Modellmodifikationen, Feinabstimmung oder führen zu verlustbehafteten Approximationen, die die Genauigkeit des Abrufs beeinträchtigen.
Vollständige Aufmerksamkeit ist auf Standardhardware für extrem lange Sequenzen aufgrund der enormen Größe der Aufmerksamkeitsscore-Matrix rechnerisch nicht machbar (z. B. ~1 TB für eine 128K-Sequenz auf einer 40-GB-GPU).

Die Arbeit untersucht, ob ein eingefrorener, vortrainierter Transformer seinen internen Zustand über aufeinanderfolgende Blöcke hinweg tragen kann, um Langkontext-Inferenz als Rekursion durchzuführen, ohne architektonische Änderungen oder Training.

Methodik: KV-Fold

Die Autoren schlagen KV-Fold vor, ein trainingsfreies Inferenzprotokoll, das den Key-Value (KV) Cache als Akkumulator in einem linken Fold (foldl) über Sequenzblöcke behandelt.

Mechanismus: Eine lange Sequenz der Länge $T$ $T$ wird in Blöcke der Länge $C$ $C$ unterteilt. Bei der Verarbeitung des Blocks $t$ $t$ führt das Modell einen Vorwärtsdurchlauf durch, bei dem:
1. Die Queries ( $Q$ ) aus den Token des aktuellen Blocks generiert werden.
2. Die Keys ( $K$ ) und Values ( $V$ ) durch Konkatenation des KV-Caches, der aus allen vorherigen Blöcken ($0$ bis $t-1$ ) akkumuliert wurde, mit den KV-Zuständen des aktuellen Blocks gebildet werden.
3. Positionale Embeddings (RoPE) kontinuierlich über Blockgrenzen hinweg angewendet werden, um eine absolute Sequenzausrichtung zu gewährleisten.
4. Der erweiterte KV-Cache an den Block $t+1$ weitergegeben wird.
Zustand: Die Modellparameter bleiben eingefroren. Es werden keine speziellen Speicher-Token oder Feinabstimmungen eingeführt. Der KV-Cache wächst linear mit der Sequenzlänge und fungiert als strukturierter, unkomprimierter Datensatz der vergangenen Berechnungen des Modells.
Analogie: Der Prozess ist analog zu einem linken Fold in der funktionalen Programmierung, wobei der KV-Cache als Akkumulatorzustand dient, der an jeder Blockgrenze durch eine einstufige Rekursionsfunktion $F_\theta$ aktualisiert wird.

Hauptbeiträge

KV-Fold-Protokoll: Eine einfache, operative Verschiebung, die einen Standard-Transformer durch das Tragen des akkumulierten KV-Caches über Blöcke hinweg in ein rekurrentes Langkontext-Modell umwandelt.
Stabilität der Rekursion: Empirische Belege zeigen, dass die induzierte Rekursion nicht unter ungebundeter Fehlerakkumulation leidet. Stattdessen steigt die „Drift" (Unterschied im negativen Log-Likelihood im Vergleich zur vollständigen Aufmerksamkeit) kurzzeitig an und sättigt sich dann in ein flaches Plateau, das über tiefe Ketten hinweg anhält.
Strukturelle vs. numerische Drift: Es wird gezeigt, dass das Plateau eine strukturelle Eigenschaft der Aufmerksamkeitsdynamik und kein numerisches Artefakt ist. Es bleibt unter einer 10.000-fachen Erhöhung der numerischen Präzision (von bf16 auf fp32) stabil und ist über verschiedene Modellfamilien (OLMoE, Qwen, Llama) und Blockgrößen hinweg robust.
Exakte Langstrecken-Abrufe: Die Methode bewahrt exakte faktische Informationen über große Distanzen hinweg. Auf „Needle-in-a-Haystack"-Benchmarks erreicht KV-Fold eine 100%ige exakte Übereinstimmung beim Abruf über Kontexte von bis zu 128K Token und Kettenlängen von bis zu 511 und entspricht damit der Leistung der vollständigen Aufmerksamkeit.
Praktische Zielkonflikte: Die Arbeit charakterisiert die Position der Methode im Spektrum von Speicher versus Abruf. Während sie ein lineares Speicherwachstum erfordert (im Gegensatz zu speicherbegrenztem Streaming), ermöglicht sie den Abruf in beliebigen Tiefen, bei denen Streaming-Methoden versagen, und macht es damit möglich, einen der vollständigen Aufmerksamkeit gleichwertigen Abruf auf Hardware durchzuführen, die keinen einzelnen monolithischen Vorwärtsdurchlauf unterstützen kann.

Hauptergebnisse

Sättigung der Drift: Bei Qwen2.5-7B-Instruct sättigt sich die Drift ab Tiefe 7 und bleibt bis Tiefe 63 flach, mit einer Gesamtänderung von nur -0,0003 Nats zwischen den Tiefen 15 und 60.
Abringleistung:
- Einzelne Nadel: 100%ige Abrufgenauigkeit über 152 Versuche hinweg, die Kontexte von 16K bis 128K Token und Kettenlängen von bis zu 511 auf Llama-3.1-8B abdecken.
- Mehrere Nadeln: 99,4%ige Abrufgenauigkeit (175/176) beim gleichzeitigen Abruf mehrerer verschiedener Fakten.
Hardware-Machbarkeit: Auf einer 40-GB-A100-GPU ist ein einzelner Vorwärtsdurchlauf mit vollständiger Aufmerksamkeit für eine 128K-Sequenz nicht machbar (erfordert ~1 TB für Aufmerksamkeitsscores). KV-Fold verarbeitet dieselbe Sequenz in 171 Sekunden mit einem Spitzen-Speicherbedarf von 35,6 GB und bleibt innerhalb der Hardwaregrenzen.
Vergleich mit StreamingLLM: Bei einem 128K-Kontext behält StreamingLLM einen begrenzten Speicher (16,6 GB) und eine schnellere Laufzeit (22 s) bei, fällt jedoch auf 0% Abrufgenauigkeit, sobald die „Nadel" sein 1024-Token-Fenster verlässt. KV-Fold behält bei allen getesteten Distanzen eine 100%ige Abrufgenauigkeit bei, erfordert jedoch mehr Speicher (35,6 GB) und eine längere Laufzeit.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass eingefrorene vortrainierte Transformer bereits eine stabile Form der KV-Cache-Rekursion unterstützen. Die primäre Bedeutung besteht darin zu zeigen, dass Langkontext-Inferenz nicht strikt architektonische Änderungen, Training oder verlustbehaftete Komprimierung erfordert, um eine hochgenaue Abrufleistung zu erzielen.

Die Autoren argumentieren, dass KV-Fold ein „leicht verschobenes, aber stabiles Aufmerksamkeitsregime" offenbart, in dem das Modell Informationen rekursiv verarbeiten kann, ohne seine Fähigkeit einzubüßen, auf spezifische vergangene Token zuzugreifen. Dies bietet einen praktischen Weg zur Erweiterung von Kontextfenstern auf bestehender Hardware, indem lineares Speicherwachstum gegen die Fähigkeit getauscht wird, exakte Abrufe über Sequenzen hinweg durchzuführen, die andernfalls abgeschnitten oder approximiert würden. Die Arbeit schließt, dass die Methode, obwohl sie die Gesamtrechenleistung (FLOPs) oder den Speicherbedarf nicht unter das Niveau der vollständigen Aufmerksamkeit senkt, die Berechnung in handhabbare Schritte neu organisiert und damit Langkontext-Inferenz dort ermöglicht, wo sie zuvor unmöglich war. Als zukünftige Arbeiten werden eine moderate Feinabstimmung zur Verringerung der verbleibenden Drift sowie die Kombination der Methode mit Techniken zur Erweiterung der Positionen vorgeschlagen, um über native Kontextgrenzen hinaus zu gehen.