💬 NLP

End-to-End Context Compression at Scale

Dieses Paper führt Latent Context Language Models (LCLMs) ein, eine Familie von Encoder-Decoder-Kompressoren, die auf massiven Datensätzen trainiert wurden und die Genauigkeits-Effizienz-Grenze für die Inferenz mit langem Kontext signifikant verbessern, indem sie den Speicherverbrauch und die Kompressionszeit reduzieren und gleichzeitig eine hohe Modellqualität beibehalten.

Ursprüngliche Autoren: Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, San

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, Sanae Lotfi, Micah Goldblum, Pavel Izmailov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen brillanten, superintelligenten Assistenten (ein Large Language Model), der Millionen von Textseiten lesen kann. Das Problem ist nur, dass dieser Assistent ein sehr kleines „Arbeitsgedächtnis“ hat (wie ein winziges Notizbuch). Jedes Mal, wenn Sie ihm ein langes Dokument zum Lesen geben, muss er jedes einzelne Wort auf diesem Notizbuch aufschreiben, um es sich zu merken. Wenn das Dokument zu lang ist, füllt sich das Notizbuch, der Assistent wird überfordert und der Prozess wird unglaublich langsam und teuer.

Dieses Paper stellt ein neues Werkzeug namens Latent Context Language Models (LCLMs) vor, um dieses Problem zu lösen. Betrachten Sie LCLMs als einen supereffizienten „Zusammenfassungs-Experten“ oder „Kompressions-Experten“, der zwischen Ihnen und dem Assistenten sitzt.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Notizbuch“-Engpass

Derzeit versucht eine KI, wenn Sie sie bitten, ein 100-seitiges Buch zu lesen, jedes einzelne Wort dieser 100 Seiten in ihrem aktiven Gedächtnis (dem KV-Cache) zu behalten.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein 100-seitiges Buch beim Laufen eines Marathons in Ihrer Tasche zu tragen. Es ist schwer, es verlangsamt Sie, und schließlich reißt Ihre Tasche (das Gedächtnis läuft voll).
Alte Lösungen: Frühere Methoden versuchten, Seiten, die sie für unwichtig hielten, einfach zu löschen (wie das Löschen von Kapiteln) oder versuchten, die Schriftgröße zu verkleinern. Aber das führte oft dazu, dass der Assistent entscheidende Details vergaß oder so viel Zeit für das „Editieren“ des Buches benötigte, dass es den Aufwand nicht wert war.

2. Die Lösung: Die „Intelligente Kompression“ (LCLM)

Die Autoren haben ein System entwickelt, das nicht einfach nur Wörter löscht, sondern das Buch in einen hochkonzentrierten, geheimen Code übersetzt.

Der Encoder (Der Übersetzer): Dies ist eine kleinere, spezialisierte KI, die Textstücke (wie einen Absatz nach dem anderen) liest und sie in ein einziges, dichtes „Gedanken-Token“ verwandelt.
- Analogie: Anstatt dem Assistenten das ganze 100-seitige Buch zu geben, liest der Encoder eine Seite und schreibt nur einen perfekten Satz auf, der die gesamte Bedeutung der Seite einfängt. Er tut dies für das ganze Buch und verwandelt so 100 Seiten in nur 10 Sätze.
Der Decoder (Der Assistent): Dies ist die Haupt-KI, die Sie verwenden möchten. Sie erhält diese 10 komprimierten Sätze anstelle der 100 Seiten. Da das „Notizbuch“ nun viel kleiner ist, kann der Assistent es sofort lesen, weniger Energie verbrauchen und dennoch die Geschichte verstehen.

3. Wie sie es gebaut haben (Das „Rezept“)

Die Autoren haben nicht einfach nur geraten, wie sie dies bauen sollen; sie haben tausende Variationen getestet, um das perfekte Rezept zu finden.

Der „Mean“ vs. „Concat“-Test: Sie probierten verschiedene Wege aus, um die Informationen zu kombinieren.
- Analogie: Stellen Sie sich vor, Sie haben 16 Zutaten für eine Suppe.
  - Option A (Concat): Sie behalten alle 16 Zutaten getrennt in einer großen Schüssel.
  - Option B (Mean): Sie vermengen alle 16 Zutaten zu einer glatten, reichhaltigen Brühe.
- Sie fanden heraus, dass für sehr lange Texte das Vermengen (Mean Pooling) am besten funktionierte, da es eine glatte, informationsdichte „Brühe“ erzeugte, die der Assistent leicht verdauen konnte.
Das Training: Sie haben dieses System trainiert, indem sie es mit massiven Mengen an Daten fütterten (350 Milliarden Wörter) und dabei abwechselnd normalen Text und komprimierten Text verwendeten. Dies lehrte das System, wie man den „Geschmack“ des Originaltextes beibehält, selbst wenn dieser geschrumpft wurde.

4. Die Ergebnisse: Schneller, leichter und klüger

Das Paper behauptet, dass ihr neues System eine „neue Grenze“ schafft, an der man das Beste aus beiden Welten erhält:

Geschwindigkeit: Es ist signifikant schneller, lange Dokumente zu verarbeiten.
- Analogie: Anstatt durch eine Bibliothek zu laufen, um ein Buch zu finden, gibt das LCLM dem Assistenten eine Karte, die direkt auf das richtige Regal zeigt.
Speicher: Es verbraucht viel weniger Computergedächtnis.
- Analogie: Sie können nun die gesamte Bibliothek in Ihrem Rucksack tragen, anstatt einen Schubkarren zu benutzen.
Genauigkeit: Im Gegensatz zu älteren Methoden, die den Assistenten „dumm“ oder vergesslich machten, bewahren LCLMs die Intelligenz des Assistenten hoch. Sie können immer noch schwierige Fragen beantworten und spezifische Details finden, die im Text verborgen sind.

5. Das „Agent“-Feature: Die „Expand“-Taste

Das Paper zeigt auch, wie dies für KI-Agenten (Roboter, die Aufgaben erledigen) funktioniert.

Das Szenario: Stellen Sie sich vor, ein Agent muss einen spezifischen Bug in einer riesigen Codebasis (einem riesigen Softwareprojekt) finden.
Der Trick: Der Agent liest zuerst die komprimierte Version der gesamten Codebasis, um einen „Überblick“ zu erhalten. Er sieht die allgemeine Struktur und weiß ungefähr, wo das Problem liegen könnte.
Das „Expand“-Werkzeug: Sobald der Agent einen verdächtigen Bereich in der komprimierten Ansicht entdeckt, kann er eine Taste drücken, um diesen spezifischen Abschnitt zu „expandieren“ (auszuklappen). Das System entpackt dann diesen winzigen Teil wieder in den vollen, detaillierten Text, damit der Agent den Bug präzise beheben kann.
Analogie: Es ist wie das Betrachten eines Stadtplans, um das richtige Viertel zu finden, und dann hineinzuzoomen, um die genaue Adresse in der Straße zu sehen. Sie müssen nicht jede Straße in der Stadt gleichzeitig betrachten; Sie zoomen einfach nur hinein, wenn Sie es brauchen.

Zusammenfassung

Das Paper präsentiert eine neue Art und Weise, massive Textmengen für KI zu handhaben. Anstatt die KI zu zwingen, eine schwere, unhandliche Last an Rohdaten zu tragen, nutzen sie einen smarten „Kompressions-Experten“, um die Daten in eine leichte, hochwertige Zusammenfassung zu schrumpfen. Dies ermöglicht es der KI, längere Dokumente schneller und mit weniger Speicher zu lesen, ohne dabei ihre Fähigkeit zu verlieren, die Details zu verstehen.

Technisches Resümee: End-to-End Kontextkompression im großen Maßstab

Problemstellung

Die Inferenz mit langem Kontext in Large Language Models (LLMs) wird zunehmend durch den Speicher und die Latenz begrenzt, da der Key-Value (KV)-Cache mit der Kontextlänge linear wächst. Während jüngste Techniken zur Kompression des KV-Caches versuchen, dies durch das Verwerfen von Cache-Einträgen oder das Trainieren kompakter Caches zu mildern, stehen sie vor erheblichen Einschränkungen:

Qualität vs. Effizienz-Trade-off: Viele Methoden verschlechtern die Modellleistung erheblich oder erfordern domänenspezifisches Training, das sich nicht verallgemeinern lässt.
Kompatibilität mit Inference-Engines: Techniken, die Einträge nicht gleichmäßig über Attention-Heads oder Layer hinweg verwerfen, sind schwer in moderne Produktions-Inference-Engines (z. B. vLLM, SGLang) zu integrieren, die einheitliche Sequenzlängen voraussetzen.
Prefill-Overhead: Viele Ansätze erfordern, dass der gesamte Kontext vor der Kompression vorgefüllt wird, was potenzielle Latenzvorteile zunichtemacht, oder sie benötigen einen erheblichen zusätzlichen Rechenaufwand.
Beschränkungen durch Soft-Tokens: Bestehende Encoder-Decoder-"Soft-Token"-Methoden verlassen sich oft auf eine Offline-Vorverarbeitung, können das breite In-Context-Verhalten des Basismodells nicht bewahren oder werden nur auf engen, domänenspezifischen Aufgaben statt auf informationsdichten Long-Context-Benchmarks evaluiert.

Die zentrale Frage, die hier adressiert wird, ist, ob ein allgemeiner, aufgabenagnostischer Kompressor trainiert werden kann, um die ursprünglichen Fähigkeiten eines Modells zu bewahren und gleichzeitig den Speicherverbrauch sowie die Inferenzzeit signifikant zu reduzieren.

Methodik

Die Autoren führen Latent Context Language Models (LCLMs) ein, eine Familie von End-to-End trainierten Encoder-Decoder-Kompressoren. Die Kernarchitektur bildet eine Sequenz von Input-Tokens $x_{1:T}$ über einen Encoder auf eine kürzere Sequenz von latenten Embeddings $z_{1:M}$ ab, welche dann durch einen Adapter projiziert und anstelle des ursprünglichen Kontextes vom Decoder konsumiert werden.

Architekturdesign

Durch eine groß angelegte Architektur-Suche von Grund auf haben die Autoren optimale Designentscheidungen identifiziert:

Pooling: Mean Pooling erwies sich als überlegen gegenüber Token-basiertem (EOS/CLS) Pooling und ist konkurrenzfähig zu Concatenation, insbesondere bei hohen Kompressionsraten (16×).
Kodierungsgranularität: Eine Encoder-Fenstergröße ( $W$ ) von 1024 Tokens wurde gewählt, wodurch der Encoder über einen größeren lokalen Kontext als die Kompressionsblockgröße ( $N$ ) aufmerksam werden kann, ohne einen prohibitiven Speicher-Overhead zu verursachen.
Attention-Maskierung: Causal Masking innerhalb des Encoders übertraf konsistent bidirektionales Masking.
Adapter: Ein leichtgewichtiger MLP-Adapter (ohativ Self-Attention) erwies sich als effektiver und effizienter als Attention-basierte Adapter, um die latenten Encoder-Repräsentationen auf die Decoder-Dimension zu projizieren.
Initialisierung: Die Initialisierung des Encoders aus einem vortrainierten Embedding-Modell (Qwen3-Embedding-0.6B) anstelle eines Standard-LLMs lieferte bessere initiale Repräsentationen, obwohl sich die Lücke bei extensiver Trainingsdauer verringerte.

Trainingsrezept

Die Autoren entwickelten ein mehrstufiges Trainingsrezept, um katastrophales Vergessen zu verhindern und Stabilität zu gewährleisten:

Stufe 0 (Adapter-Warmup): Encoder und Decoder eingefroren; nur der Adapter wird trainiert.
Stufe 1 (Encoder-Training): Encoder auftauen; Decoder eingefroren halten.
Stufe 2 (Kontinuierliches Pre-training): Decoder mit einer kleinen Lernrate auftauen; End-to-End-Training auf einer Mischung aus Next-Token-Prediction und Rekonstruktionsdaten.
Stufe 3 (Supervised Fine-Tuning): Training auf SFT-Daten, um das Befolgen von Instruktionen und das logische Denken mit komprimierten Inputs zu verbessern.

Die Trainingsdaten umfassen eine sorgfältig kuratierte Mischung aus Code, Text, Reasoning und Long-Context-Dokumenten. Entscheidend ist, dass die Pre-training-Daten in einem interleaved Format vorliegen, bei dem komprimierte Segmente (eingebettet in Special Tokens) mit unkomprimierten Segmenten abwechseln, was das Modell dazu zwingt, auf latente Kontexte an mehreren Positionen zu konditionieren, anstatt nur am Anfang.

Agenten-Integration

Die Autoren schlagen ein agentisches System vor, bei dem der LCLM-Agent den gesamten komprimierten Kontext erhält. Der Agent kann selektiv ein EXPAND-Tool aufrufen, um den ursprünglichen, unkomprimierten Text für spezifische Segmente abzurufen, was eine „Skim-and-Zoom“-Strategie für Aufgaben mit langem Zeithorizont ermöglicht.

Kernergebnisse

Die LCLM-Familie (speziell ein 0,6B Encoder und ein 4B Decoder) wurde bei Kompressionsraten von 4×, 8× und 16× auf Benchmarks wie RULER, LongBench, LongHealth und GSM8K evaluiert.

Pareto-Front: LCLMs etablieren eine neue Pareto-Front im Hinblick auf den Genauigkeits-Effizienz-Trade-off. Sie erreichen eine signifikant schnellere Time-to-First-Token (TTFT) und einen niedrigeren Peak-GPU-Speicher im Vergleich zu KV-Cache-Kompressions-Baselines (z. B. SnapKV, KVzip, Attention Matching), insbesondere bei hohen Kompressionsraten.
Bewahrung der Genauigkeit: Bei einer 16× Kompression bewahren LCLMs eine hohe Genauigkeit auf Long-Context-Benchmarks (z. B. ~65 % auf RULER 16k vs. ~93 % für vollen KV), womit sie die Baselines, die oft unter 20–40 % fallen, deutlich übertreffen.
Speichereffizienz: Im Gegensatz zu KV-Cache-Methoden, bei denen der Speicher mit der vollen Kontextlänge skaliert, stagniert der LCLM-Speicherverbrauch bei längeren Kontexten, da der Encoder feste Fenster verarbeitet. Dies ermöglicht es LCLMs, Kontexte von bis zu 1 Mio. Tokens auf einer einzigen H200 GPU zu handhaben, während Baselines bei 512K oder 1M Tokens an den Speicher stoßen.
Feingranulare Leistung: Auf GSM8K (kurze, dichte Kontexte) erreichen LCLMs die höchste Genauigkeit über alle Kompressionsraten hinweg, was zeigt, dass sie nicht nur auf Long-Context-QA beschränkt sind, sondern auch informationsdichte Inputs effektiv komprimieren können.
Agenten-Leistung: Das agentische System mit adaptiver Expansion verbessert die Genauigkeit bei exakten String-Matches in „Needle-in-a-Haystack“-Aufgaben signifikant und erreicht oft die Leistung des unkomprimierten Modells bei gleichzeitiger Beibehaltung der Effizienz des komprimierten Kontextes.

Bedeutung und Ansprüche

Das Paper behauptet, dass LCLMs eine praktische, skalierbare Lösung für die Long-Context-Inferenz bieten, die mit Standard-Produktions-Inference-Engines kompatibel ist. Durch die Verlagerung der Kompressionslast auf einen kleineren, parallelisierbaren Encoder entkoppeln LCLMs die Speicher- und Latenzkosten der Kontextlänge vom Generierungsprozess des Decoders.

Die Autoren betonen, dass ihr Ansatz:

Allgemeine Fähigkeiten bewahrt: Im Gegensatz zu bisherigen Soft-Token-Methoden, die die Leistung verschlechtern oder auf ein spezifisches Task-Tuning angewiesen sind, behalten LCLMs eine starke Leistung bei allgemeinen Aufgaben, Reasoning und Instruction Following bei.
Adaptive Abfrage ermöglicht: Die Integration in agentische Frameworks erlaubt eine dynamische Expansion des relevanten Kontextes, was die Lücke zwischen globaler Korpus-Sichtbarkeit und feingranularer Informationsabfrage schließt.
Skalierbarkeit bietet: Die Methode skaliert effektiv auf Millionen-Token-Kontexte auf Commodity-Hardware (H200 GPUs) und überwindet damit die Speicherengpässe, die derzeit die Bereitstellung von Long-Horizon-LLM-Systemen einschränken.

Die Arbeit legt nahe, dass gelernte, End-to-End-Kompression eine lebensfähige Alternative zu heuristischer KV-Cache-Eviction darstellt und ein robustes Substrat für zukünftige Long-Horizon-Agenten mit persistentem Arbeitsgedächtnis bietet.