💬 NLP

Linear-Time and Constant-Memory Text Embeddings Based on Recurrent Language Models

Die Arbeit stellt eine vertikale Chunking-Inferenzstrategie für rekurrente Sprachmodelle wie Mamba2 vor, die es ermöglicht, Text-Embeddings mit konstantem Speicherverbrauch und linearer Zeitkomplexität zu erzeugen, wodurch diese Modelle eine effiziente und leistungsfähige Alternative zu Transformer-basierten Ansätzen für lange Sequenzen darstellen.

Ursprüngliche Autoren: Tobias Grantner, Emanuel Sallinger, Martin Flechl

Veröffentlicht 2026-04-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tobias Grantner, Emanuel Sallinger, Martin Flechl

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der "Gedächtnis-Engpass"

Stell dir vor, du möchtest einen riesigen Roman (vielleicht 1000 Seiten) in eine einzige, kurze Zusammenfassung verwandeln, die du dir leicht merken kannst. Das ist das, was KI-Modelle tun, wenn sie Texte in "Embeddings" (mathematische Zusammenfassungen) umwandeln.

Die aktuellen Stars in diesem Bereich sind Transformer-Modelle (wie die, die in Chatbots stecken). Sie sind extrem klug, haben aber einen großen Haken:

Das Problem: Wenn der Text länger wird, explodiert der benötigte Arbeitsspeicher (RAM) quadratisch.
Die Analogie: Stell dir vor, du liest einen Satz und musst ihn mit jedem vorherigen Satz vergleichen, um ihn zu verstehen. Bei 100 Sätzen machst du 10.000 Vergleiche. Bei 10.000 Sätzen wären das 100 Millionen Vergleiche. Der Speicherplatz, den du dafür brauchst, wächst so schnell, dass selbst starke Computer bei langen Dokumenten platzen. Es ist, als würdest du versuchen, einen ganzen Wald in ein kleines Schuhschachtel zu quetschen – je mehr Bäume, desto mehr Platz brauchst du, und irgendwann passt gar nichts mehr rein.

Die Lösung: Die "Rekurrenten" und der "Vertikale Schnitt"

Die Autoren dieses Papiers schlagen vor, eine andere Art von KI-Architektur zu nutzen: Rekurrente Modelle (wie Mamba2, RWKV oder xLSTM).

Der Vorteil: Diese Modelle sind wie ein sehr effizienter Lesevorgang. Sie behalten nur einen kleinen "Zettel" (den Zustand) im Kopf, während sie den Text lesen. Sie müssen nicht alles gleichzeitig im Kopf behalten.
Das Problem: Bisher waren diese Modelle bei der Erstellung von Zusammenfassungen (Embeddings) noch nicht so gut wie die Transformer.

Der geniale Trick der Autoren: Die "Vertikale Chunking"-Strategie.

Stell dir vor, du musst einen riesigen Berg (den langen Text) abtragen.

Der alte Weg (Horizontal): Du nimmst den ganzen Berg, legst ihn auf eine Waage und versuchst, ihn komplett zu wiegen. Die Waage (der Speicher) wird überlastet.
Der neue Weg (Vertikal): Du schneidest den Berg in kleine, feste Blöcke (Chunks).
- Du nimmst den ersten Block, bearbeitest ihn durch alle Schichten deiner KI (von unten bis oben).
- Dann nimmst du den zweiten Block, bearbeitest ihn durch alle Schichten.
- Wichtig: Du musst nicht den ganzen Berg gleichzeitig im Kopf behalten. Du behältst nur den aktuellen Block und eine kleine Notiz darüber, was die vorherigen Blöcke ergeben haben.

Die Metapher:
Stell dir eine Fabrik vor, die Autos baut.

Transformer: Alle 1000 Teile kommen gleichzeitig auf das Band. Die Arbeiter müssen alle Teile gleichzeitig greifen. Der Platz im Raum wird riesig.
Rekurrente Modelle (neu): Die Teile kommen in kleinen Paketen. Die Arbeiter verarbeiten ein Paket komplett durch die ganze Fabrik, bevor das nächste kommt. Sie brauchen nur einen kleinen Tisch für das aktuelle Paket, aber sie können trotzdem sehr schnell arbeiten, weil sie viele Pakete parallel bearbeiten können, solange der Tisch groß genug ist.

Was haben sie herausgefunden?

Gute Qualität: Die neuen Modelle (basierend auf Mamba2) sind fast genauso gut wie die großen Transformer-Modelle, wenn es darum geht, Texte zu verstehen und zu vergleichen. Sie sind keine "Zweitklassigen", sondern echte Konkurrenten.
Speicher-Genie: Der größte Gewinn ist der Speicher. Sobald der Text länger ist als ein bestimmter Block (z. B. 4096 Wörter), bleibt der benötigte Speicherplatz konstant.
- Beispiel: Ob du jetzt einen 100-Wörter-Text oder einen 100.000-Wörter-Text analysierst, der Computer braucht fast den gleichen RAM. Das ist wie ein Eimer, der sich nicht füllt, egal wie viel Wasser du hineingießt (solange du ihn leert, während du gießt).
Geschwindigkeit: Bei sehr langen Texten sind diese Modelle oft sogar schneller als die alten, weil sie nicht warten müssen, bis der riesige Speicher geladen ist.

Warum ist das wichtig?

Für lange Dokumente: Wenn du ganze Bücher, lange Verträge oder Stunden an Transkripten analysieren willst, scheitern die alten Modelle oft am Speicher. Die neuen Modelle schaffen das mühelos.
Für schwächere Hardware: Du brauchst nicht mehr einen super-teuren Server, um lange Texte zu verarbeiten. Ein normaler Laptop oder ein kleinerer Server reicht aus.
Zukunft: Es öffnet die Tür für KI-Anwendungen, die bisher wegen zu hohem Speicherbedarf unmöglich waren.

Zusammenfassung in einem Satz

Die Autoren haben einen cleveren Trick (den "vertikalen Schnitt") entwickelt, der es ermöglicht, dass KI-Modelle extrem lange Texte verarbeiten können, ohne dass der benötigte Arbeitsspeicher explodiert – ähnlich wie ein effizienter Lesevorgang, der nur einen kleinen Notizblock braucht, statt den ganzen Text auf einmal im Kopf zu behalten.

1. Problemstellung

Text-Embedding-Modelle sind fundamental für moderne NLP-Aufgaben wie Information Retrieval, Clustering und semantische Ähnlichkeitsberechnung. Der aktuelle State-of-the-Art basiert auf Transformer-Architekturen. Diese Modelle leiden jedoch unter zwei wesentlichen Nachteilen bei der Verarbeitung langer Sequenzen:

Quadratische Rechenkomplexität: Die Aufmerksamkeit (Attention) skaliert quadratisch mit der Eingabelänge ( $O(T^2)$ ).
Lineare Speicherkomplexität: Der Speicherbedarf für Aktivierungen skaliert linear mit der Sequenzlänge ( $O(T)$ ).

Dies schränkt die Nutzbarkeit für lange Dokumente oder ressourcenbeschränkte Umgebungen erheblich ein. Zwar gibt es effiziente Optimierungen wie FlashAttention oder Sliding-Window-Attention, diese gehen jedoch oft mit Qualitätsverlusten oder immer noch hohem Speicherbedarf einher. Recurrente Architekturen (wie Mamba2, RWKV, xLSTM) versprechen lineare Laufzeit und konstanten Speicherbedarf, wurden für Embedding-Aufgaben jedoch bisher kaum erforscht.

2. Methodik

Die Autoren schlagen einen zweigleisigen Ansatz vor: Die Anpassung von rekurrenten Modellen für Embedding-Aufgaben und die Entwicklung einer speichereffizienten Inferenzstrategie.

A. Training der Embedding-Modelle

Architektur: Die Autoren fine-tunen vortrainierte Mamba2-Modelle (ein Structured State Space Model, SSM).
Verfahren: Sie adaptieren das Trainingsschema von E5mistral-7b. Dies beinhaltet:
- Entfernen des Language-Modeling-Heads.
- Verwendung des EOS-Tokens (End-of-Sequence) als Repräsentation des gesamten Kontexts.
- Contrastive Learning: Optimierung mittels InfoNCE-Loss, um positive Paare (Query, Dokument) von negativen Beispielen zu unterscheiden.
- Instruction Tuning: Einbau von Instruktionen nur in die Query, um das Modell für verschiedene Downstream-Aufgaben ohne erneutes Training des Dokumentenkorpus zu adaptieren.
Daten: Fine-Tuning auf einer Kombination aus öffentlichen Datensätzen und synthetischen Daten (basierend auf Llama 3.1 70B), ähnlich dem Vorgehen bei E5mistral-7b.

B. Inferenz-Strategie: Vertikales Chunking (Vertically Chunked Inference)

Dies ist der Kernbeitrag der Arbeit zur Effizienzsteigerung.

Dualität von Mamba2: Mamba2 kann sowohl als sequenzielle Rekursion ( $O(T)$ Zeit, $O(1)$ Speicher) als auch als parallele Matrixtransformation (für Training/Intra-Chunk) formuliert werden.
Herausforderung: Bei der Standard-Inferenz (horizontal) müssen für jede Schicht alle Zwischenergebnisse der gesamten Sequenz im Speicher gehalten werden, was zu linearem Speicherwachstum führt.
Lösung – Vertikales Chunking:
- Die Eingabesequenz wird in Blöcke fester Größe $V$ (vertikale Chunks) unterteilt.
- Statt die gesamte Sequenz durch eine Schicht zu verarbeiten, wird ein einzelner vertikaler Chunk durch alle Schichten des Modells verarbeitet, bevor zum nächsten Chunk gewechselt wird.
- Zustandserhaltung: Der rekurrente Zustand (Hidden State) wird zwischen den vertikalen Chunks über Schichten hinweg erhalten, ähnlich wie bei der zeitlichen Rekursion innerhalb einer Schicht.
- Speichereffizienz: Der Speicherbedarf hängt nun nur noch von der Chunk-Größe $V$ und der Anzahl der Schichten $L$ ab, nicht von der gesamten Sequenzlänge $T$ . Sobald $T > V$ , bleibt der Speicherbedarf konstant ( $O(L + Q \cdot V)$ ).
- Parallelisierung: Innerhalb eines Chunks wird die parallele Matrixberechnung genutzt, um die Laufzeit zu minimieren.

3. Wichtige Beiträge

Validierung rekurrenter Modelle als Embedder: Demonstration, dass fine-getunte Mamba2-Modelle als allgemeine Text-Embedder wettbewerbsfähig sind.
Vertikales Chunking-Verfahren: Einführung einer neuen Inferenzstrategie, die die Vorteile der Rekursion (konstanter Speicher) mit der Parallelisierung moderner Hardware kombiniert.
Architektur-Übergreifende Gültigkeit: Die Strategie wurde nicht nur für Mamba2, sondern auch erfolgreich für RWKV und xLSTM validiert, was zeigt, dass sie für eine breite Klasse von SSM- und rekurrenten Architekturen anwendbar ist.
Open Source: Freigabe der fine-getunten Checkpoints und der Inferenz-Implementierung.

4. Ergebnisse

Die Evaluation erfolgte auf den Benchmarks MTEB (Englisch und Multilingual) und LongEmbed (für lange Kontexte).

Qualität (Performance):
- Die rekurrenten Modelle (Codestral Mamba2 7B, Mamba2 1.3B) erreichen auf den meisten Benchmarks eine wettbewerbsfähige Leistung im Vergleich zu starken Transformer-Baselines (Mistral 7B, Qwen2).
- Auf multilingualen Aufgaben schneiden die rekurrenten Modelle teilweise sogar besser ab.
- Auf englischen Aufgaben gibt es leichte Rückstände (ca. 1–2 Prozentpunkte), was die Autoren auf Unterschiede in der Größe und Zusammensetzung der Pretraining-Daten zurückführen (Mamba2 1.3B wurde mit weniger Daten trainiert als Qwen2 1.5B).
- Auf dem LongEmbed-Benchmark (bis zu 32k Tokens) sind die Ergebnisse zwischen rekurrenten und Transformer-Modellen vergleichbar.
Effizienz (Laufzeit und Speicher):
- Speicher: Während Transformer-Modelle einen linearen Speicheranstieg zeigen, bleibt der Speicherbedarf der rekurrenten Modelle mit vertikalem Chunking bei langen Sequenzen konstant. Bei 32k Tokens ist der Speicherbedarf der rekurrenten Modelle drastisch geringer als bei Transformern.
- Laufzeit: Für einzelne Sequenzen und lange Kontexte (>4096 Tokens) sind die rekurrenten Modelle schneller als Transformer. Bei Batch-Verarbeitung (Batch Size 32) sind die Laufzeiten vergleichbar, wobei Transformer aufgrund von Speicherbeschränkungen bei sehr langen Sequenzen oft nicht mehr ausführbar sind.
- Optimale Chunk-Größe: Die Parallelisierung sättigt bereits bei relativ kleinen vertikalen Chunk-Größen (z. B. 4096 Tokens für Batch-Size 1), was die Methode sehr effizient macht.

5. Bedeutung und Ausblick

Skalierbarkeit: Die Arbeit etabliert rekurrente Architekturen als eine skalierbare und ressourceneffiziente Alternative zu Transformern, insbesondere für Anwendungen mit langen Dokumenten oder in Umgebungen mit begrenztem GPU-Speicher.
Praktische Relevanz: Die vorgeschlagene „Vertikale Chunking"-Strategie ermöglicht es, Modelle mit konstantem Speicherbedarf auf Standard-Hardware für extrem lange Texte einzusetzen, ohne die Parallelisierungsvorteile moderner Beschleuniger komplett zu verlieren.
Zukunft: Die Autoren sehen Potenzial darin, die verbleibenden Qualitätslücken bei englischen Aufgaben durch das Fine-Tuning von noch stärker vortrainierten rekurrenten Basismodellen zu schließen.

Zusammenfassend beweist das Paper, dass rekurrente Modelle nicht nur für die Textgenerierung, sondern auch als hochleistungsfähige, speichereffiziente Embedding-Generatoren geeignet sind, wenn sie durch geeignete Inferenzstrategien wie das vertikale Chunking optimiert werden.