💬 NLP

YaRN: Efficient Context Window Extension of Large Language Models

YaRN ist eine recheneffiziente Methode zur Erweiterung des Kontextfensters von Large Language Models durch eine Optimierung der Rotary Position Embeddings (RoPE), die deutlich weniger Trainingsressourcen benötigt als bisherige Ansätze und eine bessere Extrapolation auf längere Sequenzen ermöglicht.

Ursprüngliche Autoren: Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

Veröffentlicht 2026-02-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du liest ein extrem langes Buch. Dein Gehirn ist super darin, Informationen zu verarbeiten, aber es gibt ein Problem: Dein „Arbeitsgedächtnis“ ist wie ein kleiner Notizzettel. Sobald das Buch zu lang wird, fängst du an, die ersten Seiten zu vergessen, um Platz für die neuen zu machen. Du verlierst den roten Faden.

Große Sprachmodelle (wie ChatGPT) haben genau das gleiche Problem. Sie haben ein „Kontextfenster“ – eine begrenzte Menge an Text, die sie gleichzeitig „im Kopf“ behalten können. Wenn der Text länger ist als dieses Fenster, werden sie verwirrt oder vergessen den Anfang.

Die Forscher hinter YaRN haben nun eine Methode entwickelt, um dieses Arbeitsgedächtnis massiv zu vergrößern, ohne dass das Modell komplett neu lernen muss.

Hier ist die Erklärung, wie sie das machen, mit ein paar Analogien:

1. Das Problem: Die „falsche Geschwindigkeit“ der Zeit

Sprachmodelle nutzen eine Technik namens RoPE (Rotary Position Embeddings), um zu wissen, an welcher Stelle ein Wort steht. Man kann sich das wie eine Uhr vorstellen: Jedes Wort bekommt einen Zeiger. Wenn das Wort an Position 1 steht, zeigt der Zeiger auf 1 Uhr, bei Position 2 auf 2 Uhr und so weiter.

Wenn wir dem Modell jetzt plötzlich sagen: „Hey, lies ein Buch, das 10-mal länger ist!“, dann müsste der Zeiger bei Position 100 eigentlich auf 100 Uhr stehen. Aber die Uhr hat nur 12 Stunden! Die Zeiger drehen sich wild im Kreis und das Modell verliert völlig die Orientierung. Es weiß nicht mehr, ob ein Wort am Anfang oder am Ende steht.

2. Die alten Lösungen: Das „Gummiband-Problem“

Früher hat man versucht, die Zeit einfach zu dehnen (Position Interpolation). Das ist so, als würde man versuchen, eine 12-Stunden-Uhr so zu verlangsamen, dass sie 120 Stunden hält. Das Problem: Die Zeiger bewegen sich dann so langsam, dass man die feinen Unterschiede nicht mehr erkennt. Es ist, als würde man versuchen, eine präzise Partitur zu lesen, bei der die Noten so weit auseinandergezogen sind, dass man den Rhythmus nicht mehr spürt. Das Modell wird „verwaschen“ und ungenau.

3. Die Lösung: YaRN – Der „intelligente Zoom“

YaRN (was für „Noch eine RoPE-Erweiterungsmethode“ steht, ein kleiner Scherz der Forscher) ist viel smarter. Anstatt einfach alles gleichmäßig zu dehnen, nutzt es einen dreistufigen Ansatz:

Der Fokus auf das Grobe (Die Landkarte): Für die ganz großen Abstände (die „langwelligen“ Informationen) nutzt YaRN die Dehnung. Das ist wie eine Landkarte: Wenn du von Berlin nach München fährst, interessieren dich die Details der einzelnen Straßen nicht, sondern nur die großen Autobahnen.
Der Fokus auf das Feine (Die Lupe): Für die kurzen Abstände (die „hochfrequenten“ Informationen) lässt YaRN die Zeiger fast so, wie sie sind. Das ist wie beim Lesen: Wenn du ein Wort liest, musst du die Buchstaben und die Abstände zwischen den Wörtern ganz präzise erkennen können. YaRN sorgt dafür, dass diese „lokale Schärfe“ erhalten bleibt.
Die Temperatur-Regelung (Der Fokus-Regler): YaRN fügt noch einen kleinen Trick hinzu, indem es die „Aufmerksamkeit“ des Modells leicht anpasst (ähnlich wie man eine Brille zurechtrückt), damit es bei den riesigen Textmengen nicht den Überblick verliert.

Zusammenfassend: Was ist das Ergebnis?

Stell dir vor, du hättest eine Brille, die es dir erlaubt, gleichzeitig ein ganzes Dorf aus der Vogelperspektive zu sehen (den Überblick behalten) und gleichzeitig die winzigen Details eines einzelnen Blattes an einem Baum zu erkennen (die Präzision behalten).

Das bedeutet für die Praxis:

Viel effizienter: Man braucht 10-mal weniger Daten und viel weniger Rechenpower als früher.
Extrem weit blicken: Modelle, die eigentlich nur kurze Texte verstehen sollten, können plötzlich ganze Bücher oder riesige Code-Projekte am Stück „lesen“.
Kein Gedächtnisverlust: Das Modell wird nicht dümmer, nur weil es mehr Text liest. Es behält seine Intelligenz bei, während sein „Notizzettel“ riesig wird.

Technische Zusammenfassung: YaRN

1. Problemstellung

Große Sprachmodelle (LLMs), die auf der Transformer-Architektur basieren, verwenden häufig Rotary Position Embeddings (RoPE), um Positionsinformationen zu kodieren. Ein zentrales Problem dieser Modelle ist die mangelnde Generalisierungsfähigkeit: Ein Modell kann in der Regel nicht über die Sequenzlänge hinaus extrapolieren, die während seines ursprünglichen Trainings verwendet wurde.

Bisherige Ansätze zur Erweiterung des Kontextfensters (wie Position Interpolation (PI) oder NTK-aware interpolation) weisen spezifische Schwächen auf:

PI (Position Interpolation): Skaliert alle Dimensionen gleichmäßig, was dazu führt, dass hochfrequente Informationen (wichtig für lokale Details) verloren gehen.
NTK-aware: Versucht, die Skalierung über verschiedene Dimensionen zu verteilen, ist aber schwer zu optimieren und kann zu Problemen bei der exakten Bestimmung der Skalierungsfaktoren führen.
Verlust von Informationen: Es besteht ein Zielkonflikt zwischen der Erhaltung lokaler relativer Abstände und der notwendigen Interpolation für weite Distanzen.

2. Methodik (YaRN)

Die Autoren präsentieren YaRN (Yet another RoPE extensioN method), eine Methode, die zwei wesentliche Verbesserungen kombiniert, um das Kontextfenster effizient zu erweitern.

A. NTK-by-parts Interpolation:
Anstatt alle Dimensionen von RoPE gleich zu behandeln, differenziert YaRN basierend auf der Wellenlänge ( $\lambda$ ) der einzelnen Dimensionen:

Niedrige Wellenlängen (hohe Frequenzen): Diese Dimensionen sind entscheidend für die lokale relative Ordnung. YaRN lässt sie weitgehend unberührt (keine Interpolation), um die lokale Präzision zu erhalten.
Hohe Wellenlängen (niedrige Frequenzen): Diese Dimensionen kodieren eher absolute Positionen. Sie werden linear interpoliert, um die Extrapolation in weite Distanzen zu ermöglichen.
Übergangsbereich: Mittels einer Rampenfunktion ( $\gamma$ ) wird ein sanfter Übergang zwischen diesen beiden Strategien geschaffen, um die Dynamik der Embeddings stabil zu halten.

B. Attention Scaling (Temperature-Anpassung):
Ein wesentlicher Beitrag von YaRN ist die Beobachtung, dass die Einführung einer Temperatur $t$ vor der Softmax-Operation der Attention-Weights die Perplexität (den Vorhersagefehler) stabilisiert.

Durch eine spezifische Skalierung der Query- und Key-Vektoren kann die Attention-Entropie angepasst werden, ohne den Code des Attention-Mechanismus selbst ändern zu müssen.
Dies ermöglicht eine effiziente Implementierung, die mit Standard-Bibliotheken wie Flash Attention 2 kompatibel ist.

C. Dynamic Scaling:
Für die Inferenz wird eine "Dynamic Scaling"-Technik vorgeschlagen. Dabei wird der Skalierungsfaktor $s$ dynamisch an die aktuelle Sequenzlänge angepasst. Dies erlaubt es dem Modell, bei Sequenzlängen, die über das Training hinausgehen, "würdevoll" zu degradieren, anstatt sofort unbrauchbare Ergebnisse zu liefern.

3. Key Contributions (Hauptbeiträge)

Effizienz: YaRN benötigt etwa 10-mal weniger Token und 2,5-mal weniger Trainingsschritte als vorherige Methoden, um das Kontextfenster erfolgreich zu erweitern.
Hybrid-Ansatz: Die Kombination aus dimensionsspezifischer Interpolation ("NTK-by-parts") und Attention-Skalierung.
Extrapolationsfähigkeit: Die Fähigkeit des Modells, über die im Fine-Tuning gesehenen Längen hinaus zu generalisieren ("Train short, test long").
Drop-in Replacement: Die Methode ist mathematisch so formuliert, dass sie ohne signifikanten Rechenaufwand in bestehende Architekturen integriert werden kann.

4. Ergebnisse

Die Autoren evaluierten YaRN an LLaMA- und Llama-2-Modellen:

Perplexität: YaRN übertrifft PI und NTK-aware Methoden konsistent in der Sprachmodellierung über lange Sequenzen (z. B. auf dem Proof-pile-Datensatz).
Passkey Retrieval: In Aufgaben, bei denen eine Information aus einem riesigen Kontext extrahiert werden muss, erreicht YaRN eine Genauigkeit von über 99 % selbst bei extrem langen Kontexten.
Benchmark-Stabilität: Bei Standard-Benchmarks (MMLU, ARC, etc.) zeigt YaRN nur minimale Leistungseinbußen im Vergleich zu den Originalmodellen, was beweist, dass die ursprünglichen Fähigkeiten des Modells erhalten bleiben.
Extrapolation: Ein Modell, das nur auf 64k Token feinjustiert wurde, konnte erfolgreich auf 128k Token extrapolieren.

5. Signifikanz

YaRN stellt einen Durchbruch in der Skalierbarkeit von LLMs dar. Es löst das Problem der teuren Kontext-Erweiterung, indem es zeigt, dass man mit minimalem Rechenaufwand (weniger als 0,1 % der ursprünglichen Trainingsdaten) die Fähigkeit eines Modells drastisch steigern kann, extrem lange Dokumente zu verarbeiten. Dies ist besonders relevant für Anwendungen wie die Analyse ganzer Bücher, langer Code-Repositories oder umfangreicher juristischer Dokumente.