🤖 machine learning

Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE

Jet-Long ist eine abstimmungsfreie Zero-Shot-Methode, die RoPE-Rescaling-Faktoren dynamisch anpasst, um die Treue bei kurzen Kontexten und die Extrapolation bei langen Kontexten auszubalancieren, wodurch durch einen effizienten bifokalen Attention-Mechanismus eine State-of-the-Art-Leistung bei Long-Context-Benchmarks mit minimalem Inferenzaufwand erreicht wird.

Ursprüngliche Autoren: Haozhan Tang, Zerui Wang, Yuxian Gu, Song Han, Han Cai

Veröffentlicht 2026-07-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haozhan Tang, Zerui Wang, Yuxian Gu, Song Han, Han Cai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein superintelligentes Robotergehirn (ein Large Language Model), das darauf trainiert wurde, Geschichten bis zu einer bestimmten Länge zu lesen, sagen wir 32.000 Wörter. Nun möchten Sie diesem Roboter einen ganzen Roman oder ein massives Code-Repository vorgelegen, das viermal länger ist. Wenn Sie ihm einfach den langen Text geben, wird der Roboter verwirrt. Es ist, als würde er versuchen, ein Buch zu lesen, bei dem die Seitenzahlen plötzlich von 100 auf 1.000.000 springen; der interne Kompass des Roboters (genannt RoPE) dreht sich wild, und er beginnt zu halluzinieren oder vergisst die Mitte der Geschichte.

Eine Zeit lang versuchten Wissenschaftler, dies zu beheben, indem sie eine einzige „magische Zahl“ wählten, um die Sicht des Roboters zu dehnen. Aber das war ein Lose-Lose-Spiel: Wenn sie die Sicht zu stark dehnten, um das Ende des Buches zu sehen, vergaß der Roboter den Anfang. Wenn sie sie eng hielten, um den Anfang zu behalten, konnte er das Ende nicht sehen.

Hier kommt Jet-Long, eine neue Methode, die wie eine dynamische Bifokalbrille für die Augen des Roboters wirkt.

Der Trick mit der Bifokalbrille

Anstatt den Roboter zu zwingen, für das ganze Buch eine einzige gedehnte Sichtweise zu verwenden, gibt Jet-Long ihm zwei Brillen gleichzeitig:

Die Nahaufnahme-Linse: Für den ersten Textblock (das „lokale Fenster“) sieht der Roboter alles genau so, wie er es gelernt hat zu sehen. Keine Dehnung, keine Verzerrung. Das hält das Gedächtnis des Roboters für die jüngste Vergangenheit scharf.
Die Weitwinkel-Linse: Für den restlichen Text (das „entfernte Fenster“) nutzt der Robot einen speziellen Trick. Er dehnt die Sicht nicht nur, sondern gruppiert die Seiten dynamisch zusammen. Wenn das Buch länger wird, passt der Roboter automatisch an, wie viele Seiten er zu einer „Super-Seite“ gruppiert.

Das Magische ist, dass dieser Gruppierungsfaktor nicht fest ist. Er ändert sich im laufenden Betrieb, je nachdem, wie lang der Text gerade ist. Wenn der Text kurz ist, sieht der Roboter jedes Wort einzeln. Wenn der Text riesig ist, gruppiert er Wörter gerade so weit zusammen, dass der interne Kompass des Roboters ruhig bleibt und nicht außer Kontrolle gerät. Das bedeutet, dass der Roboter bei kurzen Aufgaben perfekt genau bleibt, aber dennoch massive Dokumente lesen kann, ohne sich zu verlieren.

Das „Gratis-Mittagessen“ der Geschwindigkeit

Normalerweise würde das gleichzeitige Durchführen von zwei verschiedenen Berechnungen (nah schauen und fern schauen) den Roboter doppelt so langsam machen. Aber die Autoren dieses Papers haben einen cleveren Weg gefunden, um diese Berechnungen zu verschmelzen. Sie haben eine spezielle Engine (einen „Fused Kernel“) gebaut, die die Mathematik für beide Linsen in einem einzigen Durchgang erledigt.

Stellen Sie sich das wie einen Koch vor, der normalerweise Gemüse hacken, dann kochen und dann braten muss – in drei separaten Töpfen. Jet-Long ist wie ein magischer Topf, der alle drei Schritte gleichzeitig erledigt, ohne den Geschmack zu verlieren.

Das Ergebnis: Wenn der Roboter einen massiven 128.000-Token-Kontext liest, ist Jet-Long beim Start (der „Prefill-Phase“) sogar 1,39-mal schneller als die Standardmethode (FlashAttention-2) auf einem H100-Chip.
Der Haken: Wenn der Roboter beim Generieren neuer Texte Wort für Wort vorgeht, ist er nur etwa 4 % langsamer als die Standardmethode. Das ist ein winziger Preis für die Fähigkeit, eine ganze Bibliothek statt nur eines Pamphlets zu lesen.

Was sie getestet haben (und was nicht)

Das Team hat dies an drei verschiedenen Größen von Robotergehirnen (1,7 Milliarden, 4 Milliarden und 8 Milliarden Parametern) getestet und festgestellt, dass Jet-Long die bisherigen besten Methoden konsistent schlägt.

Beim RULER-Test (der prüft, ob der Roboter eine versteckte Nadel im Heuhaufen aus Text finden kann), erzielte Jet-Long beim kleinsten Modell 4,79 Punkte mehr und beim größten Modell 2,03 Punkte mehr als der beste Konkurrent.
Beim HELMET-RAG-Test (der reale Suchaufgaben simuliert), erreichte es die beste Gesamtgenauigkeit.
Beim PG-19-Test (das Lesen alter Bücher) hielt Jet-Long die Verwirrung (Perplexity) des Roboters auf dem niedrigsten Niveau, während andere Methoden die Verwirrung des Roboters mit zunehmender Textlänge explodieren ließen.

Wichtiger Hinweis zu den Grenzen: Das Paper schließt explizit die Idee aus, dass man den Roboter komplett neu trainieren muss, damit es funktioniert. Jet-Long funktioniert bei „Zero-Shot“-Modellen, was bedeutet, dass man einen bereits vortrainierten Roboter nehmen und einfach diese Linse einsetzen kann. Das Paper stellt jedoch auch fest, dass Jet-Long zwar das Problem des „rotierenden Kompasses“ löst, aber nicht das Problem der „Attention Diffusion“ (bei dem der Roboter von zu vielen Optionen überwältigt wird). Dieses Problem wird normalerweise durch eine Änderung der Architektur des Roboters selbst gelöst, nicht nur durch das Hinzufügen einer Linse.

Das Urteil

Jet-Long ist kein Zauberstab, der Roboter unendlich klug macht, aber es ist ein hocheffizientes, abstimmungsfreies Werkzeug, das bestehende Roboter in die Lage versetzt, Texte bis zu einer Länge von 128.000 Token zu verarbeiten, ohne den Verstand zu verlieren. Es hält das Kurzzeitgedächtnis des Roboters perfekt und passt gleichzeitig die Fernsicht dynamisch an, während es fast so schnell läuft wie die Standardmethoden. Die Autoren haben dies auf echter Hardware (H100-GPUs) gemessen und festgestellt, dass es über verschiedene Modellgrößen hinweg und sogar bei hybriden Robotergehirnen, die verschiedene Arten von Attention mischen, funktioniert. Es ist ein solider, bewährter Upgrade für jeden, der versucht, KI zum Lesen längerer Texte zu bringen.

Technisches Resümee: Jet-Long

Problemstellung

Moderne Large Language Models (LLMs) werden zunehmend in Langkontext-Anwendungen eingesetzt, wie etwa Retrieval-Augmented Generation (RAG), Repository-level Coding und agentische Workflows. In diesen Szenarien treiben akkumulierte Reasoning-Traces und Tool-Outputs die Eingabelängen oft um eine Größenordnung über das vortrainierte Fenster hinaus (z. B. 100K+ Token gegenüber einem 32K Trainingsfenster).

Das direkte Training von Modellen auf langen Kontexten bleibt aufgrund quadratischer Rechenkosten und knapper Daten für lange Kontexte prohibitiv teuer, während Fine-Tuning oft die Kurzkontext-Leistung verschlechtert. Folglich ist die Zero-Shot-Kontext-Erweiterung (Kontextverlängerung ohne Fine-Tuning) zum dominierenden Deployment-Pfad für Open-Weight-Checkpoints geworden.

Vanille-Transformer-basierte LLMs, die Rotary Position Embeddings (RoPE) verwenden, scheitern jedoch an der Generalisierung über ihr Trainingsfenster hinaus, was auf zwei primäre Fehlermodi zurückzuführen ist:

Position Out-of-Distribution (OOD): An Sequenzpositionen, die während des Trainings nicht gesehen wurden, erzeugen niederfrequente RoPE-Komponenten Rotationswinkel außerhalb der Trainingsverteilung, was zu erratischen Attention-Scores führt.
Attention Diffusion: Wenn die Key-Menge wächst, flacht die Softmax-Verteilung ab, wodurch die Wahrscheinlichkeitsmasse über irrelevante Token gestreut wird, oft begleitet von einem „U-förmigen“ Positionsbias, der dazu führt, dass Informationen im mittleren Kontext unterbewertet werden.

Bestehende Zero-Shot-Methoden (z. B. NTK, YaRN, Self-Extend, DCA) legen typischerweise vorab einen festen Rescaling-Faktor oder eine Gruppengröße fest. Dies erzwingt einen Trade-off: Ein aggressiver Faktor opfert die Kurzkontext-Fidelität, während ein konservativer Faktor bei langen Kontexten nicht sauber extrapoliert.

Methodik: Jet-Long

Jet-Long schlägt eine tuning-freie, Zero-Shot-Kontext-Erweiterungsmethode vor, die ein lokales, RoPE-treues Fenster mit einem Langstrecken-Fenster kombiniert, dessen Rescaling-Faktor sich dynamisch an die aktuelle Sequenzlänge anpasst.

1. Dynamisches Bifokales RoPE

Die zentrale Innovation ist ein dynamisches bifokales Mapping, das den festen Faktor-Trade-off vermeidet:

Lokales Fenster: Ein Fenster der Größe $w_0$ behält das klassische RoPE bei und bewahrt exakt das Pretraining-Verhalten des Basismodells für kurze Eingaben.
Remotes Fenster: Für Positionen jenseits von $w_0$ wird ein dynamisches Positionsmapping $f(\cdot)$ angewendet. Im Gegensatz zu Methoden, die Frequenzen kontinuierlich interpolieren, verwendet Jet-Long diskretes Positions-Aliasing.
Dynamische Gruppierung: Die Gruppengröße $G$ wird dynamisch basierend auf der aktuellen Sequenzlänge $L$ und dem vortrainierten Fenster $w_{pretrained}$ berechnet:
$G = \max\left(1, \left\lceil \frac{L}{w_{pretrained}} \right\rceil\right)$
Das Remote-Mapping ist eine Floor-Division: $f(x) = \lfloor x/G \rfloor$ . Dies stellt sicher, dass jeder Remote-Rotationswinkel in-distribution bleibt (auf dem vortrainierten Gitter des Modells), während die Positionsauflösung durch Anwendung der minimal notwendigen Kompression maximiert wird.

2. Mechanismen zur Inferenz-Effizienz

Um sicherzustellen, dass die Methode recheneffizient ist und kein Retraining oder schwere Modifikationen am KV-Cache erfordert, setzt Jet-Long zwei Schlüsseltechniken ein:

On-the-Fly Korrektur-Rotation: Der KV-Cache speichert unkomprimierte Basis-Keys an ihren exakten absoluten Positionen. Während der Generierung schreibt Jet-Long anstatt den Cache umzuschreiben eine Korrektur-Rotation $\Delta$ auf den aktiven Query und die gecachten Keys on-the-fly an. Da RoPE-Rotationen additiv komponierbar sind, rekonstruiert dies die extrapolierten Vektoren in den Registern, ohne den physischen Cache zu berühren, was eine Streaming-Generierung über Längen-Grenzen hinweg ohne Verzögerung ermöglicht.
Inclusion–Exclusion Attention Merge: Um das Materialisieren der vollen quadratischen Attention-Matrix während des Prefills zu vermeiden, kombiniert Jet-Long drei Standard-FlashAttention-Durchläufe unter Anwendung eines Inclusion-Exclusion-Prinzips:
1. Lokale Fenster-Attention (Basis-Queries/Keys).
2. Volle Causal-Attention (Remote-Queries/Keys).
3. Lokale Fenster-Attention (Remote-Queries/Keys).
  Durch Stabilisierung des Merges mittels LogSumExp-Statistiken berechnet die Methode den exakten distanzbasierten Routing-Output ohne eine Boolean-Mask-Matrix und behält so die Speicherffizienz von FlashAttention bei.

Diese Komponenten sind in einem einzigen CuTe-Kernel fusioniert, was den Kernel-Launch-Overhead minimiert.

Zentrale Beiträge

Jet-Long Algorithmus: Eine tuning-freie bifokale Methode, bei der der Rescaling-Faktor des Remote-Fensters dynamisch an die Sequenzlänge angepasst wird, wodurch Remote-Rotationen in-distribution bleiben und das Basismodell innerhalb seines nativen Kontextes exakt reproduziert wird.
Effiziente Implementierung: Ein Inclusion–Exclusion Attention Merge und eine On-the-Fly Korrektur-Rotation, die den KV-Cache unberührt lassen. Durch die Fusion in einen einzelnen CuTe-Kernel erreicht dies einen 1,28–1,39× FlashAttention-2 (FA2) Prefill-Durchsatz auf H100 bei langen Kontexten und verursacht ≤4 % Overhead während der Single-Batch-Generierung.
Empirische Validierung: Umfangreiche Evaluierung auf Qwen3-1.7B/4B/8B bis zu 128K Kontext, die eine überlegene Performance gegenüber starken Zero-Shot-Baselines (DNTK, YaRN, DCA, Self-Extend) auf RULER-, HELMET-RAG- und PG-19-Benchmarks zeigt.
Generalisierung: Die Methode lässt sich unverändert auf hybride Attention-Architekturen (z. B. Jet-Nemotron) übertragen und bleibt robust gegenüber der Wahl des einzelnen Hyperparameters $w_0$ .

Experimentelle Ergebnisse

Evaluierung auf Qwen3-Basismodellen (1.7B, 4B, 8B) mit einem nativen 32K-Fenster, das auf 128K erweitert wurde:

RULER Benchmark: Jet-Long führt die stärksten Baselines um +4,79, +2,18 und +2,03 Prozentpunkte (pp) bei den 1.7B, 4B und 8B Modellen an. Es bewahrt die Leistung des Basismodells innerhalb des 32K Trainingsfensters und übertrifft alle Baselines bei erweiterten Längen.
HELMET-RAG: Erreicht die beste Gesamtgenauigkeit in diesem Benchmark, welcher durch die HELMET-Studie als effizientester Prädiktor für die Downstream-Langkontext-Performance identifiziert wurde.
PG-19 Perplexity: Erreicht die niedrigste Perplexity unter allen Extrapolationsmethoden. Während das Basismodell kollabiert (z. B. Perplexity >70 bei 128K für 1.7B), hält Jet-Long eine niedrige Perplexity (z. B. 11,41 für 1.7B).
Hybride Architekturen: Angewendet auf Jet-Nemotron (Interleaving von Softmax- und Linear-Attention), hebt Jet-Long die RULER-Genauigkeit bei 128K um +10,01 pp (2B) und +11,31 pp (4B), wo das Basis-Hybridmodell andernfalls kollabieren würde.
Ablationsstudien:
- Hyperparameter-Resilienz: Die lokale Fenstergröße $w_0$ ist robust; Werte zwischen 512 und 4096 bleiben innerhalb von 1–2 pp der besten Performance.
- Aliasing vs. Interpolation: Position-Aliasing (der Ansatz von Jet-Long) übertrifft Frequenz-Interpolation (YaRN-Stil) deutlich (z. B. +6,99 pp bei 64K), was den Vorteil bestätigt, die Rotationen auf dem diskreten vortrainierten Gitter zu halten.

Bedeutung

Das Paper behauptet, dass Jet-Long den Position-OOD-Fehlermodus auf RoPE-Ebene adressiert, ohne die Rechenkosten eines Langkontext-Trainings oder den Fidelitätsverlust einer Fixed-Factor-Extrapolation. Indem es den Rescaling-Faktor dynamisch gestaltet und die Inferenzkonstruktion via fusionierter Kernel „im Wesentlichen kostenlos“ macht, bietet Jet-Long einen praktischen, hochperformanten Deployment-Pfad für Open-Weight-LLMs in Langkontext-Szenarien. Es ergänzt architektonische Alternativen (wie Sparse Attention oder State-Space-Modelle), die Attention-Diffusion adressieren, indem es eine Zero-Shot-Lösung bietet, die kein Retraining erfordert und über Modellgrößen sowie hybride Architekturen hinweg generalisiert.