Technischer Überblick: Rekursive Sprachmodelle (RLMs)

Problemstellung

Führende große Sprachmodelle (LLMs) stoßen bei der Verarbeitung beliebig langer Prompts auf erhebliche Grenzen. Selbst innerhalb der Grenzen ihres Kontextfensters zeigen diese Modelle „Kontextverfall" (context rot), bei dem die Leistung mit zunehmender Prompt-Länge und Aufgabenkomplexität stark abnimmt. Bestehende Ansätze zur Verarbeitung langer Kontexte lassen sich im Allgemeinen in zwei Kategorien einteilen:

1. Modifikationen der Architektur/Des Trainings: Das Nachtrainieren von Modellen, um längere Sequenzen zu verarbeiten (z. B. durch lineare Aufmerksamkeit oder Zustandsräume).
2. Inferenzzeit-Scaffolds: Methoden wie Kontextverdichtung (Zusammenfassung) oder Retrieval-Agenten. Die Verdichtung ist jedoch für Aufgaben, die einen dichten Zugriff auf den gesamten Prompt erfordern, oft unzureichend, da sie davon ausgeht, dass frühe Details sicher vergessen werden können. Retrieval- und Sub-Agent-Delegierungsansätze sind häufig durch die begrenzten Ausgabelängen des zugrunde liegenden Modells oder das Fehlen einer programmatischen Steuerung der Rekursion behindert.

Die Autoren gehen davon aus, dass die Skalierung der Kontextgröße um Größenordnungen einen Paradigmenwechsel erfordert, bei dem der Prompt nicht als statische Eingabe für ein neuronales Netzwerk, sondern als dynamischer Teil einer externen Umgebung behandelt wird, mit der das Modell symbolisch interagieren kann.

Methodik: Rekursive Sprachmodelle (RLMs)

Die Arbeit stellt Rekursive Sprachmodelle (RLMs) vor, ein allgemeines Inferenzparadigma, das den Benutzer-Prompt in eine persistente externe Umgebung (speziell eine Python-REPL) auslagert, anstatt ihn direkt in das Kontextfenster des Modells einzuspeisen.

Kernmechanismus

1. Initialisierung der Umgebung: Gegeben einen Prompt $P$, initialisiert das RLM eine Read-Eval-Print-Loop (REPL)-Umgebung, in der $P$ als String-Variable gespeichert ist.
2. Symbolische Interaktion: Das Basis-LLM ($M$) wird aufgefordert, Code innerhalb dieser REPL zu schreiben. Es erhält Metadaten über $P$ (z. B. Länge), erhält aber den vollständigen Text nicht in seinem Kontextfenster.
3. Programmieratische Dekomposition: Das LLM schreibt Code, um $P$ zu untersuchen, zu dekomponieren und zu transformieren. Entscheidend ist, dass es programmatisch ein Sub-LLM (oder Sub-RLM) auf spezifische Schnitte oder Blöcke der Prompt-Variable aufrufen kann.
4. Rekursive Ausführung: Das System führt den generierten Code aus. Zwischenergebnisse werden in REPL-Variablen gespeichert. Das LLM beobachtet iterativ die Ausgabe dieser Ausführungen (gekürzt, um ins Kontextfenster zu passen) und generiert weiteren Code, bis eine endgültige Antwort erzeugt ist.
5. Terminierung: Der Prozess stoppt, wenn das LLM eine Final-Variable in der REPL setzt, die als Antwort zurückgegeben wird.

Wichtige Designentscheidungen

Die Autoren unterscheiden RLMs von „ineffektiven" Scaffolds (Algorithmus 2 in der Arbeit) durch drei kritische Designentscheidungen:

• Symbolische Handles: Der Prompt ist eine Variable in der Umgebung, nicht Text im Kontextfenster, was Manipulationen ohne Kopieren ermöglicht.
• Indirekte Ausgabe: Das Modell generiert die endgültige Antwort nicht direkt über eine „Finish"-Aktion (die durch die Kontextfenstergröße begrenzt wäre), sondern konstruiert sie über Variablen in der REPL.
• Symbolische Rekursion: Der in der Umgebung laufende Code kann das LLM programmatisch auf Transformationen von $P$ innerhalb von Schleifen aufrufen, was $\Omega(|P|)$ oder sogar $\Omega(|P|^2)$ semantische Arbeit ermöglicht, anstatt nur einige Teilaufgaben verbal zu beschreiben.

Experimentelles Setup

Die Autoren evaluierten RLMs mit führenden geschlossenen Modellen (GPT-5) und offenen Modellen (Qwen3-Coder-480B-A35B) über vier Aufgaben mit unterschiedlichen Komplexitätsskalen:

• S-NIAH (Single Needle-in-a-Haystack): Konstante Komplexität relativ zur Eingabelänge.
• BrowseComp-Plus: Multi-Hop-QA über 1.000 Dokumente (lineare Komplexität).
• OOLONG: Semantische Beschriftung und Aggregation eines Datensatzes (lineare Komplexität).
• OOLONG-Pairs: Aggregation von Paaren von Blöcken zur Konstruktion von Antworten (quadratische Komplexität).
• LongBench-v2 CodeQA: Verständnis von Code-Repositories.

Als Baselines dienten direkte LLM-Aufrufe, CodeAct-Agenten (mit/ohne Unter-Aufrufe), Kontextverdichtungs-Agenten, Retrieval-Agenten und Coding-Agenten (OpenCode, Claude Code).

Wichtige Ergebnisse

• Skalierbarkeit: RLMs verarbeiteten erfolgreich Eingaben mit mehr als 10 Millionen Tokens, weit über die Kontextfenster der Basismodelle hinaus (z. B. das Limit von 272k bei GPT-5).
• Leistungssteigerungen:
  • Bei OOLONG-Pairs (quadratische Komplexität) erreichten Basismodelle eine nahezu Null-Leistung ($\le 0,1\%$ F1), während RLMs 58,0 % (GPT-5) und 23,1 % (Qwen3-Coder) erreichten.
  • Über die Benchmarks hinweg übertrafen RLMs Basismodelle und gängige Scaffolds um signifikante Margen (z. B. +26 % Median gegenüber Verdichtung, +130 % gegenüber CodeAct mit Unter-Aufrufen bei GPT-5).
  • RLMs zeigten Robustheit gegenüber „Kontextverfall" und behielten ihre Leistung bei zunehmender Eingabelänge bei, während die Leistung der Basismodelle stark abfiel.
• Kosteneffizienz: Die Inferenzkosten für RLMs waren vergleichbar mit oder günstiger als Basis-LLM-Aufrufe und andere Scaffolds, trotz des Overheads durch mehrere Unter-Aufrufe.
• Feinabstimmung: Ein kleines Experiment feinabstimmte RLM-Qwen3-8B auf 1.000 Trajektorien, die von einem größeren Modell destilliert wurden. Dieses Modell übertraf das Basis-Qwen3-8B um einen Median von 28 % und näherte sich der Qualität von Vanilla GPT-5 bei drei Langkontext-Aufgaben an, was zeigt, dass RLM-Verhalten mit minimalen Daten erlernbar ist.
• Fähigkeiten zum Schlussfolgern: Auf dem Benchmark LongCoT-mini verbesserten RLMs mit Dekompositionshinweisen die Lösungsrate um 69,5 % gegenüber dem Basismodell und orchestrierten effektiv komplexe Schlussfolgerungsgraphen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RLMs eine neue Achse der Skalierung für Sprachmodelle darstellen, die sich von der Erhöhung der Modellparameter oder der Kontextfenstergröße unterscheidet. Indem sie den Prompt als externes Objekt behandeln und symbolische Rekursion ermöglichen, überwinden RLMs die Grenzen der Ausdruckskraft standardmäßiger Transformer und bestehender Agent-Scaffolds.

Zu den wichtigsten Behauptungen gehören:

1. Aufgabenagnostische Skalierbarkeit: RLMs bieten ein allgemeines Framework für die Verarbeitung beliebig langer Eingaben ohne aufgabenspezifische Ingenieursarbeit.
2. Effizienz: Das Paradigma ermöglicht eine dichte Verarbeitung langer Kontexte zu Kosten, die mit der Standardinferenz vergleichbar sind.
3. Trainierbarkeit: Die Autoren liefern erste Hinweise darauf, dass Modelle explizit trainiert werden können, um als RLMs zu agieren, was darauf hindeutet, dass „Schlussfolgern als RLM" eine trainierbare Fähigkeit sein könnte, die die allgemeine Leistung und Effizienz verbessert.
4. Grenzen: Die Autoren erkennen aktuelle Grenzen an, einschließlich der sequenziellen Natur ihrer Implementierung (was zu hoher Latenz führt), der Zerbrechlichkeit bei der Unterscheidung endgültiger Antworten von Gedanken in untrainierten Modellen und dem Potenzial für „explodierende" Unter-Aufrufkosten, wenn diese nicht gemanagt werden. Sie weisen darauf hin, dass asynchrone Ausführung und sandgeboxte REPLs zukünftige Richtungen zur Optimierung sind.

Die Arbeit schließt, dass RLMs einen vielversprechenden Weg hin zu allgemeinen Sprachmodellen bieten, die in der Lage sind, Langhorizont-Aufgaben zu bewältigen, die Dutzende oder Hunderte von Millionen Tokens umfassen.