💬 NLP

Scaling In-Context Online Learning Capability of LLMs via Cross-Episode Meta-RL

Dieses Paper stellt ORBIT vor, ein Multi-Task-Meta-Reinforcement-Learning-Framework, das die In-Context Online-Lernfähigkeiten von Large Language Models signifikant verbessert und es kleineren Open-Source-Modellen ermöglicht, die Leistung fortgeschrittener proprietärer Modelle wie GPT-5.2 in ungesehenen interaktiven Umgebungen zu erreichen.

Ursprüngliche Autoren: Xiaofeng Lin, Sirou Zhu, Yilei Chen, Mingyu Chen, Hejian Sang, Ioannis Paschalidis, Zhipeng Wang, Aldo Pacchiano, Xuezhou Zhang

Veröffentlicht 2026-02-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaofeng Lin, Sirou Zhu, Yilei Chen, Mingyu Chen, Hejian Sang, Ioannis Paschalidis, Zhipeng Wang, Aldo Pacchiano, Xuezhou Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „amnesische“ Genie

Stellen Sie sich vor, Sie haben einen brillanten Studenten, der jedes Buch in der Bibliothek gelesen hat. Er ist ein Genie darin, Fragen basierend auf dem zu beantworten, was er bereits gelesen hat. Wenn man ihn jedoch in ein brandneues Videospiel oder ein Labyrinth setzt, das er noch nie gesehen hat, hat er Schwierigkeiten.

Wenn er in der ersten Runde einen Fehler macht, „lernt“ er daraus nicht wirklich für die nächste Runde. Er behandelt jeden neuen Versuch so, als wäre es sein allererster Versuch, und vergisst die Lektionen aus den vorherigen Versuchen. Dies ist der aktuelle Stand vieler großer Sprachmodelle (LLMs). Sie sind großartig bei statischen Aufgaben (wie dem Schreiben eines Essays), aber schlecht beim Online-Lernen – also dabei, Dinge während des Prozesses herauszufinden, indem sie mit der Welt interagieren, Fehler machen und ihre Strategie in Echtzeit anpassen.

Die Lösung: ORBIT (Der „Übung macht den Meister“-Coach)

Die Autoren haben eine neue Trainingsmethchode namens ORBIT entwickelt. Betrachten Sie ORBIT nicht als einen Lehrer, der dem Studenten die Antworten gibt, sondern als einen Coach, der den Studenten zwingt, dasselbe Spiel immer und immer wieder zu spielen, aber mit einem Twist: Der Student darf ein Notizbuch seiner vorherigen Versuche führen.

In diesem Training:

Das Setup: Die KI spielt ein Spiel (wie ein Labyrinth oder ein Puzzle) mehrmals.
Die Regel: Nachdem der erste Versuch fehlschlägt, erhält die KI keinen „Reset“, bei dem sie alles vergisst. Stattdessen sieht sie die vollständige Historie ihres ersten Versuchs (wo sie steckengeblieben ist, was sie versucht hat) in ihrem „Kontextfenster“ (ihrem Kurzzeitgedächtnis) geschrieben.
Das Ziel: Die KI wird nicht nur dafür belohnt, beim ersten Mal zu gewinnen. Sie wird dafür belohnt, zu lernen, wie man lernt. Sie erhält Punkte dafür, dass sie ihr Notizbuch nutzt, um für den zweiten und dritten Versuch eine bessere Strategie zu entwickeln.

Die Analogie: „Mastermind“ spielen lernen

Stellen Sie sich ein Spiel namens Mastermind vor, bei dem Sie einen geheimen Code aus farbigen Stiften erraten müssen.

Ohne ORBIT: Sie raten einen Code. Er ist falsch. Sie versuchen es erneut, aber Sie raten exakt denselben Code, weil Sie nicht wirklich verarbeitet haben, warum der erste Versuch fehlgeschlagen ist. Sie stecken in einer Schleife fest.
Mit ORBIT: Sie raten einen Code. Er ist falsch. Bevor Sie Ihren nächsten Tipp abgeben, schauen Sie in Ihr „Notizbuch“ (die Historie des Spiels). Sie sagen sich selbst: „Okay, bei meinem ersten Versuch habe ich Rot an die erste Stelle gesetzt und es war falsch. Bei meinem zweiten Versuch habe ich Blau probiert und das war auch falsch. Also weiß ich, dass der erste Stift weder Rot noch Blau ist. Ich sollte Grün versuchen.“

ORBIT trainiert die KI darauf, genau diese Art von Reflexion automatisch durchzuführen, ohne dass ein Mensch ihr sagen muss: „Denk über deine Fehler nach.“

Wie sie es getestet haben

Die Forscher nahnahmen ein relativ kleines, Open-Source-KI-Modell (genannt Qwen3-14B) und trainierten es mit dieser ORBIT-Methode auf ein paar einfachen Spielen (wie Minesweeper und Blackjack).

Danach warfen sie es in völlig neue Spiele, die es noch nie gesehen hatte (wie ein komplexes Labyrinth und Mastermind).

Das Ergebnis: Die trainierte KI rät nicht einfach nur zufällig. Im ersten Versuch scheitert sie vielleicht. Aber im zweiten und dritten Versuch nutzt sie die Historie ihrer Fehler, um das Labyrinth zu navigieren oder den Code zu knacken.
Der Vergleich: Sie schnitt so gut ab, dass sie die Fähigkeiten einer massiven, erstklassigen kommerziellen KI (GPT-5.2) erreichte und Standard-Trainingsmethoden schlug, die normalerweise nur darauf abzielen, der KI ein spezifisches Problem beizubringen, ohne aus vergangenen Fehlern zu lernen.

Die „Skalierungs“-Überraschung

Die Arbeit fand auch etwas Interessantes über die Größe heraus. Sie testeten kleinere und größere Versionen der KI.

Kleine KI: Gut darin, das Rätsel sofort zu lösen.
Große KI: Überraschenderweise war die größere KI bereit, den ersten Versuch zu „verschwenden“, nur um Informationen zu sammeln (Exploration). Sie würde ein paar Dinge ausprobieren, um zu sehen, was passiert, es aufschreiben und dieses Wissen dann nutzen, um das Rätsel im zweiten und dritten Versuch zu meistern.
Die Erkenntnis: Größere Modelle, die auf diese Weise trainiert wurden, werden sogar noch besser in dieser „Lernen-während-man-geht“-Strategie.

Was das bedeutet (Streng basierend auf der Arbeit)

Die Arbeit behauptet, dass:

Training funktioniert: Man kann eine KI lehren, aus ihren eigenen Interaktionen zu lernen, ohne während der eigentlichen Aufgabe ihr Gehirn (die Gewichte) zu verändern. Sie lernt vollständig durch die Erinnerung an vergangene Versuche.
Es ist generalisierbar: Diese Fähigkeit überträgt sich auf neue, ungesehene Umgebungen. Die KI hat nicht nur das Labyrinth auswendig gelernt; sie hat die Fähigkeit gelernt, zu explorieren und sich anzupassen.
Einfachheit gewinnt: Sie benötigten keine komplexen externen Speicherbanken oder menschengeschriebene Prompts, um der KI zu sagen, dass sie „reflektieren“ soll. Die Trainingsmethode selbst reichte aus, um die KI dazu zu bringen, natürlich damit zu beginnen, ihre vergangenen Fehler zusammenzufassen und bessere Züge zu planen.

Kurz gesagt: ORBIT verwandelt eine statische, „buchwissende“ KI in einen „straßenschlauen“ Agenten, der neue Regeln und Umgebungen durch Versuch, Irrtum und das Erinnern dessen, was zuvor geschah, verstehen kann.

Technisches Resümee: Skalierung der In-Context Online-Lernfähigkeit von LLMs via Cross-Episode Meta-RL

Problemstellung

Während Large Language Models (LLMs) exzellent in der statischen Vorhersage und Befolgung von Instruktionen sind, wenn alle aufgabenrelevanten Informationen vorab bereitgestellt werden, haben sie Schwierigkeiten bei Online-Entscheidungsaufgaben. In realen Szenarien agieren Agenten oft in teilweise beobachtbaren Umgebungen, in denen entscheidende Informationen durch Interaktion erworben werden müssen, Feedback verzögert erfolgt und effektives Verhalten ein Abwägen zwischen Informationsbeschaffung (Exploration) und Exploitation über die Zeit erfordert.

Bestehende LLMs zeigen typischerweise eine „statische nach der Auslieferung“-Eigenschaft: Sie verbessern sich selten durch fortgesetzte Interaktion bei einer Aufgabe ohne Gewichtsaktualisierungen. Während In-Context Learning (ICL) eine Anpassung via Kontextfenster ermöglicht, versagen Frontier-Modelle oft dabei, Interaktionshistorien zuverlässig zu nutzen, um effektive Online-Entscheidungsfindung in sequenziellen, teilweise beobachtbaren Settings durchzuführen. Aktuelle Ansätze verlassen sich oft auf statische Input-Output-Vorhersagen oder erfordern extensives Post-Training für spezifische Domänen, wodurch sie nicht in der Lage sind, auf ungesehene Aufgaben zu generalisieren, bei denen der Agent eine Entscheidungsstrategie aus sequenzieller Erfahrung lernen muss.

Methodik: ORBIT

Die Autoren schlagen ORBIT (Online Reinforcement-Based In-Context Training) vor, ein Multi-Task, Multi-Episode Meta-Reinforcement-Learning (Meta-RL) Framework, das darauf ausgelegt ist, LLMs darauf zu trainieren, innerhalb des Kontextfensters aus Interaktionen zu lernen, ohne die Modellparameter zur Inferenzzeit zu aktualisieren.

Kern-Framework

Multi-Episode Interaktionsprotokoll: Der Agent interagiert mit einer Aufgabe (modelliert als episodische MDP mit endlicher Horizon-Dauer) über mehrere Episoden ( $T$ ) hinweg. Während die Umgebung zu Beginn jeder Episode in einen frischen Ausgangszustand zurückgesetzt wird, behält der Agent das vollständige Cross-Episode-Transkript (Historie von Zuständen, Aktionen und Belohnungen aller vorangegangenen Versuche) in seinem Kontextfenster.
Meta-RL Zielsetzung: Das Modell wird mittels Meta-Learning über eine diverse Verteilung von Entscheidungs-Umgebungen trainiert. Das Ziel besteht nicht bloß darin, eine einzelne Instanz zu lösen, sondern zu lernen, innerhalb des Kontexts zu lernen. Der Agent wird dafür belohnt, die langfristige kumulative Belohnung über Episoden hinweg zu maximieren, was ihn dazu zwingt, frühe Interaktionen zur Informationsgewinnung (Reduzierung von Unsicherheit) und spätere Interaktionen zur Nutzung dieser Informationen (Exploitation) einzusetzen.
Belohnungsdesign: Um Reward Hacking zu verhindern und die Übereinstimmung mit dem Abschluss der Aufgabe sicherzustellen, verwendet das Framework eine einheitliche binäre Abschlussbelohnung (completion reward). Die Belohnung wird auf Trajektorien-Ebene basierend auf der Anzahl der erfolgreichen Aufgabenabschlüsse innerhalb des Interaktionsbudgets definiert, wobei Zwischenschritte ignoriert werden. Dies stellt sicher, dass die Gradientenbeiträge über heterogene Aufgaben hinweg ausgewogen sind.
Policy-Optimierung: Die Meta-Policy wird mittels Group Relative Policy Optimization (GRPO) optimiert.
- GRPO operiert direkt auf Trajektorien-Ebene und vermeidet die explizite Schätzung von Value-Funktionen.
- Es berechnet einen relativen Vorteil durch Normalisierung der Belohnungen innerhalb einer Gruppe von Stichproben-Trajektorien ( $K$ Trajektorien pro Aufgabe).
- Dieser ergebnisorientierte Ansatz wurde gewählt, da das Belohnungssignal spärlich ist und mit dem Abschluss der Aufgabe korreliert, was das Modell dazu ermutigt, diverse Reasoning-Pfade zu explorieren und basierend auf Endergebnissen statt auf lokalen Schritt-Signalen aus Fehlern zu lernen.

Experimentelles Setup

Basismodelle: Qwen3-Serie (4B, 8B, 14B).
Trainingsumgebungen: Fünf teilweise beobachtbare Aufgaben (Schere-Stein-Papier, Minesweeper, Hangman, Wordle, Blackjack).
Testumgebungen: Zwei völlig ungesehene Aufgaben (Maze, Mastermind) zur Evaluierung der Generalisierung.
Beschränkungen: Experimente sind auf 3 Episoden pro Aufgabe und ein 32k-Token-Kontextfenster aufgrund der Limitationen des Basismodells begrenzt.

Kernergebnisse

1. Emergenz von echtem In-Context Online-Lernen

Durch ORBIT trainierte Modelle zeigen substantielle Verbesserungen im In-Context Online-Lernen in ungesehenen Umgebungen.

Performance: Ein relativ kleines Open-Source-Modell (Qwen3-14B) erreicht die Performance von GPT-5.2 und übertrifft Standard-RL-Fine-Tuning-Baselines signifikant.
Episodenweise Verbesserung: Im Gegensatz zum Basismodell oder Standard-RL-Baselines (die oft nach der ersten Episode stagnieren oder degradieren) zeigen ORBIT-Modelle eine monotone Verbesserung über die Episoden hinweg. Beispielsweise steigt beim Maze-Task die Erfolgsrate konsistent von Episode 1 bis Episode 3.
Vergleich: Beim Mastermind-Task (Episode 3) erreichte ORBIT eine Erfolgsrate von 59 % (+0,32 gegenüber dem Basismodell), während die Standard-RL-Baseline lediglich 21 % erreichte (-0,06 gegenüber dem Basismodell).

2. Adaptive Explorationsstrategien

Qualitative und quantitative Analysen bestätigen, dass ORBIT lernt, dynamisch basierend auf der Historie zu explorieren:

Qualitativ: Im Maze-Task reflektiert der Agent explizit über Fehler aus vorangegangenen Episoden (z. B. „In Episode 1 bin ich dreimal nach oben gegangen... steckengeblieben“) und wählt in folgenden Episoden bewusst andere Aktionen, um neue Pfade zu explorieren.
Quantitativ: ORBIT exploriert in späteren Episoden, bedingt durch vorangegangene Fehler, signifikant mehr neue Zustände als die Baselines. Beispielsweise explorierte ORBIT in Episode 3 (bedingt durch das Scheitern in den Episoden 1 und 2) 1,48 neue Zustände, verglichen mit 0,94 für das Basismodell und 1,27 für die RL-Baseline. Dies zeigt, dass das Modell lernt, „etwas anderes zu versuchen“, anstatt in lokalen Entscheidungen zu verharren.

3. Skalierungsgesetze (Scaling Laws)

Skalierungsexperimente zeigen konsistente Gewinne mit der Modellgröße:

Der Übergang von Qwen3-4B zu 8B und 14B führt zu progressiv besserer Performance, insbesondere in späteren Episoden (Episode 3 zeigt die größten Gewinne).
Dies deutet darauf hin, dass größere Modelle frühe Interaktionen stärker der Informationsgewinnung (Exploration) widmen und die akkumulierten Cross-Episode-Evidenzen in späteren Versuchen besser nutzen können, was auf erhebliches Potenzial für zukünftige Fortschritte hindeutet.

Bedeutung und Behauptungen

Das Paper behauptet, dass Meta-Reinforcement-Learning ein vielversprechender Weg ist, um allgemeine Online-Entscheidungs-Agenten zu bauen, die in der Lage sind, zur Inferenzzeit effektiv zu lernen.

Isolierung des Mechanismus: Durch die bewusste Einfachheit des Frameworks – Vermeidung von externem Speicher, Retrieval-Augmented Generation oder komplexem Prompt Engineering – isolieren die Autoren den Effekt von Multi-Episode Meta-RL. Sie demonstrieren, dass die Fähigkeit, aus Interaktion im Kontext zu lernen, rein durch die Optimierung des Meta-RL-Ziels entstehen kann.
Übertragbarkeit: Die Arbeit ist die erste, die substantielle und übertragbare Verbesserungen der In-Context Reinforcement-Learning-Fähigkeit über diverse, ungesehene Aufgaben hinweg zeigt, womit sie über Umgebungen hinausgeht, die identisch mit denen des Trainings sind.
Machbarkeit: Die Ergebnisse liefern starke Beweise dafür, dass „Lernen zu lernen“ innerhalb des Kontextfensters eine viable Strategie ist, um die „statische nach der Auslieferung“-Limitierung aktueller LLMs zu überwinden, was es Agenten ermöglicht, aus Fehlern zu lernen und Strategien zu verfeinern, während sie Erfahrungen sammeln, ohne dass Gewichtsaktualisierungen nötig sind.

Die Autoren räumen Einschränkungen ein und merken an, dass das aktuelle Framework durch die Kontextlänge (32k Token) und die Anzahl der Trainingsumgebungen begrenzt ist. Sie schlagen vor, dass die Ausweitung des Trainings auf längere Horizonte mit Modellen mit größerem Kontext sowie die Erhöhung der Diversität der Trainingsumgebungen natürliche nächste Schritte sind.