🤖 machine learning

Learning, Fast and Slow: Towards LLMs That Adapt Continually

Dieser Beitrag stellt das Fast-Slow-Training (FST) vor, ein Rahmenwerk, das feste Modellparameter („langsame" Gewichte) mit optimiertem Kontext („schnelle" Gewichte) kombiniert, um LLMs zu ermöglichen, effizienter aus textbasiertem Feedback zu lernen, eine höhere Leistung zu erzielen und eine größere Plastizität beizubehalten, während im Vergleich zu herkömmlichen Methoden der Parameteraktualisierung das katastrophale Vergessen erheblich reduziert wird.

Ursprüngliche Autoren: Rishabh Tiwari, Kusha Sareen, Lakshya A Agrawal, Joseph E. Gonzalez, Matei Zaharia, Kurt Keutzer, Inderjit S Dhillon, Rishabh Agarwal, Devvrit Khatri

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Rishabh Tiwari, Kusha Sareen, Lakshya A Agrawal, Joseph E. Gonzalez, Matei Zaharia, Kurt Keutzer, Inderjit S Dhillon, Rishabh Agarwal, Devvrit Khatri

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen brillanten, aber starren Schüler (das Large Language Model), wie man komplexe Rätsel löst, etwa Matheaufgaben, Programmierherausforderungen oder Faktenüberprüfungs-Rätsel.

Traditionell, wenn wir wollen, dass dieser Schüler besser wird, zwingen wir ihn, die neuen Regeln durch das Umschreiben seines Gehirns (das Aktualisieren der internen Parameter des Modells) zu memorieren. Das ist, als würde man einen Schwamm in neues Wasser tauchen und ihn dann wieder ausdrücken. Das Problem? Sobald Sie ihn ausdrücken, läuft das alte Wasser (sein ursprüngliches Allgemeinwissen) aus. Er wird sehr gut in dem spezifischen Rätsel, das Sie ihm beigebracht haben, vergisst aber, wie man ein guter allgemeiner Denker ist, und hat Schwierigkeiten, das nächste Rätsel zu lernen. Dies wird „katastrophales Vergessen" genannt.

Andererseits könnten Sie dem Schüler für jedes spezifische Rätsel einfach einen Spickzettel (einen Prompt) geben. Das ist billig und schnell, aber der Schüler muss sich immer noch auf seine ursprüngliche Denkleistung verlassen. Wenn das Rätsel zu schwer ist, reicht der Spickzettel allein nicht aus, um eine perfekte Punktzahl zu erzielen.

Die „Schnell und Langsam"-Lösung
Die Arbeit stellt eine neue Trainingsmethode vor, die Fast-Slow Training (FST) genannt wird. Sie kombiniert das Beste aus beiden Welten, indem sie den Lernprozess des Schülers wie ein Zwei-Spur-System behandelt:

Die Langsame Spur (Das Gehirn): Dies sind die permanenten Gewichte des Modells. Sie lernen langsam, wie ein Langzeitgedächtnis. Sie konzentrieren sich darauf, die grundlegenden Denkfähigkeiten und das Allgemeinwissen des Schülers intakt zu halten.
Die Schnelle Spur (Der Spickzettel): Dies ist der „Kontext" oder Prompt. Sie lernt sehr schnell, wie ein temporärer Haftzettel. Sie absorbiert die spezifischen, kniffligen Details der aktuellen Aufgabe, ohne das Gehirn des Schülers dauerhaft zu verändern.

Wie es funktioniert (Die Analogie)
Stellen Sie sich vor, Sie trainieren einen Koch (die KI), ein neues, schwieriges Gericht zuzubereiten.

Der alte Weg (Nur langsames Lernen): Sie zwingen den Koch, das Rezept auswendig zu lernen, indem Sie seine gesamte kulinarische Philosophie umschreiben. Er wird großartig in diesem einen Gericht, vergisst aber, wie man etwas anderes kocht, und kann sich nicht anpassen, wenn Sie ihn später bitten, eine leicht abgewandelte Version zuzubereiten.
Der FST-Weg: Sie halten die grundlegenden Fähigkeiten des Kochs (Langsame Spur) exakt so, wie sie sind. Stattdessen geben Sie ihm eine dynamische, sich entwickelnde Rezeptkarte (Schnelle Spur).
- Jedes Mal, wenn der Koch das Gericht versucht und einen Fehler macht, betrachtet ein „Trainer" (das System) den Fehler und aktualisiert die Rezeptkarte sofort mit einem spezifischen Tipp (z. B. „Fügen Sie erst in Schritt 3 Salz hinzu").
- Der Koch verwendet diese aktualisierte Karte, um es erneut zu versuchen.
- Erst nachdem der Koch das Gericht mithilfe dieser Karten gemeistert hat, nehmen wir winzige, sorgfältige Anpassungen an seiner grundlegenden Kochweise vor (die Langsame Spur).

Warum dies besser ist (Die Ergebnisse)
Die Arbeit behauptet, dass dieser Ansatz auf drei wesentliche Weisen gewinnt:

Es ist schneller und billiger: Da die „Rezeptkarte" (Schnelle Spur) neue Informationen sofort aufnehmen kann, lernt das System die Aufgabe viel schneller. Die Arbeit besagt, dass sie bis zu 3-mal weniger Versuche benötigt, um das gleiche Leistungsniveau wie die alte Methode zu erreichen.
Es vergisst nicht: Da das grundlegende Gehirn des Kochs (Langsame Spur) nicht ständig umgeschrieben wird, verliert er seine allgemeinen Kochfähigkeiten nicht. Die Arbeit zeigt, dass das Modell viel näher an seinem ursprünglichen, intelligenten Selbst bleibt, was bedeutet, dass es nicht „vergisst", wie man ein allgemeiner Denker ist.
Es ist bereit für die nächste Herausforderung: Da das Gehirn des Kochs nicht auf das erste Gericht über-specialisiert wurde, kann es sofort beginnen, ein neues Gericht zu lernen, ohne das alte „verlernen" zu müssen. Die Arbeit testete dies, indem sie die Aufgaben mitten im Training wechselte, und die FST-Modelle passten sich reibungslos an, während die alten Modelle völlig ins Stocken gerieten.

Die geheime Zutat: Ein Team von Köchen
Die Arbeit erwähnt auch einen cleveren Trick: Anstatt nur eine Rezeptkarte zu verwenden, unterhalten sie ein Team verschiedener Rezeptkarten (eine Population von Prompts). Einige Karten sind großartig für Mathematik, andere für Programmierung. Das System mischt sie, sodass die „Langsame Spur" eine Vielzahl von Möglichkeiten sieht, Probleme zu lösen, was ihr hilft, noch besser zu lernen, ohne verwirrt zu werden.

Zusammenfassung
Diese Arbeit argumentiert, dass wir KI-Modelle nicht zwingen sollten, jede neue Aufgabe durch das Umschreiben ihrer Gehirne auswendig zu lernen. Stattdessen sollten wir ihnen erlauben, ihre allgemeine Intelligenz (Langsam) zu behalten, während wir ihnen einen superschnellen, anpassungsfähigen Satz von Anweisungen (Schnell) geben, um spezifische Aufgaben zu bewältigen. Dies macht sie intelligenter, schneller zu trainieren und besser darin, neue Dinge zu lernen, ohne die alten zu vergessen.

Technische Zusammenfassung: Lernen, schnell und langsam: Auf dem Weg zu LLMs, die sich kontinuierlich anpassen

Problemstellung

Large Language Models (LLMs) werden typischerweise durch Parameterupdates an nachgelagerte Aufgaben angepasst, etwa durch Supervised Fine-Tuning (SFT) oder Reinforcement Learning (RL). Obwohl dieser Ansatz effektiv ist, zwingt er das Modell, alle aufgabenspezifischen Informationen in einen einzigen, persistenten Satz von Gewichten zu absorbieren. Dies erzeugt eine fundamentale Engstelle: Updates, die die Leistung im In-Domain-Bereich verbessern, verschieben das Modell gleichzeitig von seinem Basisverhalten weg, verringern die Ausgabe-Entropie, verschlechtern die Generalisierung außerhalb der Verteilung (Out-of-Distribution, OOD) und verursachen „Plastizitätsverlust" – die Unfähigkeit, sich effektiv an zukünftige Aufgaben anzupassen. Umgekehrt ermöglicht In-Context-Learning (z. B. Prompt-Optimierung) eine schnelle, kostengünstige Anpassung ohne Modifikation der Gewichte, versagt jedoch im Allgemeinen darin, die Leistungsmaxima zu erreichen, die durch Parameterupdates möglich sind. Die Arbeit argumentiert, dass die Beschränkung des Lernens entweder auf In-Context- oder In-Weights-Mechanismen suboptimal ist und dass aktuelle Methoden die komplementären Stärken beider nicht ausschöpfen.

Methodik: Fast-Slow Training (FST)

Die Autoren stellen Fast-Slow Training (FST) vor, ein Framework, das zwei komplementäre Anpassungskanäle gemeinsam optimiert:

Langsame Gewichte ( $\theta$ ): Die Modellparameter, die selten und kostspielig durch Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) aktualisiert werden. Diese kodieren langlebige, persistente Verhaltensweisen.
Schnelle Gewichte ( $\Phi$ ): Eine Population textueller Kontexte (Prompts, Anweisungen), die häufig und kostengünstig durch Reflective Prompt Evolution (GEPA) aktualisiert werden. Diese erfassen flüchtige, aufgabenspezifische Signale.

Die Trainings Schleife

FST verknüpft zwei Updateschleifen innerhalb von Zyklen der Länge $T$ :

Schnelle Schleife (Kontext-Optimierung): Unter Verwendung der aktuellen Policy $\pi_\theta$ generiert das System Rollouts. Ein eingefrorener „Reflexions"-LLM analysiert diese Rollouts (einschließlich Gedanken, Tool-Aufrufe, Fehler und Feedback), um textuelle Mutationen vorzuschlagen. GEPA unterhält eine Pareto-Grenz-Population von $K$ Prompts anstelle eines einzelnen besten Prompts. Diese Population bewahrt die Vielfalt und ermöglicht es, dass sich verschiedene Prompts auf verschiedene Teilmengen der Aufgabenverteilung spezialisieren.
Langsame Schleife (Parameter-Update): Die Policy $\theta$ wird mittels Group Relative Policy Optimization (GRPO) mit einem abgeschnittenen Surrogat-Ziel (CISPO) aktualisiert. Entscheidend ist, dass während der Generierung von Rollouts für das RL-Update aus der gesamten Population der $K$ schnellen Prompts gesampelt wird. Die Vorteilsberechnung normalisiert die Belohnungen über die gesamte Gruppe hinweg und mischt Variationen, die sowohl durch die Prompts als auch durch den Sampling-Prozess verursacht werden.

Diese Koevolution ermöglicht es den schnellen Gewichten, aufgabenspezifische Lektionen (z. B. spezifische Heuristiken oder Fehlerkorrekturen) sofort zu absorbieren und das Modell zu besserem Schlussfolgern zu steuern. Die langsamen Gewichte aktualisieren sich dann unter diesem sich entwickelnden Kontext, was verhindert, dass das Modell sich zu stark auf einen einzigen statischen Prompt spezialisiert oder zu weit vom Basis-Policy entfernt.

Hauptbeiträge

Framework-Integration: Die Arbeit realisiert das theoretische Konzept schneller/langsamer Gewichte (ursprünglich aus der Neurowissenschaft und der frühen Literatur zu neuronalen Netzen) für das Post-Training von LLMs, indem sie speziell RLVR für Gewichte und GEPA für Prompts kombiniert.
Pareto-Grenz-Prompt-Population: Im Gegensatz zu früheren Arbeiten, die einen einzelnen Prompt optimieren, unterhält FST eine diverse Population von Prompts. Dies ermöglicht es dem RL-Agenten, Antworten über verschiedene konditionierende Verhaltensweisen hinweg innerhalb derselben Vorteilsberechnung zu vergleichen und liefert reichhaltigere Gradientensignale.
Verknüpfte Optimierung: Die Methode vermeidet das sequenzielle „Trainieren dann Feinabstimmen"-Paradigma. Stattdessen lassen sie Policy und Prompt-Population ko-evolvieren, wobei sich die Prompt-Population an die aktuelle Policy anpasst und die Policy sich an die sich entwickelnden Prompts anpasst.

Experimentelle Ergebnisse

Die Autoren bewerten FST in drei Schlussfolgerungsbereichen: CodeIO (Vorhersage von Code-Ausgaben), Polaris (Mathematik) und HoVer-hard (mehrschrittige Faktenverifikation), wobei Qwen3-8B als Basismodell dient.

Dateneffizienz: FST erreicht das laufende Leistungsmaximum von Standard-RL in deutlich weniger Schritten: 3,0× weniger bei CodeIO, 1,4× weniger bei Mathematik und 3,0× weniger bei HoVer-hard.
Leistungsasymptote: FST erreicht konsistent eine höhere Leistungsobergrenze als RL allein. Beispielsweise verbessert sich die angepasste Asymptote bei HoVer-hard von 17,3 % (RL) auf 25,0 % (FST).
Reduziertes Modell-Driften: Bei übereinstimmenden Belohnungsniveaus weisen FST-trainierte Modelle eine bis zu 70 % geringere KL-Divergenz zur Basis-Policy auf als RL-only-Modelle. Dies zeigt, dass die langsamen Gewichte näher an der Basis-Konfiguration bleiben.
Erhaltene Plastizität: In einem zweiphasigen Trainingsexperiment (Training auf Aufgabe X, dann Aufgabe Y) behalten FST-initiierte Modelle die Fähigkeit, Aufgabe Y effektiv zu lernen. Im Gegensatz dazu kollabieren RL-only-Modelle oft auf eine Leistung nahe Null bei der zweiten Aufgabe und zeigen einen schweren Plastizitätsverlust.
Kontinuierliches Lernen: In einem Setting, bei dem die Aufgabendomänen alle 200 Schritte wechseln, passt sich FST schnell an neue Ziele an, während RL-only-Modelle nach der ersten Aufgabe stagnieren oder neue Aufgaben nicht erlernen.
Mechanismusanalyse:
- Beobachtung 1: Schnelle Gewichte erwerben Aufgabensignale viel schneller als langsame Gewichte. In einer synthetischen Stern-Graph-Aufgabe erzielte FST messbare Belohnungen bei Schritt ~50, angetrieben durch Prompt-Evolution, während RL-only bis Schritt ~300 nahe Null blieb.
- Beobachtung 2: Die Leistungsobergrenze wird erhöht, weil beide Kanäle auf Belohnung optimieren. Das Distillieren der schnellen Gewichte in die langsamen Gewichte (FST-distill) verbessert die Leistung gegenüber Prompt-only-Methoden, erreicht jedoch nicht die Obergrenze des gemeinsamen FST-Ansatzes, was bestätigt, dass beide Komponenten für maximale Leistung notwendig sind.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass effektives Post-Training von LLMs nicht als Parameterlernen gefolgt von Prompt-Tuning betrachtet werden sollte, sondern vielmehr als Optimierung über mehrere Anpassungskanäle.

Arbeitsteilung: Durch das Routing aufgabenspezifischer und sich schnell entwickelnder Verbesserungen durch schnelle textuelle Gewichte werden die langsamen parametrischen Gewichte freigesetzt, um persistente, allgemeine Schlussfolgerungsverhalten zu konsolidieren.
Kontinuierliches Lernen: Diese Arbeitsteilung bietet einen Weg zu Post-Training-Methoden, die dateneffizienter, weniger destruktiv (geringere KL-Drift) und besser für kontinuierliches Lernen geeignet sind, und adressiert das Phänomen des „Plastizitätsverlusts", das im tiefen kontinuierlichen Lernen beobachtet wird.
Informationseffizienz: Das Framework nutzt reichhaltiges textuelles Feedback (Gedanken, Fehler) im Kontext-Update und überwindet die mit binären RLVR-Belohnungen oft verbundene Informationsgrenze von „1 Bit pro Episode".

Die Autoren schließen, dass FST eine vielversprechende Richtung für Schlussfolgerungsmodelle darstellt, und schlagen vor, dass nicht alle aufgabenspezifischen Informationen in Modellgewichte destilliert werden müssen und dass die Aufrechterhaltung einer Trennung zwischen deklarativem (Prompt) und prozeduralem (Gewicht) Wissen für allgemeine Schlussfolgerungssysteme entscheidend ist.