🤖 machine learning

LatentGym: A Testbed For Cross-Task Experiential Learning With Controllable Latent Structure

Das Papier stellt LatentGym vor, ein steuerbares Testfeld mit Grundwahrheits-Latentstrukturen, das durch die Trennung von Exploration und Exploitation die Evaluierung von erfahrungsbasiertem Lernen über Aufgaben hinweg in agentischen Systemen ermöglicht und somit die Untersuchung darüber erleichtert, wie und warum LLMs sich über sequentielle Aufgaben hinweg anpassen.

Ursprüngliche Autoren: Daksh Mittal, Tommaso Castellani, Thomson Yen, Naimeng Ye, Fangyu Wu, Minghui Chen, Tiffany Cai, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Daksh Mittal, Tommaso Castellani, Thomson Yen, Naimeng Ye, Fangyu Wu, Minghui Chen, Tiffany Cai, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem sehr intelligenten, aber etwas starren Roboter bei, eine Reihe von Spielen zu spielen. In der realen Welt sind wir Menschen groß darin, „die Punkte zu verbinden“. Wenn Sie ein Spiel spielen, bei dem die Antwort immer eine von drei Zahlen ist, und Sie dieses Spiel zehnmal spielen, merken Sie schnell: „Hey, die Antwort ist immer eine dieser drei!“ Sie hören auf, zufällig zu raten, und beginnen, diese drei Zahlen zu raten. Sie lernen aus Erfahrung.

Das Paper argumentiert, dass die heutigen fortschrittlichsten KI-Agenten (wie jene, die Chatbots antreiben) überraschend schlecht darin sind. Sie neigen dazu, jedes einzelne Spiel so zu behandeln, als wäre es brandneu, und vergessen dabei alles, was sie im vorangegangenen neunten Spiel gelernt haben.

Um dies zu beweisen und herauszufinden, wie man es behebt, haben die Autoren LatentGym entwickelt.

Der Spielplatz: LatentGym

Betrachten Sie LatentGym nicht als ein einzelnes Spiel, sondern als eine Fabrik zur Erstellung von Spielsequenzen.

Das „Latente“ (Die verborgene Regel): In einem normalen Spiel sind die Regeln fest vorgegeben. In LatentGym gibt es eine geheime „verborgene Regel“, die für alle Spiele in einer Sequenz gilt. In einem Zahlenraten könnte die verborgene Regel zum Beispiel lauten: „Die Zahl ist immer entweder 137 oder 793.“ Die KI weiß das zu Beginn nicht; sie muss es durch das Spielen herausfinden.
Die Regler: Die Forscher können den Schwierigkeitsgrad wie an einem Mischpult anpassen:
- Der Prompt: Wie viel von der geheimen Regel verraten sie der KI? (Nichts? Ein vager Hinweis? Die ganze Wahrheit?)
- Das Feedback: Sagen sie nach einem Spiel nur „Du hast gewonnen/verloren“, oder offenbaren sie die tatsächliche Antwort, damit die KI lernen kann?
- Der Horizont: Wie viele Spiele sind in der Sequenz enthalten? (5? 10? 20?)

Dieser Aufbau ist entscheidend, denn in den meisten KI-Tests weiß man nicht, warum eine KI scheitert. Hat sie das Muster nicht gesehen? Hat sie das Muster gesehen, aber vergessen, es anzuwenden? In LatentGym kennen die Forscher die geheime Regel perfekt, sodass sie genau bestimmen können, an welcher Stelle das „Gehirn“ der KI einen Kurzschluss erlitten hat.

Das Problem: Wie KI scheitert

Als die Forscher Top-KI-Modelle (wie GPT-4o und Claude) in diesen einfachen Sequenzen testeten, fanden sie drei spezifische Arten, wie die KI beim Lernen versagte:

Adaptations-Vernachlässigung (Das „Reset-Knopf“-Syndrom): Die KI ignoriert die Tatsache, dass sie schon einmal gespielt hat. Selbst wenn die Antwort immer „Rot“ ist, behandelt sie das zweite Spiel so, als wäre es das erste Mal überhaupt, und beginnt mit einer Zufallswahl anstatt zuerst „Rot“ zu prüfen. Es ist wie ein Schüler, der vergisst, dass er gestern eine Mathearbeit geschrieben hat, und heute versucht, die Formel wieder von Grund auf neu herzuleiten.
Adaptations-Zusammenbruch (Das „Zwinkern“-Syndrom): Die KI bemerkt ein Muster („Warte, die Zahlen werden kleiner!“), aber sie weiß nicht, wie sie diese Information nutzen soll. Sie sieht den Hinweis, spielt aber weiterhin auf die alte Weise weiter. Es ist, als würde man ein „Vorsicht Rutschgefahr“-Schild sehen, aber trotzdem ganz normal weiterlaufen, anstatt langsamer zu werden.
Adaptations-Fehlkalibrierung (Das „Überdenker“-Syndrom): Als die Forscher der KI die Regel explizit sagten („Die Antwort ist immer 137 oder 793“), wurde die KI manchmal verwirrt und performte sogar schlechter als ohne die Information. Sie versuchte so sehr, der Regel zu folgen, dass sie die eigentlichen Spielmechaniken ignorierte. Es ist, als würde man sagen: „Denk nicht an einen rosa Elefanten“, und man verbringt die ganze Zeit damit, an rosa Elefanten zu denken, während man das eigentliche Spiel vergisst.

Die Lösung: Cross-Task RL

Die Forscher versuchten, die KI mithilfe einer Methode namens Cross-Task Reinforcement Learning (RL) besser lehren zu lassen.

Der alte Weg (Single-Task RL): Man trainiert die KI auf Spiel 1, dann auf Spiel 2, dann auf Spiel 3. Sie lernt, Spiel 1 zu gewinnen, dann Spiel 2, aber sie lernt nicht, diese miteinander zu verknüpfen.
Der neue Weg (Cross-Task RL): Man trainiert die KI auf die gesamte Sequenz gleichzeitig. Man sagt ihr: „Dein Ziel ist nicht nur, Spiel 1 zu gewinnen; dein Ziel ist es, Spiel 10 zu gewinnen, indem du aus den Spielen 1 bis 9 lernst.“

Die Ergebnisse:
Als sie diese neue Trainingsmethode verwendeten, lernte die KI tatsächlich zu adaptieren.

Sie begann frühzeitig nach Mustern zu suchen.
Sie begann, diese Muster zu nutzen, um spätere Spiele schneller zu gewinnen.
Entscheidend war, dass dieses Lernen generalisierte. Selbst als sie die KI mit einem neuen Satz von Spielen mit einer neuen verborgenen Regel testeten, die sie noch nie zuvor gesehen hatte, war sie immer noch besser darin, das Ganze zu durchschauen, als die auf die alte Weise trainierte KI. Sie lernte eine „Meta-Fähigkeit“ des Lernens.

Eine überraschende Wendung: Weniger Information ist besser

Eine der interessantesten Erkenntnisse betraf das Feedback.

Reiches Feedback: Der KI nach jedem Spiel die exakte Antwort nennen.
Spärliches Feedback: Der KI nur sagen: „Du hast gewonnen“ oder „Du hast verloren“.

Kontraintuitiv dazu war die KI, die mit spärlichem Feedback (weniger Information) trainiert wurde, tatsächlich besser darin, auf neue Situationen zu generalisieren, als diejenige, die mit reichem Feedback trainiert wurde. Es scheint, dass man der KI zu leicht die Antwort gibt, wird sie faul oder zu abhängig von diesem speziellen Hinweis. Wenn sie gezwungen ist, die Dinge mit nur einem „Gewonnen/Verloren“-Signal zu ergründen, entwickelt sie eine robustere Strategie, die auch funktioniert, wenn sich die Hinweise ändern.

Das Fazit

Das Paper stellt ein neues „Gym“ (LatentGym) vor, um zu testen, ob KI-Agenten aus einer Sequenz verwandter Aufgaben lernen können. Sie fanden heraus, dass heutige Top-KIs schlecht darin sind, die Punkte zwischen Aufgaben zu verbinden. Durch das Training auf vollständigen Aufgabensequenzen (Cross-Task RL) statt auf isolierten Aufgaben können sie jedoch eine allgemeine Fähigkeit zur Anpassung erlernen. Dieser Rahmen ermöglicht es Forschern, genau zu sehen, warum eine KI scheitert und wie man es behebt, was uns näher zu Agenten bringt, die wirklich aus Erfahrung lernen.

Technisches Resümee: LatentGym

Problemstellung

Aktuelle Trainings- und Evaluierungsframeworks für Large Language Model (LLM) Agenten verfügen nicht über die Fähigkeit, quer-aufgabenspezifisches erfahrungsbasiertes Lernen (cross-task experiential learning) rigoros zu untersuchen: die Kapazität eines Agenten, sich über eine Sequenz verwandter Aufgaben hinweg zu verbessern, indem er gemeinsame verborgene Strukturen (Latente) schließt und nutzt. Bestehende Benchmarks behandeln Aufgaben oft unabhängig oder verlassen sich auf implizite Strukturen, die für den Experimentator nicht kontrollierbar sind. Infolgedessen ist es schwierig zu diagnostizieren, warum ein Agent die Anpassung nicht schafft (z. B. ob er daran scheiterte, die Struktur zu erkennen, sie zu inferieren oder darauf zu reagieren) oder um Methoden zu vergleichen, die darauf abzielen, diese Fähigkeit zu etablieren.

Methodik: LatentGym

Die Autoren führen LatentGym ein, ein kontrollierbares Testfeld, das darauf ausgelegt ist, die quer-aufgabenspezifische Anpassung zu isolieren und zu messen. Das Framework basiert auf drei Kernkomponenten:

1. Kontrollierbare Umgebungen

LatentGym organisiert Umgebungen um eine explizite, wahrheitsgetreue latente Variable ( $z$ ), welche die über eine Sequenz von $N$ Aufgaben geteilte Regelmäßigkeit steuert. Das Framework faktorisiert jede Umgebung entlang fünf orthogonaler Achsen:

Kern-Dynamik (Core Dynamics): Das innerhalb einer Aufgabe liegende Entscheidungsproblem (z. B. Zahlenraten, Banditen, Wortleitern).
Latentes (Latent): Die wahrheitsgetreue Struktur, die über die Sequenz hinweg geteilt wird (z. B. eine feste Menge an Zielzahlen, ein rotierender bester Arm bei Banditen).
Prompt-Typ (Prompt Type): Steuert die Informationsverfügbarkeit bezüglich des Latenten (Keine Information, vager Hinweis oder vollständige Information).
Feedback-Typ (Feedback Type): Bestimmt die Information nach der Aufgabe (Standard: nur Erfolg/Misserfolg; Information: wahrheitsgetreues Ergebnis offenbart).
Horizont ( $N$ ): Die Anzahl der Aufgaben in der Sequenz.
Die Suite umfasst sieben Umgebungen, die auf textbasierten Spielen basieren (Zahlenraten, Banditen, Sekretär, Mastermind, Wortleiter, Wordle, Hangman), jeweils mit multiplen latenten Konfigurationen.

2. Diagnostik: Exploration vs. Exploitation

Um über aggregierte Belohnungsmetriken hinauszugehen, führt LatentGym einen counterfactualen Agenten-Wechsel-Mechanismus (agent-switching) ein. An einem Wechselpunkt $K$ wird die von einem „Explorer“-Agenten gesammelte Historie an einen „Exploiter“-Agenten übergeben. Dies ermöglicht die Trennung zweier distinkter Fähigkeiten:

Explorations-Effizienz (Exploration Efficiency): Ob die Aktionen des Agenten in frühen Aufgaben informatives Evidenzmaterial über das Latente sammeln.
Exploitations-Effizienz (Exploitation Efficiency): Ob der Agent diese Evidenz effektiv nutzt, um die Leistung in späteren Aufgaben zu verbessern.
Zu den Metriken gehören die kumulative Belohnung ( $R$ ), der Gewinn über Aufgaben hinweg ( $r_N - r_1$ ) und die Belohnung der letzten Aufgabe ( $r_N$ ).

3. Integrierte RL-Pipeline

Das Framework integriert sich mit SkyRL und unterstützt Standardalgorithmen (SFT, PPO, GRPO). Es ermöglicht Cross-Task RL, bei dem die Policy end-to-end auf vollständigen Sequenzen verwandter Aufgaben unter Verwendung eines kumulativen Belohnungsziels ( $\sum r_i$ ) feinjustiert wird. Dies steht im Gegensatz zu Single-Task RL, welches auf isolierte Aufgaben optimiert.

Zentrale Beiträge und Ergebnisse

1. Fehlermodi von Frontier-Modellen

Die Evaluierung von Frontier-Modellen (GPT-4o, Claude Sonnet 4.6, Gemini 2.5 Flash) auf LatentGym zeigt, dass sie oft daran scheitern, sich selbst unter einfachen latenten Strukturen anzupassen. Die Autoren identifizieren drei wiederkehrende Fehlermodi:

Adaptations-Vernachlässigung (Adaptation Neglect): Modelle starten Strategien (z. B. binäre Suche) für jede Aufgabe wiederholt neu und ignorieren dabei die quer-aufgabenspezifische Evidenz, selbst wenn Hinweise bereitgestellt werden.
Adaptations-Zusammenbruch (Adaptation Breakdown): Modelle erkennen Muster, scheitern aber daran, zuverlässig darauf zu reagieren, oder reagieren auf eine Weise, die die Leistung verschlechtert (z. B. Overfitting auf ein Muster).
Adaptations-Fehlkalibrierung (Adaptation Miscalibration): Die Bereitstellung expliziter Informationen über das Latente kann die Leistung paradoxerweise verschlechtern, da Modelle möglicherweise übermäßig auf die bereitgestellte Regel konditionieren und operative Einschränkungen verletzen.

2. Cross-Task RL induziert allgemeine Anpassung

Die Autoren demonstrieren, dass Cross-Task RL (Feinjustierung auf vollständigen Sequenzen) erfolgreich die Fähigkeit zur quer-aufgabenspezifischen Anpassung etabliert, die Single-Task RL nicht erreichen kann.

Leistungssteigerungen: Cross-Task RL übertrifft sowohl die Basismodelle als auch Single-Task RL signifikant in Bezug auf kumulative Belohnung, Gewinn über Aufgaben hinweg und Belohnung der letzten Aufgabe in allen getesteten Umgebungen.
Generalisierung: Die gelernte Anpassungsstrategie generalisiert auf gehaltene Latente (OOD-1) und gehaltene Umgebungen (OOD-2), was darauf hindeutet, dass eine allgemeine Meta-Strategie und keine umgebungsspezifische Hinweisreaktion erworben wurde.
Mechanismus: Eine Analyse via Agenten-Wechsel zeigt, dass Cross-Task RL sowohl die Explorations- als auch die Exploitations-Effizienz verbessert, wobei der dominante Faktor je nach Umgebung variiert (z. B. dominiert Exploitation bei Zahlenraten, während Exploration bei Hangman dominiert).

3. Einfluss von Designentscheidungen zur Trainingszeit

Die Studie untersucht, wie Trainingsbedingungen die Generalisierung beeinflussen:

Feedback-Dichte: Kontraintuitivweise transferiert das Training mit standardmäßigem (spärlichem) Feedback robuster auf Einsatzbedingungen als das Training mit informationsreichem Feedback. Modelle, die mit vollständiger Information trainiert wurden, erleiden signifikante Leistungseinbußen, wenn sie unter Standard-Feedback evaluiert werden.
Prompt-Reichtum: Das Training mit vagen Hinweisen („some info“) liefert Modelle, die im Vergleich zu Modellen, die mit vollständiger Information trainiert wurden, gleichmäßiger über Prompt-Bedingungen hinweg transferierbar sind; letztere zeigen zwar einen starken In-Distribution-Vorteil, aber eine schlechte Cross-Prompt-Transferleistung.

Bedeutung

Das Paper positioniert LatentGym als grundlegendes Instrument für die prinzipielle Untersuchung des quer-aufgabenspezifischen erfahrungsbasierten Lernens in LLM-Agenten. Durch die Bereitstellung eines gemeinsamen, kontrollierbaren Labors mit wahrheitsgetreuen Latenten ermöglicht es:

Diagnose: Die Isolierung spezifischer Fehlermodi (Vernachlässigung, Zusammenbruch, Fehlkalibrierung), die aggregierte Benchmarks verschleiern.
Algorithmenentwicklung: Die Prüfung, ob das Training auf Sequenzen allgemeine Anpassungsstrategien induziert.
Design-Erkenntnisse: Die Erkenntnis, dass „weniger mehr ist“ (spärliches Feedback) bei den Trainingsdaten für eine robuste Generalisierung.

Die Autoren schließen, dass LatentGym eine kontrollierte Grundlage für das Design von Agenten bietet, die sich in sequentiellen, personalisierten und interaktiven Settings zuverlässiger anpassen können, und damit über die aktuelle Limitierung hinausgeht, Aufgaben isoliert zu betrachten.