Efficient Reinforcement Learning for Long-Horizon Tool-Use Agentic Tasks

Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter bei, ein sehr kompliziertes, mehrtägiges Brettspiel zu spielen. Dies ist kein Spiel, bei dem man einfach nur würfelt und eine Figur bewegt; es ist ein Spiel, bei dem der Roboter mit anderen Spielern sprechen, einen Werkzeugkasten mit speziellen Gadgets benutzen, einem strengen Regelbuch folgen und Tage warten muss, um herauszufinden, ob er tatsächlich gewonnen hat. Dies ist die Welt der „Agentic AI“, in der Computerprogramme als kleine Agenten agieren, die in einer digitalen Welt Handlungen vornehmen können. Das große Problem ist, dass diese Spiele so lang und komplex werden, dass das Gehirn des Roboters (sein Gedächtnis) überläuft. Es ist, als würde man versuchen, jedes einzelne Wort eines 10-stündigen Gesprächs zu behalten, während man gleichzeitig Mathematik betreibt; irgendwann geht einem einfach der Platz zum Denken aus. Wissenschaftler versuchen herauszufzufinden, wie sie diese Roboter darauf trainieren können, besser in diesen langen Spielen zu werden, ohne dass ihre Gehirne vor der schieren Menge an Informationen schmelzen.

Dieses Paper stellt ein neues Trainingssystem namens SINKFLEX-RL vor, das wie ein kluger Trick ist, um dem Roboter zu helfen, sich an die wichtigsten Teile des Spiels zu erinnern, ohne ein größeres Gehirn zu benötigen. Die Forscher haben ein System entwickelt, das eine Standard-Spieloberfläche, eine intelligente Art, aus Fehlern zu lernen (genannt „Group-Relative Policy Optimization“ oder GRPO), und eine spezielle gedächtnisersparende Technik für die Aufmerksamkeit des Roboters kombiniert. Anstatt zu versuchen, sich an jedes einzelne Detail der vergangenen 8.000 Schritte eines Gesprächs zu erinnern, nutzt das System einen „Sink“-Mechanismus (Senke). Stellen Sie sich das wie einen magischen Schwamm im Geist des Roboters vor: Er saugt den überwältigenden Lärm alter Informationen auf, behält aber die essenziellen „Sinks“ (die Ausgangspunkte) bei, die dem Roboter helfen, stabil zu bleiben. Durch die Nutzung dieses Schwamches kann sich der Roboter auf den aktuellen Zug konzentrieren, ohne von der Last der Vergangenheit erdrückt zu werden.

Das Team testete dieses System in einer simulierten Einzelhandelsumgebung, in der der Roboter einem Kunden helfen muss, Werkzeuge zur Bestandsprüfung nutzt und Geschäftsrichtlinien folgt. In diesen frühen Tests stieg der Leistungswert des Roboters von 0,25 auf 0,44, während er lernte. Aber die wahre Magie geschah, als sie testeten, wie viel Computerspeicher (VRAM) das System benötigte. Wenn das Gespräch sehr lang wurde (8.192 Token), lief die alte, Standard-Denkweise in den Speicher über und stürzte ab. Das neue SINKFLEX-RL-System hingegen machte weiter und verbrauchte nur 25,53 GB Speicher. Selbst bei einer etwas kürzeren Länge von 4.096 Token sparte das neue System massive 19,7 % an Speicher im Vergleich zur alten Methode. Die Autoren legen nahe, dass dies beweist, dass es möglich ist, diese Langzeit-Agenten (Long-Horizon Agents) zu trainieren, ohne extrem teure Hardware zu benötigen, merken jedoch an, dass dies nur ein vorläufiger Blick ist und keine endgültige, perfekte Lösung.

Das Problem: Der Speicherleck des Roboters

Stellen Sie sich vor, Sie sind der Roboter in dieser Geschichte. Sie spielen ein Spiel, bei dem Sie einem Kunden helfen müssen, ein Hemd zu kaufen. Sie fragen nach seiner Größe, er nennt sie Ihnen, Sie prüfen den Bestand, er fragt nach einer anderen Farbe, Sie prüfen erneut und so weiter. Nach 50 Runden müssen Sie sich an das allererste erinnern, was er gesagt hat, um sicherzustellen, dass Sie seine Größe nicht vergessen haben.

In der Welt der KI wird dies als „Long-Horizon“-Aufgabe bezeichnet. Das Problem ist, dass mit der Länge des Gesprächs die Menge an Speicher, die der Computer benötigt, um all diese Wörter zu halten, unglaublich schnell wächst. Es ist, als würde man einen Rucksack tragen, der schwerer wird, jedes Mal, wenn man einen Schritt macht. Wenn das Gespräch zu lang wird (wie 8.000 Wörter), wird der Rucksack so schwer, dass der Roboter zusammenbricht. Dies wird als „Out of VRAM“ (Video Random Access Memory) bezeichnet, also der Hochgeschwindigkeitsspeicher, den der Computer zum Denken nutzt.

Die Forscher stellten fest, dass die Standardmethoden zum Trainieren dieser Roboter gegen eine „Speicherwand“ stießen. Die Roboter kamen nicht weiter, weil sie versuchten, alles explizit zu speichern, was zu teuer ist. Sie brauchten einen Weg, effizient zu sein, ohne die Fähigkeit zum logischen Schlussfolgern zu verlieren.

Die Lösung: Der magische Schwamm und die Gruppenversammlung

Das Paper schlägt eine dreiteilige Lösung vor, um dieses Speicherleck zu beheben, die sie SINKFLEX-RL nennen.

1. Der Gymnasium Wrapper (Die Universalfernbedienung)
Zuerst bauten sie eine Standard-Schnittstelle, ähnlich einer Universalfernbedienung, die es dem Roboter ermöglicht, mit verschiedenen Spielumgebungen zu kommunizieren. Ob der Roboter nun in einem Geschäft, einer Bank oder einer Reiseagentur ist – dieser Wrapper stellt sicher, dass der Robbot weiß, wie er um Hilfe bittet, Werkzeuge benutzt und Feedback erhält. Es ist, als würde man dem Roboter ein Standard-Regelwerk geben, damit er nicht für jedes einzelne Spiel eine neue Sprache lernen muss.

2. Die Gruppenversammlung (GRPO)
Als Nächstes änderten sie die Art und Weise, wie der Roboter lernt. Normalerweise benötigt ein Roboter zum Lernen einen separaten „Coach“ (ein Value Model), der ihm sagt, wie gut ein Zug war. Aber dieser Coach verbraucht zusätzlichen Speicher. Stattdessen nutzt dieses System eine Methode namens Group-Relative Policy Optimization (GRPO).

Stellen Sie sich vor, der Roboter spielt dasselbe Spiel 10 Mal hintereinander, aber mit jeweils leicht unterschiedlichen Entscheidungen. Anstatt einen Coach zu fragen, schaut sich der Roboter alle 10 Versionen seiner selbst an. Er sagt: „Hey, Version 3 hat eine bessere Punktzahl als Version 1 erhalten, also werde ich die Züge von Version 3 kopieren.“ Er vergleicht sich mit seiner eigenen Gruppe, um herauszufinden, was am besten funktioniert hat. Das ist wie eine Lerngruppe, in der Schüler ihre Antworten vergleichen, um zu sehen, wer es richtig gemacht hat, ohne dass ein Lehrer jede einzelne Arbeit bewerten muss. Dies spart eine enorme Menge an Speicher, da kein separater Coach trainiert werden muss.

3. Der magische Schwamm (Sink-Aware FlexAttention)
Dies ist der kreativste Teil. Die „Aufmerksamkeit“ des Roboters ist die Art und Weise, wie er entscheidet, welche Wörter in der Konversation wichtig sind. In einem langen Gespräch versucht ein Roboter normalerweise, auf jedes einzelne Wort zu achten, was langsam und speicherintensiv ist.

Die Forscher erkannten, dass in langen Gesprächen der Beginn des Chats wie eine „Senke“ (Sink) wirkt – ein Ort, an dem sich die Aufmerksamkeit des Roboters natürlich sammelt, um stabil zu bleiben. Sie entwickelten einen speziellen mathematischen Trick (unter Verwendung von etwas namens FlexAttention), der es dem Roboter ermöglicht, diese „Sink“-Wörter anders zu behandeln.

Denken Sie an Folgendes: Wenn Sie ein 100-seitiges Buch lesen, müssen Sie nicht das gesamte Buch gleichzeitig in den Händen halten. Sie können die erste Seite (die Senke) und die aktuelle Seite, die Sie gerade lesen, festhalten und die mittleren Seiten verblassen lassen, bis Sie sie wieder benötigen. Die „Senke“ ist wie ein Lesezeichen, das den Kontext der Geschichte lebendig hält, ohne dass Sie das ganze Buch mit sich herumtragen müssen. Das System nutzt einen „Zero-Value Sink“, was eine mathematische Art und Weise ist zu sagen: „Wir müssen nicht die eigentlichen Daten für die alten Wörter speichern, wir müssen nur wissen, dass sie da waren, um unser Gleichgewicht zu halten.“ Dies ermöglicht es dem Roboter, lange Gespräche (bis zu 8.192 Token) zu bewältigen, ohne den Speicher zu überlasten.

Die Ergebnisse: Funktioniert es?

Das Team testete dieses neue System in einer simulierten Einzelhandelsumgebung. Sie beobachteten, wie der Roboter über einen Zeitraum hinweg lernte.

• Lernfortschritt: Zu Beginn des Trainings lag der Score des Roboters beim Helfen von Kunden bei 0,25. Am Ende des beobachteten Trainingsfensters stieg der Wert auf 0,44. Das Team sah auch, dass der „Training Score“ und die „Trajectory Reward“ (das sind wie interne Häkchen dafür, wie gut der Roboter arbeitet) jeweils von 0,18 auf 0,40 bzw. von 0,39 auf 0,39 anstiegen. Dies deutet darauf hin, dass der Roboter tatsächlich lernt und besser wird, obwohl die Autoren vorsichtig darauf hinweisen, dass dies nur ein vorläufiger Blick und kein endgültiger Beweis dafür ist, dass die Methode perfekt ist.

• Speichereinsparung: Das spannendste Ergebnis betraf den Speicher. Sie testeten das System mit unterschiedlichen Gesprächslängen:

  • Bei 4.096 Token benötigte die alte Methode 28,06 GB Speicher. Das neue SINKFLEX-RL-System benötigte nur 22,52 GB. Das ist eine Ersparnis von 5,54 GB, oder 19,7 %.
  • Bei 8.192 Token stürzte die alte Methode komplett ab (sie lief in den Speicherüberlauf, oder „OOM“). Das neue System hingegen lief weiter und verbrauchte lediglich 25,53 GB Speicher.

Was dies bedeutet (und was es nicht bedeutet)

Das Paper zeigt, dass es durch die Kombination einer Standard-Spieloberfläche, einer intelligenten Gruppen-Lernmethode und eines gedächtnisersparenden Attention-Tricks möglich ist, Roboter für sehr lange, komplexe Aufgaben zu trainieren, ohne einen Supercomputer zu benötigen. Der „Sink“-Trick wirkt wie ein Schwamm, der den Speicherdruck aufsaugt, damit der Roboter weitermachen kann.

Die Autoren sind jedoch sehr ehrlich darüber, was sie noch nicht bewiesen haben. Sie haben nicht getestet, ob dies der beste Weg zu lernen ist oder ob es für jeden Typ von Roboter funktioniert. Sie haben auch nicht gemessen, wie viel schneller der Roboter lernt, sondern nur, dass er lernen kann, ohne abzustürzen. Sie merkten zudem an, dass dies ein „Proof of Concept“ ist – ein erfolgreicher Testlauf, der zeigt, dass die Idee funktioniert, aber kein fertiges Produkt, das bereit für die reale Welt ist.

Kurz gesagt: SINKFLEX-RL ist ein vielversprechendes neues Werkzeug, das KI-Agenten hilft, sich an lange Gespräche zu erinnern, ohne dass ihr Gehirn explodiert. Es legt nahe, dass wir mit den richtigen Tricks Roboter bauen können, die in der Lage sind, komplexe, mehrtägige Aufgaben zu bewältigen, solublang wir ihnen einen Weg geben, ihr Gedächtnis zu verwalten.