SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL

In dem sich rasant entwickelnden Feld der künstlichen Intelligenz bringen Forscher Computern bei, komplexe Probleme zu lösen, indem sie sie versuchen, scheitern und aus den Ergebnissen lernen lassen. Dieser Prozess, bekannt als Reinforcement Learning (bestärkendes Lernen), ist besonders nützlich, um große Sprachmodelle darauf zu trainieren, als Agenten zu agieren, die Werkzeuge nutzen, virtuelle Umgebungen navigieren oder Mathematikprobleme lösen können. Eine zentrale Herausforderung bei dieser Arbeit besteht darin, den Erfolg zu messen, wenn der Weg zu einer Antwort lang und unvorhersehbar ist. Traditionelle Methoden erfordern oft, dass das System viele verschiedene Versuche am selben Problem gleichzeitig generiert und auf jeden einzelnen wartet, bis er abgeschlossen ist, bevor es aus den Ergebnissen lernen kann. Dies erzeugt einen Engpass: Wenn ein Versuch lange dauert, weil er stecken bleibt oder viele Werkzeuge ausprobiert, pausiert der gesamte Lernprozess und wartet darauf, dass dieser langsamste Versuch aufholt.

Um diese Ineffizienz zu lösen, wurde ein neuerer Ansatz namens Single-stream Policy Optimization entwickelt. Anstatt auf eine Gruppe von Versuchen zu warten, ermöglicht diese Methode dem System, von einem Versuch nach dem anderen zu lernen, indem es ein persistentes Gedächtnis vergangener Erfolge und Misserfolge nutzt, um zukünftige Entscheidungen zu steuern. Ein Team von Forschern unter der Leitung von Kai Ruan und Jinghao Lin entdeckte jedoch, dass diese Methode zwar die Wartezeit entfernte, aber eine subtile, aber signifikante Diskrepanz in der Art und Weise einführte, wie der Computer seinen Fortschritt berechnet. Sie fanden heraus, dass die Art und Weise, wie das System seine Belohnungen mittelt, nicht mit der Art und Weise übereinstimmte, wie es tatsächlich die Schritte einer Lösung verarbeitet. Durch die Korrektur dieser Abstimmung schufen sie eine verbesserte Version der Methode, die sie SPO++ nannten, welche es der künstlichen Intelligenz ermöglicht, signifikant schneller und effizienter zu lernen.

Der Kern des Problems lag darin, wie der Computer mit der Länge seiner Antworten umging. In der ursprünglichen Methode berechnete das System einen einzelnen Score für einen gesamten Versuch, wie zum Beispiel, ob ein Roboter erfolgreich einen Raum gereinigt oder ein Mathematik-Solver die richtige Antwort gefunden hat. Es verteilte diesen einzelnen Score dann auf jedes Wort oder jeden „Token“, den das Modell während dieses Versuchs generierte. Dies schien logisch, erzeugte aber eine Verzerrung. Wenn ein Versuch sehr lang war und ein anderer kurz, würde der lange Versuch seinen Score über viele Wörter verwässern, während der kurze Versuch seinen Score auf weniger Wörter konzentrieren würde. Wenn das System versuchte, aus diesen Scores zu lernen, verschob die Länge der Antwort den Mittelpunkt des Lernens im Stillen, was dazu führte, dass das Modell auf die falschen Dinge optimierte. Es war, als würde das System versuchen, eine Waage auszubalancieren, aber die Gewichte auf der Waage verschoben sich je nach Anzahl der darauf platzierten Gegenstände, anstatt vom Wert der Gegenstände selbst abzuhängen.

Die Forscher identifizierten zwei spezifische Bereiche, in denen diese Fehlabstimmung auftrat. Erstens verfolgte das System, wann es die Ergebnisse eines Versuchs erhielt, anstatt wann der Versuch tatsächlich generiert wurde. In einem asynchronen System, in dem Aufgaben versendet werden und mit unterschiedlicher Geschwindigkeit abgeschlossen werden, ist die Reihenfolge, in der Ergebnisse eintreffen, oft zufällig und abhängig von der Netzwerkgeschwindigkeit oder der Computerlast. Die ursprüngliche Methode nutzte diese Ankunftsreihenfolge, um ihr Gedächtnis zu aktualisieren, was bedeutete, dass das Lernsignal durch den Zeitpunkt beeinflusst wurde, an dem das Computersystem arbeitete, und nicht durch die Logik der Aufgabe selbst. Zweitens, und noch kritischer, berücksichtigte die Methode der Mittelung der Scores nicht die Tatsache, dass das Modell von jedem Wort lernt, das es generiert, und nicht nur vom Endergebnis. Die Forscher erkannten, dass sie den Lernprozess korrigieren mussten, indem sie die Scores basierend auf der Anzahl der generierten Aktionswörter standardisierten, um sicherzustellen, dass das Belohnungssignal mit dem tatsächlichen Arbeitsvolumen übereinstimmte, das das Modell leistete.

Um diese Probleme anzugehen, führten die Forscher SPO++ ein, das zwei wesentliche Änderungen am Lernprozess vornimmt. Erstens organisierten sie das Gedächtnissystem neu, um das „Policy Event“ zu verfolgen, also den spezifischen Moment, in dem eine Anfrage gesendet wurde, anstatt den Zeitpunkt, an dem das Ergebnis zurückkam. Dies stellt sicher, dass das Gedächtnis des Systems über vergangene Erfolge an den Zustand des Modells zum Zeitpunkt der Erstellung der Aufgabe gebunden ist, was das Lernsignal unabhängig davon konsistent macht, wie lange die Aufgabe zur Fertigstellung dauerte. Zweitens änderten sie die Art und Weise, wie die Scores gemittelt werden. Anstatt jeden Versuch als eine einzige Einheit zu behandeln, berechnet die neue Methode den Durchschnittsscore basierend auf der Gesamtzahl der generierten Aktionswörter über alle Versuche hinweg. Dies stellt sicher, dass das Lernsignal perfekt mit der Art und Weise abgestimmt ist, wie das Modell sein Wissen Wort für Wort aktualisiert.

Die Ergebnisse dieser Änderungen wurden an zwei verschiedenen Arten von Aufgaben getestet: einem Satz von 128 simulierten Haushaltsaufgaben, bei denen ein Agent Objekte an bestimmte Orte bewegen muss, und einem Datensatz von 1.500 Mathematikproblemen, die die Nutzung eines Python-Rechners erfordern. Die Forscher führten Experimente mit zwei verschiedenen Größen von Sprachmodellen durch, einem mit 0,8 Milliarden Parametern und einem mit 2 Milliarden Parametern. In jedem einzelnen Test lernte die neue Methode, SPO++, schneller als der ursprüngliche Ansatz. Bei der Aufgabe der Haushaltsarbeiten war die Verbesserung erheblich, wobei die neue Methode über den Verlauf des Trainings eine signifikant höhere Gesamtbelohnung erzielte. Bei den Mathematikproblemen waren die Gewinne kleiner, aber dennoch konsistent, was zeigte, dass das Modell schneller ein höheres Leistungsniveau erreichte. Die Forscher fanden heraus, dass der leistungsstärkste Teil der neuen Methode die Änderung der Art und Weise der Score-Mittelung war, die allein den Großteil der Verbesserung ausmachte.

Diese Erkenntnisse legen nahe, dass in der komplexen Welt des Trainings von KI-Agenten die Details der Datenverarbeitung genauso wichtig sein können wie die Daten selbst. Indem sie sicherstellen, dass die Art und Weise, wie ein System seinen Fortschritt misst, mit der Art und Weise übereinstimmt, wie es tatsächlich lernt, können Forscher signifikante Effizienzgewinne erzielen, ohne mehr Rechenleistung oder größere Modelle zu benötigen. Die Arbeit zeigt, dass selbst kleine Fehlabstimmungen im Lernprozess den Fortschritt verlangsamen können und dass die Korrektur dieser Fehlabstimmungen es dem System ermöglicht, seine Energie auf das Lösen des Problems zu konzentrieren, anstatt eine fehlerhafte Messung zu kompensieren. Während die künstliche Intelligenz weiterhin immer schwierigere und vielfältigere Aufgaben bewältigt, bieten Methoden wie SPO++ einen klareren Weg nach vorn und stellen sicher, dass jeder Schritt des Modells präzise gemessen wird und effektiv zu seinem Wachstum beiträgt.