STEP-VERIFIER: Learning to Verify Intermediate Agent Behavior with Process Reward Models
STEP-VERIFIER ist ein Process Reward Model, das lernt, einzelne Agentenaktionen durch automatisch synthetisierte paarweise Vergleiche zu verifizieren und während des Trainings dichtes intermediäres Feedback bereitzustellen, was die Leistung von Agenten bei komplexen Tool-Use-Aufgaben signifikant verbessert, ohne dass während des Einsatzes eine Abhängigkeit vom Verifizierer besteht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz gibt es eine wachsende Klasse von Programmen, die als Agenten bekannt sind. Im Gegensatz zu einem Standard-Chatbot, der lediglich eine Frage beantwortet, ist ein Agent darauf ausgelegt, eine Handlung vorzunehmen. Er kann im Internet surfen, externe Werkzeuge aufrufen oder Dateien manipulieren, um komplexe Probleme zu lösen. Um dies zu lernen, werden diese Agenten oft durch einen Prozess trainiert, der dem Ausprobieren und Irren ähnelt. Sie versuchen eine Aufgabe, und wenn sie am Ende erfolgreich sind, werden sie belohnt. Wenn sie scheitern, werden sie es nicht. Dies funktioniert gut für einfache Aufgaben, aber für lange, komplizierte Missionen, die Dutzende von Schritten beinhalten, erzeugt es einen erheblichen blinden Fleck. Der Agent kennt nur das Endergebnis, nicht jedoch den spezifischen Schritt, der zum Scheitern führte. Ein einzlich falscher Zug zu Beginn des Prozesses kann den gesamten Versuch ruinieren, doch das Lernsystem behandelt diesen Fehler genauso wie einen Versuch, der bei jedem einzelnen Schritt schiefging. Dieser Mangel an Detailgenauigkeit macht es dem Agenten schwierig, effizient aus seinen Fehlern zu lernen.
Forscher der Universität Hongkong und von Xiaomi haben eine neue Methode entwickelt, um dieses Problem zu lösen, die STEP-VERIFIER heißt. Anstatt bis zum Ende einer Aufgabe zu warten, um die Leistung eines Agenten zu beurteilen, lernt dieses System, die Qualität jeder einzelnen Aktion zu bewerten, während sie geschieht. Die Innovation liegt darin, wie es lernt, dies zu tun, ohne dass menschliche Lehrer jeden einzelnen Schritt bewerten müssen. Das Team stellte fest, dass sie die eigenen vergangenen Versuche des Agenten nutzen können, um das notwendige Feedback zu generieren. Wenn ein Agent versucht, dasselbe Problem viele Male zu lösen, folgt er oft in den ersten Schritten demselben Pfad, bevor er in verschiedene Richtungen abzweigt. Durch den Vergleich der Endergebnisse dieser verschiedenen Zweige kann das System schlussfolgern, welche frühe Entscheidung besser war. Wenn ein Pfad zu einem Erfolg führt und ein anderer zu einem Misserfolg, lernt das System, dass der Entscheidungspunkt, an dem sie sich trennten, entscheidend war.
Die Forscher bauten ein separates „Verifier“-Modell (Verifizierer), das als Richter für diese einzelnen Schritte fungiert. Sie trainierten diesen Verifier mit einer massiven Sammlung von protokollierten Interaktionen, bei denen jeder Versuch entweder als Erfolg oder Misserfolg markiert wurde. Das System sucht nach Momenten, in denen zwei verschiedene Versuche bis zu einem gewissen Punkt dieselbe Historie teilten, dann aber unterschiedliche Aktionen einschlugen. Es berechnet den Unterschied in ihren finalen Erfolgsraten, um einen Vergleich zu erstellen. Wenn beispielsweise eine Aktion in 80 % der Fälle zu einem erfolgreichen Ergebnis führte und eine andere nur in 20 % der Fälle zum Erfolg, lernt der Verifier, der ersten Aktion eine höhere Punktzahl zu geben. Dieser Prozess erzeugt einen dichten Strom von Feedback, der dem Agenten genau sagt, welche Züge gut und welche schlecht waren, lange bevor die Aufgabe abgeschlossen ist.
Entscheidend ist, dass dieser Verifier nur während der Trainingsphase verwendet wird. Die Forscher entwarfen einen Zeitplan, bei dem der Einfluss des Verifiers zu Beginn am stärksten ist, wenn der Agent viele zufällige Vermutungen anstellt und die Endergebnisse noch verrauscht sind. Wenn der Agent besser wird und seine eigenen Endergebnisse zuverlässiger werden, wird der Einfluss des Verifiers schrittweise reduziert, bis er vollständig verschwindet. Dies stellt sicher, dass der fertige, eingesetzte Agent den Verifier nicht benötigt, um zu funktionieren; er hat die Lektionen verinnerlicht und kann unabhängig agieren. Bei Tests auf drei verschiedenen Benchmarks, die Web-Browsing, den Einsatz von Werkzeugen und mehrstufige Planung umfassten, übertraf dieser Ansatz Methoden, die sich nur auf Endergebnisse stützten, deutlich. Der Agent lernte schneller und machte weniger Fehler.
Die Studie verglich diese neue Methode auch mit anderen Wegen, die Bewertung zwischenzeitlicher Schritte vorzunehmen. Einige bisherige Ansätze verwendeten einfache Ja-oder-Nein-Labels für jeden Schritt, während andere versuchten, den gesamten Versuch als eine einzige Einheit zu bewerten. Der STEP-VERIFIER-Ansatz, der ein nuancierteres Rankingsystem zur Vergleichung von Paaren von Aktionen nutzt, erwies sich als am effektivsten. Seine Bewertungen stimmten viel stärker mit menschlichen Urteilen darüber überein, was ein guter Schritt ist. Tatsächlich stimmten Menschen bei der Überprüfung der Aktionen des Agenten in etwa 81,5 % der Fälle mit der Bewertung des Verifiers überein, eine wesentlich höhere Rate als bei anderen automatisierten Methoden. Dies deutet darauf hin, dass das System erfolgreich die subtile Logik erfasst hat, die zur Bewältigung komplexer Aufgaben erforderlich ist.
Eines der wichtigsten Ergebnisse ist, dass das System ohne zusätzlichen menschlichen Aufwand oder neue Datenerhebung funktioniert. Es stützt sich vollständig auf die Daten, die bereits während des Standardtrainings generiert wurden. Die Forscher fanden heraus, dass das System sich natürlich auf die Schritte konzentriert, in denen der Agent die meiste Zeit verbringt, da dies die Schritte sind, bei denen es die meisten Daten zum Vergleichen hat. Sie stellten jedoch auch eine Einschränkung fest: Für sehr schwierige Schritte, die der Agent selten unternimmt, gibt es nicht genügend Daten, um ein zuverlässiges Urteil abzugeben. In jenen seltenen Fällen ist das System weniger informiert. Trotz dieser Grenze stellt die Methode einen bedeutenden Fortschritt dar, indem sie Agenten lehrt, kritisch über ihre eigenen Handlungen nachzudenken. Indem die Forscher die eigene Historie des Agenten in einen Lehrer verwandelt haben, haben sie einen Weg geschaffen, wie diese Systeme aus ihren Fehlern in Echtzeit lernen können, was zu fähigeren und zuverlässigeren künstlichen Intelligenzen führt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.