SkillGate: Training In-Policy Skill Selection in Long-Horizon Agents

In der modernen Landschaft der künstlichen Intelligenz haben sich große Sprachmodelle von passiven Textgeneratoren zu aktiven Agenten entwickelt, die in der Lage sind, komplexe digitale Umgebungen zu navigieren. Diese Systeme beschreiben die Welt nicht nur; sie interagieren mit ihr, indem sie Softwarewerkzeuge nutzen, um Code zu reparieren, Dateien zu verwalten und Probleme durch eine Serie von Denk- und Handlungsschritten zu lösen. Um die enorme Vielfalt der Aufgaben zu bewältigen, denen sie gegenüberstehen, haben Entwickler begonnen, prozedurales Wissen in wiederverwendbare Module namens „Skills“ (Fähigkeiten) zu verpacken. Stellen Sie sich eine digitale Bibliothek vor, die Tausende dieser Skills enthält, von denen jeder einen Namen und eine kurze Beschreibung besitzt und darauf wartet, vom Agenten bei Bedarf geöffnet zu werden. Die kritische Herausforderung für diese Agenten besteht nicht nur darin, Zugang zu dieser Bibliothek zu haben, sondern zu wissen, welche spezifische Datei im richtigen Moment zu öffnen ist. Diese Entscheidung muss mitten in einer Aufgabe getroffen werden, oft basierend auf einer einzigen Zeile einer Beschreibung, noch bevor der Agent den vollständigen Inhalt der Datei sehen kann. Wenn der Agent den falschen Skill wählt, kann die gesamte Bemühung scheitern, doch bis jetzt gab es keine zuverlässige Methode, um dem Agenten beizubringen, diese Wahl korrekt zu treffen.

Forscher gingen lange Zeit davon aus, dass die Standardmethode für das Training dieser Agenten ausreichen würde: Man präsentiert dem Agenten eine Liste von Kandidaten-Skills, lässt ihn versuchen, eine Aufgabe zu lösen, und belohnt ihn nur dann, wenn das Endergebnis erfolgreich war. Die Idee war, dass der Agent natürlich lernen würde, den richtigen Skill zu wählen, da diese Entscheidung zu einem guten Ergebnis führt. Eine neue Studie zeigt jedoch, dass dieser Ansatz einen grundlegenden Fehler enthält, der verhindert, dass Agenten effektiv lernen, Skills auszuwählen, insbesondere bei langen und komplexen Aufgaben. Die Forscher fanden heraus, dass, wenn ein Agent scheitert, eine Aufgabe abzuschließen, das Trainingssignal, das ihm mitteilt, was schiefgelaufen ist, gleichermaßen über jedes einzelne Wort ausgestrahlt wird, das der Agent generiert hat. In einer langen Sequenz von Aktionen werden die wenigen Wörter, die den gewählten Skill benennen, von den tausenden Wörtern, die für das Denken und Ausführen verwendet werden, übertönt. Folglich erhält der Agent fast kein Feedback über seine ursprüngliche Entscheidung. Schlimmer noch: Wenn der Agent den richtigen Skill gewählt, aber später aufgrund eines anderen Fehlers gescheitert ist, bestraft das Trainingssystem die ursprüngliche Entscheidung und lehrt den Agenten, dass die richtige Entscheidung eigentlich falsch war. Dieses Phänomen, das die Autoren als „Selector Credit Starvation“ (Selektoren-Credit-Verhungern) bezeichnen, bedeutet, dass die wertvollste Entscheidung in einer langen Sequenz oft diejenige ist, die die geringste und irreführendste Anleitung erhält.

Um dies zu lösen, entwickelte das Forschungsteam eine neue Trainingsmethode namens SkillGate. Anstatt die gesamte Sequenz von Aktionen als einen einzigen Block zu behandeln, teilt SkillGate den Lernprozess in zwei separate Kanäle auf. Ein Kanal bewertet die Ausführung der Aufgabe und belohnt oder bestraft den Agenten basierend darauf, ob das Endziel erreicht wurde. Der andere Kanal konzentriert sich ausschließlich auf den Moment, in dem der Agent einen Skill benennt. Dieser zweite Kanal betrachtet nur die spezifischen Wörter, die zur Identifizierung der gewählten Datei verwendet werden, und stellt eine einfache Frage: War dies die einzige korrekte Datei für den Job? Wenn der Agent den richtigen Skill wählte und dies nur einmal tat, erhält er positives Feedback für diese spezifische Wahl, unabhängig davon, ob der Rest der Aufgabe erfolgreich war oder nicht. Wenn er die falsche Datei wählte oder mehrere Dateien wählte, erhält er negatives Feedback. Durch die Isolierung der Entscheidung, einen Skill zu benennen, von dem Ausgang der Aufgabe stellt das System sicher, dass der Agent lernt, zwischen einer guten Entscheidung, die zu einem schlechten Ergebnis führte, und einer schlechten Entscheidung, die zu einem schlechten Ergebnis führte, zu unterscheiden.

Die Ergebnisse dieses Ansatzes wurden über fünf verschiedene Benchmarks hinweg getestet, die komplexe Agenten-Aufgaben beinhalten. Die Forscher trainierten ein Modell mit 9 Milliarden Parametern mit dieser neuen Methode und verglichen es mit Modellen, die nur mit dem traditionellen Outcome-only-Ansatz (Ergebnis-orientierten Ansatz) trainiert wurden. Das mit SkillGate trainierte Modell erreichte eine Erfolgsquote von 53,2 Prozent und übertraf damit deutlich die Erfolgsquote von 47,0 Prozent des Modells, das nur auf Endergebnissen trainiert wurde. Diese Verbesserung war nicht bloß eine Frage der allgemeinen Intelligenz des Modells; das Verhalten änderte sich auf eine spezifische und messbare Weise. Das SkillGate-Modell war weitaus weniger wahrscheinlich dazu geneigt, irreführende oder irrelevante Skills zu lesen, wodurch es seine Exposition gegenüber schlechten Optionen um zwei Drittel senkte, und es las insgesamt weniger Skills, was auf einen entschlosseneren und präziseren Auswahlprozess hindeutet. Die Studie zeigte auch, dass es das Problem nicht löste, das Modell einfach nur größer zu machen; selbst viel größere Modelle konnten die Aufgabe der Skill-Selektion nicht so effektiv erlernen wie das kleinere Modell, das mit SkillGate trainiert wurde.

Die Bedeutung dieser Arbeit liegt in der Demonstration, dass die Art und Weise, wie ein Agent lernt, genauso wichtig ist wie die Daten, die er sieht. Die Forscher verifizierten ihre Diagnose, indem sie die Trainingsdaten von Modellen auditierten, die mit der alten Methode trainiert wurden. Sie fanden heraus, dass mit zunehmender Länge der Aufgaben der Anteil des Lernsignals, der die Wörter zur Benennung des Skills erreichte, dramatisch schrumpfte und nahezu unsichtbar wurde. Darüber hinaus war das Signal, das tatsächlich ankam, oft das Gegenteil dessen, was es hätte sein sollen, da es korrekte Entscheidungen bestrafte, nur weil die Aufgabe letztlich scheiterte. Durch die Konstruktion eines Systems, in dem die Wahl eines Skills nach seinen eigenen Verdiensten beurteilt wird, getrennt von der Ausführung der Aufgabe, entfernten die Forscher diese strukturelle Barriere. Die neue Methode ermöglicht es dem Agenten zu lernen, dass die Wahl eines Tools eine eigenständige und wertvolle Fähigkeit ist, die eine eigene, klare und direkte Instruktion verdient. Dieser Befund legt nahe, dass für Agenten, um in komplexen Umgebungen wirklich zuverlässig zu werden, ihr Training präzise genug sein muss, um zwischen der Entscheidung zu handeln und dem Resultat der Handlung zu unterscheiden.