HyperSkill: Self-Evolving LLM Agents via Hypergraph-Structured Skill Memory
HyperSkill ist ein neuartiges Framework, das die Leistung von LLM-Agenten bei komplexen Aufgaben verbessert, indem es das erfahrungsbasierte Gedächtnis als Hypergraphen aus Teilaufgaben und wiederverwendbaren Fähigkeiten darstellt, was eine effektivere Speicherung, relationale Abfrage und selbstentwickelnde Wartung ermöglicht, die bestehende Baselines signifikant übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein Computerprogramm vor, das darauf ausgelegt ist, wie ein menschlicher Assistent zu agieren, fähig dazu, im Internet zu navigieren, Werkzeuge zu nutzen und komplexe, mehrstufige Probleme zu lösen. Diese Programme, bekannt als KI-Agenten, beantworten nicht nur Fragen; sie ergreifen Maßnahmen, beobachten die Ergebnisse und versuchen es erneut, wenn sie scheitern. Damit diese Agenten im Laufe der Zeit besser werden, benötigen sie eine Möglichkeit, sich an das zu erinnern, was sie zuvor getan haben. Genau wie ein Mensch aus einem vergangenen Fehler oder einer erfolgreichen Strategie lernt, muss ein Agent seine Erfahrungen speichern, um sie später wiederverwenden zu können. Die Herausforderung liegt darin, wie man dieses Gedächtnis organisiert. Wenn ein Agent einfach eine lange Liste jeder jemals von ihm durchgeführten Aktion speichert, wird die Information zu einem unordentlichen Haufen aus Rauschen. Wenn er nur das Endergebnis speichert, verliert er die schrittweise Logik, die zur Lösung geführt hat. Der Schlüssel zum Bau eines wahrhaft selbstverbessernden Agenten liegt darin, einen Weg zu finden, nicht nur die Rohdaten eines Ereignisses zu speichern, sondern die Beziehungen zwischen den kleinen Schritten und den Fähigkeiten, die zur Lösung dieser Schritte verwendet wurden.
Forscher haben versucht, dieses Problem zu lösen, indem sie verschiedene Systeme für das Gedächtnis eines Agenten entwickelt haben. Einige Systeme speichern ganze Geschichten vergangener Interaktionen, während andere versuchen, diese Geschichten in kurze Zusammenfassungen oder Listen von „Fähigkeiten“ zu destillieren. Diese bestehenden Methoden behandeln jedoch jedes Informationsstück oft als isoliertes Element. Sie mögen sich daran erinnern, dass eine bestimmte Aufgabe gelöst wurde, versäumen es aber, festzuhalten, wie die kleinen Schritte dieser Aufgabe mit den wiederverwendbaren Fähigkeiten zusammenhängen, die dies möglich machten. Sie haben auch Schwierigkeiten damit, ihr Gedächtnis effizient zu aktualisieren, da sie oft einfach neue Informationen hinzufügen, ohne zu prüfen, ob alte Informationen nutzlos geworden sind oder ob zwei ähnliche Fähigkeiten tatsächlich dieselbe sind. Diese Einschränkung verhindert, dass Agenten sich wahrhaft entwickeln können, da sie die Muster, die verschiedene Aufgaben miteinander verknüpfen, nicht leicht erkennen können.
Um diese Lücken zu schließen, hat ein Forscherteam ein neues Framework namens HYPERSKILL entwickelt. Anstatt Erinnerungen als flache Liste oder als einfache Kette von Verbindungen zu speichern, organisiert dieses System die Erfahrungen eines Agenten in einem komplexen Netz, in dem eine einzige Erinnerungseinheit mehrere verwandte Informationsteile gleichzeitig verknüpft. Stellen Sie sich eine Erinnerung nicht als eine einzelne Datei vor, sondern als ein Gruppenfoto, das eine bestimmte Reise, die einzelnen Schritte auf dem Weg dorthin und die spezifischen Werkzeuge oder Strategien, die verwendet wurden, um dorthin zu gelangen, alle zusammen in einem Paket festhält. Wenn der Agent vor einem neuen Problem steht, sucht er nicht einfach nach einer ähnlichen vergangenen Geschichte. Stattdessen zerlegt er das neue Problem in seine kleineren Teile und sucht nach vergangenen Reisen, die dieselben Teile teilen, unabhängig davon, ob die Gesamte Geschichte oberflächlich betrachtet anders aussieht.
Das System arbeitet, indem es zwei Arten von Gedächtnisknoten erstellt: einen für die spezifischen Schritte einer Aufgabe und einen anderen für die wiederverwendbaren Fähigkeiten, die bei vielen verschiedenen Aufgaben angewendet werden können. Diese Knoten sind durch eine spezielle Verbindung verknüpft, die eine vollständige Reise darstellt, die der Agent unternommen hat. Wenn eine neue Aufgabe eintrifft, nutzt der Agent eine duale Suchmethode, um die hilfreichsten vergangenen Erfahrungen zu finden. Zuerst sucht er nach vergangenen Reisen, die dieselben kleinen Schritte wie die aktuelle Aufgabe teilen. Zweitens sucht er nach Reisen, die der allgemeinen Beschreibung der Aufgabe entsprechen. Durch die Kombination dieser beiden Suchen kann das System relevante Erfahrungen finden, die eine einfachere Suche übersehen würde. Sobald es diese vergangenen Reisen findet, bewertet es die in ihnen verwendeten Fähigkeiten bassierend darauf, wie oft sie gemeinsam in erfolgreichen Ergebnissen auftraten. Dies ermöglicht es dem Agenten, die zuverlässigsten Strategien zu priorisieren, anstatt nur auf Basis der Ähnlichkeit der Wörter zu raten.
Während der Agent weiter arbeitet und mehr Erfahrungen sammelt, verfeinert das System automatisch sein Gedächtnis, um es nützlich zu halten. Es überprüft regelmäßig die gespeicherten Informationen, um Fähigkeiten oder Schritte zu entfernen, die sich als unwirksam erwiesen haben oder nicht mehr benötigt werden. Es sucht auch nach Fähigkeiten, die im Wesentlichen dieselben sind, und führt sie zu einem einzigen, stärkeren Eintrag zusammen. Dieser Prozess stellt sicher, dass das Gedächtnis kompakt und hochwertig bleibt, wodurch verhindert wird, dass der Agent von redundanten oder minderwertigen Informationen überwältigt wird. Die Forscher testeten dieses System auf drei verschiedenen Benchmarks, die komplexe Websuche, mehrstufiges Denken und den Einsatz von Werkzeugen umfassten. Sie verglichen HYPERSKILL mit zehn anderen Gedächtnissystemen unter Verwendung von zwei verschiedenen großen Sprachmodellen. Die Ergebnisse zeigten, dass das neue Framework die anderen Systeme konsistent übertraf und höhere Erfolgsraten bei schwierigen Aufgaben erzielte. Beispielsweise verbesserte es die Erfolgsrate in einem spezifischen Test um mehr als elf Prozentpunkte im Vergleich zu einem Zustand ohne Gedächtnis, und das, ohne signifikant mehr Rechenleistung oder Zeit zu beanspruchen.
Die Studie legt nahe, dass die Art und Weise, wie das Gedächtnis strukturiert ist, genauso wichtig ist wie das Gedächtnis selbst. Indem es die Beziehungen zwischen Aufgaben, Schritten und Fähigkeiten bewahrt und dem System ermöglicht, seine eigene Wissensbasis zu entwickeln, ermöglicht HYPERSKILL den Agenten, effektiver aus ihrer eigenen Geschichte zu lernen. Die Forscher fanden heraus, dass das bloße Hinzufügen von mehr Gedächtnis ohne eine intelligente Art der Organisation und Bereinigung die Leistung tatsächlich verschlechtern kann, was zu Verwirrung und Fehlern führt. Ihr Ansatz, der eine strukturierte Webstruktur aus Verbindungen mit einem disziplinierten Prozess für das Beschneiden und Zusammenführen kombiniert, bietet einen Weg zu Agenten, die mit jeder Erfahrung, die sie machen, wahrhaft kompetenter werden können. Während das System derzeit darauf angewiesen ist, dass der Agent Aufgaben zerlegt und Lektionen extrahiert, was einen kleinen Aufwand für den Betrieb bedeutet, deuten die Gewinne an Genauigkeit und Effizienz darauf hin, dass diese Methode der Wissensorganisation ein bedeutender Schritt nach vorn für autonome Systeme ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.