Enrich-Retrieve-Rank: Scaling Capability Discovery Beyond In-Context Routing
Dieses Paper führt „Enrich-Retrieve-Rank“ ein, eine skalierbare Pipeline zur Entdeckung von Fähigkeiten, die ineffizientes In-Context-Routing durch einen Offline-Enrichment- und Online-Retrieve-then-Rank-Ansatz ersetzt und dabei eine signifikant höhere Genauigkeit sowie geringere Kosten im Vergleich zu Baseline-Methoden demonstriert, während Agenten-Ökosysteme von Hunderten auf Tausende von Komponenten anwachsen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich rasant entwickelnden Welt der künstlichen Intelligenz ist eine neue Generation von Systemen entstanden, die nicht nur Fragen beantwortet, sondern Aufgaben ausführt. Diese Systeme, oft als Agenten bezeichnet, agieren als digitale Assistenten, die das Web durchsuchen, Code schreiben oder komplexe Arbeitsabläufe verwalten können. Um dies zu tun, greifen sie auf eine riesige Bibliothek digitaler Werkzeuge, Fähigkeiten und anderer Agenten zurück, ganz so, wie ein menschlicher Arbeiter auf einen Werkzeugkasten angewiesen ist, der mit Hammer, Schraubendrehern und spezialisierter Software gefüllt ist. Während diese Ökosysteme wachsen, enthalten sie nun Tausende von unterschiedlichen Fähigkeiten. Die zentrale Herausforderung für diese intelligenten Systeme ist die Entdeckung: Wenn sie mit einer spezifischen Aufgabe konfrontiert werden, wie weiß das System, welches Werkzeug es aus einer Bibliothek auswählen muss, die Tausende von Optionen enthalten kann? Lange Zeit bestand der Standardansatz darin, der künstlichen Intelligenz einfach die gesamte Liste der verfügbaren Werkzeuge zu zeigen und sie die Auswahl treffen zu lassen. Diese Methode funktionierte gut, wenn die Liste kurz war, aber als die Bibliotheken auf Tausende anwuchsen, begannen die Systeme zu kämpfen und scheiterten oft daran, das richtige Werkzeug zu finden oder verschwendeten Zeit und Ressourcen, indem sie versuchten, die falschen Werkzeuge zu nutzen.
Ein Team von Forschern bei Amazon AGI setzte sich zum Ziel, dieses Skalierungsproblem zu lösen, indem es die Art und Weise neu überdachte, wie diese Systeme nach Fähigkeiten suchen. Sie betrachteten das Problem nicht als eine einfache Auswahl, sondern als eine Suchmaschinenanfrage. Anstatt die künstliche Intelligenz zu zwingen, eine massive, unorganisierte Liste aller verfügbaren Werkzeuge zu lesen, bauten sie eine Pipeline, die Informationen zuerst organisiert und dann die relevantesten Optionen abruft, bevor eine endgültige Entscheidung getroffen wird. Der Prozess beginnt mit einem Offline-Schritt, bei dem das System die spärlichen, oft kurzen Beschreibungen jedes Werkzeugs nimmt und sie in reichhaltige, detaillierte Profile umschreibt. Dies geschieht einmalig, wenn ein Werkzeug zur Bibliothek hinzugefügt wird, wodurch ein durchsuchbares Register erstellt wird, das eine Zusammenfassung, spezifische Schlüsselwörter und Beispiele für die Verwendung des Werkzeugs enthält. Wenn ein Nutzer eine Frage stellt, bittet das System die künstliche Intelligenz nicht, aus der gesamten Bibliothek zu raten. Stattdessen durchsucht es schnell diesen angereicherten Index, um eine engere Auswahl der wahrscheinlichsten Kandidaten herauszufiltern, und nutzt dann eine abschließende, fokussierte Prüfung, um diese zu ranken.
Die Forscher testeten diesen Ansatz gegenüber der traditionellen Methode, der gesamten Liste der künstlichen Intelligenz zu zeigen, bekannt als In-Context-Routing. Sie fanden heraus, dass die traditionelle Methode kollabierte, sobald die Bibliothek der Werkzeuge wuchs. Wenn die Bibliothek nur zehn Werkzeuge enthielt, war das System in achtzigfünf Prozent der Fälle korrekt. Als die Anzahl der Werkzeuge jedoch auf fast siebentausend anstieg, sank die Genauigkeit der traditionellen Methode auf nur zwölf Prozent. Das System war von dem schieren Volumen der Informationen, die es gleichzeitig verarbeiten musste, überfordert. Im Gegensatz dazu bewältigte die neue Such-und-Ranking-Pipeline das Wachstum wesentlich eleganter. Obwohl auch ihre Genauigkeit mit der Größe der Bibliothek abnahm, blieb sie signifikant höher und sank bei der größten Skala auf neununddreißig Prozent. Entscheidend war, dass die Forscher einen Wendepunkt bei etwa fünfhundert Werkzeugen entdeckten. Unter dieser Zahl funktionierte die alte Methode, die ganze Liste zu zeigen, noch gut. Darüber hinaus wurde der neue, suchbasierte Ansatz unerlässlich und übertraf die alte Methode bei weitem.
Die Studie ergab auch, dass das neue System weita-lich effizienter war. Durch den vorangegangenen Abruf einer Kurzliste verbrauchte das System etwa die Hälfte der Rechenressourcen, die die traditionelle Methode im Vergleich zu einem System benötigen würde, das Kandidaten einzeln durchsucht. Im Vergleich zu der Methode, die die gesamte Liste zeigte, reduzierte der neue Ansatz die Kosten um den Faktor siebzig. Diese Effizienz ist von entscheidender Bedeutung, da jedes Mal, wenn eine künstliche Intelligenz ein Werkzeug ausprobiert und scheitert, Rechenleistung und Zeit verbraucht wird, und in einigen Fällen könnte sie sogar eine Aktion auf einem nicht vertrauenswürdigen System auslösen, nur um zu lernen, was sie tut. Die neue Pipeline vermeidet diese verschwendeten Versuche, indem sie irrelevante Optionen herausfiltert, bevor irgendeine Aktion unternommen wird.
Eine zentrale Erkenntnis der Forschung war, dass die Verbesserung primär aus dem Abrufschritt (Retrieval) resultierte, nicht aus dem abschließenden Ranking-Schritt. Die Fähigkeit des Systems, das richtige Werkzeug im ersten Suchschritt zu finden, war der Hauptengpass. Selbst wenn die Suchmaschine das richtige Werkzeug fand, war der abschließende Ranking-Schritt hochgradig zuverlässig und platzierte die beste Option zwischen siebzig und siebenundachtzig Prozent der Zeit an der Spitze der Liste, unabhängig davon, wie groß die Bibliothek war. Dies deutet darauf hin, dass die Zukunft dieser Systeme weniger davon abhängt, den finalen Entscheidungsträger intelligenter zu machen, sondern vielmehr davon, bessere Suchmaschinen zu bauen, die massive Werkzeugbibliotheken handhaben können. Die Forscher stellten zudem fest, dass dieser Ansatz am besten funktioniert, wenn die ursprünglichen Beschreibungen der Werkzeuge spärlich oder unvollständig sind. Für Bibliotheken, die bereits sehr detaillierte Beschreibungen besitzen, bot der zusätzliche Schritt des Umschreibens der Informationen kaum einen Nutzen. Für die riesigen, wachsenden Bibliotheken realer Werkzeuge jedoch, in denen die Beschreibungen oft kurz sind, war dieser Anreicherungsschritt entscheidend für den Erfolg.
Das Team implementierte diese Pipeline als Standard-Discovery-Layer für eine groß angelegte Multi-Agenten-Plattform in der Produktion. In dieser realen Umgebung verwaltet das System gleichzeitig Tausende von Agenten, Werkzeugen und Fähigkeiten. Die Ergebnisse bestätigten die Laborbefunde: Der suchbasierte Ansatz ermöglichte es dem System, effektiv zu skalieren, wo die alten Methoden versagten. Die Forscher betonten, dass dies keine theoretische Übung ist, sondern eine praktische Lösung für ein Problem, das auftritt, wenn KI-Systeme komplexer und fähiger werden. Indem sie die Entdeckung von Fähigkeiten als ein Suchproblem statt als ein Auswahlproblem behandelten, haben sie einen Bauplan dafür geliefert, wie diese Systeme weiterwachsen können, ohne ihre Fähigkeit zu verlieren, die richtigen Werkzeuge für die Aufgabe zu finden. Die Arbeit zeigt, dass sich mit der Expansion von KI-Ökosystemen auch die Architektur der Informationsfindung entwickeln muss – weg von einfachen Listen hin zu hochentwickelten, geschichteten Suchprozessen, die der Komplexität der modernen digitalen Welt gerecht werden können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.