Skill Blocks: How Should an Agent Load Its Skill? A Caching-Correct Comparison of Pre-load, On-Demand Tool-Loading, Progressive Disclosure, and Hybrid
Diese Arbeit evaluiert vier Strategien zur Skill-Ladekapazität für KI-Agenten und zeigt auf, dass, obwohl keine einzelne Methode universell überlegen ist, hybride und progressive Offenlegungsansätze den Token-Verbrauch – insbesondere bei großen, mehrstufigen Aufgaben – signifikant reduzieren, ohne die Ausgabequalität zu beeinträchtigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich ständig weiterentwickelnden Welt der künstlichen Intelligenz gibt es ein wachsendes Bedürfnis, Computerprogrammen beizubringen, wie Spezialisten zu agieren. Anstatt das Kerngehirn der Software ständig neu zu schreiben, hängen Ingenieure nun „Fähigkeiten“ an – detaillierte Bedienungsanleitungen, die dem System sagen, wie es bestimmte Aufgaben ausführt, wie etwa das Suchen nach Informationen, das Manipulieren von Tabellenkalkulationen oder das Navigieren in einer virtuellen Umgebung. Diese Anleitungen werden von der KI jedes Mal gelesen, wenn sie gebeten wird, etwas zu tun. Es ist jedoch ein praktisches Problem aufgetaucht: Diese Handbücher sind oft sehr lang und enthalten hunderte Seiten mit Regeln und Beispielen. Wenn eine KI eine einfache Frage gestellt bekommt, muss sie oft das gesamte, massive Handbuch lesen, selbst wenn 90 Prozent des Textes völlig irrelevant für die Aufgabe sind. Dies verschwendet Rechenressourcen und verlangsamt den Prozess, ganz ähnlich wie ein Bibliothekar, der darauf besteht, jedes Buch in der Bibliothek zu lesen, bevor er einem Kunden hilft, eine einzige spezifische Tatsache zu finden.
Forscher bei Microsoft machten sich daran, dieses Effizienzproblem zu lösen, indem sie eine einfache Frage stellten: Wenn man ein großes Skill-Handbuch hat, wann sollte man jeden Teil davon der KI zeigen? Sie testeten vier verschiedene Methoden zur Bereitstellung dieser Informationen. Die erste Methode war der traditionelle Ansatz: das Laden des gesamten Handbuchs bei jedem einzelnen Mal. Die zweite Methode, genannt „Skill Block“, behielt nur einen winzigen Kern an Anweisungen sichtbar und erlaubte der KI, nur dann nach spezifischen zusätzlichen Abschnitten zu fragen, wenn sie das Gefühl hatte, sie zu benötigen. Die dritte Methode, „Reference“, zeigte der KI einen kurzen Katalog des Inhalts des Handbuchs und ließ sie selbst entscheiden, welchen Abschnitt sie als Nächstes lesen möchte. Die vierte Methode, „Hybrid“, bot vorab eine sehr kurze Zusammenfassung jedes Abschnitts an, sodass die KI sofort entscheiden konnte, ob sie die vollständigen Details benötigte oder ob die Zusammenfassung ausreichte. Das Team testete diese Methoden bei fünf verschiedenen Arten von Aufgaben, die von einfachen Einzelfragen bis hin zu komplexen, mehrstufigen Problemen reichten, die eine Erinnerung an Informationen über mehrere Gesprächsverläufe hinweg erforderten.
Die Ergebnisse zeigten, dass es keinen einzigen besten Weg gibt, diese Fähigkeiten zu laden; die richtige Wahl hängt vollständig von der Größe des Handbuchs und der Art der Aufgabe ab. Für einfache, einmalige Fragen erwies sich der „Hybrid“-Ansatz als am effizientesten. Durch das Bereitstellen einer kurzen Zusammenfassung jedes Abschnitts konnte die KI in der Regel das finden, was sie brauchte, ohne jemals den vollständigen Text anfordern zu müssen, was eine signifikante Menge an Daten einsparte. In einem Test, der eine große Menge an Fragen beinhaltete, reduzierte diese Methode die Menge der Informationen, die die KI verarbeiten musste, um fast 28 Prozent im Vergleich zum Lesen des gesamten Handbuchs. Bei sehr kleinen Handbüchern oder Aufgaben, bei denen die KI dieselben Anweisungen wiederholt benötigt, war jedoch der zusätzliche Aufwand, Informationen anzufordern oder Zusammenfassungen zu lesen, tatsächlich langsamer und teurer, was keinen wirklichen Vorteil gegenüber dem bloßen Lesen des gesamten Inhalts zu Beginn bot.
Die Erkenntnisse wurden noch interessanter, als die Forscher sich komplexe, mehrstufige Aufgaben ansah, bei denen die KI über einen langen Gesprächsverlauf hinweg Kontext behalten muss. In diesen Szenarien glänzten die „Skill Block“- und „Hybrid“-Methoden, wenn die Handbücher groß waren und viele Abschnitte enthielten, die selten genutzt wurden. Da die KI nur die spezifischen Teile lud, die sie für jeden Schritt benötigte, vermied sie die hohen Kosten, das gesamte ungenutzte Handbuch ständig erneut zu senden. In einer komplexen Simulation zur wissenschaftlichen Argumentation reduzierten diese On-Demand-Methoden die effektive Datenlast um mehr als 60 Prozent im Vergleich zur traditionellen Methode. Die Forscher merkten an, dass diese Ersparnis so groß war, dass sie die geringen Kosten für die Anforderung der Informationen übertraf. Umgekehrt verschwand der Vorteil dieser intelligenten Lademethoden in Aufgaben, bei denen die Anweisungen kurz waren und bei jedem einzelnen Schritt benötigt wurden, und die Systeme schnitten in etwa so ab wie der traditionelle Ansatz.
Ein entscheidender Teil dieser Studie war die Frage, wie die Forscher die Kosten maßen. Sie erkannten, dass das bloße Zählen der Gesamtzahl der an die KI gesendeten Wörter irreführend sein kann, insbesondere in langen Gesprächen. Moderne Systeme erinnern sich oft an frühere Teile des Gesprächs und müssen daher nicht alle Wörter, die bereits gesehen wurden, vollständig neu verarbeiten. Das Team entwickelte eine Methode, um nur die neuen Informationen zu zählen und dabei einen kleinen Abschlag für die wiederholten Teile vorzunehmen. Als sie diese genauere Abrechnung anwandten, wurden die Vorteile der intelligenten Lademethoden für große, komplexe Aufgaben noch deutlicher. Sie fanden jedoch auch heraus, dass, wenn die Anweisungen zu klein waren oder die KI zu oft Informationen anfordern musste, der Verwaltungsaufwand für diese Anfragen die Einsparungen zunichtemachen konnte.
Letztendlich legt die Studie nahe, dass die beste Strategie, KI-Fähigkeiten zu lehren, darin besteht, die Bereitstellungsmethode an die Aufgabe anzupassen. Wenn das Handbuch kurz ist oder die Aufgabe die ständige Verwendung derselben Anweisungen erfordert, ist es besser, einfach alles auf einmal zu laden. Aber wenn das Handbuch lang ist und die KI zu jedem gegebenen Zeitpunkt nur ein kleines Stück davon benötigt, ist ein intelligentes System, das Informationen nur bei Bedarf lädt, weit überlegen. Die Forscher fanden heraus, dass ein „Hybrid“-Ansatz, der einen schnellen Überblick über alle Optionen bietet, am besten für einfache Aufgaben funktioniert, während ein „Skill Block“-Ansatz, der es der KI erlaubt, nur bei Bedarf tiefer zu graben, am besten für komplexe, langfristige Projekte geeignet ist. Diese Arbeit behauptet nicht, eine universelle Regel gefunden zu haben, die für jede Situation gilt, aber sie liefert eine klare Orientierungshilfe für Ingenieure, um zu entscheiden, wie sie die Wissensdatenbank ihrer KI strukturieren können, um Zeit und Ressourcen zu sparen, ohne die Leistung zu beeinträchtigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.