SkillAlchemy: Open-World Agent Skill Creation
SkillAlchemy ist ein neuartiges Framework, das die Erstellung von Open-World-Agentenfertigkeiten automatisiert, indem es implizite Anforderungen durch kontrastive Evidenz identifiziert und quellenbasierte Verfahren kompiliert, wodurch eine Leistung erzielt wird, die mit von Menschen kuratierten Fertigkeiten vergleichbar ist und bestehende Baselines auf der SkillsBench signifikant übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich rasant entwickelnden Welt der künstlichen Intelligenz gibt es eine wachsende Unterscheidung zwischen dem, was ein Computermodell weiß, und dem, was es tatsächlich tun kann. Große Sprachmodelle werden auf riesigen Textbibliotheken trainiert, was ihnen ein breites, allgemeines Verständnis der Welt verleiht. Wenn sie jedoch gebeten werden, eine spezifische, mehrstufige Aufgabe auszuführen – wie etwa einen komplexen Datensatz zu analysieren oder eine spezialisierte Softwareumgebung zu navigieren –, stolpern sie oft, weil es ihnen an den präzisen, schrittweisen Anweisungen fehlt, die für diese spezifische Arbeit erforderlich sind. Um diese Lücke zu schließen, haben Forscher das Konzept der „Skills“ (Fähigkeiten) entwickelt. Betrachten Sie einen Skill nicht als ein neues Stück Wissen, sondern als ein wiederverwendbares Werkzeug oder eine vorgefertigte Bedienungsanleitung, die ein Agent laden kann, um einen spezifischen Arbeitsablauf zu bewältigen. Diese Skills ermöglichen es einer KI, über ihr allgemeines Training hinauszugehen und spezialisierte Abläufe auszuführen, ganz so wie ein Schreiner, der einen speziellen Meißel für einen feinen Schnitt aufnimmt, anstatt zu versuchen, einen Nagel mit einem Schraubendreher einzuschlagen. Damit diese Werkzeuge nützlich sind, müssen sie zuverlässig, genau und auf eine breite Palette von Situationen anwendbar sein, nicht nur auf das einzelne Beispiel, für das sie erstellt wurden.
Die Herausforderung bestand jedoch darin, wie man diese Skills erstellt, wenn die Aufgabe unbekannt ist. Traditionell erforderte die Erstellung eines Skills, dass ein menschlicher Experte die Anleitung von Grund auf neu schreibt oder dass die KI aus einer Aufzeichnung vergangener erfolgreicher Versuche lernt. Aber was passiert, wenn die Aufgabe neu ist, kein menschlicher Experte verfügbar ist und keine vergangenen Versuche zum Studium existieren? In solchen Fällen befinden sich die notwendigen Informationen oft verstreut im offenen Internet in Form von Dokumentationen, Code-Repositories und Forendiskussionen. Das Problem ist, dass diese Informationen ungeordnet sind. Sie sind oft für eine bestimmte Person, für einen bestimmten Moment oder für ein spezifisches Computer-Setup geschrieben. Sie enthalten versteckte Annahmen und lokale Details, die nicht auf die allgemeine Aufgabe an sich anwendbar sind. Wenn eine KI diese Anweisungen einfach kopiert, erstellt sie oft ein Werkzeug, das zu starr ist und versagt, sobald sich die Situation geringfügig ändert.
Ein Team von Forschern hat einen neuen Ansatz zur Lösung dieses Problems vorgeschlagen, den sie „SkillAlchemy“ nennen. Anstatt das Internet als eine Bibliothek fertiger Antworten zu behandeln, behandeln sie es als eine Quelle für Rohbeweise, die sorgfältig geprüft und getestet werden müssen, bevor sie zu einem nutzbaren Werkzeug werden können. Ihre Methode beginnt mit einer einfachen, oft vagen Anfrage nach einem Skill, wie etwa „eine Reise planen“ oder „ein Modell kalibrieren“. Anstatt sofort nach einer Lösung zu suchen, fragt das System zuerst, was bei dieser Anfrage fehlt. Es identifiziert die verborgenen Anforderungen, die der menschliche Prompt nicht genannt hat, wie etwa die Notwendigkeit, Budgetgrenzen zu prüfen oder zu verifizieren, ob ein bestimmtes Dateiformat mit der verwendeten Software kompatibel ist. Indem es diese fehlenden Teile in spezifische Fragen umwandelt, weiß das System genau, wons es in dem riesigen Ozean an Online-Informationen zu suchen hat.
Sobald das System weiß, wonach es suchen muss, sammelt es Informationen aus verschiedenen Quellen, aber es akzeptiert nicht alles, was es findet. Die Forscher haben einen strengen Prozess entwickelt, um zu entscheiden, welche Informationsstücke vertrauenswürdig genug sind, um in den endgültigen Skill einzufließen. Das System sucht nach Beweisen, die ein Verfahren über verschiedene Situationen hinweg unterstützen. Wenn eine Methode nur für einen spezifischen Computertyp oder einen spezifischen Datensatz funktioniert, erkennt das System dies als lokales Beispiel und hält es von den Hauptanweisungen getrennt. Es befördert ein Verfahren nur dann zu einer allgemeinen Regel, wenn die Beweise zeigen, dass es in mehreren Kontexten zuverlässig funktioniert. Dieser Prozess wirkt wie ein Filter, der universelle Prinzipien von temporären Details trennt. Das System kompiliert die genehmigten Anweisungen dann in ein strukturiertes Paket, komplett mit klaren Schritten, Sicherheitsprüfungen und Verweisen auf die Beweise, die jede Entscheidung stützen.
Die Forscher testeten diese Methode bei 87 verschiedenen Aufgaben, die von Softwareentwicklung und Büroarbeit bis hin zu Finanzanalyse und wissenschaftlichem Rechnen reichten. Sie verglichen ihr System mit mehreren anderen Methoden, einschließlich jener, die auf menschlich geschriebenen Skills basieren, und jener, die automatisierte Tools nutzen, um Anweisungen direkt aus dem Internet zu generenieren. Die Ergebnisse zeigten, dass die neue Methode die automatisierten Baselines deutlich übertraf. Wenn die Agenten die durch dieses System erstellten Skills verwendeten, schlossen sie Aufgaben fast 20 Prozentpunkte häufiger erfolgreich ab, als wenn sie gar keine Skills hatten.ت Wichtiger noch: Das System schnitt vergleichbar mit den von Menschen kuratierten Skills ab, die als Goldstandard gelten. In der Gesamtschau erreichte das automatisierte System eine Erfolgsquote, die 1,5 Prozentpunkte höher war als die der von Menschen kuratierten Skills, obwohl statistische Analysen darauf hindeuten, dass diese Ergebnisse eng beieinander liegen. Zudem erzielte das System in drei der vier getesteten Agent-Modell-Konfigurationen die höchste Gesamtleistung.
Die Studie zeigte auch auf, warum frühere Versuche oft scheiterten. Wenn Systeme einfach Informationen aus dem Web griffen, ohne deren Umfang zu prüfen, enthielten sie häufig Anweisungen, die zu spezifisch waren oder auf widersprüchlichen Beweisen basierten. Zum Beispiel könnte ein Skill eine Regel enthalten, die nur für eine bestimmte Version eines Softwareprogramms funktioniert, was dazu führt, dass der Agent scheitert, wenn diese Version nicht verfügbar ist. Die neue Methode vermied diese Fallen erfolgreich, indem sie explizit prüfte, ob ein Verfahren durch Beweise über verschiedene Szenarien hinweg gestützt wurde. Sie erwies sich zudem als robust gegenüber verwirrenden oder irreführenden Informationen. Wenn die Forscher widersprüchliche oder irrelevante Dokumente in die Suche einspeisten, ignorierte das System diese korrekt, während andere Methoden die schlechten Ratschläge oft in ihre endgültigen Skills integrierten.
Diese Arbeit deutet auf einen grundlegenden Wandel in der Art und Weise hin, wie wir intelligente Agenten bauen könnten. Anstatt zu hoffen, dass eine KI magisch lernt, wie man einen neuen Job erledigt, oder darauf zu vertrauen, dass Menschen jedes Handbuch schreiben, können wir der KI beibringen, wie ein sorgfältiger Forscher zu handeln. Sie lernt, die richtigen Fragen zu stellen, Beweise zu sammeln und zwischen einer allgemeinen Regel und einer lokalen Ausnahme zu unterscheiden. Indem sie die Erstellung von Skills in verifizierte Beweise statt in direktes Kopieren gründet, produziert das System Werkzeuge, die sowohl flexibel als auch zuverlässig sind. Die Forscher fanden heraus, dass dieser Ansatz es Agenten ermöglicht, unbekannte Aufgaben mit einem Kompetenzniveau zu bewältigen, das zuvor nur durch menschliches Eingreifen möglich war. Obwohl das System nicht perfekt ist und immer noch mit einigen hochspezialisierten Mediengeschichten zu kämpfen hat, zeigen die Ergebnisse, dass die zuverlässige Erstellung von Skills selbst möglich ist, wenn die Ausgangsinformationen unvollständig und die Quellen ungeordnet sind. Der Schlüssel liegt nicht darin, sofort die perfekte Antwort zu finden, sondern in dem disziplinierten Prozess, zu verifizieren, was wahr ist und was lediglich ein lokales Detail darstellt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.