Skill-Use: Can LLMs Actually Use Skills in Agentic Harnesses?
Das Papier stellt Skill-Use vor, einen Benchmark, der evaluiert, ob LLM-Agenten in der Lage sind, strukturierte Fähigkeiten in isolierten Umgebungen unabhängig zu erkennen und korrekt anzuwenden, was offenlegt, dass die zuverlässige Nutzung von Fähigkeiten weiterhin eine erhebliche Herausforderung darstellt, die stark vom jeweiligen Agenten-Harness abhängt, anstatt eine inhärente Modellkapazität zu sein.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen superintelligenten, hyperkreativen Praktikanten ein, der Code schreiben, Daten analysieren und E-Mails entwerfen kann. Sie geben ihm eine riesige Bibliothek von „Skill-Büchern“. Jedes Buch ist ein Rezept für einen spezifischen Job, wie zum Beispiel „Wie man einen defekten Server repariert“ oder „Wie man einen Rechtsvertrag schreibt“. Der Haken dabei? Sie händigen ihm nicht das ganze Buch auf einmal aus. Stattdessen zeigen Sie ihm nur den Titel und einen winzigen Klappentext auf der Rückseite. Wenn er glaubt, dass das Buch relevant ist, muss er nach ihm fragen, die vollständigen Anweisungen finden und dann diese Anweisungen exakt befolgen, ohne Schritte zu überspringen oder etwas Verbotenes zu tun. Dies ist die Welt der KI-„Agenten“, die versuchen, „Skills“ zu nutzen. Eine Zeit lang hofften die Leute, dass diese KI-Praktikanten sofort zu perfekten Arbeitern würden, wenn man ihnen nur die richtigen Bücher zur Verfügung stellt. Aber niemand wusste wirklich, ob die KI tatsächlich herausfinden konnte, welches Buch sie greifen muss, oder ob sie einfach raten und auf das Beste hoffen würde.
Ein Team von Forschern von Tencent Hunyuan und mehreren Top-Universitäten beschloss, diese Idee auf die Probe zu stellen. Sie bauten einen riesigen Spielplatz namens SKILL-USE, einen Benchmark, der darauf ausgelegt ist, zu testen, ob KI-Agenten wirklich „den Raum lesen“ und diese Skill-Bücher korrekt verwenden können. Sie fragten nicht nur: „Hat die KI die Aufgabe abgeschlossen?“ Sie stellten drei viel schwierigere Fragen: Trigger (Wusste die KI überhaupt, dass sie das richtige Buch greifen muss?), Compliance (Hat sie das Rezept Schritt für Schritt befolgt?) und Boundary (Hat sie die verbotenen Dinge vermieden, die im Buch aufgeführt sind?). Sie testeten 177 verschiedene reale Aufgaben, von der Behebung von Softwarefehlern bis hin zum Schreiben von Geschäftsberichten, unter Verwendung von 79 echten Skill-Dokumenten und acht der derzeit klügsten verfügbaren KI-Modelle.
Die Ergebnisse waren ein kleiner Realitätscheck. Die Forscher fanden heraus, dass selbst die besten KI-Setups nur einen „Skill-Use“-Score von etwa 0,613 erreichten (auf einer Skala von 0 bis 1). Das bedeutet, dass eine zuverlässige Skill-Nutzung immer noch außer Reichweite liegt. Das Hauptproblem war nicht, dass die KI nicht in der Lage war, den Regeln zu folgen, sobald sie das Buch in den Händen hielt; es war vielmehr, dass die KI oft gar nicht erst wusste, dass sie das Buch aufheben musste. Es ist, als hätte man einen genialen Chefkoch, der ein Rezept perfekt befolgen kann, aber ständig vergisst, den Kühlschrank zu öffnen, um die Zutaten zu holen. Darüber hinaus entdeckten die Forscher, dass die Leistung einer KI nicht nur davon abhing, wie „klug“ das Modell war; sie hing stark von dem „Harness“ oder dem Software-Wrapper ab, der es umschloss. Das Ändern des Wrappers war wie das Ändern des Küchenlayouts: Manchmal wurde derselbe Koch zum Star, und ein anderes Mal stolperte er.
Kurz gesagt legt das Paper nahe, dass das Geben einer Bibliothek von Skills an KI-Agenten sie nicht automatisch zu besseren Arbeitern macht. Die Lücke zwischen dem „Besitzen eines Skills“ und dem „Nutzen eines Skills“ ist riesig. Die KI versagt oft dabei, zu erkennen, wann ein Skill anwendbar ist, oder sie lässt sich von den falschen Skills ablenken, wenn es zu viele Auswahlmöglichkeiten gibt. Während die KI immer besser darin wird, verbotene Bewegungen zu vermeiden, hat sie immer noch Schwierigkeiten, komplexe Abläufe treu zu befolgen. Die Autoren kommen zu dem Schluss, dass wir nicht einfach davon ausgehen können, dass diese Agenten magisch lernen werden, ihre Werkzeuge zu benutzen; wir müssen Systeme bauen, die ihnen helfen zu erkennen, wann sie einen Skill einsetzen müssen und wie sie am Plan festhalten können, denn genau das ist momentan der schwierigste Teil des Puzzles.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.