SkillCraft: Can LLM Agents Learn to Use Tools Skillfully?

Die Arbeit stellt SkillCraft vor, einen Benchmark und ein Evaluierungsprotokoll, das die Fähigkeit von LLM-Agenten testet, wiederverwendbare Werkzeugkombinationen („Skills") zu bilden und zu nutzen, was zu erheblichen Effizienzsteigerungen und einer starken Korrelation zwischen Erfolg und kompositorischer Fähigkeit führt.

Das Wesentliche

Stell dir vor, du hast einen sehr intelligenten, aber manchmal etwas vergesslichen Assistenten, der dir bei der Arbeit hilft. Dieser Assistent kann verschiedene Werkzeuge benutzen: Er kann im Internet suchen, Datenbanken durchsuchen, Texte zusammenfassen oder Dateien bearbeiten.

Das Problem bisher war: Wenn der Assistent eine komplexe Aufgabe hatte (z. B. „Analysiere die letzten 100 Projekte und vergleiche sie"), musste er jedes Mal von vorne anfangen. Er musste sich jedes Detail merken, jeden Schritt einzeln planen und die gleichen Werkzeuge immer wieder neu aufrufen. Das war wie ein Koch, der für jeden einzelnen Salat die Schüssel, das Messer und die Gabel jedes Mal neu aus dem Schrank holt, waschen und wieder zurücklegen muss, anstatt sie einfach griffbereit auf der Arbeitsplatte zu halten.

Die Forscher haben jetzt etwas Neues entwickelt, das sie „SkillCraft" nennen. Hier ist die Idee, ganz einfach erklärt:

1. Das Problem: Der müde Assistent

Bisherige Tests haben nur geschaut, ob der Assistent eine einzelne Aufgabe lösen kann. Aber im echten Leben sind Aufgaben oft lang und wiederholen sich.

• Beispiel: Wenn du 50 E-Mails sortieren musst, wäre es dumm, für jede E-Mail den gleichen langen Prozess aus dem Gedächtnis zu planen.
• Das Ergebnis: Der Assistent wurde schnell müde, machte Fehler und verbrauchte viel zu viel Energie (in der Welt der KI heißt das „Token-Verbrauch" – das ist wie der Benzinverbrauch eines Autos).

2. Die Lösung: Der „Skill"-Koffer (SkillCraft)

Die Forscher haben dem Assistenten einen neuen Trick beigebracht: Lernen und Speichern.

Stell dir vor, der Assistent arbeitet an einer Aufgabe. Er merkt sich: „Hey, dieser Ablauf hier (Suchen -> Analysieren -> Zusammenfassen) kommt immer wieder vor!"
Anstatt das jedes Mal neu zu planen, sagt er: „Ich nenne das jetzt 'Rezept A' und speichere es in meinem Koffer."

• Das „Skill"-Rezept: Das ist wie ein fertiges Kochrezept. Statt jeden Schritt neu zu erklären, ruft der Assistent einfach „Rezept A" auf.
• Der Koffer: Der Assistent hat einen digitalen Koffer voller dieser Rezepte. Wenn er eine neue Aufgabe bekommt, schaut er erst: „Habe ich schon ein Rezept dafür?" Wenn ja, benutzt er es. Wenn nein, erfindet er eines und packt es in den Koffer.

3. Was passiert dabei? (Die Magie)

• Effizienz: Der Assistent braucht viel weniger Zeit und Energie. In den Tests hat er bis zu 80% weniger „Benzin" (Token) verbraucht, weil er nicht jedes Mal den gleichen Weg neu planen musste.
• Bessere Ergebnisse: Da er sich auf das Wesentliche konzentrieren kann und nicht ständig bei Null anfängt, macht er weniger Fehler.
• Weitergabe: Das Beste ist: Wenn ein Assistent ein gutes Rezept (Skill) gefunden hat, kann er es einem anderen Assistenten geben. Ein „Chef-Assistent" kann ein perfektes Rezept schreiben, und ein „Junior-Assistent" kann es einfach abarbeiten, ohne selbst alles neu erfinden zu müssen.

4. Die Falle: Zu komplizierte Rezepte

Die Forscher haben auch getestet, ob man Rezepte in Rezepte stecken kann (also ein „Super-Rezept", das andere Rezepte aufruft).

• Das Ergebnis: Das funktioniert oft nicht gut. Stell dir vor, du hast ein Rezept, das ein anderes Rezept benutzt, das wieder ein drittes benutzt. Wenn im ersten Schritt ein kleiner Fehler ist (z. B. „Zwiebeln fehlen"), pflanzt sich dieser Fehler durch alle Ebenen durch, und am Ende ist das ganze Gericht verdorben.
• Die Lehre: Einfache, gut getestete Rezepte sind besser als riesige, verschachtelte Türme aus Rezepten.

Zusammenfassung

SkillCraft ist wie ein Schulbuch für KI-Assistenten. Es zeigt ihnen nicht nur, wie man Werkzeuge benutzt, sondern wie man Fertigkeiten entwickelt.

• Statt jeden Tag neu zu lernen, wie man einen Hammer hält, lernt der Assistent, wie man einen ganzen Hausbau plant und speichert diesen Plan als „Skill".
• Je intelligenter der Assistent ist, desto besser kann er diese Rezepte finden, speichern und wiederverwenden.

Das Fazit: Wahre Intelligenz zeigt sich nicht darin, wie gut man eine einzelne Aufgabe löst, sondern darin, wie effizient man aus Erfahrungen lernt und diese Erfahrungen für die Zukunft speichert. Mit SkillCraft werden KI-Assistenten nicht nur klüger, sondern auch viel sparsamer und schneller.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „SkillCraft: Can LLM Agents Learn to Use Tools Skillfully?" auf Deutsch:

1. Problemstellung

Bestehende Benchmarks für Tool-using Agents (Agenten, die Werkzeuge nutzen) konzentrieren sich hauptsächlich auf die Lösung einzelner Aufgaben mit einem statischen Satz atomarer Werkzeuge. Dies misst nur den Erfolg auf Instanzebene und bietet wenig Einblick in die Fähigkeit von Agenten, höherwertige, wiederverwendbare Fähigkeiten (Skills) zu abstrahieren und über verschiedene Aufgaben hinweg wiederzuverwenden.

In realen Szenarien arbeiten Agenten oft in langfristigen Workflows mit sich wiederholenden Strukturen (z. B. wiederholte Such-Analyze-Zusammenfassungs-Muster). Effektives Verhalten erfordert nicht nur das Ausführen einzelner Aktionen, sondern das Bilden von kompositionellen Fähigkeiten: wiederverwendbare Werkzeugkombinationen, die gemeinsame Strukturen über Aufgaben hinweg erfassen, anstatt jede Instanz neu mit flachen, atomaren Aufrufen zu lösen. Die zentrale Forschungsfrage lautet: Können Agenten solche kompositionellen Werkzeugfähigkeiten erwerben und wiederverwenden, die sich über strukturell ähnliche Aufgaben verallgemeinern lassen?

2. Methodik: SkillCraft Benchmark & Protokoll

Um diese Lücke zu schließen, stellen die Autoren SkillCraft vor, einen Benchmark und ein Evaluierungsprotokoll, das speziell darauf ausgelegt ist, die Fähigkeit zur Abstraktion und Wiederverwendung von Skills zu testen.

A. Benchmark-Design (SkillCraft)

Der Benchmark wurde in drei Stufen entwickelt:

1. Explorationsphase: Analyse bestehender Benchmarks (z. B. Toolathlon, WebArena) zur Identifizierung von Designprinzipien.
2. Seed-Aufgaben-Erstellung: Erstellung eines Kerns aus 21 hochwertigen Aufgaben aus drei Quellen: adaptierte Benchmark-Aufgaben, handgefertigte Web-API-Aufgaben (z. B. GitLab, Open-Meteo) und lokale Datenverarbeitungsaufgaben.
3. Systematisches Skalieren: Die Schwierigkeit wird entlang zweier Achsen skaliert:
   • Quantitative Skalierung: Erhöhung der Anzahl der Entitäten pro Aufgabe (z. B. Analyse von 3 statt 5 Repositories).
   • Komplexitäts-Skalierung: Erhöhung der Anzahl der Werkzeugaufrufe pro Subaufgabe.
   • Das Ergebnis ist ein Repository mit 126 Aufgaben in 6 Schwierigkeitsstufen, die reale, langfristige Workflows mit wiederkehrenden Strukturen simulieren.

B. Evaluierungsprotokoll: „Skill Mode"

Das Kernstück ist ein leichtgewichtiges Protokoll, das Agenten ermöglicht, atomare Werkzeuge automatisch zu höheren Einheiten zu komponieren. Dies wird durch eine MCP-Schnittstelle (Model Context Protocol) mit vier primitiven Werkzeugen realisiert:

1. save_skill: Speichert eine erfolgreiche Werkzeugsequenz als ausführbaren Code (Skill).
2. execute_skill: Führt einen gespeicherten Skill mit neuen Parametern aus.
3. list_skills: Zeigt verfügbare Skills an.
4. get_skill: Ruft den Quellcode und Metadaten eines Skills ab.

Der Ablauf (Pipeline):

• Wiederverwendungsversuch: Der Agent prüft vor der Lösung einer neuen Aufgabe, ob ein passender Skill existiert.
• Exploration: Falls kein Skill passt, löst der Agent die Aufgabe mit atomaren Werkzeugen und zeichnet die Sequenz auf.
• Komposition: Die erfolgreiche Sequenz wird in einen parametrisierten, codebasierten Skill abstrahiert.
• Verifikation: Ein Coding Verifier validiert den Skill (Syntax, Laufzeitfehler, Ausgabequalität), bevor er in die Bibliothek aufgenommen wird.

3. Wichtige Beiträge

1. SkillCraft Benchmark: Ein neuer Standard, der nicht nur den Erfolg, sondern die Effizienz und Wiederverwendbarkeit von Werkzeugkompositionen misst.
2. Skill Mode Protokoll: Ein Plug-and-Play-Mechanismus, der Agenten erlaubt, ihre Aktionsraum während des Tests (Test-Time) durch das Entdecken und Wiederverwenden von Skills dynamisch zu erweitern.
3. Analyse der Kompositionsqualität: Unterscheidung zwischen flachen Skill-Bibliotheken und hierarchischen (verschachtelten) Strukturen.
4. Cross-Task & Cross-Model Generalisierung: Untersuchung, ob Skills, die auf einer Schwierigkeitsstufe oder von einem Modell gelernt wurden, auf andere Stufen oder Modelle übertragbar sind.

4. Ergebnisse

Die Evaluation umfasste State-of-the-Art-Modelle (z. B. GPT-5.2, Claude 4.5 Sonnet, Gemini 3 Pro, DeepSeek-V3.2).

• Effizienzsteigerung: Der Skill Mode führt zu massiven Effizienzgewinnen. Der Token-Verbrauch konnte um bis zu 80% reduziert werden (z. B. bei GPT-5.2 von 1,23M auf 0,26M Tokens), während die Erfolgsrate gleichzeitig stieg oder stabil blieb.
• Korrelation mit Intelligenz: Die Fähigkeit zur Werkzeugkomposition korreliert stark mit der allgemeinen Modellleistung. Stärkere Modelle profitieren überproportional von der Wiederverwendung, da sie Muster besser erkennen und zuverlässigere Skills generieren.
• Flache vs. Hierarchische Komposition:
  • Ergebnis: Tiefe, verschachtelte Skill-Hierarchien (Iteration Mode) führen oft zu schlechteren Ergebnissen. Fehler in untergeordneten Skills propagieren sich nach oben und führen zu Kaskadenfehlern.
  • Empfehlung: Flache, gut getestete Skill-Bibliotheken sind robuster und kosteneffizienter als komplexe Hierarchien.
• Generalisierung:
  • Cross-Task: Skills, die auf einfachen Aufgaben gelernt wurden, lassen sich erfolgreich auf schwierigere Aufgaben übertragen (und umgekehrt), mit einer hohen Ausführungsrate (>95%).
  • Cross-Model: Hochwertige Skills, die von starken Modellen (z. B. Claude) erstellt wurden, funktionieren auch bei schwächeren Modellen und führen dort zu signifikanten Effizienzgewinnen. Schlecht designte Skills (z. B. von Minimax) können die Leistung sogar verschlechtern.

5. Bedeutung und Fazit

Das Paper zeigt, dass die Fähigkeit, kompositionelle Fähigkeiten zu erwerben und wiederzuverwenden, eine Kernkompetenz für intelligente Agenten ist.

• Paradigmenwechsel: Statt nur atomare Werkzeuge zu nutzen, sollten Agenten in der Lage sein, ihre eigene „Werkzeugkiste" durch das Erstellen von Skripten (Skills) zu erweitern.
• Skalierbarkeit: Für langfristige, komplexe Workflows ist die manuelle Lösung jeder Instanz ineffizient. Die Abstraktion von Mustern in wiederverwendbare Code-Module ist entscheidend für Robustheit und Skalierbarkeit.
• Qualität vor Quantität: Die Qualität der generierten Skills (korrekte Fehlerbehandlung, saubere Schnittstellen) ist wichtiger als die reine Tiefe der Verschachtelung oder die bloße Anzahl der gespeicherten Skills.

Zusammenfassend demonstriert SkillCraft, dass LLM-Agenten durch systematisches Lernen und Wiederverwenden von Werkzeugkompositionen nicht nur effizienter, sondern auch leistungsfähiger werden können, wobei die Fähigkeit zur Abstraktion ein direkter Indikator für die allgemeine Intelligenz des Systems ist.