💻 computer science

SkillRevise: Improving LLM-Authored Agent Skills via Trace-Conditioned Skill Revision

SkillRevise ist ein auf Ausführung basierendes Framework, das unvollkommene initiale Agenten-Fähigkeiten iterativ verfeinert, indem es Defekte aus Ausführungsspuren diagnostiziert, Reparaturprinzipien abruft und optimale Versionen empirisch auswählt, wodurch die Erfolgsraten von Agenten sowie deren modellübergreifende Übertragbarkeit im Vergleich zu One-Shot-Generierungsmethoden signifikant verbessert werden.

Ursprüngliche Autoren: Yuxuan Liu, Zhaochen Su, Lingyun Xie, Yuhao Zhang, Qing Zong, Jiahe Guo, Zhongwei Xie, Yiyan Ji, Yauwai Yim, Hongyu Luo, Xiyu Ren, Ruan Chenyu, Haoran Li, Yangqiu Song

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuxuan Liu, Zhaochen Su, Lingyun Xie, Yuhao Zhang, Qing Zong, Jiahe Guo, Zhongwei Xie, Yiyan Ji, Yauwai Yim, Hongyu Luo, Xiyu Ren, Ruan Chenyu, Haoran Li, Yangqiu Song

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter beibringen, „aus seinen Fehlern zu lernen“

Stellen Sie sich vor, Sie stellen einen sehr intelligenten, aber unerfahrenen Praktikanten (den KI-Agenten) ein, um eine komplexe Aufgabe zu erledigen, wie zum Beispiel ein riesiges Lagerhaus zu organisieren oder ein Computerprogramm zu debuggen.

Normalerweise geben Sie dem Praktikanten ein Handbuch (genannt „Skill“ oder Fertigkeit).

Das Problem: Wenn das Handbuch von einem menschlichen Experten geschrieben wurde, ist es teuer und passt vielleicht nicht dazu, wie der Praktikant tatsächlich denkt. Wenn Sie den Praktikanten bitten, sein eigenes Handbuch in einem Rutsch selbst zu schreiben, schreibt er vielleicht etwas, das auf dem Papier perfekt aussieht, aber in der Praxis völlig versagt, wenn er versucht, die Arbeit auszuführen.
Der alte Weg: Frühere Methoden versuchten, das Handbuch zu verbessern, indem man den Praktikanten viele Male üben ließ, damit sich die Anweisungen langsam „entwickeln“. Aber das dauert ewig und funktioniert nicht gut, wenn man mit einem schlechten Handbuch beginnt (das „Cold-Start-Problem“).

SKILLREVISE ist ein neues System, das wie ein strenger, aber hilfreicher Coach fungiert. Anstatt darauf zu warten, dass der Praktant über Monate hinweg lernt, nimmt das System einen groben Entwurf eines Handbuchs, lässt den Praktikanten es ausprobieren, beobachtet genau, wo er scheitert, und überarbeitet das Handbuch sofort basierend auf diesem spezifischen Fehler.

Wie es funktioniert: Die „Coach-Schleife“

Die Arbeit beschreibt einen vierstufigen Zyklus, der sich immer wieder wiederholt (normalerweise dreimal), um das Handbuch zu perfektionieren:

1. Der Testlauf (Execution/Ausführung)

Der Praktikant versucht, die Aufgabe mithilfe der aktuellen Version des Handbuchs zu erledigen.

Analogie: Der Praktikant versucht, ein Bücherregal zu bauen. Er folgt den Anweisungen, aber das Regal wackelt und fällt um.

2. Die Obduktion (Diagnosis/Diagnose)

Das System sagt nicht einfach nur „Du hast versagt“. Es agiert wie ein Detektiv. Es untersucht die Beweise (das wackelige Regal) und fragt:

Was ist schiefgelaufen? (Haben wir die falschen Schrauben verwendet?)
Was lief gut? (Das Holz wurde perfekt zugeschnitten, also ändern wir diesen Teil nicht.)
Analogie: Der Coach sagt: „Du hast das Holz nicht falsch gemessen, aber du hast den Schritt vergessen, zu prüfen, ob der Boden eben ist. Behalte aber den Teil über das Schleifen des Holzes bei; das war gut.“

3. Die Bibliothek der Weisheit (Principle Memory/Prinzipien-Speicher)

Das System prüft eine „Bibliothek“ allgemeiner Reparaturregeln. Es sucht nicht nach der Antwort für dieses spezifische Bücherregal; es sucht nach einer Regel darüber, wie man wackelige Regale im Allgemeinen repariert.

Analogie: Der Coach zieht eine Karte aus einem Stapel, auf der steht: „Regel Nr. 4: Prüfen Sie immer das Fundament, bevor Sie den Rahmen bauen.“

4. Die Überarbeitung (Revision/Umschreiben)

Das System kombiniert den Bericht des Detektivs und die allgemeine Regel, um das Handbuch neu zu schreiben. Entscheidend dabei ist das Hinzufügen von „Ankern“ (Anchors).

Was sind Anker? Dies sind spezifische Kontrollpunkte. Anstatt zu sagen „Baue es vorsichtig“, lautet die neue Anweisung: „Halte hier inne, prüfe, ob der Boden eben ist, und wenn er uneben ist, stoppe.“
Analogie: Das neue Handbuch hat nun einen roten Klebezettel: „STOPP UND BODEN EBENHEIT PRÜFEN, BEVOR GENAGELT WIRD.“

5. Die endgültige Entscheidung (Utility Gate/Nutzen-Kontrolle)

Der Praktikant probiert das neue Handbuch aus.

Wenn das neue Handbuch besser funktioniert, behält das System es bei.
Wenn das neue Handbuch die Situation verschlechtert, wirft das System es weg und kehrt zur vorherigen Version zurück.
Analogie: Der Coach testet die neuen Anweisungen. Wenn das Regal immer noch wackelt, sagt er: „Okay, diese neue Idee war schlecht. Lass uns zu den alten Anweisungen zurückkehren und beim nächsten Mal eine andere Lösung versuchen.“

Warum ist das besonders?

Die Arbeit hebt drei Hauptgründe hervor, warum dieser Ansatz besser ist als bisherige Methoden:

Es beginnt klein (Cold-Start-freundlich): Man braucht keine Bibliothek von 1.000 perfekten Handbüchern, um anzufangen. Man braucht nur ein einziges unvollkommenes Handbuch, und SKILLREVISE kann es schnell reparieren.
Es ist nicht nur „mehr Übung“: Alte Methoden ließen die KI tausende Male üben, um zu lernen. SKILLREVISE ist wie eine gezielte Operation. Es findet den spezifischen Defekt in den Anweisungen und behebt ihn, anstatt darauf zu hoffen, dass die KI es durch Zufall herausfindet.
Es lernt allgemeine Regeln, nicht nur Tricks: Das System achtet darauf, der KI nicht beizubringen, für diesen speziellen Test zu schummeln. Es lehrt die KI, wie man mit Arten von Problemen umgeht.
- Schlechter Skill: „Wenn der Test nach einem roten Knopf fragt, drücke den roten Knopf.“ (Das funktioniert nur für diesen einen Test).
- Guter Skill (SKILLREVISE): „Überprüfe immer die Farbe des Knopfens gegen das Diagramm, bevor du ihn drückst.“ (Das funktioniert für jeden Test).

Die Ergebnisse: Funktioniert es?

Die Autoren haben dies in drei verschiedenen „Prüfungsräumen“ (Benchmarks) mit verschiedenen KI-Modellen (wie GPT-5.5, Qwen und DeepSeek) getestet.

Die Punktzahl: Ohne Hilfe löste die KI etwa 36 % der Aufgaben korrekt. Mit einem One-Shot-Handbuch (einmal geschrieben und nie korrigiert) löste sie etwa 39 % der Aufgaben korrekt.
Die SKILLREVISE-Punktzahl: Nach nur drei Runden dieser „Coach-Schleife“ löste die KI 61 % der Aufgaben korrekt.
Das Fazit: Das System hat ein mittelmäßiges Handbuch sehr schnell in ein hocheffektives verwandelt. Es zeigte auch, dass diese verbesserten Handbücher von verschiedenen KI-Modellen genutzt werden konnten, nicht nur von dem Modell, das sie geschrieben hatte, was beweist, dass die erlernten Fähigkeiten echtes Allgemeinwissen waren und keine spezifischen Tricks.

Zusammenfassung

SKILLREVISE ist ein Framework, das KI-„Skills“ nicht als statische Anweisungen, sondern als lebendige Dokumente betrachtet. Es nutzt einen Zyklus aus Versuchen $\rightarrow$ Diagnostizieren $\rightarrow$ Allgemeine Regeln abrufen $\rightarrow$ Umschreiben $\rightarrow$ Testen, um aus einem schlechten Satz von Anweisungen ein großartiges zu machen und sicherzustellen, dass die KI nicht nur Antworten auswendig lernt, sondern tatsächlich lernt, wie man die Arbeit korrekt ausführt.

Technisches Resümee: SKILLREVISE

Problemstellung

Large Language Model (LLM) Agenten operieren zunehmend in Verifizierer-gesteuerten Umgebungen, in denen der Erfolg von der Ausführung mehrstufiger Workflows, der Einhaltung von Constraints und der Bewältigung von Fehlern abhängt. Während „Agenten-Skills“ (wiederverwendbare prozedurale Artefakte) dazu dienen sollen, die Lücke zwischen atomaren Werkzeugen und High-Level-Prompts zu schließen, stehen bestehende Methoden zur Erwerbung dieser Skills vor erheblichen Einschränkungen, insbesondere in Cold-Start-Szenarien, in denen nur ein initialer, unvollkommener Skill verfügbar ist.

Aktuelle Ansätze lassen sich in drei Kategorien unterteilen, die jeweils spezifische Nachteile aufweisen:

Retrieval-basierte Methoden: Diese wählen oft Skills aus, die nicht vollständig mit der Zielaufgabe übereinstimmen, was zu einer unterbrochenen Ausführung führt.
Self-Evolution-Methoden: Diese erfordern akkumulierte Trajektorien und Erfahrung, was sie ineffektiv macht, wenn man bei Null beginnt (Cold-Start) oder sie anfällig für Overfitting macht.
Direkte Autorenschaft (Experte oder One-Shot LLM): Die Experten-Autorenschaft ist kostspielig und kann von den tatsächlichen Ausführungsverhaltensweisen des Agenten abweichen. Die One-Shot LLM-Generierung produziert oft Skills, die zwar syntaktisch korrekt, aber verhaltenstechnisch schwach sind, da ihnen die Validierung gegen Ausführungstrajektorien fehlt.

Die Kernherausforderung besteht darin, dass Skills die Leistung eines Agenten nicht so zuverlässig steigern wie atomare Werkzeuge; qualitativ minderwertige oder unpassende Skills können die Leistung sogar verschlechtern. Es besteht ein Bedarf an einer Methode, um einen initialen, unvollkommenen, von einem LLM verfassten Skill iterativ mithilfe von Ausführungsbeweisen zu verfeinern, ohne eine große Menge an bereits existierenden erfolgreichen Trajektorien zu benötigen.

Methodik: SKILLREVISE

Die Autoren schlagen SKILLREVISE vor, ein ausführungsorientiertes Framework, das darauf ausgelegt ist, einen initialen Skill ( $S_0$ ) durch eine begrenzte Revisionsschleife iterativ zu verfeinern. Das Framework zerlegt den Revisionsprozess in aufgabenspezifische Diagnose und allgemeines Reparaturwissen, wodurch die Notwendigkeit umfangreicher Vorerfahrung entfällt.

Kernkomponenten

Diagnose ( $D_i$ ): Eine aufgabenspezifische Komponente, die rohe Ausführungsbeweise in Reparatur-Constraints umwandelt. Für jeden Revisionsversuch $i$ besteht sie aus:
- Verifizierungs-Spezifikation ( $V_i$ ): Beobachtbare Anforderungen (Output-Pfade, Schemata, Formate, Pass/Fail-Assertions).
- Fehlerattribution ( $A_i$ ): Eine Zusammenfassung fehlgeschlagener Checks, beobachteten Verhaltens, wahrscheinlicher Ursachen und Defekt-Labels.
- Erhaltungs-Constraints ( $K_i$ ): Aufzeichnungen über bestandene Checks und getroffene Entscheidungen, die bewahrt werden sollten, um Regressionen zu vermeiden.
Prinzipien-Speicher (Principle Memory, $M$ ): Ein Repository für wiederverwendbare Reparaturprinzipien statt aufgabenspezifischer Lösungen. Jedes Prinzip abstrahiert einen wiederkehrenden Skill-Design-Defekt in ein operationales Reparaturmuster und spezifiziert, wann es anzuwenden ist, welchen Defekt es adressiert und wie die Reparatur zu verifizieren ist. Das System wird mit einem Satz von sieben Prinzipien initialisiert (z. B. „Outputs dem Verifizierer zugänglich machen“, „Korrektes Verhalten bewahren“).
Revisions-Operator ( $R_\phi$ ): Dieses Modul bildet den aktuellen Skill ( $S_i$ ), die Diagnose ( $D_i$ ) und die abgerufenen Prinzipien ( $P_i$ ) auf einen revidierten Skill-Kandidaten ( $\hat{S}_{i+1}$ ) und einen Revisions-Trace ( $z_i$ ) ab. Entscheidend ist, dass es Execution Anchors (Ausführungsanker) anwendet – spezifische Anweisungen dazu, wie eine textuelle Änderung das Verhalten des Executors verändern soll (z. B. „Datei neu laden“, „JSON parsen“, „Keys prüfen“) – um sicherzustellen, dass Edits in handlungsorientierte Schritte eingebettet sind.
Begrenzte Revisions-Episode: Das Framework arbeitet unter einem endlichen Budget (z. B. $B=3$ Runden).
- Ausführung & Diagnose: Der aktuelle Skill wird ausgeführt; treten Fehler auf, wird eine Diagnose generiert.
- Retrieval & Binding: Relevante Prinzipien werden aus $M$ abgerufen und an die aktuelle Diagnose gebunden.
- Revision & Re-Ausführung: Ein Kandidat-Skill wird generiert und erneut ausgeführt.
- Utility-Gated Selection: Das System führt eine Menge beobachteter Kandidaten. Die finale Ausgabe ist nicht zwangsläufig die zuletzt generierte Revision, sondern der beste beobachtete Skill ( $S^*$ ) basierend auf einer Utility-Funktion $U(S, T)$ . Diese Funktion balanciert Erfolgsrate, Ausführungseffizienz, Transferleistung und Interferenzkosten aus, um sicherzustellen, dass Effizienzgewinne nur belohnt werden, wenn die Aufgabe erfolgreich abgeschlossen wurde.

Wichtigste Beiträge

Das Paper leistet drei primäre Beiträge:

Formulierung: Es definiert die Verbesserung von Skills im Cold-Start-Szenario als eine begrenzte, ausführungsorientierte Revision eines bestehenden LLM-verfassten Skills um, was sich deutlich von Retrieval oder offenem Self-Evolution unterscheidet.
Framework: Es führt SKILLREVISE ein, welches aufgabenspezifische Diagnose, wiederverwendbaren Prinzipien-Speicher und ausführungsorientierte Revision mit Utility-Gated Selection kombiniert, um systematisch die optimale Skill-Version zu erhalten.
Evaluierung: Es liefert eine umfassende empirische Validierung über drei Benchmarks (SkillsBench, SkillLearnBench-Random, SWE-Skills-Bench-Hard) sowie eine ALFWorld-Studie und zeigt konsistente Gewinne gegenüber „No-Skill“- und One-Shot-Baselines über mehrere Executor-Modelle hinweg auf.

Experimentelle Ergebnisse

Das Framework wurde unter Verwendung eines gemeinsamen Verifizierer-gesteuerten Test-Harness auf fünf LLMs (GPT-5.5, Opus-4.7, Kimi-2.6, Qwen-3.6plus, DeepSeek-V4-Pro) evaluiert.

Leistungssteigerungen: Auf dem Standard-Benchmark SkillsBench verbesserte SKILLREVISE die Erfolgsrate des GPT-5.5-Agenten von 36,05 % (ohne Skill) und 39,53 % (One-Shot-Generierung) auf 61,63 % innerhalb von nur drei Revisionsrunden. Ähnliche substantielle Verbesserungen wurden auf SkillLearnBench-Random und SWE-Skills-Bench-Hard beobachtet.
Modellübergreifende Transferierbarkeit: Revidierte Skills zeigten eine starke Transferierbarkeit. Wenn durch GPT-5.5 fixierte Skills auf andere Executor angewendet wurden (z. B. Opus-4.7, DeepSeek-V4-Pro), übertrafen sie oft die „No-Skill“-Baseline, was darauf hindeutet, dass die Skills generalisiertes prozedurales Wissen erfassen und keine modellspezifischen Artefakte sind. Dennoch lieferte die executor-spezifische Revision im Allgemeinen die höchste Leistung.
Ablationsstudien: Das Entfernen der Diagnose-Komponente verursachte den größten Leistungsabfall (von 53/86 auf 28/86 bei SkillsBench), was die Notwendigkeit unterstreicht, die Brücke zwischen Verifizierer-Evidenz und Skill-Level-Defekten explizit zu schlagen. Auch der Preserve Ledger und die Execution Anchors waren entscheidend, um Regressionen zu verhindern und sicherzustellen, dass Edits konkrete Aktionen induzierten.
ALFWorld-Studie: In einer Studie zur Prinzipien-Absorption verbesserte ein kompakter Satz von 10 Prinzipien, die aus 25 Kalibrierungsaufgaben gelernt wurden, die Leistung auf einem 100-Aufgaben umfassenden Held-out-Set und löste 71/100 Aufgaben, was die Fähigkeit demonstriert, lokale Fehler in wiederverwendbare Reparaturmuster zu abstrahieren.

Bedeutung und Behauptungen

Das Paper behauptet, dass ausführungsorientierte Revision ein zuverlässiges Paradigma für die automatisierte Skill-Autorenschaft ist, insbesondere in Cold-Start-Szenarien. Die Signifikanz der Arbeit liegt in der Demonstration, dass:

Skills am effektivsten sind, wenn sie keine statischen Ratschläge, sondern testbare prozedurale Erinnerungen sind, die durch beobachtete Fehler verfeinert werden.
Ein strukturierter Ansatz, der Diagnose, allgemeine Prinzipien und Utility-Gated Selection kombiniert, die Sprödigkeit der One-Shot-Generierung und den Datenhunger der Self-Evolution überwinden kann.
Das Framework die Lücke zwischen Experten-Autorenschaft (kostspielig) und One-Shot-Generierung (unzuverlässig) erfolgreich schließt, indem es einen initialen Entwurf iterativ mithilfe von Verifizierer-Feedback verfeinert.

Die Autoren merken bescheiden an, dass Einschränkungen bestehen, einschließlich der Abhängigkeit von verifizierbar sichtbarem Feedback (was bei spärlichen Tests zu Overfitting führen kann) und der Tatsache, dass die Methode nicht auf „No-Skill“-Ausführung zurückfällt, falls ein Skill die Leistung konsistent verschlechtert. Sie positionieren SKILLREVISE als einen Schritt hin zu einer robusten, automatisierten Skill-Akquisition, die das Verhalten von Agenten mit Aufgaben-Constraints und Verifizierungskriterien in Einklang bringt.