🤖 AI

SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing

SkillAudit ist ein Framework ohne Grundwahrheit (ground-truth-free), das Agenten-Fähigkeiten durch die iterative Auditierung gepaarter Trajektorien mit und ohne Kandidaten-Fähigkeiten entwickelt, indem es eine prozessausgerichtete kontrastive Evaluierung (Process-Aligned Contrastive Evaluation) nutzt, um Verhaltensdivergenzen zu diagnostizieren, sowie einen strukturellen Verifizierer einsetzt, um Skill-Dokumente sicher zu verfeinern oder zu reparieren, ohne auf externe Belohnungen oder verborgene Testergebnisse angewiesen zu sein.

Ursprüngliche Autoren: Haowen Gao, Haoran Chen, Can Wang, Shasha Guo, Liang Pang, Zhaoyang Liu, Huawei Shen, Xueqi Cheng

Veröffentlicht 2026-06-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Haowen Gao, Haoran Chen, Can Wang, Shasha Guo, Liang Pang, Zhaoyang Liu, Huawei Shen, Xueqi Cheng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber in der Zeit eingefrorenen Roboter-Assistenten. Sie können sein Gehirn (seine „Gewichte“) nicht umprogrammieren (sie sind gesperrt), aber Sie können ihm eine Anleitung (einen „Skill“) geben, um ihm bei spezifischen Aufgaben zu helfen, wie etwa beim Beheben eines Computerfehlers oder der Analyse von Finanzdaten.

Das Problem ist, dass diese Anleitungen oft veraltet sind. Vielleicht hat sich ein Werkzeug geändert oder ein neuer Typ von Fehler ist aufgetreten. Normalerweise benötigt man einen „Lehrer“ (einen Experten oder einen versteckten Lösungsschlüssel), um eine Anleitung zu korrigieren, der einem sagt: „Nein, dieser Schritt ist falsch.“ Aber was ist, wenn Sie keinen Lehrer haben? Was ist, wenn Sie nur die Aufgabenbeschreibung und den chaotischen Arbeitsplatz haben?

Dieses Paper stellt SKILLAUDIT vor, ein System, das diese Anleitungen korrigieren kann, ohne einen Lehrer oder einen Lösungsschlüssel zu benötigen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Geschmackstest“ (Paired Trajectory Auditing)

Stellen Sie sich vor, Sie versuchen, ein Rezept für einen Kuchen zu verbessern. Sie haben keinen Food-Kritiker, der ihn probiert. Stattdessen backen Sie zwei Kuchen zur exakt gleichen Zeit:

Kuchen A: Hergestellt nach Ihrem aktuellen Rezept (der „Skill“).
Kuchen B: Hergestellt mit denselben Zutaten, aber ohne dieses spezifische Rezept (nur nach dem Instinkt des Bäckers).

Sie vergleichen dann beide Kuchen nebeneinander:

Wenn Kuchen A besser ist, hilft das Rezept.
Wenn Kuchen A verbrannt oder flach ist, während Kuchen B in Ordnung ist, schadet das Rezept.
Wenn sie identisch aussehen, ist das Rezept inert (wirkungslos).

SKILLAUDIT macht genau das mit einem Roboter. Es führt die Aufgabe zweimal aus: einmal mit dem Skill und einmal ohne den Skill. Durch den Vergleich dieser beiden „Spuren“ dessen, was der Roboter getan hat, isoliert das System genau den Punkt, an dem der Skill geholfen oder den Roboter verwirrt hat.

2. Die „Detektiv-Truppe“ (PACE)

Sob-ald die beiden Durchläufe abgeschlossen sind, muss das System herausfinden, welcher spezifische Satz in der Anleitung das Problem verursacht hat. Es nutzt ein Team von KI-Detektiven namens PACE.

Anstatt nur zu sagen „Der Kuchen ist schlecht“, schaut PACE auf die beiden Kuchen und zeigt auf eine bestimmte Zeile im Rezept:

„Aufgrund von Absatz 3 versuchte der Roboter, ein Werkzeug zu benutzen, das nicht mehr existiert.“
„Aufgrund von Absatz 7 hat der Roboter eine Sicherheitsprüfung übersprungen, die die ‚No-Skill‘-Version durchgeführt hat.“

Dies verwandelt ein vages Scheitern in eine spezifische Bearbeitungsanweisung.

3. Das „Regelwerk“ (The Anchor Verifier)

Manchmal können die KI-Detektive verwirrt werden oder halluzinieren. Um zu verhindern, dass das System wilde Änderungen vornimmt, die die Aufgabe zerstören könnten, gibt es ein Regelwerk.

Dies ist eine strikte, unveränderliche Checkliste, die vor dem Prozess aus der Aufgabenbeschreibung zusammengestellt wurde. Sie prüft harte Fakten:

„Hat der Roboter die erforderliche Datei erstellt?“
„Ist das Dateiformat korrekt?“
„Ist das System abgestürzt?“

Wenn die neue Version der Anleitung gegen dieses Regelwerk verstößt, macht das System die Änderungen sofort rückgängig, ungeachtet dessen, was die Detektive gesagt haben. Es fungiert als Sicherheitsnetz.

4. Zwei Wege zur Korrektur (Refine vs. Repair)

Je nachdem, was der „Geschmackstest“ offenbart, nutzt das System eine von zwei Strategien:

Refine (Der Editor): Wenn die Anleitung weitgehend gut ist, aber zu viel unnötigen Inhalt, verwirrende Anweisungen oder veraltete Tipps enthält, agiert das System wie ein strenger Editor. Es löscht das Rauschen und klärt die guten Teile.
Repair (Der Chirurg): Wenn die Anleitung dem Roboter völlig falsche Anweisungen gibt (wie etwa die Anweisung, ein Werkzeug zu benutzen, das nicht existiert), agiert das System wie ein Chirurg. Es schneidet den schlechten Absatz heraus und ersetzt ihn durch die korrekten Schritte, wobei es oft die korrekten Schritte aus dem „No-Skill“-Durchlauf entlehnt.

Die Ergebnisse

Die Forscher haben dies an 89 verschiedenen professionellen Aufgaben getestet (wie Programmierung, Datenanalyse und Cybersicherheit).

Kein Manual: Der Roboter erledigte etwa 41 % der Aufgaben richtig.
Statisches Manual (Das alte, uneditierte eine): Der Roboter erledigte etwa 57 % richtig.
SKILLAUDIT (Das evolvierte Manual): Der Roboter erledigte 74 % richtig.

Das Wichtigste:
SKILLAUDIT beweist, dass man keinen menschlichen Experten oder einen versteckten Lösungsschlüssel braucht, um das Instruktionsmanual einer KI zu verbessern. Durch den einfachen Vergleich von „Mit-Skill“- vs. „Ohne-Skill“-Durchläufen kann das System sich selbst korrigieren, schlechte Ratschläge entfernen und gute Ratschläge beibehalten, was den Roboter signifikant intelligenter und zuverlässiger macht.

Die Grenze:
Das System arbeitet am besten, wenn die Aufgabe einen klaren „Fußabdruck“ hinterlässt (wie das Erstellen einer Datei oder das Berechnen einer Zahl). Wenn die Aufgabe rein auf „gutem Urteilsvermögen“ oder „kreativem Denken“ basiert, wo es keine klare Antwort auf Richtig/Falsch gibt, gegen die man prüfen könnte, hat das System Schwierigkeiten zu wissen, ob es die Anleitung verbessert hat oder nicht.

Technisches Resümee: SKILLAUDIT

Problemformulierung

Die Arbeit befasst sich mit der Herausforderung der Skill-Evolution (Fähigkeitsevolution) für eingefrorene Large Language Model (LLM) Agenten in professionellen Arbeitsabläufen. Während „Agenten-Skills“ (strukturierte, prozedurale Instruktionspakete) Agenten effektiv leiten können, degradieren sie nach dem Einsatz oft aufgrund sich ändernder Tools, APIs und Edge-Cases.

Bestehende Methoden zur Verfeinerung dieser Skills verlassen sich auf privilegiertes Ground-Truth-Feedback, wie zum Beispiel:

Gehaltene Validierungsscores oder verborgene Testergebnisse.
Oracle-Pass/Fail-Signale.
Umgebungsbelohnungen oder Experten-Referenzantworten.

In realistischen Einsatzszenarien verfügen Praktiker jedoch häufig nur über eine Aufgabenbeschreibung ( $T$ ), Workspace-Daten ( $W$ ) und einen initialen Skill ( $S_0$ ). Sie haben keinen Zugriff auf externe Scoring-Funktionen, Referenzlösungen oder Testskripte. Das zentrale Problem lautet: Wie können Agenten-Skills verbessert werden, ohne während der Optimierung Zugriff auf externes Ground-Truth-Feedback zu haben?

Die Autoren formalisieren dies als ein beschränktes Optimierungsproblem, bei dem das Ziel darin besteht, die latente Aufgabenbelohnung $R(\tau)$ unter Einhaltung einer Ground-Truth-freien Beschränkung ( $C_{gtf}$ ) zu maximieren, welche den Zugriff auf $R$ oder dessen Proxys zu keinem Zeitpunkt während der Evolutionsschleife erlaubt.

Methodik: SKILLAUDIT

Die Autoren schlagen SKILLAUDIT vor, ein Framework, das Skills unter Verwendung von lediglich der Aufgabenbeschreibung, den Workspace-Daten und den Ausführungstrajektorien entwickelt. Der Kernmechanismus ist das Paired Trajectory Auditing (paarweise Trajektorien-Audit), welches die spezifische Auswirkung eines Skills isoliert, indem es zwei Ausführungen derselben Aufgabe vergleicht:

Mit-Skill ( $\tau_w$ ): Der Agent führt die Aufgabe mit dem injizierten Kandidaten-Skill aus.
Ohne-Skill ( $\tau_{wo}$ ): Der Agent führt dieselbe Aufgabe ohne den Skill aus.

Das System leitet Optimierungssignale aus der Verhaltensdivergenz zwischen diesen beiden Trajektorien ab. Die Architektur besteht aus vier Schlüsselkomponenten:

1. Paired Trajectory Auditing & PACE

Rohe Trajektoriendifferenzen sind für Bearbeitungen unzureichend. Um diese in handlungsrelevante Anweisungen umzuwandeln, nutzt SKILLAUDIT das Process-Aligned Contrastive Evaluation (PACE). PACE ist ein Cluster aus 12 Evaluatoren, die über vier Dimensionen operieren:

Prozessadhärenz (Process Adherence): Hat der Agent die im Skill vorgeschriebenen Schritte befolgt?
Artefakt-Evidenz (Artifact Evidence): Entsprechen die Output-Dateien den im Skill deklarierten Constraints?
Konsistenz (Consistency): Entspricht der Workflow des Skills dem Datenschema der Aufgabe?
Effektivitäts-Delta (Effectiveness Delta): Übertrifft die Trajektorie mit Skill die Trajektorie ohne Skill an den Divergenzpunkten?

Entscheidend ist, dass PACE segment-verankerte Diagnose-Signale ausgibt. Anstatt eines globalen „Pass/Fail“ identifiziert es spezifische Passagen im Skill-Dokument, die eine Verhaltensänderung verursacht haben (z. B. „Mit diesem Absatz vollzog der Agent bei Schritt X eine falsche Aktion“).

2. Anchor Verifier

Um Evaluator-Drift zu verhindern und die strukturelle Integrität zu gewährleisten, wird einmalig ein struktureller Verifizierer aus der Aufgabenspezifikation ( $T$ ) kompiliert und für die gesamte Evolution fixiert. Er kodiert harte Constraints, die ausschließlich aus $T$ und $W$ ableitbar sind (z. B. Existenz von Dateien, Formatkonformität, re-komputierbare Werte).

Rolle: Er fungiert als deterministisches Gate. Wenn ein Update dazu führt, dass der Anchor Verifier fehlschlägt, wird das Update ungeachtet der PACE-Soft-Signale bedingungslos zurückgerollt.

3. Dual-Strategy Evolution

Basierend auf einer initialen Kompatibilitätsbewertung zwischen $S_0$ und $T$ leitet das System die Aufgabe in eine von zwei Pipelines:

Refine Pipeline: Für Skills, die weitgehend effektiv sind, aber Rauschen, Redundanz oder geringfügige Lücken enthalten. Die Strategie ist „Subtraction-first“: Das Entfernen störender Inhalte bei gleichzeitigem Schutz der „hilfreichen“ Segmente.
Repair Pipeline: Für Skills, bei denen der Kern-Workflow mit der Aufgabe kollidiert oder den Agenten aktiv fehlleitet. Die Strategie ist „Diagnosis-driven Replacement“: Das Lokalisieren schädlicher Passagen und deren Austausch durch korrekte Anleitung (potenziell abgeleitet aus der „Ohne-Skill“-Trajektorie).

4. Entscheidungslogik

In jeder Iteration aggregiert das System PACE-Signale und Anchor Verifier-Checks, um ein Drei-Wege-Urteil zu fällen:

Helped (Geholfen): Das Update wird übernommen (Commit).
Hurt (Geschadet): Sofortiger Rollback (Veto, falls irgendein Evaluator ein „Hurt“-Signal meldet).
Inert (Träge/Unentschieden): Vertagung auf die nächste Iteration.

Die Schleife terminiert, wenn der Skill einen stabilen Zustand erreicht (keine „Hurt“-Urteile in jüngster Zeit, Verifizierer passt und keine handlungsrelevanten Ziele mehr vorhanden sind).

Wichtigste Beiträge

Ground-Truth-freie Skill-Evolution: Die Formulierung der Skill-Evolution unter der realistischen Beschränkung $C_{gtf}$ , bei der keine versteckten Tests, Referenzlösungen oder Oracle-Signale verfügbar sind.
Paired Trajectory Auditing: Ein Mechanismus zur Ableitung von Optimierungssignalen durch Isolierung der Auswirkung eines Skills auf das Agentenverhalten mittels kontrollierter kontrastiver Ausführung.
Prozess-ausgerichtete Diagnose: Die Entwicklung von PACE, das Trajektoriendivergenzen auf spezifische Skill-Passagen abbildet, kombiniert mit einem fixen Anchor Verifier zur Sicherstellung der strukturellen Stabilität.
Dual-Strategy Routing: Ein Mechanismus, der zwischen Skills unterscheidet, die eine Rauschreduktion benötigen (Refine), und solchen, die einen Kern-Austausch erfordern (Repair).

Experimentelle Ergebnisse

Das Framework wurde auf 89 containerisierte Aufgaben über 8 professionelle Domänen (einschließlich Software Engineering, Naturwissenschaften und Finanzen) unter Verwendung des SkillsBench Benchmarks evaluiert.

Leistung: SKILLAUDIT erreichte eine durchschnittliche Aufgabenbelohnung von 73,9 %.
Vergleiche:
- Übertraf den Agenten ohne Skills (40,9 %) um +33,0 Prozentpunkte.
- Übertraf den statischen Experten-Skill, der im Benchmark enthalten ist (56,7 %), um +17,2 Prozentpunkte.
Domänen-Varianz: Das System zeigte die größten Gewinne in Software Engineering (+38,5 pp) und Office & White Collar (+26,7 pp). In Finance & Economics entsprach es der statischen Baseline, übertraf diese jedoch nicht.
Wiederherstellung (Recovery): Das System konnte erfolgreich 43 % der Aufgaben wiederherstellen, bei denen der initiale Skill versagte (Reward < 0,5), und perfekt 92 % der Aufgaben schützen, bei denen der initiale Skill bereits funktionierte.

Bedeutung und Limitationen

Das Paper behauptet, dass SKILLAUDIT zeigt, dass Agenten-Skills autonom verbessert werden können, ohne externes Ground Truth, sofern die Korrektheit der Aufgabe eine beobachtbare strukturelle Spur hinterlässt.

Beobachtbarkeitsgrenze (Observability Boundary): Die Autoren identifizieren, dass der Erfolg von der Beobachtbarkeit abhängt, nicht von der Domäne. Skills, die „ausführbares, beobachtbares Wissen“ kodieren (z. B. API-Nutzung, mathematische Formeln), entwickeln sich gut, da Fehler sichtbare Spuren hinterlassen (Stack Traces, falsche Zahlen). Im Gegensatz dazu sind Skills, die „Domänenprozeduren“ kodieren (wo das Entfernen eines Schrittes keine strukturelle Spur hinterlässt), ohne Ground Truth schwer zu entwickeln.
Art der Edits: Die Analyse zeigt, dass erfolgreiche Evolution dazu neigt, Skills von „Tutorials“ in „Verifier-observable Execution Contracts“ zu transformieren. Dies beinhaltet oft das Wegschneiden von Off-Domain-Inhalten, das De-Hardcoden von Pfaden und das Hinzufügen fehlender I/O-Kontrakte.
Bescheidene Ansprüche: Die Autoren räumen ein, dass das System keine fehlende Domänenkenntnis synthetisieren kann, wenn der Auditor das Ergebnis nicht verifizieren kann (z. B. kann es ein Finanzmodell nicht reparieren, wenn es die Korrektheit der Zahl nicht verifizieren kann, sondern nur die Existenz der Datei). Das System stellt das Scheitern wieder her, indem es den Kontrakt des Skills beobachtbar macht, nicht indem es neues Domänenwissen erfindet.

Zusammenfassend bietet SKILLAUDIT einen praktischen Weg zur Aufrechterhaltung und Entwicklung von Agenten-Skills in realen Einsätzen, in denen keine externe Validierungsinfrastruktur verfügbar ist, indem es sich stattdessen auf die interne Konsistenz und die strukturellen Constraints der Aufgabe selbst stützt.