🤖 AI

Skill Coverage: A Test Adequacy Metric for Agent Skills

Dieses Paper führt „Skill Coverage“ ein, eine Metrik zur Testadäquanz, welche die Gründlichkeit, mit der Agenten-Fähigkeiten ausgeübt werden, bewertet, indem sie das Ausmaß misst, in dem dokumentierte Verhaltensbeschränkungen in Agenten-Trajektorien beobachtet werden, was offenlegt, dass aktuelle Benchmarks trotz Aufgabenerfolg weniger als 44 % dieser Beschränkungen abdecken.

Ursprüngliche Autoren: Boyin Tan, Xiaowei Huang, Youcheng Sun

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Boyin Tan, Xiaowei Huang, Youcheng Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen hochqualifizierten Koch (den KI-Agenten) ein, um ein komplexes Gericht unter Verwendung einer spezifischen, wiederverwendbaren Rezeptkarte (der Agent-Skill) zu kochen.

Früher haben wir nur das fertige Gericht beurteilt, um zu sehen, ob der Koch gut war. Wenn die Mahlzeit köstlich schmeckte und der Kunde zufrieden war, nahmen wir an, dass der Koch das Rezept perfekt befolgt hatte. Wir dachten: „Gute Arbeit! Das Rezept hat funktioniert!“

Doch dieses neue Paper stellt eine andere Frage: Hat der Koch nur, weil das Essen gut war, tatsächlich jede einzelne Anweisung auf der Rezeptkarte verwendet?

Vielleicht stand im Rezept: „Zwiebeln immer mit einem scharfen Messer schneiden“, aber der Koch benutzte ein stumpfes und das Essen schmeckte trotzdem gut. Oder vielleicht stand dort: „Die Sauce 20 Minuten lang köcheln lassen“, aber der Koch ließ sie nur 5 Minuten köcheln und es schmeckte dennoch gut. Wir wüssten das allein durch das Probieren des Essens nicht.

Das Problem: Die „Gutes Essen“-Falle

Die Autoren argumentieren, dass aktuelle Tests für KI-Agenten so sind, als würde man nur das fertige Gericht probieren. Sie sagen uns, ob die Aufgabe erfolgreich abgeschlossen wurde, aber sie sagen uns nicht, welche Teile des Skills tatsächlich getestet wurden und welche ignoriert wurden.

Wenn ein KI-Agent eine Aufgabe erfolgreich abschließt, bedeutet das nicht, dass er jede Regel, Warnung oder jeden Schritt in seinem Skill-Dokument ausgeführt hat. Er könnte auch einfach nur Glück gehabt oder eine Abkürzung gefunden haben.

Die Lösung: „Skill Coverage“ (Skill-Abdeckung)

Das Paper führt eine neue Art der Messung von Tests namens Skill Coverage ein. Anstatt nur das Endergebnis zu prüfen, betrachten sie die Rezeptkarte selbst als das, was getestet wird.

So gehen sie dabei vor, erklärt anhand einer einfachen Analogie:

Das Rezept in Regeln zerlegen: Zuerst nehmen sie die unordentliche, lange Rezeptkarte und brechen sie in spezifische, überprüfbare Regeln auf.
- Beispiel: Anstatt des ganzen Absatzes über das „Kochen von Pasta“ extrahieren sie eine spezifische Regel: „Beim Kochen von Wasser muss der Agent Salz hinzufügen, bevor er die Pasta hineingibt.“
- Sie nennen dies Skill Behavior Constraints (Verhaltensbeschränkungen des Skills). Sie ignorieren den „Füllstoff“ (wie „Dieses Rezept wurde von Chef John im Jahr 2026 geschrieben“) und konzentrieren sich nur auf die tatsächlichen Anweisungen, denen der Agent folgen muss.
Der „Covered“ vs. „Uncovered“-Check: Als Nächstes beobachten sie den Agenten bei der Ausführung der Aufgabe. Sie stellen für jede einzelne Regel zwei Fragen:
- Ist die Situation eingetreten? (z. B. Hat der Agent tatsächlich versucht, Wasser zu kochen?)
- Gibt es einen Beweis? (z. B. Zeigte das Protokoll des Agenten, dass er Salz hinzugefügt hat, oder sagte er nur „Ich habe Salz hinzugefügt“, ohne einen Beweis zu liefern?)
Wenn die Antwort auf beide Fragen „Ja“ lautet, ist die Regel Covered (abgedeckt). Wenn der Agent dieser Situation nie ausgesetzt war oder wenn er sie zwar ausführte, aber keinen nachvollziehbaren Beweis hinterließ, ist die Regel Uncovered (nicht abgedeckt).

Entscheidend ist: Eine Regel kann Covered sein, selbst wenn der Agent sie falsch ausgeführt hat. Es geht nicht darum, ob er bestanden hat; es geht darum, ob er die spezifische Anweisung in einer Weise versucht hat, die wir verifizieren können.

Was sie herausfanden

Die Forscher testeten dies an einem populären Satz von KI-Aufgaben namens SkillsBench. Sie untersuchten, wie gut verschiedene KI-Modelle (wie Gemini, Claude und Codex) ihren Rezeptkarten folgten.

Die Ergebnisse waren überraschend:

Selbst wenn die KI die Aufgabe erfolgreich abschloss, „übte“ oder „deckte“ sie nur etwa 40 % der Regeln auf der Rezeptkarte ab.
Das bedeutet, dass 60 % der Anweisungen nicht getestet wurden. Die KI hat sie entweder übersprungen, die Aufgabe hat die KI nicht dazu gezwungen, sie zu nutzen, oder die KI hat sie ausgeführt, aber nicht genügend Beweise hinterlassen, damit wir sie sehen können.

Das wichtigste Fazit

Das Paper kommt zu dem Schluss: Erfolg $\neq$ Gründlicher Test.

Nur weil ein KI-Agent einen Job erfolgreich beendet hat, bedeutet das nicht, dass er alle Skills, die er vorgibt zu besitzen, auch streng getestet wurde. Es ist wie bei einem Autofahrer, der zwar pünktlich zur Arbeit kommt, aber während der Fahrt nie seinen Blinker benutzt oder den toten Winkel geprüft hat. Wir wissen, dass er angekommen ist, aber wir wissen nicht, ob er alle Sicherheitsregeln befolgt hat.

Skill Coverage ist ein neues Werkzeug, das uns genau sagt, wie viel des „Rezepts“ tatsächlich verwendet und verifiziert wurde, und gibt uns so ein viel klareres Bild davon, wie gut ein KI-Agent wirklich trainiert ist, anstatt nur zu prüfen, ob er die Aufgabe erledigt hat.

Technisches Resümee: Skill Coverage: Eine Metrik für die Testadäquanz von Agenten-Skills

Problemstellung

Derzeitige Evaluierungen von Large Language Model (LLM) Agenten stützen sich primär auf aufgabenspezifische Ergebnisse (Erfolg/Misserfolg), um die Nützlichkeit von „Agenten-Skills“ zu bewerten – wiederverwendbare, prozedionale Wissensartefakte, die in natürlicher Sprache kodiert sind. Ein erfolgreicher Abschluss einer Aufgabe zeigt jedoch nicht auf, welche spezifischen Anweisungen, Erwartungen oder Aktionsmuster innerhalb eines Skills während der Ausführung tatsächlich ausgeübt wurden. Dies schafft eine signifikante Lücke in der Testadäquanz: Nutzer verfügen über keine Evidenz darüber, welche Teile eines dokumentierten Skills unter spezifischen Modell-Aufgaben-Konfigurationen getestet wurden und welche unobserviert bleiben. Infolgedessen ist es schwierig zu bestimmen, ob ein Skill ausreichend für die Wiederverwendung, Anpassung oder Verbesserung validiert wurde.

Methodik

Das Paper führt Skill Coverage ein, eine Metrik zur Testadäquanz, die den Skill-Artefakt selbst als das zu testende Objekt behandelt, anstatt sich ausschließlich auf das abschließende Aufgabenergebnis zu konzentrieren. Die Methodik besteht aus zwei primären Phasen:

1. Extraktion von Skill-Verhaltensbedingungen (Skill Behavior Constraints, SBCs)

Die Autoren definieren eine konservative Abstraktion namens Skill Behavior Constraint (SBC), um den testbaren Teil eines Skill-Dokuments zu formalisieren.

Definition: Ein SBC ist eine quellengestützte, beobachtbare, im EARS-Stil (Essentialize, Analyze, Refine, Simplify) normalisierte Bedingungs-Aktions-Regel, die aus natürlichsprachlichen Skill-Dokumenten abgeleitet wird.
Kriterien: Um beibehalten zu werden, muss eine Bedingung:
1. Quellengestützt sein: Durch eine konkrete Textpassage im Skill-Dokument gestützt.
2. Bedingungsbehaftet sein: Eine Verpflichtung, ein Verbot, ein Nutzungsmuster, einen Workflow-Schritt oder eine Deliverable-Eigenschaft auferlegen.
3. Beobachtbar sein: Aus der Ausführungs-Evidenz (z. B. Tool-Aufrufe, Code, File Diffs, Logs) beurteilbar.
4. Atomar sein: Eine unabhängige Verhaltensverpflichtung ausdrücken.
Prozess: Ein LLM extrahiert Kandidaten-SBCs aus Skill-Dokumenten, welche anschließend von menschlichen Reviewern auditiert und repariert werden, um Hintergrundprosa, Metadaten und nebensächliche Implementierungsdetails herauszufiltern. Der resultierende Satz $C(S)$ dient als Nenner für die Coverage-Analyse.

2. Coverage-Beurteilung in Agenten-Trajektorien

Das Framework evaluiert, ob eine Agenten-Trajektorie $\tau$ ausreichende Evidenz liefert, um eine spezifische Bedingung $c = \langle C_c, B_c, J_c \rangle$ auszuüben.

Binäre Beurteilung: Eine Bedingung wird nur dann als Covered (abgedeckt) markiert, wenn zwei Bedingungen erfüllt sind:
1. Anwendbarkeit: Die beobachtbare Evidenz $Obs(\tau)$ instanziiert die Anwendbarkeitsbedingung $C_c$ .
2. Beurteilbare Evidenz: Die Trajektorie enthält genügend beobachtbare Evidenz, um zu beurteilen, ob das beschränkte Verhalten $B_c$ erfüllt oder verletzt wurde.
Distinktion: Coverage erfordert nicht, dass der Agent das Verhalten erfolgreich ausführt; es erfordert lediglich, dass das Szenario instanziiert wurde und das Ergebnis beurteilbar ist. Wenn eine Bedingung anwendbar ist, aber die Evidenz unzureichend ist, um das Verhalten zu beurteilen, bleibt sie Uncovered (nicht abgedeckt).
Metrik: Die Skill Coverage wird als der Anteil der auditierten Bedingungen in $C(S)$ berechnet, die durch mindestens eine Trajektorie in einer Testsuite $T$ abgedeckt wird.

Validierungsprotokoll

Um die Zuverlässigkeit im großen Maßstab zu gewährleisten, verwenden die Autoren ein Validation-before-Scale-Protokoll. Ein LLM-Judge (DeepSeek V4 Flash) wird eingesetzt, um Coverage-Labels zuzuweisen, dessen Leistung jedoch zuerst anhand von 350 Bedingungs-Trajektorien-Paaren gegen menschliche Auditoren validiert wird. Der Judge erreichte eine exakte Übereinstimmung von 93,71 % und ein Cohen's $\kappa$ von 0,874 mit den menschlichen Labels, bevor er auf den vollständigen Benchmark angewendet wurde.

Kernergebnisse

Die Methodik wurde auf SkillsBench angewendet, wobei 78 Quellaufgaben über sieben Agent-Modell-Konfigurationen (einschließlich Gemini, Codex und Claude Varianten) evaluiert wurden.

Niedrige Coverage-Raten: Bestehende Benchmark-Ausführungen decken im Durchschnitt nur 39,90 % bis 43,98 % der extrahierten Skill-Verhaltensbedingungen ab. Dies deutet darauf hin, dass mehr als die Hälfte der dokumentierten Skill-Anleitungen in aktuellen Evaluierungen entweder untested oder nicht beurteilbar bleibt.
Aufgabenerfolg vs. Coverage: Erfolgreiche Aufgabenausführungen decken im Allgemeinen mehr Bedingungen ab als erfolglose (mit einer Coverage-Differenz von 2,25–13,50 Prozentpunkten), aber Aufgabenerfolg impliziert keine adäquate Testung. Selbst erfolgreiche Ausführungen lassen 38,96 % bis 47,14 % des Skill-Nenners ungetestet.
Verteilung: Über verschiedene Konfigurationen hinweg erreichten nur 8–22 von 162 Skills eine Coverage von 90–100 %, während 41–52 Skills im Bereich von 0–30 % verblieben.

Bedeutung und Ansprüche

Das Paper behauptet, dass Skill Coverage ein komplementäres Signal zu aufgabenbasierten Ergebnissen liefert und eine kritische Schwachstelle in der Agenten-Evaluierung adressiert.

Artefakt-basierte Adäquanz: Die Arbeit verschiebt den Fokus von „Hat der Agent die Aufgabe gelöst?“ zu „Welche Teile des wiederverwendbaren Skills wurden tatsächlich mit beurteilbarer Evidenz ausgeübt?“.
Handlungsorientierte Diagnostik: Uncovered Constraints sind nicht zwangsläufig Verstöße; vielmehr identifizieren sie Szenarien oder Evidenzlücken, in denen die Benchmark versagt, die Bedingungen des Skills zu instanziieren oder ausreichende Trace-Daten zu erfassen. Dies bietet konstruktives Feedback für:
- Benchmark-Designer: Um Aufgaben hinzuzufügen, die spezifische Szenarien exercieren oder die Erfassung von Spuren für Oracle-prüfbare Evidenz verbessern.
- Skill-Autoren: Um zu identifizieren, welche Teile eines Skills unter realistischen Agenten-Ausführungen noch nicht validiert wurden.
- Nutzer: Um fundierte Entscheidungen über die Wiederverwendung von Skills basierend auf dem Umfang ihrer Testung zu treffen.

Die Autoren kommen zu dem Schluss, dass Aufgabenerfolg und Skill Coverage unterschiedliche Evaluierungsfragen beantworten und separat berichtet werden sollten, um ein vollständiges Bild der Agentenkapazität und der Skill-Adäquanz zu vermitteln.