💬 NLP

Not All Skills Help: Measuring and Repairing Agent Knowledge

Das Paper stellt ASSAY vor, ein Framework, das die Leistung von LLM-Agenten verbessert, indem es einzelne Fähigkeiten mit negativen kausalen Effekten auf spezifische Aufgaben empirisch misst und selektiv unterdrückt, wodurch es ohne Gewichtsaktualisierungen Spitzenleistungen erzielt.

Ursprüngliche Autoren: Yixuan Wang, Yiyang Zhou, Yiming Liang, Congyu Zhang, Fuxiao Liu, Jiawei Zhou, Huaxiu Yao

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yixuan Wang, Yiyang Zhou, Yiming Liang, Congyu Zhang, Fuxiao Liu, Jiawei Zhou, Huaxiu Yao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Das Problem mit dem „schlechten Rat“

Stellen Sie sich vor, Sie bringen einem sehr intelligenten, aber unerfahrenen Assistenten (einem KI-Agenten) bei, wie man Hausarbeiten erledigt. Sie sagen ihm: „Hier ist eine Liste von 100 Tipps, die ich beim Erledigen dieser Aufgaben gelernt habe.“

Die aktuelle Art und Weise, wie KI funktioniert, ist, dass sie dieser Liste blind vertraut. Sie geht davon aus, dass, wenn ein Tipp für eine Aufgabe gut war, er auch für jede Aufgabe gut sein muss. Sie liest die gesamte Liste, bevor sie eine neue Aufgabe beginnt.

Das Paper argumentiert, dass dies ein Fehler ist. Nur weil ein Tipp beim Backen eines Kuchens hilft, bedeutet das nicht, dass er auch beim Reparieren eines undichten Rohrs hilft. Tatsächlich kann das Lesen von „Backtipps“, während man versucht, ein Rohr zu reparieren, einen ablenken und dazu führen, dass man scheitert.

Die Autoren nennen dies „Kausale Heterogenität“. Auf einfaches Deutsch übersetzt: Eine Fähigkeit, die bei einer Aufgabe hilft, schadet oft bei einer anderen.

Die Lösung: ASSAY (Der „Skill-Filter“)

Die Forscher haben ein neues System namens ASSAY entwickelt. Betrachten Sie es als einen klugen Editor für das Handbuch des KI-Agenten. Anstatt blind darauf zu vertrauen, dass die KI selbst entscheidet, was sie behält, nutzt ASSAY ein wissenschaftliches Experiment, um jeden einzelnen Tipp zu testen.

So funktioniert ASSAY in drei einfachen Schritten:

1. Das „Randomized Masking“-Experiment (Der Geschmackstest)

Stellen Sie sich vor, Sie haben eine Suppe mit 50 Zutaten. Sie wollen wissen, ob der „Cayennepfeffer“ tatsächlich den Geschmack verbessert.

Der alte Weg: Sie fragen den Koch: „Magst du Cayennepfeffer?“ Der Koch sagt: „Ja, er ist scharf!“ (Aber vielleicht ist der Koch einfach nur an scharfes Essen gewöhnt).
Der ASSAY-Weg: Sie führen einen Blindverkostungstest durch.
- Sie bereiten 12 Schüsseln Suppe zu.
- In einigen Schüsseln fügen Sie den Cayennepfeffer hinzu. In anderen lassen Sie ihn weg.
- Sie probieren alle Schüsseln.
- Das Ergebnis: Sie berechnen genau, wie viel der Cayennepfeffer die Suppe im Durchschnitt verbessert oder verschlechtert hat.

In dem Paper machen sie das mit KI-Aufgaben. Sie verstecken zufällig verschiedene „Skills“ (Tipps) und beobachten, ob die KI Erfolg hat oder scheitert. Dies liefert ihnen einen Score für jeden Skill:

Grüner Score: Dieser Skill hilft.
Roter Score: Dieser Skill schadet.
Die Falle: Einige Skills haben einen Score von Null, weil sie bei 50 % der Aufgaben helfen und bei den anderen 50 % schaden. Ein einfacher Beobachter würde sie für nutzlos halten. Für ASSAY sehen sie jedoch gefährlich aus, weil sie unvorhersehbar sind.

2. Das „Offline Restructuring“ (Das Editieren des Handbuchs)

Sobald sie die Scores haben, bereinigen sie die Bibliothek der Skills:

Splitten: Wenn ein Skill „manchmal gut, manchmal schlecht“ ist, schreiben sie ihn um. Aus „Prüfen Sie immer den Kontakt“ wird „Prüfen Sie den Kontakt nur dann, wenn Sie eine Rechnung teilen“.
Ausrangieren: Wenn ein Skill langweilig ist und nie hilft (Score nahe Null), werfen sie ihn weg.
Zusammenführen: Wenn sie zwei Tipps haben, die das Gleiche aussagen, führen sie diese zusammen.

3. Das „Per-Task Masking“ (Der smarte Filter an der Tür)

Dies ist der wichtigste Teil. Selbst nachdem das Handbuch bereinigt wurde, liest die KI nicht für jede Aufgabe das gesamte Buch.

Das Szenario: Sie wollen gerade eine Kaffeemühle kaufen.
Das Problem: Ihr Handbuch enthält einen Tipp zum „Überprüfen von Spotify-Playlists“. Wenn die KI diesen liest, während sie eine Kaffeemühle kauft, lässt sie sich ablenken und scheitert.
Die ASSAY-Lösung: Bevor die KI mit der Aufgabe beginnt, schaut ASSAY auf die Aufgabenbeschreibung. Es fragt: „Welche Skills würden diese spezifische Aufgabe beeinträchtigen, basierend auf unseren vergangenen Experimenten?“
Die Aktion: Es blockiert (maskiert) den Spotify-Tipp lautlos. Es lässt nur den „Amazon Größen-Check“-Tipp durch.

Warum das wichtig ist (Die Ergebnisse)

Die Forscher testeten dies bei zwei großen Herausforderungen: AppWorld (Simulation der App-Nutzung) und τ-bench (Simulation des Kundenservice).

Der „Vorher“-Zustand: Das Hinzufügen einer riesigen Bibliothek von Skills machte die KI bei schwierigen Aufgaben oft schlechter, weil sie durch irrelevante Tipps verwirrt wurde.
Der „Nachher“-Zustand: Durch den Einsatz von ASSAY, um die schlechten Tipps für jede spezifische Aufgabe herauszufiltern:
- DeepSeek-V3 (ein leistungsstarkes KI-Modell) verbesserte sich von einem Scheitern hin zur weltbesten Leistung auf AppWorld und übertraf sogar Modelle, die massiv nachjustiert wurden (was normalerweise viel mehr Arbeit erfordert).
- GPT-4.1 sprang in der Bestenliste des Retail-Tests nach oben und schlug andere Top-Modelle wie o1 und o4-mini, ohne dass eine einzige Zeile seines Codes geändert wurde.

Die wichtigste Erkenntnis

Das Paper beweist, dass mehr Skills nicht immer besser sind.

Denken Sie an einen Werkzeugkasten. Wenn Sie einem Zimmermann einen Hammer, eine Säge und einen Schraubenschlüssel geben, kann er ein Haus bauen. Wenn Sie ihm aber auch einen Tennisschläger, eine Pfanne und ein Paar Skier geben, kann er verwirrt werden und den Hammer fallen lassen.

ASSAY ist das System, das den Job betrachtet (Haus bauen) und sagt: „Okay, gib ihm den Hammer und die Säge. Verstecke die Skier und die Pfanne.“ Es muss den Zimmermann nicht neu erschaffen; es muss nur die Werkzeuge kuratieren, die er in der Hand hält.

Zentrale Erkenntnis: Der größte Engpass ist nicht, dass der KI an Fähigkeiten mangelt; es ist, dass die KI nicht weiß, welche Fähigkeiten sie für welchen Job nutzen soll. ASSAY behebt dieses Missverhältnis.

Technisches Resümee: Nicht alle Fähigkeiten helfen: Messung und Reparatur von Agenten-Wissen

1. Problemstellung

Aktuelle Paradigmen zur Verbesserung von Large Language Model (LLM)-Agenten ohne Gewicht-Updates beruhen auf der Akkumulation von natürlichen Sprachfertigkeiten aus Erfahrungen. Diese Systeme delegieren typischerweise den gesamten Lebenszyklus einer Fähigkeit – Generierung, Retention und Retrieval – an das Urteilsvermögen des LLMs selbst. Die zugrunde liegende Annahme ist, dass ein LLM ausreichend entscheiden kann, welche Fähigkeiten es basierend auf Kontexten einzelner Aufgaben beibehalten und wie es diese anwenden soll.

Dieses Paper argumentiert jedoch, dass dieser Ansatz zwei unterschiedliche Rollen vermischt:

Generierung: Das Erstellen einer Fähigkeit aus einer Erfahrung (ein kreativer Akt, in dem das Urteilsvermögen des LLMs exzelliert).
Kuration: Die Entscheidung, ob eine Fähigkeit tatsächlich hilft (eine empirische Frage, die Evidenz über viele Aufgaben hinweg erfordert).

Die Autoren identifizieren einen systematischen Nachteil der ungeprüften Akkumulation: kausale Heterogenität. Einzelne Fähigkeiten helfen oft bei spezifischen Aufgabentypen, schaden aber aktiv bei anderen. Da sich diese gegensätzlichen Effekte in der Aggregation aufheben, scheitern globale Kurationsmethoden (die Fähigkeiten basierend auf der durchschnittlichen Leistung bewerten) daran, sie zu erkennen. Infolgedessen werden „schlechte“ Fähigkeiten zu unsichtbarem Overhead, der die Leistung des Agenten verschlechtert, insbesondere bei komplexen oder Out-of-Distribution-Aufgaben.

2. Methodik: Das ASSAY-Framework

Die Autoren schlagen ASSAY (Attribution-Based Skill Selection and Assembly) vor, ein Framework, das die Generierung von Fähigkeiten von deren Kuration trennt. Es operiert in drei Stufen, die durch eine einzige kausale Attributionsmatrix $C \in \mathbb{R}^{N \times M}$ vereinheitlicht werden, wobei $N$ die Anzahl der Fähigkeiten und $M$ die Anzahl der Entwicklungsaufgaben ist.

Stufe 1: Messung kausaler Effekte (Randomisierte Maskierung)

Anstatt sich auf das LLM-Urteil zu verlassen, um Fähigkeiten zu bewerten, nutzt ASSAY randomisierte Maskierung, um eine unvoreingenommene kausale Attribution zu berechnen.

Protokoll: Für $K$ unabhängige Versuche wird eine Zufallsmaske erstellt, indem jede Fähigkeit mit der Wahrscheinlichkeit $f$ einbezogen wird (Bernoulli-Sampling).
Attribution: Der kausale Score $C[j, i]$ für die Fähigkeit $s_j$ bei der Aufgabe $d_i$ wird als Differenz-der-Mittelwerte-Schätzer zwischen Versuchen, in denen die Fähigkeit vorhanden ist, und Versuchen, in denen sie abwesend ist, berechnet.
Ergebnis: Dies erzeugt eine Matrix, die offenbart, ob eine Fähigkeit hilft (positiver Score), schadet (negativer Score) oder einen vernachlässigbaren Einfluss hat. Dies deckt die kausale Heterogenität auf, bei der sich die Vorzeichen von Fähigkeiten über verschiedene Aufgabentypen hinweg oft umkehren.

Stufe 2: Offline-Restrukturierung der Bibliothek

Unter Verwendung der Attributionsmatrix restrukturiert das Framework die Skill-Bibliothek offline, um Heterogenität vor der Inferenz zu lösen.

Splitten: Fähigkeiten mit hoher Heterogenität (große Varianz in den kausalen Scores über Aufgaben hinweg) werden durch das Basis-LLM in konditionale Varianten mit expliziten Trigger-Bedingungen umgeschrieben (z. B. „nur anwenden, wenn Aufgabentyp X ist“). Diese Varianten müssen ein Entwicklungstor passieren, um sicherzustellen, dass sie die Gesamtleistung nicht verschlechtern.
Ausrangieren: Fähigkeiten mit nahezu Null globalen kausalen Scores (vernachlässigbarer Einfluss) werden entfernt, um Kontextrauschen zu reduzieren.
Zusammenführen: Während des Splittens eingeführte Beinahe-Duplikate werden geclustert, und das am höchsten bewertete Mitglied wird beibehalten.

Stufe 3: Pro-Aufgabe-kausale Maskierung

Zur Zeit der Inferenz ist eine statische Bibliothek unzureichend, da das optimale Set an Fähigkeiten pro Aufgabe variiert. ASSAY behandelt die Auswahl von Fähigkeiten als ein Risikominimierungsproblem.

Vorhersage: Für eine neue Testaufgabe identifiziert das System die $k$ nächsten Entwicklungsaufgaben basierend auf Instruktions-Embeddings. Es berechnet einen vorhergesagten kausalen Effekt $\hat{C}(s_j, t)$ für jede Fähigkeit, indem es die historischen kausalen Scores dieser nächsten Nachbarn gewichtet.
Maskierungsregel: Fähigkeiten, denen ein negativer kausaler Effekt vorhergesagt wird, werden unterdrückt, während solche mit positiven oder neutralen Effekten beibehalten werden. Geschützte operationale Templates (z. B. Pagination, Datenvalidierung) sind von der Maskierung ausgenommen, um katastrophales Versagen zu verhindern.
Fallback: Wenn das gefilterte Set zu klein wird, kehrt das System zur vollständigen Bibliothek zurück, um ein kontrolliertes Degradieren zu gewährleisten.

3. Kernbeiträge

Empirische Charakterisierung: Das Paper liefert den ersten empirischen Beweis für die allgegenwärtige kausale Heterogenität in Agenten-Skill-Bibliotheken und zeigt auf, dass Fähigkeiten routinemäßig bei einigen Aufgaben helfen, während sie bei anderen schaden, was sie für die globale Kuration unsichtbar macht.
Framework-Design: ASSAY operationalisiert die Trennung von Generierung (LLM-Urteil) und Kuration (empirische Messung). Es führt eine Pipeline ein, die kausale Attribution berechnet, Bibliotheken offline restrukturiert und bei der Inferenz eine pro-Aufgabe-Maskierung anwendet.
State-of-the-Art-Leistung: Das Framework erzielt signifikante Verbesserungen über verschiedene Modelle und Benchmarks hinweg, ohne die Modellgewichte zu modifizieren.
- AppWorld: Auf dem schwierigsten Split erreicht DeepSeek-V3 eine 69,3 % Task Goal Completion (TGC), was eine relative Verbesserung von 47,4 % gegenüber dem Baseline-Modell darstellt und einen neuen Stand der Technik unter den veröffentlichten Methoden (einschließlich gewicht-getunter Ansätze) setzt.
- $\tau$ -bench: GPT-4.1 verbessert sich um 8,7 % relativ und übertrifft damit o4-mini, o1 und GPT-4.5 auf dem öffentlichen Leaderboard ohne Modifikation der Gewichte.
Identifizierung von Engpässen: Ablationsstudien bestätigen, dass der primäre Engpass nicht das Vorhandensein „schlechter“ Fähigkeiten im globalen Sinne ist, sondern das Versagen, die korrekten Fähigkeiten zur Zeit der Inferenz mit den spezifischen Aufgaben abzugleichen. Die pro-Aufgabe-Maskierung trägt die Hauptverantwortung für die Gewinne.

4. Experimentelle Ergebnisse

Das Framework wurde auf zwei Benchmarks (AppWorld und $\tau$ -bench) unter Verwendung von sieben Basismodellen von vier Anbietern (OpenAI, DeepSeek, Anthropic, Google) evaluiert.

Generalisierung: ASSAY verbesserte die Leistung konsistent über alle sieben Modelle hinweg. Auf dem test_challenge-Split von AppWorld verschlechterten unkuratierte Skill-Bibliotheken die Leistung für einige Modelle tatsächlich (z. B. sank GPT-5.1 von 52,5 % auf 49,9 %), während ASSAY dies umkehrte und signifikante Gewinne erzielte.
Sensitivität gegenüber Schwierigkeitsgraden: Die Methode lieferte die größten Gewinne bei Level-2- und Level-3-Aufgaben, bei denen unkuratierte Bibliotheken den größten Schaden anrichteten.
Grenzbedingungen: Zwei Modelle (GPT-5.1 und Sonnet 4.5) zeigten null Gewinn auf $\tau$ -bench. Die Autoren führen dies auf eine hohe Basiskompetenz zurück, die den Nutzen der Prompt-Zeit-Skill-Injektion sättigt, was auf abnehmende Grenzerträge bei steigender Basiskapazität des Modells hindeutet.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die aktuelle Abhängigkeit vom LLM-Urteil für den gesamten Lebenszyklus einer Fähigkeit eine fundamentale Limitierung darstellt. Durch die Einführung einer empirischen, messgesteuerten Kuration löst ASSAY das Problem der „kausalen Heterogenität“, das bestehende fertigkeitbasierte Agenten plagt.

Die Autoren betonen, dass ihr Ansatz komplementär zu bestehenden Methoden ist:

Er operiert vollständig zur Inferenzzeit und erfordert keine Gewicht-Updates.
Er kann über jede bestehende Skill-Generierungs-Pipeline (z. B. ACE, CUGA, Reflexion) gelegt werden.
Er verschiebt das Paradigma von „mehr Fähigkeiten akkumulieren“ hin zu „Fähigkeiten präzise auf Aufgaben abstimmen“.

Die Arbeit kommt zu dem Schluss, dass die Generierung von Fähigkeiten ein kreativer Akt ist, der am besten von LLMs gehandhabt wird, während die Kuration von Fähigkeiten ein empirisches Problem ist, das eine randomisierte Messung erfordert, um sicherzustellen, dass das in das Kontextfenster injizierte Wissen tatsächlich die Leistung des Agenten unterstützt.