💬 NLP

Not All Skills Help: Measuring and Repairing Agent Knowledge

Het artikel introduceert ASSAY, een framework dat de prestaties van LLM-agenten verbetert door empirisch individuele vaardigheden met negatieve causale effecten op specifieke taken te meten en selectief te onderdrukken, waardoor state-of-the-art resultaten worden behaald zonder gewichtsupdates.

Oorspronkelijke auteurs: Yixuan Wang, Yiyang Zhou, Yiming Liang, Congyu Zhang, Fuxiao Liu, Jiawei Zhou, Huaxiu Yao

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yixuan Wang, Yiyang Zhou, Yiming Liang, Congyu Zhang, Fuxiao Liu, Jiawei Zhou, Huaxiu Yao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Slecht Advies"-probleem

Stel je voor dat je een zeer slimme maar onervaren assistent (een AI-agent) leert hoe hij huishoudelijke taken moet uitvoeren. Je zegt tegen hem: "Hier is een lijst met 100 tips die ik heb geleerd tijdens het uitvoeren van deze taken."

De huidige manier waarop AI werkt, is dat het deze lijst volledig vertrouwt. Het gaat ervan uit dat als een tip goed was voor één taak, deze ook goed moet zijn voor elke taak. Het leest de hele lijst voordat het aan een nieuwe klus begint.

Het paper stelt dat dit een fout is. Alleen omdat een tip je helpt bij het bakken van een cake, betekent niet dat het je helpt bij het repareren van een lekkende leiding. Sterker nog, het lezen van "bakinstructies" terwijl je een leiding probeert te repareren, kan je afleiden en ervoor zorgen dat je faalt.

De auteurs noemen dit "Causal Heterogeneity" (causale heterogeniteit). In gewone mensentaal: Een vaardigheid die helpt bij de ene taak, schaadt vaak bij de andere taak.

De Oplossing: ASSAY (De "Vaardigheidsfilter")

De onderzoekers hebben een nieuw systeem gebouwd genaamd ASSAY. Zie het als een slimme redacteur voor de instructiehandleiding van de AI. In plaats van blindelings te vertrouwen op het oordeel van de AI over wat hij moet houden, gebruikt ASSAY een wetenschappelijk experiment om elke tip te testen.

Zo werkt ASSAY in drie eenvoudige stappen:

1. Het "Randomized Masking" Experiment (De Smaaktest)

Stel je voor dat je een soep hebt met 50 ingrediënten. Je wilt weten of de "cayennepeper" de smaak echt verbetert.

De oude manier: Je vraagt aan de chef: "Vind je cayenne lekker?" De chef zegt: "Ja, het is pittig!" (Maar misschien is de chef gewoon gewend aan pittig eten).
De ASSAY-manier: Je doet een blinde smaaktest.
- Je maakt 12 kommen soep.
- In sommige kommen doe je de cayennepeper erbij. In andere laat je het weg.
- Je proeft ze allemaal.
- Het resultaat: Je berekent precies hoeveel de cayennepeper de soep gemiddeld heeft geholpen of geschaad.

In het paper doen ze dit met AI-taken. Ze verbergen willekeurig verschillende "vaardigheden" (tips) en kijken of de AI slaagt of faalt. Dit geeft hen een score voor elke vaardigheid:

Groene score: Deze vaardigheid helpt.
Rode score: Deze vaardigheid schaadt.
De valstrik: Sommige vaardigheden hebben een score van nul omdat ze bij 50% van de taken helpen en bij de andere 50% schaden. Voor een simpele waarnemer lijken ze nutteloos. Maar voor ASSAY zien ze er gevaarlijk uit omdat ze onvoorspelbaar zijn.

2. De "Offline Restructuring" (Het Redigeren van de Handleiding)

Zodra ze de scores hebben, poetsen ze de bibliotheek met vaardigheden op:

Splitsen: Als een vaardigheid "soms goed, soms slecht" is, herschrijven ze deze. Ze veranderen "Controleer altijd de contacten" naar "Controleer contacten alleen als je een rekening splitst."
Pensioen (Retire): Als een vaardigheid saai is en nooit helpt (score nabij nul), gooien ze deze weg.
Samenvoegen (Merge): Als ze twee tips hebben die hetzelfde zeggen, voegen ze deze samen.

3. De "Per-Task Masking" (De Slimme Filter bij de Deur)

Dit is het belangrijkste deel. Zelfs nadat de handleiding is opgeschoond, leest de AI niet de hele lijst voor elke nieuwe klus.

Het scenario: Je staat op het punt om een koffiemolen te kopen.
Het probleem: Jouw handleiding bevat een tip over "het controleren van Spotify-afspeellijsten". Als de AI dit leest terwijl hij een koffiemolen koopt, raakt hij afgeleid en faalt hij.
De ASSAY-oplossing: Voordat de AI aan de taak begint, kijkt ASSAY naar de taakbeschrijving. Het vraagt: "Op basis van onze eerdere experimenten, welke vaardigheden zullen deze specifieke taak hinderen?"
De actie: Het blokkeert (maskeert) de Spotify-tip geruisloos. Het laat alleen de "Amazon maatcontrole"-tip door.

Waarom dit ertoe doet (De Resultaten)

De onderzoekers testten dit op twee grote uitdagingen: AppWorld (simulatie van app-gebruik) en τ-bench (simulatie van klantenservice).

De "Vóór" Staat: Het toevoegen van een enorme bibliotheek aan vaardigheden maakte de AI vaak slechter in moeilijke taken, omdat hij in de war raakte door irrelevante tips.
De "Ná" Staat: Door ASSAY te gebruiken om de slechte tips voor elke specifieke baan te filteren:
- DeepSeek-V3 (een krachtige AI) ging van falen naar de beste ter wereld op AppWorld, waarbij het zelfs modellen versloeg die zwaar waren hertraind (wat normaal veel meer werk vereist).
- GPT-4.1 sprong omhoog op de ranglijst van de retail-test en versloeg andere topmodellen zoals o1 en o4-mini, zonder ook maar één regel code te veranderen.

De Belangrijkste Les

Het paper bewijst dat meer vaardigheden niet altijd beter zijn.

Denk aan een gereedschapskist. Als je een timmerman een hamer, een zaag en een moersleutel geeft, kan hij een huis bouwen. Maar als je hem ook een tennisracket, een koekenpan en een paar ski's geeft, kan hij in de war raken en de hamer laten vallen.

ASSAY is het systeem dat naar de klus kijkt (een huis bouchten) en zegt: "Oké, geef hem de hamer en de zaag. Verberg de ski's en de koekenpan." Het hoeft de timmerman niet opnieuw te bouwen; het hoeft alleen maar de gereedschappen te selecteren die hij vasthoudt.

Belangrijkste bevinding: De grootste flessenhals is niet dat de AI een tekort aan vaardigheden heeft; het is dat de AI niet weet welke vaardigheden hij voor welke klus moet gebruiken. ASSAY lost die mismatch op.

Technische Samenvatting: Niet alle vaardigheden helpen: Meten en repareren van de kennis van agenten

1. Probleemstelling

Huidige paradigma's voor het verbeteren van Large Language Model (LLM) agenten zonder gewicht-updates vertrouwen op het accumuleren van natuurlijke taalvaardigheden uit ervaring. Deze systemen delegeren doorgaans de volledige levenscyclus van een vaardigheid — generatie, retentie en retrieval — aan het eigen oordeel van de LLM. De onderliggende aanname is dat een LLM voldoende kan bepalen welke vaardigheden behouden moeten blijven en hoe deze toegepast moeten worden op basis van contexten van enkelvoudige taken.

Dit paper betoogt echter dat deze aanpak twee verschillende rollen door elkaar haalt:

Generatie: Het creëren van een vaardigheid vanuit ervaring (een creatieve handeling waar het oordeel van de LLM uitblinkt).
Curatie: Beslissen of een vaardigheid daadwerkelijk helpt (een empirische vraag die bewijs vereist over vele taken).

De auteurs identificeren een systematisch nadeel van ongecontroleerde accumulatie: causale heterogeniteit. Individuele vaardigheden helpen vaak bij specifieke typen taken, terwijl ze op andere taken juist actief schadelijk zijn. Omdat deze tegenovergestelde effecten elkaar in het aggregaat opheffen, falen globale curatiemethoden (die vaardigheden evalueren op basis van gemiddelde prestaties) om dit te detecteren. Bijgevolg worden "slechte" vaardigheden onzichtbare overhead die de prestaties van de agent verslechteren, met name bij complexe of out-of-distribution taken.

2. Methodologie: Het ASSAY-framework

De auteurs stellen ASSAY voor (Attribution-Based Skill Selection and Assembly), een framework dat de generatie van vaardigheden scheidt van de curatie. Het opereert in drie stadia, verenigd door een enkele causale attributiematrix $C \in \mathbb{R}^{N \times M}$ , waarbij $N$ het aantal vaardigheden is en $M$ het aantal ontwikkelingstaken.

Fase 1: Meten van causale effecten (Randomized Masking)

In plaats van te vertrouwen op LLM-oordeel om vaardigheden te evalueren, gebruikt ASSAY randomized masking om ongeëvenaande causale attributie te berekenen.

Protocol: Voor $K$ onafhankelijke proeven wordt een willekeurige mask wordt geconstrueerd door elke vaardigheid met waarschijnlijkheid $f$ op te nemen (Bernoulli-sampling).
Attributie: De causale score $C[j, i]$ voor vaardigheid $s_j$ op taak $d_i$ wordt berekend als de difference-in-means estimator tussen proeven waar de vaardigheid aanwezig is en proeven waar deze afwezig is.
Resultaat: Dit produceert een matrix die onthult of een vaardigheid helpt (positieve score), schaadt (negatieve score) of een verwaarloosbare impact heeft op specifieke taken. Dit onthult causale heterogeniteit, waarbij vaardigheden vaak van teken veranderen over verschillende typen taken heen.

Fase 2: Offline Bibliotheek Herstructurering

Gebruikmakend van de attributiematrix, herstructureert het framework de vaardighedenbibliotheek offline om heterogeniteit op te lossen vóór de inferentie.

Splitsen: Vaardigheden met hoge heterogeniteit (grote variantie in causale scores over taken) worden door de basis-LLM herschreven naar conditionele varianten met expliciete trigger-condities (bijv. "pas alleen toe wanneer taaktype X is"). Deze varianten moeten een ontwikkelingspoort passeren om te garanderen dat ze de algehele prestaties niet verslechteren.
Pensioen (Retire): Vaardigheden met bijna nul globale causale scores (verwaarloosbare impact) worden verwijderd om contextruis te verminderen.
Samenvoegen (Merge): Bijna-duplicaten die tijdens het splitsen zijn geïntroduceerd, worden geclusterd en het lid met de hoogste score wordt behouden.

Fase 3: Per-taak Causale Masking

Op het moment van inferentie is een statische bibliotheek onvoldoende omdat de optimale set vaardigheden per taak varieert. ASSAY behandelt vaardigheidsselectie als een risico-minimalisatieprobleem.

Voorspelling: Voor een nieuwe testtaak identificeert het systeem de $k$ dichtstbijzijnde ontwikkelingstaken op basis van instructie-embeddings. Het berekent een voorspelde causale effect $\hat{C}(s_j, t)$ voor elke vaardigheid door de historische causale scores van die dichtstbijzijnde buren te wegen.
Masking Regel: Vaardigheden die een negatief causaal effect voorspellen, worden onderdrukt, terwijl die met positieve of neutrale effecten worden behouden. Beschermde operationele templates (bijv. paginering, datavalidatie) zijn vrijgesteld van masking om catastrofaal falen te voorkomen.
Fallback: Als de gefilterde set te klein wordt, keert het systeem terug naar de volledige bibliotheek om een gracieuze degradatie te garanderen.

3. Belangrijkste Bijdragen

Empirische Karakterisering: Het paper levert het eerste empirische bewijs van alomtegenwoordige causale heterogeniteit in agent-vaardigheidsbibliotheken, waarbij wordt aangetoond dat vaardigheden routinematig helpen bij sommige taken terwijl ze bij andere schadelijk zijn, wat ze onzichtbaar maakt voor globale curatie.
Framework Ontwerp: ASSAY operationaliseert de scheiding tussen generatie (LLM-oordeel) en curatie (empirische meting). Het introduceert een pijplijn die causale attributie berekent, bibliotheken offline herstructureert en per-taak masking toepast tijdens inferentie.
State-of-the-Art Prestaties: Het framework behaalt significante verbeteringen over diverse modellen en benchmarks zonder de modelgewichten aan te passen.
- AppWorld: Op de moeilijkste split bereikt DeepSeek-V3 69,3% Task Goal Completion (TGC), een relatieve verbetering van 47,4% ten opzichte van de baseline, waarmee een nieuwe state-of-the-art wordt gezet onder gepubliceerde methoden (inclusief gewicht-getunede benaderingen).
- $\tau$ -bench: GPT-4.1 verbetert met 8,7% relatief, waarmee het o4-mini, o1 en GPT-4.5 passeert op de publieke leaderboard zonder gewicht-modificatie.
Identificatie van Bottlenecks: Ablatie-studies bevestigen dat de primaire bottleneck niet de aanwezigheid van "slechte" vaardigheden globaal is, maar het falen om de juiste vaardigheden aan specifieke taken te koppelen tijdens de inferentie. Per-taak masking is verantwoordelijk voor de dominante winsten.

4. Experimentele Resultaten

Het framework werd geëvalueerd op twee benchmarks (AppWorld en $\tau$ -bench met zeven basismodellen van vier providers (OpenAI, DeepSeek, Anthropic, Google).

Generalisatie: ASSAY verbeterde consequent de prestaties over alle zeven modellen. Op de test_challenge split van AppWorld verslechterden ongecurateerde vaardigheidsbibliotheken de prestaties voor sommige modellen (bijv. GPT-5.1 daalde van 52,5% naar 49,9%), terwijl ASSAY dit omkeerde en significante winsten boekte.
Gevoeligheid voor Moeilijkheidsgraad: De methode leverde de grootste winsten op Level 2 en Level 3 taken, waar ongecurateerde bibliotheken de meeste schade aanrichtten.
Randvoorwaarden: Twee modellen (GPT-5.1 en Sonnet 4.5) vertoonden nul winst op $\tau$ -bench. De auteurs schrijven dit toe aan een hoge baseline competentie die de voordelen van prompt-time vaardigheidsinjectie verzadigt, wat wijst op afnemende meeropbrengsten naarmate de basismodel-capaciteit toeneemt.

5. Betekenis en Claims

Het paper claimt dat de huidige afhankelijkheid van LLM-oordeel voor de gehele levenscyclus van een vaardigheid een fundamentele beperking is. Door een empirische, meting-gedreven curatie-fase te introduceren, lost ASSAY het probleem van "causale heterogeniteit" op dat bestaande vaardigheidsgebaseerde agenten teistert.

De auteurs benadrukken dat hun aanpak complementair is aan bestaande methoden:

Het opereert volledig tijdens de inferentie en vereist geen gewicht-updates.
Het kan worden toegepast bovenop elke bestaande vaardigheids-generatie-pijplijn (bijv. ACE, CUGA, Reflexion).
Het verschuift het paradigma van "het accumuleren van meer vaardigheden" naar "het nauwkeurig matchen van vaardigheden aan taken."

Het werk concludeert dat hoewel vaardigheidsgeneratie een creatieve handeling is die het best door LLM's kan worden afgehandeld, vaardigheidscuratie een empirisch probleem is dat een willekeurige meting vereist om te garanderen dat de kennis die in het contextvenster wordt geïnjecteerd, de prestaties van de agent daadwerkelijk ondersteunt.