Technische Samenvatting: Van Ruwe Ervaring tot Vaardigheidsconsumptie

Probleemstelling

Talenagenten vertrouwen steeds meer op het hergebruiken van "vaardigheden"—gestructureerde procedurele artefacten die zijn gedistilleerd uit eerdere ervaringen—om zich aan te passen aan nieuwe taken zonder opnieuw getraind te hoeven worden. Hoewel domeinspecifieke, door modellen gegenereerde vaardigheden een schaalbaar alternatief bieden voor arbeidsintensieve handmatige creatie, ontbreekt er in het veld een uitgebreid begrip van hun effectiviteit. Bestaand onderzoek isoleert doorgaans specifieke fasen van de levenscyclus van vaardigheden (bijvoorbeeld alleen consumptie of alleen extractie) of vertrouwt op benchmarks die de volledige pijplijn niet weerspiegelen. Bijgevolg blijft het onduidelijk of door modellen gegenereerde vaardigheden de downstream-prestaties daadwerkelijk verbeteren, onder welke voorwaarden ze falen (negatieve overdracht) en welke specifieke eigenschappen een vaardigheid nuttig maken.

Methodologie

De auteurs stellen een systematisch, op nut gebaseerd evaluatiekader voor dat de volledige levenscyclus van vaardigheden bestrijkt over vijf diverse agent-domeinen: geïncorporeerde planning (ALFWorld), productiviteitssoftware (SpreadsheetBench), software-engineering (SWE-bench-Verified), webzoekopdrachten (SEAL-0) en tool-aanroepen (BFCL-v4).

De Pijplijn van de Vaardigheidslevenscyclus

De studie volgt een protocol met drie fasen:

1. Ervaringsgeneratie: Een doelmodel ($M$) voert taken uit vanuit een trainingsverdeling om een ervaringspool te produceren die zowel succesvolle als mislukte trajecten bevat.
2. Vaardigheidsextractie: Een extractormodel ($E$), dat mogelijk verschilt van het doelmodel, distilleert de ervaringspool tot één gestructureerde domein-gerelateerde vaardigheid met behulp van een minimaal, twee-trapskader (per-trajectanalyse gevolgd door hiërarchische consolidatie). Dit ontwerp vermijdt bewust domeinspecifieke heuristieken om het vermogen van de extractor te isoleren.
3. Vaardigheidsconsumptie: Hetzelfde doelmodel ($M$) wordt geëvalueerd op een vastgehouden testverdeling waarbij de geëxtraheerde vaardigheid in zijn systeemprompt wordt ingevoegd. De prestatieverandering ($\Delta$) ten opzichte van een baseline zonder vaardigheid dient als proxy voor de nuttigheid van de vaardigheid.

Metrieken en Experimenteel Ontwerp

De studie evalueert 6 doelmodellen (die de GPT-, Gemini- en Qwen-families bestrijken) en 5 extractormodellen over de vijf domeinen. Om de rollen van de extractor en de consument te ontwarren, worden twee metrieken geïntroduceerd:

• Extractie-effectiviteit (EE): Meet hoe betrouwbaar een vaste extractor nuttige vaardigheden produceert over verschillende doelen heen.
• Doel-evolueerbaarheid (TE): Meet hoeveel een vast doel profiteert van vaardigheden die door verschillende extractoren zijn geëxtraheerd uit zijn eigen ervaring.

Belangrijkste Bijdragen en Bevindingen

1. Nut is Niet-uniform en Context-afhankelijk (RQ1)

Door modellen gegenereerde vaardigheden zijn gemiddeld gunstig, maar vertonen aanzienlijke variatie en niet-triviale negatieve overdracht.

• Negatieve Overdracht: Ongeveer 25% van de extractor-doelkoppelingen resulteert in prestatiedegradatie ($\Delta < 0$). Dit risico is domein-afhankelijk, waarbij ALFWorld de grootste fragiliteit vertoont (47% negatieve overdracht) en SpreadsheetBench de laagste (13%).
• Extractie- versus Uitvoervermogen: Het vermogen van een model om taken op te lossen, voorspelt niet zijn vermogen om vaardigheden te extraheren. Bijvoorbeeld, een lichtgewicht model (Gemini-3.1-Flash-Lite) behaalde de hoogste extractie-effectiviteit op SpreadsheetBench en presteerde beter dan sterkere baseline-modellen.
• Doelafhankelijkheid: De nuttigheid van een vaardigheid is sterk doel-specifiek. Dezelfde vaardigheid kan één model aanzienlijk verbeteren terwijl het een ander degradeert, wat aangeeft dat het vermogen tot consumptie een intrinsieke eigenschap is van het doelmodel.

2. Drijvers van Vaardigheidsnut over de Levenscyclus (RQ2)

De studie ontleedt de drie fasen van de levenscyclus om te identificeren wat het nut drijft:

• Ervaringsgeneratie: De samenstelling van de ervaringspool (ratio succes versus falen) heeft een kritieke impact op de kwaliteit van de vaardigheid. Waar pure falen-pools consequent het slechtst zijn, is de optimale mix van succes en falen domein-specifiek. Bijvoorbeeld, ALFWorld profiteert van pools met veel mislukkingen (die doodlopende wegen blootleggen), terwijl SpreadsheetBench voorkeur geeft aan succesvolle trajecten.
• Vaardigheidsextractie: Noch oppervlakkige indeling (bijvoorbeeld lijst versus proza) noch tekstuele plausibiliteit voorspellen downstream-nut. Een LLM-judge die vaardigheidstekst evalueert zonder nut-gegevens, presteert niet beter dan willekeur (46% nauwkeurigheid). Cruciaal is dat "beter uitziende" vaardigheden vaak slechter presteren.
• Vaardigheidsconsumptie: Vaardigheidsinjectie herschikt het standaardbeleid van het doel in plaats van expliciete vaardigheidsaanroepen te triggeren. Voor modellen die verbeteren (bijvoorbeeld GPT-5.4), sturen vaardigheden ze naar robuustere strategieën (bijvoorbeeld waarden berekenen in Python in plaats van te vertrouwen op onstabiele formule-evaluatie). Voor modellen die achteruitgaan (bijvoorbeeld Qwen3.5-9B), kunnen vaardigheden ze duwen naar overmatig complexe workflows die uitvoeringsrobustheid opofferen voor structurele fideliteit.

3. Van Diagnose naar Interventie (RQ3)

De auteurs vertalen empirische bevindingen naar een concrete verbetering voor vaardigheidsextractie: een Meta-Vaardigheid.

• Rubriekontdekking: Door hoog-gap vaardigheidsparen te analyseren, stelden de auteurs vast dat tekstuele plausibiliteit een slechte predictor is van nut. In plaats daarvan valideerden ze drie specifieke dimensies die correleren met succes: Codering van Falmechanismen (identificeren waarom agenten falen), Hanteerbare Specificiteit (stap-voor-stap procedures die verwijzen naar domeinobjecten) en Zwarte lijsten voor Hoog-risico Acties.
• Implementatie van Meta-Vaardigheid: Deze drie dimensies werden gecodeerd in een "gevalideerde rubriek" en ingevoegd als een meta-vaardigheidsprior in de systeemprompt van de extractor.
• Resultaten: Deze geleide extractie verbeterde consequent de kwaliteit van vaardigheden over alle geëvalueerde cellen (gemiddeld +1,55 pp winst) en verminderde aanzienlijk de negatieve overdracht. Daarentegen degradeerde een naïeve "plausibiliteitsrubriek" (gericht op duidelijkheid en toon) de prestaties.

Betekenis

Dit werk verplaatst het veld van agent-vaardigheidsextractie van een heuristische, intuïtie-gedreven praktijk naar een principieel, op nut gebaseerd vakgebied. Door de eerste systematische studie te bieden die de volledige levenscyclus van ervaring-extractie-consumptie bestrijkt, tonen de auteurs aan dat:

1. Door modellen gegenereerde vaardigheden niet universeel gunstig zijn; hun nut is een complexe interactie tussen de extractor, het doel en het domein.
2. Oppervlakkige kwaliteiten van vaardigheden slechte proxies zijn voor hun werkelijke nut.
3. Empirische analyse van faalmodi en specifieke hanteerbare remedies kunnen worden geoperationaliseerd tot een meta-vaardigheid die de extractiekwaliteit betrouwbaar verbetert en negatieve overdracht vermindert.

De studie concludeert dat extractiesystemen, om effectief te zijn in real-world implementaties van vaardigheidsbibliotheken, moeten worden geleid door gevalideerde, op nut gebaseerde criteria in plaats van generieke tekstkwaliteitsmetrieken.