Technische Samenvatting: SKILLREVISE

Probleemstelling

Large Language Model (LLM) agents opereren steeds vaker in verifieerder-gestuurde omgevingen waar succes afhangt van het uitvoeren van meerstaps-workflows, het voldoen aan restricties en het herstellen van fouten. Hoewel "agent skills" (herbruikbare procedurele artefacten) zijn ontworpen om de kloof tussen atomaire tools en hoogwaardige prompts te overbruggen, kampen bestaande methoden voor het verwerven van deze skills met aanzienlijke beperkingen, met name in cold-start settings waar slechts een initiële, imperfecte skill beschikbaar is.

Huidige benaderingen vallen uiteen in drie categorieën, die elk duidelijke nadelen hebben:

1. Retrieval-gebaseerde methoden: Selecteren vaak skills die niet volledig overeenkomen met de doeltaak, wat leidt tot onderbroken uitvoering.
2. Self-evolution methoden: Vereisen geaccumuleerde trajecten en ervaring, waardoor ze ineffectief zijn wanneer men vanaf nul begint (cold-start) of gevoelig zijn voor overfitting.
3. Directe auteurschap (Expert of One-shot LLM): Expert-auteurschap is kostbaar en kan niet goed aansluiten bij het werkelijke gedrag van de agent tijdens de uitvoering. One-shot LLM-generatie produceert vaak skills die syntactisch correct zijn maar behavioreel zwak, omdat ze een gebrek aan validatie tegen executie-traces vertonen.

De kernuitdaging is dat skills de prestaties van een agent niet zo betrouwbaar verbeteren als atomaire tools; kwalitatief slechte of verkeerd afgestemde skills kunnen de prestaties juist verslechteren. Er is behoefte aan een methode om een initiële, door een LLM geschreven imperfecte skill iteratief te verfijnen met behulp van executie-bewijs, zonder dat daarvoor een grote corpus van succesvolle trajecten nodig is.

Methodologie: SKILLREVISE

De auteurs stellen SKILLREVISE voor, een executie-gegronde framework die is ontworpen om een initiële skill ($S_0$) iteratief te verfijnen via een begrensde revisielus. Het framework deelt het revisieproces op in taakspecifieke diagnose en algemene herstel-kennis, waardoor de noodzaak voor uitgebreide voorkennis wordt vermeden.

Kerncomponenten

1. Diagnose ($D_i$): Een taakspecifieke component die ruw executie-bewijs omzet in herstel-restricties. Voor elke revisiepoging $i$ bestaat dit uit:

   • Verificatie-specificatie ($V_i$): Observeerbare vereisten (outputpaden, schema's, formaten, pass/fail assertions).
   • Fout-attributie ($A_i$): Een samenvatting van mislukte controles, geobserveerd gedrag, waarschijnlijke oorzaken en defect-labels.
   • Preserverings-restricties ($K_i$): Verslagen van controles die slaagden en keuzes die behouden moeten blijven om regressie te voorkomen.

2. Principle Memory ($M$): Een repository van herbruikbare herstelprincipes in plaats van taakspecifieke oplossingen. Elk principe abstraheert een terugkerend defect in het ontwerp van een skill naar een operationeel herstelpatroon, waarbij wordt gespecificeerd wanneer het toegepast moet worden, welk defect het aanpakt en hoe de reparatie te verifiëren. Het systeem start met een set van zeven principes (bijv. "Expose outputs to verifier," "Preserve correct behavior").

3. Revision Operator ($R_\phi$): Deze module brengt de huidige skill ($S_i$), de diagnose ($D_i$) en de opgehaalde principes ($P_i$) in kaart naar een gereviseerde skill-kandidaat ($\hat{S}_{i+1}$) en een revisie-trace ($z_i$). Cruciaal is dat het execution anchors toepast — specifieke instructies over hoe een tekstuele bewerking het gedrag van de executor moet veranderen (bijv. "reload the file," "parse JSON," "check keys") — waardoor bewerkingen geworteld zijn in actiegerichte stappen.

4. Bounded Revision Episode: Het framework werkt onder een eindig budget (bijv. $B=3$ rondes).

   • Executie & Diagnose: De huidige skill wordt uitgevoerd; als er fouten optreden, wordt een diagnose gegenereerd.
   • Retrieval & Binding: Relevante principes worden opgehaald uit $M$ en gekoppeld aan de huidige diagnose.
   • Revisie & Re-executie: Een kandidaat-skill wordt gegenereerd en opnieuw uitgevoerd.
   • Utility-Gated Selection: Het systeem houdt een set geobserveerde kandidaten bij. De uiteindelijke output is niet noodzakelijkerwijs de laatst gegenereerde revisie, maar de beste geobserveerde skill ($S^*$) op basis van een utility-functie $U(S, T)$. Deze functie balanceert succespercentage, executie-efficiëntie, transfer-prestaties en interferentie-kosten, waardoor efficiëntiewinst alleen wordt beloond als de taak succesvol wordt voltooid.

Belangrijkste Bijdragen

Het paper levert drie primaire bijdragen:

1. Formulering: Het herformuleert de verbetering van skills in een cold-start scenario als een begrensde, executie-gegronde revisie van een bestaande door LLM geschreven skill, wat verschilt van retrieval of open-ended self-evolution.
2. Framework: Het introduceert SKILLREVISE, dat taakspecifieke Diagnose, herbruikbare Principle Memory en executie-verankerde revisie integreert met utility-gated selectie om de optimale skill-versie systematisch te behouden.
3. Evaluatie: Het biedt uitgebreide empirische validatie over drie benchmarks (SkillsBench, SkillLearnBench-Random, SWE-Skills-Bench-Hard) en een ALFWorld-studie, waarbij consistente winst wordt getoond ten opzichte van "no-skill" en one-shot baselines over meerdere executor-modellen.

Experimentele Resultaten

Het framework werd geëvalueerd met een gedeelde verifieerder-gestuurde harness over vijf LLM's (GPT-5.5, Opus-4.7, Kimi-2.6, Qwen-3.6plus, DeepSeek-V4-Pro).

• Prestatiewinst: Op de standaard SkillsBench verbeterde SKILLREVISE het succespercentage van de GPT-5.5 agent van 36,05% (no skill) en 39,53% (one-shot generatie) naar 61,63% binnen slechts drie revisierondes. Vergelijkbare substantiële verbeteringen werden waargenomen op SkillLearnBench-Random en SWE-Skills-Bench-Hard.
• Cross-Model Transferability: De gereviseerde skills vertoonden sterke transferbaarheid. Wanneer door GPT-5.5 gereviseerde skills werden toegepast op andere executors (bijv. Opus-4.7, DeepSeek-V4-Pro), presteerden ze vaak beter dan de "no-skill" baseline, wat suggereert dat de skills gegeneraliseerde procedurele kennis vastleggen in plaats van model-specifieke artefacten. Echter, executor-specifieke revisie leverde over het algemeen de hoogste prestaties op.
• Ablatie-studies: Het verwijderen van de Diagnosis component veroorzaakte de grootste prestatiedaling (van 53/86 naar 28/86 op SkillsBench), wat het belang benadrukt van het expliciet overbruggen van executie-bewijs naar skill-niveau defecten. De Preserve Ledger en Execution Anchors waren ook cruciaal voor het voorkomen van regressie en het waarborgen dat bewerkingen concrete acties induceerden.
• ALFWorld Studie: In een studie naar principe-absorptie verbeterde een compacte bank van 10 principes, geleerd van 25 kalibratietaken, de prestaties op een held-out set van 100 taken, waarbij 71/100 taken werden opgelost, wat de mogelijkheid aantoont om lokale fouten te abstraheren naar herbruikbare herstelpatronen.

Betekenis en Claims

Het paper claimt dat executie-gegronde revisie een betrouwbaar paradigma is voor geautomatiseerd auteurschap van skills, met name in cold-start scenario's. De betekenis van het werk ligt in het aantonen dat:

• Skills het meest effectief zijn wanneer ze geen statische adviezen zijn, maar testbare procedurele geheugens die worden verfijnd door geobserveerde fouten.
• Een gestructureerde aanpak die diagnose, algemene principes en utility-gated selectie combineert, de broosheid van one-shot generatie en de data-honger van self-evolution kan overwinnen.
• Het framework erin slaagt de kloof tussen expert-auteurschap (kostbaar) en one-shot generatie (onbetrouwbaar) te overbruggen door een initiële conceptversie iteratief te verfijnen met behulp van verifieerder-feedback.

De auteurs merken bescheiden beperkingen op, waaronder de afhankelijkheid van verifieerder-zichtbare feedback (wat kan leiden tot overfitting als tests schaars zijn) en het feit dat de methode niet terugvalt op "no-skill" uitvoering als een skill consequent de prestaties verslechtert. Zij positioneren SKILLREVISE als een stap naar robuuste, geautomatiseerde skill-verwerving die het gedrag van de agent afstemt op taakrestricties en verificatiecriteria.