🤖 AI

SKILL.nb: Selective Formalization and Gated Execution for Durable Agent Workflows

SKILL.nb is een framework dat de duurzaamheid en betrouwbaarheid van herbruikbare AI-agent workflows verbetert door middel van selectieve formalisering en gated executie binnen auditeerbare notebooks, waardoor dynamische adaptatie aan omgevingsdrift mogelijk wordt terwijl superieure prestaties en stabiliteit over diverse webautomatisering-benchmarks worden bereikt.

Oorspronkelijke auteurs: Amine El Hattami, Nicolas Chapados, Christopher Pal

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amine El Hattami, Nicolas Chapados, Christopher Pal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotassistent leert hoe hij een complexe taak moet uitvoeren, zoals het boeken van een vlucht of het beheren van een project op een website. In het verleden, als een robot een trucje leerde dat één keer werkte, bewaarden we dat trucje misschien gewoon en hoopten we dat het voor altijd zou werken. Maar websites veranderen. Knoppen verplaatsen, menu's verdwijnen en lay-outs verschuiven. Als de robot een oude truc probeert te gebruiken op een nieuwe website, loopt hij vaak vast of raakt hij de weg kwijt.

Dit artikel introduceert SKILL.nb, een nieuwe manier om deze robot-"trucjes" te beheren, zodat ze niet kapot gaan wanneer de wereld verandert. Zie het als een slim, zelfvernieuwend receptenboek dat precies weet wanneer het een strikte reeks instructies moet volgen en wanneer het flexibel moet zijn.

Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleen: De "Set-and-Forget" Valstrik

Stel je voor dat je een recept voor een cake opschrijft. Het werkt vandaag perfect. Maar volgende week verandert de winkel het merk bloem, en is de oventemperatuur iets anders. Als je blindelings het oude recept volgt, kan de cake aanbranden.

Huidige AI-agenten zijn precies zo. Ze leren een workflow (een reeks stappen) om een taak uit te voeren. Als de website verandert (het "merk bloem"), faalt de agent. Bestaande systemen proberen dit op te lossen door simpelweg de oude instructies opnieuw te lezen, maar ze hebben geen goede manier om te beslissen welke delen van het recept nog geldig zijn en welke herschreven moeten worden.

2. De Oplossing: Het "Slimme Notitieboek" (SKILL.nb)

De auteurs hebben een systeem ontwikkeld genaamd SKILL.nb. In plaats van alleen een tekstbestand met instructies op te slaan, slaan ze een levend, versiebeheerd notitieboek op (zoals een digitaal laboratoriumjournaal).

Dit notitieboek heeft drie speciale functies:

Selectieve Formalisering (De keuze voor "Verharding"):
Stel je voor dat je een robot leert om op een knop te klikken.
- Het Flexibele Deel: Sommige stappen zijn geschreven in gewone Engelse taal (bijv. "Zoek de login-knop"). Dit is flexibel. Als de knop verplaatst, kan de robot er nog steeds naar zoeken met zijn ogen (AI-visie).
- Het Verharde Deel: Andere stappen worden omgezet in strikte computercode (bijv. "Klik op element ID #login-btn"). Dit is snel en precies, maar broos. Als de ID verandert, breekt de code.
- De Magie: SKILL.nb bepaalt welke stappen strikte code moeten zijn en welke flexibel Engels moeten blijven. Het leert dit door te observeren wat er gebeurt. Als een codestap herhaaldelijk faalt, "verlaagt" het systeem deze automatisch terug naar flexibel Engels, zodat de robot kan aanpassen. Als een Engelse stap zeer stabiel is, "upgrade" het systeem deze naar code voor snelheid.
De "Poortwachter" (Gated Execution):
Voordat de robot een stap zet, controleert hij een Poort (Gate).
- Zie een poort als een uitsmijter bij een club. De robot probeert de strikte code uit te voeren. De uitsmijter controleert: "Zit de knop nog steeds op dezelfde plek? Is de pagina geladen?"
- Als de poort opengaat: Voert de robot de snelle code uit.
- Als de poort dichtgaat: De robot loopt niet vast. Hij schakelt onmiddellijk over naar het "Plan B" (de flexibele Engelse instructie) om een andere aanpak te proberen.
- Dit voorkomt de "alles-of-niets"-fout waarbij één kleine verandering het hele proces stopt.
Het "Auditspoor" (Evidence-Based):
Elke keer dat de robot een stap probeert, legt het notitieboek het resultaat vast: een screenshot, een foutmelding of een succeslog.
- Als een stap vaak mislukt, ziet het notitieboek het bewijs en zegt: "Oké, deze specifieke code is te fragiel. Laten we stoppen met het gebruiken ervan en teruggaan naar de flexibele instructies."
- Het houdt een geschiedenis bij van wat werkte, wat kapot ging en waarom, zodat de robot van zijn fouten leert zonder dat er telkens een mens aan te pas moet komen om het te repareren.

3. Resultaten in de echte wereld: De "GitLab Migratie" Test

De onderzoekers testten dit in een echt scenario: het migreren van taken van een oude versie van een softwareplatform (GitLab 15) naar nieuwere versies (GitLab 16 en 18). Deze versies hadden verschillende lay-outs en knoppen.

De Oude Manier: Andere AI-systemen probeerden hun oude "herinneringen" (de oude recepten) te gebruiken op de nieuwe websites. Ze faalden jammerlijk omdat ze vastzaten aan de oude lay-out. Hun succespercentage daalde met ongeveer 10–14 punten.
De SKILL.nb Manier: Omdat SKILL.nb de "Poortwachters" en de "Flexibele/Strikte" schakelaar had, besefte het dat de oude code niet paste bij de nieuwe website. Het schakelde automatisch terug naar de flexibele instructies.
- Resultaat: Het behield bijna exact hetzelfde succespercentage, zelfs op de gloednieuwe, veranderde websites. Het hoefde niet alles vanaf nul opnieuw te leren; het paste alleen zijn strategie aan.

4. Waarom dit ertoe doet

Het artikel betoogt dat voor AI-agenten om echt nuttig te zijn op de lange termijn, we hun geheugen niet als statische bestanden kunnen behanden. We moeten ze behandelen als beheerde artefacten.

Lifecycle Management: Net zoals software engineers code-updates beheren, beheert SKILL.nb de "levenscyclus" van de vaardigheden van een agent. Het weet wanneer het een vaardigheid moet promoten (strikt maken tot code), wanneer het moet degraderen (flexibel maken) en wanneer het moet uitfaseren (weggooien omdat het te kapot is).
Betrouwbaarheid: Het maakt agenten duurzamer. Ze slagen niet alleen één keer; ze blijven slagen, zelfs wanneer de omgeving verandert.

Kortom: SKILL.nb is een framework dat AI-agenten een "zelfcorrigerend" receptenboek geeft. Het weet wanneer het een strikt script moet volgen en wanneer het moet improviseren, waardoor de robot blijft werken, zelfs wanneer de wereld om hem heen verandert.

Technische Samenvatting: SKILL.nb

Probleemstelling

AI-agenten genereren steeds vaker duurzame externe artefacten—zoals code, workflows en procedurele geheugens—om eerdere ervaringen te hergebruiken. Dit hergebruik introduceert echter een kritiek betrouwbaarheidsprobleem in de levenscyclus: artefacten die succesvol zijn in één context, falen vaak onder invloed van omgevingsdrift (bijv. UI-wijzigingen in webautomatisering), onvoldoende gespecificeerde taken of verschuivende taakdistributies. Bestaande systemen behandelen de ervaring van een agent doorgaans als statische prompt-context of bieden geïsoleerde primitieven voor versiebeheer en validatie, maar ze missen een verenigd levenscyclusbeleid dat bepaalt wanneer workflows moeten worden gepromoveerd, geformaliseerd, gerepareerd of uitgefaseerd.

In webomgevingen is deze uitdaging acuut. In tegen tegenovergestelde van versie-gepinde desktopapplicaties of API's met expliciete contracten, kunnen webinterfaces driften zonder automatisering-ankers (selectors, lay-outs) te behouden. Dit dwingt tot een afweging: het harden van stappen in code verbetert de controle, maar brengt het risico op broosheid bij drift met zich mee, terwijl het behouden van stappen via natuurlijke taal (NL) de flexibiliteit behoudt maar de controle op artefactniveau verzwakt. Het kernprobleem is bepalen wanneer een stap moet overgaan van NL-sturing naar uitvoerbare code, en wanneer een workflow moet worden teruggedraaid of uitgefaseerd op basis van geaccumuleerde executie-bewijslast in plaats van een eenmalig succes.

Methodologie: SKILL.nb

De auteurs introduceren SKILL.nb, een framework dat herbruikbare agent-workflows beheert via bewijs-gekalibreerde levenscyclusbeleid. Het systeem werkt via een online-offline loop en slaat workflows op als controleerbare, versiebeheerde Jupyter notebooks waarin natuurlijke taal-sturing, multi-language uitvoerbare cellen, validatiepoorten, fallback-paden en multimodale bewijslast (outputs, screenshots, foutsporen) worden geïntegreerd.

Kernmechanismen

Selectieve Formalisering:
Het systeem beslist over de representatie van elke workflowstap op basis van executie-bewijs. Een stap kan zijn:
- NL-gestuurd ( $z_i=0$ ): Uitgevoerd via natuurlijke taalprocedures of pure intentie.
- Uitvoerbaar ( $z_i=1$ ): Verhard in code met pre/post validatiepoorten.
- Gedegradeerd: Als een code-realisatie instabiel wordt, wordt deze teruggebracht naar NL-sturing.
- Uitgefaseerd: Als een workflow excessieve reparatiekosten met zich meebrengt, wordt deze verwijderd uit actieve retrieval.
Poort-geconditioneerde Executie:
In tegenstelling tot "alles-of-niets" scripts, voert SKILL.nb stappen conditioneel uit. Tijdens runtime controleert het systeem de validatiepoorten (predicaten over observeerbare omgevingstoestanden, bijv. DOM-structuur, URL, formulierwaarden).
- Als poorten valideren, wordt de uitvoerbare code gedraaid.
- Als poorten falen (wat duidt op drift), probeert het systeem een lokale reparatie.
- Als reparatie faalt of poorten ongeldig blijven, valt het systeem terug op de NL-procedure of de stap-intentie.
- Dit zorgt ervoor dat executie robuust is tegen interface-wijzigingen zonder dat hiervoor onmiddellijke hertraining van het basismodel nodig is.
Levenscyclusbeleid & Adaptieve Drempelwaarden:
Het framework gebruikt een drempelwaarde-gebaseerd beleid $\pi_\theta$ om levenscyclusacties (creëren, formaliseren, degraderen, uitfaseren) te regelen. Deze drempelwaarden zijn niet vast, maar worden adaptief gekalibreerd via offline replay:
- Bewijsaggregatie: Het systeem aggregeert sporen om trace-ondersteuning (voor creatie/formalisering) en het aantal geaccepteerde reparaties/token-gewogen reparatiebelasting (voor degradatie/uitfasering) te tellen.
- Groepsspecialisatie: Drempelwaarden worden per groep geschat (bijv. site-familie, type taak) met behulp van historische logs.
- Replay-gekalibreerde Veiligheid: Drempelwaarden worden geselecteerd om onderhoudskosten te minimaleniseren terwijl de schendingsratio (kans op het toelaten van een onveilige actie) binnen een budget blijft, geschat met een eenzijdige Wilson upper confidence bound op historische replay-data.
- Shrinkage: Voor schaarse groepen worden schattingen naar een gepoolde globale drempelwaarde teruggebracht (shrinkage) om overfitting door kleine steekproeven te voorkomen.
Artefactrepresentatie:
Workflows worden opgeslagen als versiebeheerde notebooks (.ipynb). Dit formaat is gekozen boven standaard markdown (bijv. SKILL.md) omdat het van nature ondersteuning biedt voor:
- Uitvoerbare code-cellen met expliciete grenzen.
- Ingebed executie-bewijs (outputs, screenshots, logs).
- Validatiepoorten en fallback-logica binnen hetzelfde artefact.
- Controleerbare historie van welke code werd uitgevoerd, welke poorten slaagden en welk bewijs werd geproduceerd.

Belangrijkste Bijdragen

Formulering van Duurzame Automatisering: Het artikel kadert duurzame web-agent automatisering als een probleem van selectieve formalisering en levenscyclusbeheer, waarbij artefacten actief beheerd moeten worden (promoten, repareren, uitfaseren) naarmate aannames falen.
SKILL.nb Framework: Een notebook-native systeem dat selectieve formalisering koppelt aan poort-geconditioneerde executie, wat workflows mogelijk maakt die NL-sturing, uitvoerbare code en multimodale bewijslast combineren in één enkel, versiebeheerd object.
Empirische Validatie: Een uitgebreide evaluatie die aantoont dat SKILL.nb niet alleen de one-shot taaksucces verbeterde, maar cruciaal ook de herhaaldelijk gebruik-betrouwbaarheid, reparatieherstel en robuustheid tegen omgevingsdrift vergeleken met persistent-memory baselines.

Experimentele Resultaten

De auteurs evalueerden SKILL.nb op WebArena-Verified, Mind2Web, en een gecontroleerd GitLab versie-drift protocol.

One-Shot Prestaties (WebArena-Verified):
- Bereikte 53,7% single-round succes, waarmee het de sterkste baseline (ReasoningBank) met 3,9 procentpunt versloeg ( $p=0,029$ ).
- Toonde significante winst op complexe, multi-site taken (17,5% vs. 11,3% voor baselines).
Levenscyclus Betrouwbaarheid (Herhaalde Executie):
- Hergebruik Consistentie: Behield 91,7% van de initieel succesvolle taken over drie her-executies, 15,5 punten hoger dan de volgende beste methode.
- Reparatie vs. Regressie: Onder begrensde reparatie herstelde het 72,9% van de daaropvolgende fouten, terwijl het post-reparatie regressies beperkte tot 4,2%. In contrast hiermee leden persistente baselines aan regressieratio's van 15,0–17,0%.
- Stabiliteit: In tegen tegenover de degradatie van baselines over herhaalde ronden, verbeterde SKILL.nb van 53,7% naar 55,7% succes over vijf verstoorde ronden.
Generalisatie (Mind2Web):
- Leidde alle vergeleken methoden op cross-website en cross-domain splits, met respectievelijk 38,1% en 39,7% stap-succesratio's.
Real-World Drift (GitLab Migratie):
- In een test waarbij bevroren staat werd hergebruikt van GitLab 15.7 op GitLab 16.11 en 18.9:
  - SKILL.nb: Behield prestaties (61,7% op v18.9 vs. 61,1% fresh), wat een negatieve transfer van slechts -1,7 tot +0,6 punten laat zien.
  - Baselines: Ervoer ernstige degradatie (bijv. AWMonline daalde met 14,4 punten; ReasoningBank daalde met 11,1 punten) door "negatieve transfer" van verouderde, interface-specifieke aannames.

Betekenis en Claims

Het artikel claimt dat levenscyclusbeheer en poort-geconditioneerde executie essentiële betrouwbaarheidsassen zijn die verder gaan dan simpelweg one-shot taaksucces. Door artefacten van agenten niet alleen als geheugens maar als levenscyclus-beheerde objecten te behanden, demonstreert SKILL.nb dat:

Bewijs-gebaseerd beheer agenten in staat stelt om aan te passen aan omgevingsdrift zonder catastrofale vergetelheid of stille regressie.
Selectieve formalisering een flexibel middenpad biedt tussen broze code en ongestructureerde NL, waardoor systemen "gracefully" kunnen terugvallen wanneer code ongeldig wordt.
Controleerbare notebooks de noodzakelijke structuur bieden om executiegrenzen en bewijs te volgen, wat veilige rollbacks en onderhoud mogelijk maakt dat onmogelijk is met ongestructureerde prompt-context hergebruik.

De auteurs benadrukken dat hun aanpak steunt op executie-gegrond bewijs in plaats van verborgen evaluator-labels voor runtime-beslissingen, en dat hun veiligheidsgaranties replay-relatief zijn (begrensd door historische logs) in plaats van absolute garanties tegen toekomstige, onziene verschuivingen. Het werk suggereert een pad naar robuustere, zelfcorrigerende agenten die in staat zijn te opereren in dynamische, real-world omgevingen.