💬 NLP

Skill-as-Pseudocode: Refactoring Skill Libraries to Pseudocode for LLM Agents

Het artikel stelt Skill-as-Pseudocode (SaP) voor, een automatische methode die vrije markdown-vaardigheidsbibliotheken omzet in getypeerde pseudocode met deterministische verificatie, waardoor LLM-agenten op de ALFWorld-benchmark aanzienlijk hogere succespercentages en een verminderd tokenverbruik bereiken door het bieden van duidelijke getypeerde handtekeningen en concrete aanroeptemplates.

Oorspronkelijke auteurs: Xinze Li, Yuhang Zang, Yixin Cao, Aixin Sun

Gepubliceerd 2026-05-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xinze Li, Yuhang Zang, Yixin Cao, Aixin Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar letterlijke robot leert huishoudelijke taken te verrichten, zoals een huis schoonmaken of een keuken opruimen. Je geeft de robot een gigantische, rommelige instructiehandleiding geschreven in normaal Engels (Markdown).

Het Probleem: De "Verwarde Lus"
Elke keer dat de robot iets moet doen, moet het lange alinea's tekst doorlezen om twee dingen te achterhalen:

Wat de taak is (bijvoorbeeld: "de mok verplaatsen").
Hoe het dit precies moet zeggen tegen het computersysteem van het huis (bijvoorbeeld: het systeem accepteert alleen de opdracht move mug to shelf, niet put mug on shelf).

Omdat de instructies begraven liggen in alinea's, raakt de robot vaak op het verkeerde been. Het probeert de mok te "zetten", het huis zegt "Niets gebeurt er", en de robot raakt in de war. Het gaat dan terug naar de handleiding om opnieuw te lezen, raakt opnieuw op het verkeerde been en blijft vastzitten in een lus van falen. Dit kost tijd en zorgt ervoor dat de robot zijn energie (of "tokens", in AI-termen) opraakt.

De Oplossing: "Skill-as-Pseudocode" (SaP)
De auteurs van dit artikel hebben een systeem ontwikkeld dat Skill-as-Pseudocode (SaP) heet. Denk hierbij aan een "vertaler" die de rommelige menselijke handleiding herschrijft tot een schone, gestructureerde cheat sheet voor de robot.

Hier is hoe de vertaler werkt, met behulp van een eenvoudige analogie:

1. De Detective (Patronen vinden)

Stel je een bibliothecaris voor die door honderden verschillende instructiehandleidingen bladert. Deze merkt op dat veel handleidingen hetzelfde zeggen op verschillende manieren.

Handleiding A zegt: "Ga naar de keuken, pak het zout en doe het in de kast."
Handleiding B zegt: "Vind het zout op het aanrecht en verplaats het naar de kast."

De bibliothecaris beseft dat dit eigenlijk dezelfde onderliggende actie is. Deze groepeert deze vergelijkbare instructies samen in een "cluster".

2. De Architect (Het ontwerp maken)

Voor elke groep vergelijkbare instructies vraagt het systeem aan een AI om een Getypeerd Contract op te stellen.

In plaats van een alinea, ziet dit contract eruit als een computerfunctie: move_object(from: "counter", to: "cabinet").
Het geeft duidelijk aan: Welke invoer is nodig? Wat gebeurt er daarna? Wat zijn de regels?

3. De Veiligheidsinspecteur (De Vier Checks)

Voordat het systeem de robot deze nieuwe blauwdruk laat gebruiken, voert een strenge Veiligheidsinspecteur vier specifieke checks uit om ervoor te zorgen dat de vertaling perfect is:

Dekking: Hebben we belangrijke details uit de originele tekst gemist?
Binding: Weten we precies waar we het "zout" of de "mok" vandaan moeten halen in de originele zin?
Vervanging: Als we de oude alinea vervangen door deze nieuwe blauwdruk, heeft de rest van de handleiding dan nog steeds zin?
Risico: Vertelt deze nieuwe instructie de robot per ongeluk iets gevaarlijks te doen (zoals een bestand verwijderen of een raam breken)?

Als de blauwdruk alle vier de checks doorstaat, wordt deze goedgekeurd. Als hij zelfs maar één faalt, wordt deze weggegooid om te voorkomen dat de robot in de war raakt.

4. De Levering (Het "Bundel")

Wanneer de robot een taak moet uitvoeren, krijgt het niet de oude, rommelige handleiding. In plaats daarvan krijgt het een Bundel met drie onderdelen, gepresenteerd in de perfecte volgorde:

De "Hoe-Te" Sjabloon: De exacte woorden die de robot moet typen naar de huiskomputer (bijvoorbeeld: move {object} to {target}).
De "Wat" Handtekening: Een duidelijke samenvatting van wat de vaardigheid doet.
De Context: De rest van de instructies, nu opgeschoond zodat ze niet in tegenspraak zijn met de nieuwe sjabloon.

De Resultaten

De onderzoekers hebben dit getest op een spel genaamd ALFWorld, waarbij een AI-agent huishoudelijke puzzels moet oplossen.

Oude Manier (Graph-of-Skills): De robot las de rommelige handleiding, raakte op het verkeerde been, bleef vastzitten in lussen en faalde vaak.
Nieuwe Manier (SaP): De robot kreeg de schone "cheat sheet". Het wist precies wat het moest doen en hoe het dit moest zeggen, direct.

Het Resultaat:

De robot loste 82 van de 134 spellen op met de nieuwe methode, vergeleken met slechts 47 met de oude methode.
Het gebruikte ook 22% minder geheugen en deed 14% minder oproepen aan het AI-brein omdat het de handleiding niet opnieuw hoefde te lezen telkens wanneer het vastliep.

Kortom:
Het artikel laat zien dat als je AI-agenten stopt met het geven van lange, rommelige alinea's en ze in plaats daarvan gestructureerde, geverifieerde "code-achtige" instructies geeft, ze stoppen met in de war raken, stoppen met fouten maken en de klus veel sneller klaren. Het systeem fungeert als een strenge redacteur die menselijke proza omzet in robot-klaar blauwdrukken.

Technische Samenvatting: Skill-as-Pseudocode (SaP)

Probleemstelling

Moderne LLM-gebaseerde agenten vertrouwen op vaardigheidsbibliotheken—collecties van procedurale documenten (doorgaans Markdown) die agenten ophalen en volgen tijdens het uitvoeren van taken. Deze bibliotheken worden echter momenteel geschreven als vrije proza. Deze representatie creëert een aanzienlijke knelpunt: de agent moet bij elke ophaalactie zowel het inputschema (wat de vaardigheid doet) als de concrete aanroepsyntaxis (hoe deze te callen) opnieuw afleiden.

De auteurs observeren dat dit proza-gedreven formaat een "verward → opnieuw ophalen → nog steeds verward"-lus induceert. Wanneer een agent een deels correcte actie uitvoert op basis van een proza-beschrijving, geeft de omgeving vaak oninformatieve feedback (bijv. "Niets gebeurt"). De agent haalt vervolgens dezelfde proza opnieuw op, faalt in het extraheren van het ontbrekende detail, en herhaalt de cyclus. Deze lus drijft zowel taalfalen als geïnfliceerde LLM-call-kosten. Hoewel getypeerde catalogi zoals OpenAPI bestaan, zijn ze niet het standaard deployment-oppervlak voor agentvaardigheden, die nog steeds in Markdown worden bewaard.

Methodologie: Skill-as-Pseudocode (SaP)

De auteurs stellen Skill-as-Pseudocode (SaP) voor, een automatische pijplijn die Markdown-vaardigheidsbibliotheken converteert naar getypeerde pseudocode met deterministische kwaliteitscontrole. De kerninzicht is dat twee specifieke signalen de ophaal-actie-lus kortsluiten:

Een Getypeerd Contract: Een gestructureerde handtekening die de trigger, input/output-schema's en pre/post-condities blootlegt.
Concrete Actietemplates: De exacte tokensequenties die de omgeving accepteert (bijv. move {obj} to {target}), onderscheiden van het abstracte contract.

De Pijplijn

De SaP-pijplijn verwerkt een bibliotheek van ouder-vaardigheden (Markdown-documenten) door vijf fasen plus twee LLM-bewuste post-verifier passes:

Parser: Splitst Markdown-documenten op in procedurale eenheden (secties onder koppen).
Candidate Proposer: Groepeert eenheden van één of meerdere ouders in kandidaat-clusters op basis van gedeelde werkwoorden, objecten en code-koppeling met behulp van embedding-gebaseerde clustering.
Contract Extractor (LLM): Voor elke cluster schrijft een enkele LLM-call een strikt JSON-getypeerd contract ( $\kappa$ ).
Verifier (Deterministisch): Een vier-check deterministische verifier evalueert het conceptcontract. Een contract wordt alleen gepromoveerd als het slaagt in:
- Coverage: De trigger- en I/O-strings van het contract moeten aanwezig zijn in de ouder-eenheidstekst.
- Binding: Elke vereiste invoer in het contract moet een corresponderend span hebben in de ouder-tekst.
- Replacement: De ouder-eenheid moet syntactisch vervangbaar zijn door een invoke(κ, args)-placeholder zonder de controleflow te breken.
- Risk: Het contract mag geen onveilige bijwerkingen bevatten (bijv. rm -rf, niet-geklaarde netwerkegress).
Refactor: Geverifieerde contracts worden inline gebracht in de ouder-vaardigheden.
- Binding Extraction (BE): Een LLM-pass die verifieert of een specifieke eenheid een echt voorbeeld van het contract is en de specifieke argument-bindings extrahert. Spuriële matches worden verworpen.
- Rewrite Cleanup (RC): Een LLM-pass die residu-proza-conflicten detecteert en herschrijft (bijv. een voorbeeldblok dat een werkwoord als put gebruikt terwijl de omgeving move vereist) om uit te lijnen met het geverifieerde contract.

Ophaal-Tijd Substitutie

Tijdens inferentie haalt de agent een gesubstitueerd vaardigheidsbundel op in plaats van ruw proza. Voor een opgehaalde ouder-vaardigheid vervangt het systeem de originele inhoud door:

Actietemplates: Concrete, uitvoerbare commandosequenties met geëxtraheerde bindings (eerst geplaatst).
Herschreven Skelet: De ouder-structuur met invoke(κ, args)-placeholders.
Inline Contract: De getypeerde handtekening en het schema voor de opgeroepen kind-vaardigheid.

Cruciaal maakt het systeem gebruik van een hieraarchisch uitsluitend ophaal-pool. Gepromoveerde kind-contracten worden intern opgeslagen en zijn alleen toegankelijk via de invoke-placeholder van de ouder. Het blootleggen van kinderen als standalone top-level resultaten wordt vermeden, omdat dit de agent berooft van de noodzakelijke context (de actietemplates van de ouder).

Belangrijkste Bijdragen

Herformulering van Vaardigheidsverbetering: Het artikel herformuleert optimalisatie van vaardigheidsbibliotheken als een proza-naar-getypeerde-pseudocode conversie probleem met deterministische kwaliteitscontrole, wat bestaande getypeerde-routing-werk aanvult dat ervan uitgaat dat contracts al bestaan.
De SaP-Pijplijn: Een nieuwe architectuur met een vier-check deterministische verifier en twee LLM-bewuste post-verifier passes (BE en RC), elk bewaakt door deterministische post-checks om veiligheid en consistentie te waarborgen.
Hieraarchisch Ophaal-Interface: Een ophaalmechanisme dat een gestructureerd bundel (getypeerd contract + concrete template) per aanroep levert, waarbij het "wat" (contract) wordt gescheiden van het "hoe" (template).
Empirische Validatie: Demonstratie dat SaP tegelijkertijd taalsuccespercentages verbetert en token/LLM-call-kosten verlaagt in vergelijking met de Graph-of-Skills (GoS)-baseline.

Resultaten

Experimenten werden uitgevoerd op de ALFWorld onzichtbare split (134 games) met gpt-4o-mini en een subset van SkillsBench (10 taken) met gpt-5-codex.

ALFWorld Prestaties: Over drie zaden (402 gepaarde games) won SaP 82/402 games vergeleken met 47/402 voor de GoS-baseline. Dit vertegenwoordigt een 74% relatieve beloningsstijging (McNemar $p = 8.2 \times 10^{-5}$ ).
Efficiëntiewinsten: SaP behaalde deze winsten terwijl het input-tokens met 22,8% verminderde, output-tokens met 17,3% en LLM-calls met 14,5% per game.
Mechanisme-analyse: De verbetering wordt toegeschreven aan het doorbreken van de "ophaal-actie-lus". SaP-agenten gaven aanzienlijk minder "Niets gebeurt"-fouten en opnieuw ophaal-verzoeken. De correctheid van acties na ophalen verbeterde van 20,5% (GoS) naar 29,3% (SaP).
Ablatie: Het verwijderen van de hiërarchische scheiding (het blootleggen van kinderen als standalone resultaten) veroorzaakte een daling van 27% in beloning, wat de noodzaak van de ouder-kind-bundelstructuur bevestigt. De BE- en RC-passes bleken verschillende faalmodi te repareren (respectievelijk spuriële cluster-lidmaatschap en syntaxisconflicten).

Betekenis en Claims

Het artikel claimt dat de proza-representatie zelf, en niet een gebrek aan factoring, het dominante knelpunt is voor LLM-agenten die vaardigheidsbibliotheken consumeren. Door de conversie van proza naar getypeerde pseudocode met deterministische verificatie te automatiseren, biedt SaP agenten een "wat" (contract) en "hoe" (template) signaal in één respons.

De auteurs positioneren SaP als een producer-side oplossing voor het getypeerde-routing-probleem. Waar bestaand werk ervan uitgaat dat contracts handgeschreven zijn, herstelt SaP ze uit proza. De methodologie wordt gepresenteerd als een gedisciplineerde aanpak waarbij elke LLM-extractie een hypothese is die wordt gecontroleerd door deterministische regels, in plaats van een black-box output.

Het artikel merkt bescheiden op dat hoewel de pijplijn architecturaal ondersteund is voor getypeerde API's (OpenAPI), de huidige empirische evaluatie beperkt is tot Markdown-bibliotheken. Bovendien is het vervangingsmechanisme statisch (syntactisch) in plaats van dynamisch (runtime-uitbreiding), waarbij wordt vertrouwd op de ophaal-interface om kind-contracten op aanvraag te leveren. De resultaten suggereren dat voor statische vaardigheidsbibliotheken de kosten van proza-naar-structuur-conversie bij indextijd kunnen worden betaald in plaats van bij elke ophaalactie, wat de efficiëntie en betrouwbaarheid van agenten aanzienlijk verbetert.