💻 computer science

Harnessing LLM Agents with Skill Programs

Het artikel introduceert HASP, een modulair raamwerk dat adviserende tekstuele vaardigheden omzet in uitvoerbare Program Functions (PF's) om actief in te grijpen in LLM-agentlussen, waardoor de prestaties op complexe taken zoals webzoekopdrachten, wiskundig redeneren en coderen aanzienlijk worden verbeterd via inferentie-tijd begeleiding, post-training supervisie of zelfverbetering.

Oorspronkelijke auteurs: Hongjun Liu, Yifei Ming, Shafiq Joty, Chen Zhao

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hongjun Liu, Yifei Ming, Shafiq Joty, Chen Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer slimme, maar soms onhandige robotassistent voor. Je vraagt het om een complex raadsel op te lossen, zoals het vinden van een specifiek feit op internet of het schrijven van een stuk code. De robot doet zijn best, maar blijft dezelfde fouten maken: het geeft te snel op, zoekt naar de verkeerde dingen, of raakt in de war door klinkende namen.

Meestal, wanneer we proberen dit op te lossen, geven we de robot gewoon een lijst met geschreven instructies (zoals een handleiding) met teksten als: "Vergeet niet je werk te controleren!" of "Raad niet!" Maar de robot negeert deze notities vaak omdat het slechts passieve tekst is. Het weet niet precies wanneer het moet stoppen en luisteren, of hoe het zijn actie moet veranderen.

HASP (Harnessing LLM Agents with Skill Programs) is een nieuw kader dat het spel verandert. In plaats van de robot een passieve handleiding te geven, geven de onderzoekers het een set van uitvoerbare "Vaardigheidsprogramma's" (PF's). Denk hierbij niet aan een boek, maar aan een slim veiligheidsjuk of een co-piloot die direct naast het brein van de robot zit.

Hier is hoe het werkt, met eenvoudige analogieën:

1. Van "Passief Advies" naar "Actieve Beveiliging"

De Oude Manier (Tekstuele Vaardigheden): Stel je een rijinstructeur voor die in de achterbank zit en roept: "Je moet vertragen!" De bestuurder hoort het misschien, negeert het misschien, of beseft niet precies wanneer op de rem te trappen. Het is slechts advies.
De HASP-Manier (Programma-functies): Stel je nu voor dat de auto een slim veiligheidsjuk heeft. Als de auto begint te drijven richting een afgrond (een "foutgevoelige staat"), schreeuwt het juk niet alleen advies. Het ** grijpt fysiek in**. Het kan het stuur zachtjes terug naar het midden draaien of direct een waarschuwingssignaal injecteren in het zicht van de bestuurder.
In het Artikel: Deze "Vaardigheidsprogramma's" zijn kleine stukjes code die elke beweging van de robot in de gaten houden. Als de robot op het punt staat een fout te maken (zoals het finaliseren van een antwoord zonder het bewijs te lezen), grijpt het Vaardigheidsprogramma in. Het kan de actie van de robot herschrijven (een slechte zoekopdracht veranderen in een goede) of een hint injecteren (de robot vertellen: "Wacht, je hebt het document nog niet gelezen!").

2. De Drie Manieren om het Juk te Gebruiken

Het artikel laat zien dat dit "juk" op drie verschillende manieren kan worden gebruikt, zoals het trainen van een student:

Modus A: De Directe Oplossing (Interventie tijdens Inference)
- Analogie: Je zet het juk op de robot terwijl het werkt. Het juk vangt fouten in real-time en repareert ze direct. De robot hoeft niets nieuws te leren; het juk doet gewoon het zware werk.
- Resultaat: De robot lost problemen direct veel beter op, zelfs zonder extra training.
Modus B: De Studiehandleiding (Nabewerking)
- Analogie: Nadat het juk de fouten van de robot heeft gecorrigeerd, nemen de onderzoekers een video van het "gecorrigeerde" pad en tonen dit aan de robot als les. De robot bestudeert deze voorbeelden en leert om de volgende keer zelf de juiste keuzes te maken.
- Resultaat: De robot internaliseert de vaardigheden. Het begint te handelen alsof het juk deel uitmaakt van zijn eigen brein, en heeft na verloop van tijd minder hulp nodig.
Modus C: De Zelfverbeterende Bibliotheek (Evolutie)
- Analogie: Als de robot een nieuw type fout tegenkomt dat het juk nog niet eerder heeft gezien, pauzeert het systeem. Het vraagt een "Leraar" (een zeer slimme AI) om een nieuw Vaardigheidsprogramma te schrijven specifiek voor die fout. Voordat deze nieuwe vaardigheid aan de gereedschapskist wordt toegevoegd, controleert de Leraar of deze veilig en nuttig is.
- Resultaat: De gereedschapskist met vaardigheden van de robot wordt na verloop van tijd slimmer, leert van eigen fouten en heeft niet nodig dat mensen elke enkele regel schrijven.

3. Waarom het Zo Goed Werkt

Het artikel testte dit op drie moeilijke taken:

Web Search: Antwoorden vinden die het verbinden van meerdere stukjes informatie vereisen (zoals een detective die een mysterie oplost).
Wiskunde: Het oplossen van complexe vergelijkingen.
Coderen: Het schrijven van computerprogramma's.

De Resultaten:

De "juk"-benadering sloeg bijna elke andere methode waarmee de onderzoekers het vergeleken.
Voor web search verbeterde het gebruik van het juk (zonder de robot te trainen) de prestaties met 25% vergeleken met standaardmethoden.
Toen ze de robot lieten leren van het juk (Nabewerking), werd het nog beter.
Cruciaal is dat het systeem modulair is. Het is als een Zwitsers zakmes; je kunt gewoon de gereedschappen gebruiken, of je kunt de gereedschappen gebruiken om de robot te leren, of je kunt de robot nieuwe gereedschappen laten bouwen.

De Conclusie

HASP verandert "herbruikbare ervaring" van een vaag idee in een concreet, uitvoerbaar hulpmiddel. In plaats van te hopen dat een robot een regel onthoudt, geeft HASP de robot een set automatische veiligheidscontroles die fouten oppikken op het moment dat ze gebeuren, ze repareert en de robot helpt om ze in de toekomst te vermijden. Het is het verschil tussen het geven van een schoolboek aan een student en het geven van een tutor die direct naast hen zit en hun werk corrigeert terwijl ze het doen.

Technische Samenvatting: LLM-agenten in de hand houden met Vaardigheidsprogramma's (HASP)

1. Probleemstelling

Hoewel agenten op basis van Large Language Models (LLM) een toenemend vermogen hebben getoond in planning en interactie met omgevingen, vertonen ze vaak terugkerende faalpatronen, zoals het beëindigen voordat verificatie heeft plaatsgevonden, het vasthouden aan breekbare tussentijdse conclusies, of het herhalen van onproductieve acties. Bestaande benaderingen om deze fouten te mitigeren, vertrouwen vaak op tekstuele vaardigheden die zijn afgeleid van eerdere ervaringen. Deze vaardigheden worden doorgaans in prompts ingebracht of gebruikt als adviserende begeleiding. De paper betoogt echter dat tekstuele vaardigheden te kampen hebben met drie kernbeperkingen:

Adviserend karakter: Ze geven aan wat een agent in principe zou moeten doen, maar missen expliciete mechanismen voor wanneer een vaardigheid moet worden geactiveerd of hoe er in de beleidslus moet worden ingegrepen.
Zwakke controle: Ze worden in de praktijk vaak genegeerd door het model, waardoor ze het gedrag van de agent niet betrouwbaar kunnen veranderen.
Gebrek aan uitvoerbaarheid: Er is een kloof tussen herbruikbare ervaring die in taal is uitgedrukt en herbruikbare ervaring die expliciet het handelen van de agent kan sturen.

De centrale uitdaging is om deze kloof te overbruggen door passieve, tekstuele lessen om te zetten in actieve, uitvoerbare mechanismen die direct kunnen ingrijpen in het besluitvormingsproces van de agent.

2. Methodologie: Het HASP-raamwerk

De auteurs introduceren HASP (Harnessing LLM Agents with Skill Programs), een raamwerk dat vaardigheden opwaardeert van passieve tekst naar Programmafuncties (PF's). Een PF wordt gedefinieerd als een herbruikbare, uitvoerbare functie voor interventie in staat-actie.

Kerncomponenten

Programmafuncties (PF's): In tegenstelling tot reminders in natuurlijke taal, zijn PF's uitvoerbare Python-modules met twee distincte interfaces:
- should_activate(state, action): Een deterministische predicaat die bepaalt of de vaardigheid relevant is voor de huidige staat en het voorgestelde actie.
- intervene(state, action, teacher): Geeft een gestructureerde interventie terug, die kan zijn:
  - Modify_Action: Het herschrijven of verfijnen van de volgende actie (bijvoorbeeld het verkorten van een te sterk beperkte zoekopdracht).
  - Inject_Context: Het toevoegen van corrigerende tekst aan de observatie van de agent (bijvoorbeeld een waarschuwing over verwarring tussen entiteiten).
  - NOOP: Afzien van verandering terwijl een auditrecord wordt vastgelegd.
Vaardigheidsbibliotheek: Een collectie gevalideerde PF's. Nieuwe kandidaten worden gegenereerd uit faalgevallen, ondergaan syntaxis- en interfacevalidatie, en worden beoordeeld door een teacher-model voordat ze worden opgenomen.
De Harness: Een externe controlelaag die het basisbeleid van de agent ( $\pi_\theta$ ) omsluit. In elke stap haalt de harness relevante PF's op, evalueert hun activatiepredicaten, voert geldige interventies uit en voert de herziene actie of ingevoegde context terug in de lus.

Drie Operationele Modi

HASP is ontworpen om zeer modulair te zijn en ondersteunt drie distincte paradigma's:

Interventie op het moment van inferentie: PF's fungeren als uitvoerbare veiligheidsvoorzieningen tijdens runtime. Ze worden autonoom getriggerd op basis van de staat van de agent om acties te wijzigen of context in te voegen, zonder de modelgewichten bij te werken. Een optionele assistent-teacher kan helpen bij het selecteren van de meest geschikte PF wanneer er meerdere kandidaten zijn.
Nabewerking (Internalisatie): PF-uitvoeringen genereren gestructureerde records die de originele actie, de PF-reparatie en het resultaat bevatten. Deze records worden gescoord aan de hand van vier signalen: Timing (wanneer), Mode (hoe), Correctheid (kwaliteit) en Resultaat (effectiviteit). Deze scores sturen nabewerking via:
- Supervised Fine-Tuning (SFT): Training op gecorrigeerde acties.
- Rejection Sampling (RS): Het selecteren van trajecten die overeenkomen met PF-geleide correcties en taaksucces behalen.
- On-Policy Distillation (OPD): Het trainen van de student op zijn eigen staten waar PF's ingrepen.
Zelfverbeterende evolutie: Het systeem bezoekt resterende fouten onder de huidige checkpoint opnieuw, vat terugkerende faal-reparatiepatronen samen tot kandidaat-PF's, en werkt de externe vaardigheidsbibliotheek bij na strikte uitvoerbare validatie en teacher-beoordeling. Dit sluit de lus tussen uitvoering, leren en groei van de bibliotheek.

3. Belangrijkste Bijdragen

De paper schetst drie primaire bijdragen:

Vaardigheden als uitvoerbare staat-actie-functies: De transformatie van herbruikbare agent-ervaring naar uitvoerbare Programmafuncties die op afroep worden getriggerd en expliciet ingrijpen, verdergaand dan passieve tekstuele vaardigheden.
Een modulair agent-harness-raamwerk: Het voorstellen van HASP, dat controleerbare PF-triggering en interventie ondersteunt over paradigma's van alleen inferentie, nabewerking en zelfverbetering.
Sterke empirische prestaties: Het aantonen van aanzienlijke winsten ten opzichte van concurrerende baselines op webzoek-redenering, wiskundige redenering en coderingstaken.

4. Experimentele Resultaten

De auteurs hebben HASP geëvalueerd op HotpotQA, 2Wiki en MuSiQue (webzoek), AIME24, AMC23 en GameOf24 (wiskunde), en HumanEval, MBPP en BigCodeBench (codering). Het backbone-model was Qwen2.5-7B-Instruct.

Belangrijkste Bevindingen

Winsten bij inferentie: Zelfs zonder modelupdates presteerde interventie met alleen PF's aanzienlijk beter dan baselines.
- Bij webzoek-redenering verbeterde interventie met alleen PF's de gemiddelde nauwkeurigheid tot 51,0% (tegenover 20,5% voor alleen Prompt-vaardigheden en 31,2% voor de multi-loop ReAct-baseline).
- Het toevoegen van een assistent-teacher voor PF-selectie verhoogde de webzoek-nauwkeurigheid verder tot 56,2%.
- Bij codering bereikte PF-only 63,4% pass@1, wat steeg naar 68,7% met teacher-selectie.
Internalisatie na training: PF-afgeleide supervisie stelde het model in staat om gedrag te internaliseren zonder volledige versterkingsleer.
- Bij webzoek behaalde On-Policy Distillation (OPD) 62,5%, en Rejection Sampling (RS) bereikte 59,3% onder een vaste bibliotheek.
- Deze resultaten waren concurrerend met of superieur aan standaard SFT- en op vaardigheden gebaseerde trainingsschema's.
Gesloten-lus evolutie: Gecontroleerde evolutie van de vaardigheidsbibliotheek verbeterde de prestaties verder.
- HASP-Evolve + RS behaalde 60,3% bij webzoek en 45,4% bij wiskundige redenering.
- Bij codering bereikte het 69,9% pass@1, wat 12,4% beter was dan standaard SFT en concurrerend bleef met GRPO-gebaseerde methoden.
Mechanisme-analyse:
- Interventietypes: 65,1% van de interventies waren modificaties op actie-niveau (bijvoorbeeld het herschrijven van zoekopdrachten), terwijl 34,9% invoeging van context betrof.
- Belang van signalen: Ablatiestudies toonden aan dat alle vier supervisiesignalen (Timing, Mode, Correctheid, Resultaat) noodzakelijk waren. Het verwijderen van "Mode" veroorzaakte de grootste daling (-15,5%), wat aangeeft dat hoe een interventie wordt toegepast net zo kritiek is als wanneer.
- Noodzaak van filtering: Strikte filtering (uitvoerbare validatie + teacher-beoordeling) was essentieel. Ongestuurde evolutie veroorzaakte een scherpe prestatiedaling (-24,0%), wat bevestigt dat verontreiniging van de bibliotheek de prestaties van de agent verslechtert.

5. Betekenis en Claims

De paper positioneert HASP als een complementair pad voor het verbeteren van LLM-agenten. De auteurs beweren dat:

Stabilisatie boven ontdekking: PF's helpen nuttige strategieën aan het licht te brengen en te stabiliseren die het model vaak wel kan uitvoeren maar niet betrouwbaar toepast. Dit staat in contrast met RL-achtige exploratie, die beter geschikt is voor het ontdekken van fundamenteel nieuwe strategieën.
Expliciete controle: Door vaardigheden om te zetten in uitvoerbare code, biedt HASP expliciete, controleerbare controle over het gedrag van de agent, waarmee de "adviserende" zwakte van op prompts gebaseerde vaardigheden wordt aangepakt.
Modulariteit: Het raamwerk ontkoppelt de vaardigheidsdefinitie van het trainingsdoel, waardoor dezelfde PF's kunnen worden gebruikt voor interventie tijdens runtime, supervisie-training of zelfverbetering.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat PF's voornamelijk helpen bestaande strategieën te absorberen in plaats van nieuwe te ontdekken, dat het raamwerk afhankelijk is van duidelijke verificatiesignalen (wat de toepasbaarheid beperkt tot open-ended taken), en dat zelfverbetering strikte filtering vereist om degradatie van de bibliotheek te voorkomen. Ze concluderen dat hoewel bredere RL-achtige exploratie mogelijk nog steeds nodig is voor het ontdekken van nieuwe strategieën, PF's een robuust mechanisme bieden voor het verfijnen en stabiliseren van het gedrag van agenten in complexe taken met een lange horizon.