🤖 AI

GRASP: Gated Regression-Aware Skill Proposer for Self-Improving LLM Agents

GRASP is een zelfverbeteringskader voor LLM-agenten dat iteratief een beperkte vaardigheidsbibliotheek bijwerkt via gefilterde acceptatie op basis van een strikt regressiebudget, wat de prestaties op gestructureerde klinische en niet-klinische benchmarks aanzienlijk verbetert terwijl het degradatie van eerder aangeleerde gedragingen voorkomt.

Oorspronkelijke auteurs: Johannes Moll, Jean-Philippe Corbeil, Jiazhen Pan, Martin Hadamitzky, Daniel Rueckert, Lisa Adams, Keno Bressem

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Johannes Moll, Jean-Philippe Corbeil, Jiazhen Pan, Martin Hadamitzky, Daniel Rueckert, Lisa Adams, Keno Bressem

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slim, maar iets onhandig robot-assistent leert navigeren in een complex gebouw, zoals een ziekenhuis. De robot heeft een natuurlijk talent voor praten, maar als het gaat om het volgen van strikte regels (zoals "controleer de ID van de patiënt voordat je de deur opent" of "geef niet twee pillen tegelijk"), blijft hij dezelfde fouten maken.

Het artikel introduceert een nieuwe manier om deze robot te leren, genaamd GRASP. Denk aan GRASP niet als een leraar die de robot een lange, eindeloze lijst met notities geeft, maar als een streng redacteur die een kleine, hoogwaardige "spiekbrief" beheert.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Notitie-Maken"-Val

Vorige methoden probeerden robots te verbeteren door ze notities te laten schrijven na elke fout.

De Analogie: Stel je een student voor die, na elk verkeerd antwoord op een toets, een nieuwe regel op een stukje papier schrijft en dat op zijn voorhoofd plakt.
Het Probleem: Na verloop van tijd is het voorhoofd van de student zo bedekt met notities dat hij de belangrijke niet meer kan lezen. Erger nog: een nieuwe notitie kan één specifieke fout verhelpen, maar per ongeluk een regel breken die hij al correct uitvoerde. De robot raakt in de war en begint dingen te falen die hij eerder goed deed. Dit heet "regressie".

2. De Oplossing: De "Gegate" Spiekbrief

GRASP verandert het spel. In plaats van alleen notities toe te voegen, behandelt het de kennis van de robot als een kleine, begrensd bibliotheek van vaardigheden (zoals een kaartspel).

De Redacteur: Wanneer de robot faalt, stelt een "vaardigheidsschrijver" (een andere AI) een nieuwe regel voor of een wijziging in een bestaande.
De Poortwachter (Het "Gegate" Deel): Dit is het belangrijkste deel. Voordat de nieuwe regel de spiekbrief mag binnenkomen, moet hij een streng test doorstaan.
- Het systeem neemt de nieuwe regel en voert deze uit tegen een "oefentoets" die zowel de fouten bevat die de robot vroeger maakte, als de dingen die hij vroeger goed deed.
- De Regel: De nieuwe regel wordt alleen geaccepteerd als hij meer oude fouten oplost dan nieuwe fouten creëert. Als hij één probleem oplost maar twee dingen kapot maakt die prima werkten, zegt de Poortwachter: "Nee, afgewezen."

3. Het "Regressie-Budget"

GRASP heeft een harde limiet op hoeveel schade is toegestaan.

De Analogie: Stel je voor dat je een huis renoveert. Je mag een muur neerhalen om een lek te verhelpen, maar je mag in het proces slechts één ander ding breken. Als je twee ramen breekt om het lek te verhelpen, wordt de renovatie geannuleerd.
Het Resultaat: Dit zorgt ervoor dat de robot nooit slechter wordt in wat hij al weet. Hij wordt alleen beter.

4. Wat Gebeurde Er in de Experimenten?

De onderzoekers testten dit op vijf verschillende "hersenen" (AI-modellen) met behulp van twee zeer strenge medische computergesimuleerde omgevingen (waar de robot patiëntbestanden moet raadplegen en medicijnbestellingen moet beheren).

De Resultaten:
- Zonder GRASP waren de robots als beginners, met ongeveer 40% van de taken goed.
- Met GRASP werden de robots experts, met bijna 90% goed.
- De Belangrijkste Bevinding: Het artikel bewijst dat de magie niet zat in het feit dat de robot de regels schreef. Als je de robot regels liet schrijven zonder de strenge test van de Poortwachter, presteerde hij net zo slecht als zonder regels. De verbetering kwam volledig voort uit het filterproces (de Poortwachter) dat slechte regels tegenhield om de bibliotheek binnen te komen.

5. Het "Meester-Leraar"-Effect

Het artikel vond iets fascinerends over het overdragen van kennis tussen robots.

De Analogie: Stel je voor dat een meesterkok (een zeer sterke AI) een kookboek schrijft. Als je dat kookboek geeft aan een junior-kok (een zwakkere AI), kookt de junior-kok veel beter dan hij alleen zou kunnen.
De Vangst: Als de junior-kok probeert een kookboek te schrijven voor de meesterkok, wordt de meesterkok eigenlijk slechter.
Waarom? Het kookboek van de meesterkok bevat specifieke, geavanceerde trucs voor die keuken die de junior-kok kan volgen. Maar de notities van de junior-kok zijn vaak te simpel of lichtjes verkeerd voor de complexe behoeften van de meesterkok. GRASP is de enige methode die deze "Meesterkok"-kennis succesvol behoudt bij het verplaatsen naar een zwakkere robot.

6. Waar Werkt Het?

GRASP is als een gespecialiseerd gereedschap. Het werkt ongelooflijk goed in omgevingen waar:

Er duidelijke, herhaalbare regels zijn (zoals een database of een medisch registratiesysteem).
Je gemakkelijk kunt controleren of een stap correct is uitgevoerd (bijvoorbeeld: "Is het medicijn afgeleverd? Ja/Nee").

Het werkt niet goed in open-ended situaties waar de regels vaag zijn of het "juiste" antwoord moeilijk te definiëren is (zoals informeel chatten of navigeren in een chaotische, onvoorspelbare wereld). In die gevallen blijft de prestatie van de robot stilstaan.

Samenvatting

GRASP is een methode om AI-agenten te leren door hun kennis te cureren in plaats van deze alleen te accumuleren. Het fungeert als een strenge redacteur die alleen nieuwe instructies in het brein van de agent toelaat als bewezen is dat ze problemen oplossen zonder iets anders kapot te maken. Dit verandert een onhandige robot in een betrouwbare, procedurele expert, specifiek in gestructureerde omgevingen zoals ziekenhuizen of databases.

Technische Samenvatting: GRASP (Gated Regression-Aware Skill Proposer)

Probleemstelling

Grote Taalmodel (LLM)-agenten die opereren in gestructureerde omgevingen (bijvoorbeeld elektronische gezondheidsdossiers, databases, webinterfaces) falen vaak door operationele schendingen van omgevingsregels in plaats van door misverstanden in het gesprek. Betrouwbaarheid in deze contexten hangt af van procedurele kennis die specifiek is voor de omgeving, niet van algemene taalvaardigheid.

Eerdere methoden voor zelfverbetering verzamelen doorgaans monotoon natuurlijke taalrichtlijnen (reflecties, regels of vaardigheden) tijdens de inferentie. Een kritiek gebrek aan deze benaderingen is het ontbreken van validatie tegen bestaand gedrag: een nieuwe notitie of regel die één faaltraject corrigeert, kan de prestaties op eerder correcte trajecten stilzwijgend verslechteren. Na verloop van tijd verwaterd deze onbeperkte accumulatie taakrelevante inhoud, verslechtert het contextvenster van de agent en leidt het tot catastrofaal vergeten of oscillerende prestaties.

Methodologie: GRASP

De auteurs introduceren GRASP (Gated Regression-Aware Skill Proposer), een raamwerk dat zelfverbetering van agenten behandelt als een reeks gevalideerde bewerkingen aan een begrenste bibliotheek van gedragsinstructies (vaardigheden), zonder modelparameters bij te werken.

Kerncomponenten

Gestructureerde Vaardigheden: Vaardigheden zijn Markdown-documenten met YAML-frontmatter die een triggerconditie, een gedragsregel, een optionele verificatiestap en een contrastief voorbeeld bevatten. Ze worden tijdens inferentie in het contextvenster van de agent geïnjecteerd.
Foutgedreven Voorstel:
- Gefaalde trajecten worden gegroepeerd op mechanisme-specifieke faalmodi (bijvoorbeeld date_filter_omitted in plaats van een generieke wrong_answer).
- Een vaardigheidsschrijvende model stelt bewerkingen voor (TOEVOEGEN, WIJZIGEN of VERWIJDEREN) voor de meest voorkomende faalmodi, waarbij gebruik wordt gemaakt van actieve vaardigheidssamenvattingen en labels van andere faalmodi om regressies te ontmoedigen.
- De bibliotheek is capaciteit-gebonden; het toevoegen van een vaardigheid vereist het verwijderen van een andere, tenzij er capaciteit beschikbaar is.
Regressie-bewuste Selectie (De Poort):
- Voordat een bewerking wordt geaccepteerd, wordt elke kandidaat-bewerking geëvalueerd op een gebalanceerde, vastgehouden proef die bestaat uit eerder gefaalde en eerder geslaagde voorbeelden uit de ontwikkelingsverdeling.
- Het systeem berekent een basislijn ( $F_0, R_0$ ) door de huidige bibliotheek opnieuw uit te voeren op de proef.
- Een kandidaat-bibliotheek ( $S_c$ $S_{c}$ ) wordt alleen geaccepteerd als:
  1. Het een netto verbetering oplevert: $(F(c) - F_0) - (R(c) - R_0) > 0$ .
  2. Het een harde regressiebegroting respecteert: $R(c) \le R_0$ (geen nieuwe regressies buiten de bestaande basislijn).
- Als de beste kandidaat regressies veroorzaakt, probeert een contrastieve revisiestap de trigger te verfijnen of waarborgclausules toe te voegen.

Trainingsprotocol

GRASP werkt in batches over een ontwikkelingsverdeling. Na elke batch genereert de vaardigheidsschrijver kandidaten, die worden gescoord op de proef. De beste geldige kandidaat wordt toegepast op de bibliotheek. Het proces herhaalt zich voor meerdere epochen. Er vinden geen parameterupdates plaats; alleen de vaardighedenbibliotheek evolueert.

Belangrijkste Bijdragen

Gated Editing versus Monotone Accumulatie: GRASP verschuift het paradigma van onbeperkte accumulatie van richtlijnen naar begrensd, gevalideerd bewerken. Dit voorkomt het probleem van "stille regressie" waarbij het oplossen van één fout een andere breekt.
Validatie van het Mechanisme, niet Alleen de Inhoud: Ablatiestudies tonen aan dat de prestatiewinst wordt gedreven door de validatiepoort en comparatieve voorstelgeneratie, niet louter door het handwerk van het schrijven van vaardigheden. Zonder de poort presteert vaardigheidsschrijven niet beter dan het gebruik van geen vaardigheden.
Cross-Model en Cross-Benchmark Transfer:
- Asymmetrische Transfer: Bibliotheken geschreven door sterkere modellen (bijvoorbeeld GPT-5.4) verbeteren zwakkere uitvoerders aanzienlijk op out-of-distribution (OOD) taken, vaak meer dan wat de zwakkere modellen voor zichzelf leren. Het omgekeerde (zwakker naar sterker) geldt niet.
- Omgeving-specifieke Kennis: Deze asymmetrie suggereert dat de bibliotheken omgeving-specifieke procedurele kennis coderen in plaats van model-specifieke patronen.
- Generalisatie: Het mechanisme verbetert de prestaties in niet-klinische omgevingen (ALFWorld, WebShop) waar taken een verifieerbare structuur hebben, maar faalt om de prestaties te verbeteren waar de actieruimte open-ended is (OS Interaction).
Efficiëntie en Auditbaarheid: GRASP onderhoudt een kleine, versie-bibliotheken (gemiddeld ~5 vaardigheden, ~5.6k tokens) die aanzienlijk kleiner zijn dan onbeperkte geheugenbaselines (34k–53k tokens), wat de inferentiekosten verlaagt. Het gestructureerde formaat maakt menselijke audit en omkeerbare bewerkingen mogelijk.

Experimentele Resultaten

De auteurs evalueerden GRASP over vijf basismodellen (gpt-oss-120b, DeepSeek V4 Flash, Gemini 3.1 Flash Lite, GPT-4.1, GPT-5.4) op twee FHIR-gebaseerde klinische benchmarks (MedAgentBench, MedAgentBench-v2) en vier niet-klinische AgentBench-omgevingen.

MedAgentBench Prestaties: GRASP presteerde aanzienlijk beter dan vijf baselines (inclusief geheugen-gebaseerde en regel-extractiemethoden).
- Op gpt-oss-120b tilde GRASP de nauwkeurigheid van 40,6% (geen vaardigheden) naar 88,8%, een winst van 48,2 punten ten opzichte van de baseline en 21,0 punten ten opzichte van de sterkste concurrent (Evo-MedAgent).
- Vergelijkbare verbeteringen werden waargenomen bij alle modellen, met winsten variërend van 17,2 tot 40,3 punten ten opzichte van hun respectievelijke baselines.
- Op de OOD-verdeling behaalde GRASP een voorsprong van 25,0 punten ten opzichte van de beste baseline op gpt-oss-120b.
Ablatiebevindingen:
- Het verwijderen van de acceptatiepoort zorgde ervoor dat de prestaties daalden tot het niveau van de baseline zonder vaardigheden (40,1% versus 40,6%).
- Het verwijderen van de regressiebegroting verlaagde de prestaties met 7,0 punten.
- "Alleen-oplossingen"-selectie (het negeren van geslaagde voorbeelden) verlaagde de prestaties met 8,6 punten en verhoogde de variantie.
Transferresultaten:
- Het toepassen van een door GPT-5.4 getrainde bibliotheek op gpt-oss-120b verbeterde de OOD-nauwkeurigheid van 56,3% naar 77,8% (+21,5 punten).
- Cross-benchmark transfer werkte tussen MedAgentBench-varianten, maar degradeerde de prestaties op FHIR-AgentBench, wat aangeeft dat de vaardigheden gekoppeld zijn aan specifieke interfaceconventies in plaats van algemene klinische competentie.

Betekenis en Claims

Het artikel stelt dat het behandelen van zelfverbetering van agenten als gegateerde bewerking van een begrenste bibliotheek een robuust pad biedt naar iteratieve verfijning in omgevingen waar procedurele betrouwbaarheid kritiek is.

Procedurele Betrouwbaarheid: De methode adresseert de specifieke faalmodus van eerdere methoden met verbale feedback waarbij monotoone accumulatie het contextvenster verslechtert.
Distillatie zonder Parameters: De asymmetrische cross-model transfer suggereert dat sterkere modellen operationele feiten over een omgeving kunnen distilleren naar een bibliotheek die zwakkere modellen kunnen volgen, zelfs als ze die feiten zelf niet kunnen genereren.
Praktische Implementatie: De begrenste, auditabele aard van de vaardighedenbibliotheek maakt het geschikt voor implementatie in hoog-risico domeinen (zoals klinische settings) waar agenten inspecteerbaar en corrigeerbaar moeten zijn zonder volledige hertraining.
Beperkingen: De auteurs merken op dat de validatiestap de dominante computatiekosten vormt. Bovendien zijn de vaardigheden beleidsregels die zijn afgestemd op benchmark-scoringscriteria (exacte match tegen de grondwaarheid) in plaats van medische expertise, wat een review door clinici vereist voor implementatie in de echte wereld. De methode is ook beperkt door de vaste actiebegrotingen van bepaalde benchmarks, die door geen enkele methode succesvol zijn geoptimaliseerd.

Kortom, GRASP toont aan dat gevalideerd bewerken de primaire drijvende kracht is van verbetering in gestructureerde agent-omgevingen, en dat het methoden overtreft die uitsluitend vertrouwen op vaardigheidsgeneratie of onbeperkte geheugenaccumulatie.