💬 NLP

PolicyBank: Evolving Policy Understanding for LLM Agents

Dit paper introduceert PolicyBank, een mechanisme dat LLM-agenten in staat stelt hun beleidsbegrip autonoom te verfijnen door interactie en feedback, waardoor ze ambiguïteiten in beleidspecificaties effectiever oplossen dan bestaande methoden die beleidsregels als onveranderlijke waarheid behandelen.

Oorspronkelijke auteurs: Jihye Choi, Jinsung Yoon, Long T. Le, Somesh Jha, Tomas Pfister

Gepubliceerd 2026-04-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jihye Choi, Jinsung Yoon, Long T. Le, Somesh Jha, Tomas Pfister

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🏦 PolicyBank: De slimme agent die zijn eigen regels leert begrijpen

Stel je voor dat je een supersterke robot-assistent hebt (een LLM-agent) die voor een bedrijf werkt. Deze robot moet klanten helpen, bijvoorbeeld met het boeken van vluchten of het terugbrengen van producten. Maar er is een probleem: de robot werkt volgens een regelschrift (een beleidsdocument) dat door mensen is geschreven in gewone taal.

🤔 Het probleem: De "Grote Misverstand"

Mensen zijn niet perfect in het schrijven van regels. Soms zijn regels vaag, onvolledig of zelfs per ongeluk verkeerd.

Voorbeeld: Een regel zegt: "Als een klant een vertraagde vlucht heeft én wil omboeken, dan krijgt hij €50 compensatie."
De realiteit: De klant wil niet omboeken, hij wil gewoon zijn vertraging gecompenseerd omdat hij ongemak heeft.
Het resultaat: De robot volgt de regel letterlijk en zegt: "Nee, geen geld, want je wilt niet omboeken." De klant is boos. De robot deed precies wat er stond, maar deed het verkeerd omdat de regel zelf een foutje had.

Tot nu toe dachten onderzoekers dat robots gewoon beter moesten leren "nadenken" om dit op te lossen. Maar dit paper zegt: "Nee, het probleem is niet dat de robot dom is, maar dat de rekenmachine (de regels) fout is."

💡 De oplossing: PolicyBank

De auteurs van dit paper hebben PolicyBank bedacht. Dit is geen gewone geheugenbank, maar een slimme, lerende vertaler.

Stel je PolicyBank voor als een kookboek dat zichzelf herschrijft:

De start: De robot krijgt een kookboek (het beleidsdocument) mee.
De fout: De robot probeert een gerecht te maken volgens het boek, maar het smaakt niet goed (de klant is ontevreden).
De feedback: Een menselijke chef-kok (een ontwikkelaar) zegt: "Hé, je hebt het recept verkeerd gelezen. In dit geval hoef je de groente niet te snijden, je moet hem heel laten."
De evolutie: In plaats van het hele kookboek te vernietigen, schrijft PolicyBank een nieuwe, duidelijke notitie in de rand van het boek: "Let op: Bij dit gerecht hoef je de groente niet te snijden, zelfs als het recept dat suggereert."
De volgende keer: De robot leest die notitie en maakt het gerecht perfect.

🔍 Hoe werkt het precies? (De drie stappen)

Niet alles onthouden, maar begrijpen:
Gewone robots proberen alles uit het verleden te onthouden. PolicyBank onthoudt alleen de essentie van de regels. Het splitst vaag taalgebruik op in duidelijke instructies voor specifieke taken (bijv. "Hoe geef ik een voucher?" of "Hoe annuleer ik een ticket?").
De "Policy Agent" (De Leraar):
Er is een speciale robot binnen de robot die alleen kijkt naar fouten. Als de main-robot faalt, kijkt deze leraar: "Is de robot dom geweest, of was de regel gewoon slecht?" Als de regel slecht was, schrijft de leraar een nieuwe, betere uitleg in de PolicyBank.
Live leren:
Dit gebeurt niet één keer. Het is een continu proces. Elke keer dat de robot een nieuwe klant helpt en er een foutje in de regels wordt ontdekt, wordt de "PolicyBank" bijgewerkt. De robot wordt dus slimmer in het begrijpen van de regels, niet alleen in het uitvoeren van taken.

🧪 De test: De "Zusjes-taken"

Om te bewijzen dat dit werkt, hebben de onderzoekers een speciale testbed ontwikkeld (een uitbreiding van een bekend benchmark genaamd 𝜏-Bench).

Ze maakten een oorspronkelijke taak (waar de robot faalt door een slechte regel).
Daarna maakten ze drie "zusjes" (variaties van dezelfde taak).
Het doel: Als de robot de regel écht heeft begrepen en aangepast, moet hij de "zusjes" ook kunnen oplossen, zelfs als ze net iets anders zijn.

Het resultaat?
De oude robots (die gewoon hun geheugen gebruiken) faalden bijna 100% op deze nieuwe situaties. Ze bleven de foutieve regels volgen.
PolicyBank daarentegen slaagde in 82% van de gevallen. Het kon de fout in de regel opsporen en zichzelf corrigeren, net als een mens die uit ervaring leert.

🚀 Waarom is dit belangrijk?

In de echte wereld (vliegtuigen, banken, ziekenhuizen) kunnen regels nooit 100% perfect worden geschreven. Er zullen altijd gaten en ambiguïteiten zijn.

Vroeger: We moesten elke keer dat een fout werd gevonden, de hele beleidsdocumenten handmatig herschrijven en de robots opnieuw trainen.
Nu met PolicyBank: De robot kan autonoom leren van zijn fouten en de interpretatie van de regels verfijnen. Het maakt systemen veiliger, flexibeler en minder afhankelijk van menselijke tussenkomst bij elke kleine aanpassing.

🌟 Samenvattend in één zin:

PolicyBank is als een robot die niet alleen luistert naar wat er op het bordje staat, maar ook leert van de mens die het bordje heeft geschreven, zodat hij de ware bedoeling achter de regels steeds beter begrijpt en zich zelf kan verbeteren.

Probleemstelling: De Kloof tussen Specificatie en Vereiste

LLM-agenten die in productieomgevingen opereren (bijvoorbeeld klantenservice), moeten handelen binnen strikte beleidslijnen die vaak in natuurlijke taal (NL) zijn opgesteld door domeinexperts. Het paper identificeert een fundamenteel probleem: deze NL-specificaties bevatten onvermijdelijk ambiguïteiten, logische gaten en semantische lacunes.

Dit leidt tot twee soorten fouten:

Type I (Uitvoeringsfouten): De agent faalt omdat hij de geschreven regels niet correct kan redeneren of uitvoeren (bijv. verkeerde tool-aanroep). Bestaand onderzoek richt zich voornamelijk hierop.
Type II (Alignementfouten): De agent volgt de geschreven regels ( $\pi_{spec}$ ) perfect, maar het resultaat is toch onjuist omdat de geschreven regels afwijken van de werkelijke vereisten ( $\pi_{req}$ ).

Het paper stelt dat bestaande "memory"-mechanismen voor agenten deze Type II-fouten verergeren. Ze behandelen het geschreven beleid als onveranderlijke grondwaarheid en versterken hierdoor "compliant but wrong" (volgzaam maar fout) gedrag. De vraag is of een agent zijn beleidsbegrip autonoom kan verfijnen door interactie en correctieve feedback, zonder dat menselijke experts de beleidsdocumenten handmatig moeten herschrijven.

Methodologie: PolicyBank

Om dit probleem op te lossen, stellen de auteurs PolicyBank voor, een innovatief geheugenmechanisme dat beleidsinzichten op een gestructureerd niveau beheert en iteratief verfijnt.

1. Architectuur en Geheugenschema:
In plaats van ruwe beleidsdocumenten op te slaan, beheert PolicyBank een bank van tool-capability inzichten. Elke geheugenentry is een tuple die een specifieke tool-functie koppelt aan een gestructureerde specificatie (Spec_NL). Deze structuur decomposeert ambiguïteit in uitvoerbare logica:

TRIGGER: Wanneer geldt de regel?
PRECONDITIONS: Wat moet eerst worden geverifieerd?
ELIGIBILITY: Onder welke voorwaarden is de actie toegestaan?
ACTION: Wat is de procedure?
KEY INSIGHT: Het geleerde verschil tussen de oorspronkelijke specificatie en de werkelijke vereiste.

2. Het Leerproces (Feedback Loop):
Het systeem werkt in een cyclus van uitvoering en review:

Online Executie: De agent voert taken uit en gebruikt een retrieve_policy() tool om dynamisch relevante beleidsregels op te halen tijdens het gesprek (in plaats van statisch aan het begin).
Offline Review: Na afloop analyseert een gespecialiseerde Policy Agent de trajecten (gesprek + tool-aanroepen) samen met correctieve feedback van een ontwikkelaar of QA-engineer.
Update: De Policy Agent onderscheidt of een fout een Type I of Type II fout is. Bij een Type II fout (beleidskloof) wordt de bestaande geheugenentry herzien (revised) of een nieuwe toegevoegd om de interpretatie van de regel te verfijnen, zodat deze dichter bij de werkelijke vereiste ( $\pi_{req}$ ) komt.

3. Evaluatie-omgeving (Extensie van $\tau$ -Bench):
Om dit te testen, hebben de auteurs de populaire $\tau$ -Bench benchmark uitgebreid met gecontroleerde "beleidskloven" (policy gaps). Ze identificeren drie structurele klassen van gaten:

Ambigu Scope: Onnauwkeurige kwantificering (bijv. een lijst die als exhaustief wordt geïnterpreteerd, maar illustratief bedoeld was).
Under-Specified Exceptions: Algemene verboden zonder geldige uitzonderingen (bijv. geen vervanging van defecte producten toestaan).
Logical Contradiction: Valse afhankelijkheden (bijv. compensatie koppelen aan een wens tot annulering, terwijl de vertraging op zich al recht geeft op compensatie).

Voor elke "ouder-taak" met een kloof werden "zus-taken" (sister tasks) gegenereerd om te testen of de agent de geleerde correctie kan generaliseren naar nieuwe scenario's.

Belangrijkste Bijdragen

Probleemdefinitie: Formele definitie van "Evolving Policy Understanding", met een duidelijke scheiding tussen uitvoeringsfouten en alignementfouten veroorzaakt door imperfecte specificaties.
Methodologie: Introductie van PolicyBank, het eerste mechanisme dat agentgeheugen gebruikt om beleidsinterpretaties autonoom te evolueren via feedback, in plaats van statische regels te volgen.
Evaluatie: Een rigoureuze testset die laat zien dat bestaande methoden falen bij beleidskloven, terwijl PolicyBank succesvol is in het dichten van deze gaten.

Resultaten

De experimenten, uitgevoerd met state-of-the-art modellen (Gemini-3.0-Pro en Claude-4.5-Opus) op de uitgebreide $\tau$ -Bench, tonen de volgende resultaten:

Falen van Bestaande Methodes: Traditionele memory-baselines (zoals Synapse, AWM, ReasoningBank) presteren bijna nihil op de "zus-taken" (pass^1 < 0.05 in de luchtvaartsector). Ze kunnen de kloof tussen geschreven beleid en werkelijke vereisten niet overbruggen; ze blijven vastzitten in het "compliant but wrong" gedrag.
Succes van PolicyBank: PolicyBank slaagt erin om tot 82% van de kloof naar een menselijke oracle te dichten.
- In de luchtvaartsector bereikt PolicyBank een pass^1 van 0.74 op zus-taken, vergeleken met 0.01 voor de "No Memory" baseline.
- In de retailsector wordt een pass^1 van 0.83 behaald.
Consistentie: PolicyBank verbetert niet alleen de succesratio, maar ook de stabiliteit (gemeten via pass^k). Agenten die PolicyBank gebruiken passen het beleid consistent toe, wat cruciaal is voor productieomgevingen.
Feedback Granulariteit: De studie toont aan dat alleen een binair "pass/fail" signaal onvoldoende is voor Type II fouten. De toevoeging van natuurlijke taal-uitingen (NL-explanaties) over waarom een actie fout was, is essentieel voor het succesvol oplossen van beleidskloven.

Significantie

Dit paper is significant omdat het een nieuw perspectief biedt op de veiligheid en betrouwbaarheid van LLM-agenten. Het toont aan dat het simpelweg "harder" maken van agenten of het toevoegen van meer context niet voldoende is als de onderliggende beleidsdocumenten onvolmaakt zijn.

De belangrijkste implicaties zijn:

Autonome Correctie: Het is mogelijk om agenten te bouwen die zichzelf corrigeren op basis van ervaring, wat de last voor menselijke beleidsbeheerders vermindert.
Complementaire Benadering: PolicyBank vult bestaande "guardrail"-systemen aan. Waar guardrails het gedrag forceren op basis van een (mogelijk fout) beleid, verfijnt PolicyBank het begrip van dat beleid zelf.
Schaalbaarheid: Het mechanisme lost het schaalbaarheidsprobleem op van het handmatig bijwerken van beleidsregels bij elke nieuwe edge case of wijziging in bedrijfslogica.

Samenvattend introduceert PolicyBank een paradigmaverschuiving van statische beleidsnaleving naar dynamische, evoluerende beleidsbegrip, wat essentieel is voor het succesvolle inzetten van LLM-agenten in complexe, real-world omgevingen.