Technisch Samenvatting: LedgerAgent: Gestructureerde Toestand voor Beleidsconforme Tool-Calling Agents

Probleemstelling

In klantenservice-domeinen moeten taalagenten takenstoestanden behouden over meerdere beurten terwijl ze interageren met gebruikers, gegevens ophalen en tools uitvoeren. Deze agenten moeten strikt voldoen aan domeinbeleid (bijv. restitutieberechtiging, annuleringsvensters) dat afhankelijk is van de huidige toestand van de interactie.

Standaard tool-calling agenten vertrouwen op een prompt-only ontwerp, waarbij observaties, tool-returns en beleidsinstructies worden verweven in een groeiend gesprekstranscript. Dit ontwerp creëert twee primaire faalmodi:

1. Impliciete Toestand-gronding: Agenten moeten relevante feiten telkens opnieuw reconstrueren uit het ruwe transcript wanneer ze een beslissing over een actie nemen. Dit leidt tot beslissingen gebaseerd op verouderde, ontbrekende of incorrect gereconstrueerde informatie, zelfs als de juiste records eerder zijn opgehaald.
2. Schending van Beleidsgrenzen: Agenten kunnen syntactisch geldige tool-calls genereren die domeinbeleid schenden omdat de beleidscontrole niet is ontkoppeld van de huidige toestand. Een agent kan bijvoorbeeld proberen een reservering te annuleren buiten het toegestane venster omdat het er niet in slaagde de huidige datum te kruisverwijzen met de reserveringsdatum die in de geschiedenis is opgeslagen.

Bestaande oplossingen richten zich vaak op het verbeteren van het model zelf (via fine-tuning of reinforcement learning) of het toevoegen van inference-time scaffolding (planning/reflectie). Deze benaderingen behouden echter grotendeels de impliciete aard van de toestand-representatie binnen de prompt, waardoor de agent de toestand moet herstellen uit een ongestructureerd transcript.

Methodologie: LedgerAgent

De auteurs introduceren LedgerAgent, een inference-time methode die toestand-beheer ontkoppelt van de ruwe prompt-geschiedenis. Het introduceert twee deterministische componenten die opereren zonder modelgewichten te wijzigen of extra LLM-calls te vereisen voor toestand-constructie:

1. Schema-verankerde Ledger

De agent onderhoudt een aparte, getypeerde dictionary (de ledger) die geobserveerde taaktoestanden opslaat.

• Mechanisme: Wanneer een read-tool succesvol wordt geretourneerd, wordt de retourwaarde geparsed en geprojecteerd in de ledger op basis van een vooraf gedefinieerde, domeinspecifieke tool-padkaart (bijv. orders.1234, reservations.UX789).
• Eigenschappen: De ledger is een compacte, getypeerde representatie van geobserveerde feiten, identificatoren en condities. Het is geen samenvatting of langetermijngeheugen, maar een gestructureerd beeld van de externe systeemtoestand zoals geobserveerd door de agent.
• Update-regel: De ledger wordt alleen bijgewerkt vanuit succesvolle read-tool returns. Write-tool returns updaten de ledger niet; de agent moet een daaropvolgende read-call uitvoeren om de nieuwe toestand te observeren, wat ervoor zorgt dat de ledger gegrond in de externe systeemtoestand blijft.
• Integratie: Voor elke modelgeneratie wordt de volledige ledger deterministisch gerenderd en in de prompt geïnjecteerd. Dit stelt het model in staat om de huidige toestand op te zoeken via stabiele paden in plaats van door de transcriptie-geschiedenis te zoeken.

2. Policy Gate

Een policy gate opereert onmiddellijk vóór de uitvoering van een omgeving-veranderende tool call (bijv. restituties, annuleringen, updates).

• Functie: De gate evalueert de voorgestelde tool call tegen een set uitvoerbare predicaten ($\Pi$) die gedefinieerd zijn over de huidige ledger-velden.
• Resultaten:
  • ALLOW: De call is consistent met de ledger en het beleid; deze wordt ongewijzigd voortgezet.
  • REVISE: De call schendt een beleid (bijv. ontbrekend bewijs). De call wordt verwijderd en de model ontvangt feedback die het geschonden predicaat identificeert.
  • BLOCK: De call is expliciet verboden (bijv. poging tot een beleidsovertredende actie). De actie wordt geweigerd en de agent wordt verhinderd de omgeving te veranderen.
• Implementatie: Beleidsregels worden gecodeerd als code-predicaten over ledger-velden (bijv. controleren of een vluchtdatum binnen 24 uur van de huidige tijd ligt), in plaats van te vertrouwen op natuurlijke taalredenering binnen de prompt.

Agent Loop

De methode omvat de standaard agent loop. Het absorbeert tool returns in de ledger, rendert de ledger in de prompt, genereert een respons en filtert omgeving-veranderende calls door de policy gate. Cruciaal is dat dit nul extra LLM-calls toevoegt aan het inference-proces; de overhead is beperkt tot deterministische string-formattering en predicaat-evaluatie.

Belangrijkste Bijdragen

1. Identificatie van Toestand-gronding als Faalmodus: Het paper identificeert dat agenten vaak niet falen omdat ze records niet kunnen ophalen, maar omdat ze handelen op basis van een verouderde of incorrect gereconstrueerde toestand wanneer die toestand impliciet in de prompt blijft.
2. LedgerAgent Framework: Een nieuwe inference-time methode die toestand-representatie (via een getypeerde ledger) scheidt van actie-executie (via een policy gate), waardoor toestand-afhankelijke beleidsregels worden gecontroleerd tegen geobserveerd bewijs voordat er omgeving-veranderingen plaatsvinden.
3. Empirische Validatie: Demonstratie dat LedgerAgent de consistentie-georiënteerde metrieken ($pass^k$) verbetert over diverse klantenservice-domeinen en backbone-modellen zonder de modelgewichten te wijzigen.

Experimentele Resultaten

De auteurs evalueerden LedgerAgent over vier domeinen (Airline, Retail, Telecom, Telehealth) met een mix van open- en closed-weight modellen (inclusief GPT-4.1, GPT-5.2, Kimi K2.5, GLM-5, MiniMax M2.5, en Qwen3).

• Prestatiewinst: LedgerAgent verbeterde consequent de gemiddelde $pass^1$ en $pass^4$ scores ten opzichte van standaard function-calling baselines.
  • Op non-GPT backbones (bijv. Kimi-K2.5), verbeterde de gemiddelde $pass^1$ met 3.4 punten en $pass^4$ met 5.6 punten.
  • Op GPT backbones waren de verbeteringen nog prominenter, met gemiddelde $pass^1$ winsten van 12.2 (GPT-4.1) en 15.5 (GPT-5.2) punten.
• Consistentie: De grootste winsten werden waargenomen in $pass^4$ (consistentie over vier onafhankelijke trials), wat aangeeft dat LedgerAgent de variantie in agent-gedrag aanzienlijk vermindert.
• Omgeving-veranderende Taken: De methode toonde bijzondere kracht in taken die write-acties vereisen (bijv. annuleringen, restituties), waar het voorkomen van beleidsschendingen cruciaal is. In het Telecom-domein (dual-control setting) verhoogde LedgerAgent de actie-niveau betrouwbaarheid substantieel.
• Efficiëntie: In tegenstelling tot context-engineering methoden zoals IRMA (die helper-agents gebruiken en >50% token overhead veroorzaken), bereikte LedgerAgent hogere prestaties met 0.0% token overhead ten opzichte van de baseline, aangezien het geen extra LLM-calls toevoegt.

Foutanalyse

Analyse van gefaalde trajecten onthulde dat de resterende fouten in LedgerAgent voornamelijk zijn:

• Gemiste Vereiste Acties (70.3%): De agent voltooit initiële lookups maar faalt in het uitvoeren van daaropvolgende noodzakelijke stappen (bijv. te vroeg overgaan naar menselijke ondersteuning in plaats van een geldige gedeeltelijke vervulling te proberen).
• Verkeerde Actie-argumenten (20.4%): Fouten in het extraheren of formatteren van argumenten, met name in domeinen met complexe schema's zoals Telehealth.
• Domeinspecificiteit: Fouten variëren per domein (bijv. Telecom-fouten zijn bijna uitsluitend gemiste acties; Telehealth heeft hogere argument-foutpercentages), wat suggereert dat hoewel de ledger de toestand-gronding oplost, domeinspecifieke planning en schema-bewustzijn nog steeds uitdagingen blijven.

Betekenis en Claims

Het paper claimt dat LedgerAgent een fundamentele architecturale kloof in tool-calling agenten aanpakt: de afhankelijkheid van impliciete toestand binnen een groeiende prompt. Door geobserveerde toestand expliciet te maken en acties te controleren tegen een gestructureerde ledger vóór uitvoering, biedt de methode:

• Een verschuiving van de faalgrens van post-hoc correctie (fouten herstellen nadat ze zijn gebeurd) naar preventie (het blokkeren van beleidsschendingen voordat ze plaatsvinden).
• Een systeem-niveau mechanisme voor beleidsnaleving dat de redeneerkracht van het model complementeert zonder hertraining of complexe multi-agent orchestratie te vereisen.
• Een demonstratie dat toestand-representatie even cruciaal is als model-capaciteit voor betrouwbaar tool-gebruik in dynamische, beleidsgeconstraineerde omgevingen.

De auteurs concluderen dat hoewel LedgerAgent de noodzaak voor planning of robuuste argument-constructie niet vervangt, het effectief een belangrijke bron van onbetrouwbaarheid elimineert: handelen op basis van een verouderde of ongegronde toestand. De aanpak is het meest effectief in gestructureerde tool-use domeinen waar de toestand naar een schema kan worden gemapt en beleidsregels als uitvoerbare predicaten kunnen worden gecodeerd.