🤖 AI

Scoped Verification for Reliable Long-Horizon Agentic Context Evolution under Distribution Shift

Dit artikel introduceert Graph-Regularized Agentic Context Evolution (GRACE), een methode die persistente systeeminstructies structureert als getypeerde semantische grafen om lokale verificatie van updates mogelijk te maken, waardoor de betrouwbaarheid over lange termijn van LLM-agenten onder distributieverschuiving aanzienlijk wordt verbeterd in vergelijking met platte tekst-baselines.

Oorspronkelijke auteurs: Dan C. Hsu, Luke Lu

Gepubliceerd 2026-07-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dan C. Hsu, Luke Lu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotassistent traint om klantgesprekken af te handelen voor een telecombedrijf. Je kunt de hersenen van de robot niet elke dag herprogrammeren, en je kunt de tools die hij gebruikt ook niet veranderen. Het enige wat je kunt bijsturen, is zijn "regelboek"—een lange lijst met instructies die hem vertellen hoe hij zich moet gedragen, wat hij moet zeggen en wat hij moet vermijden.

Dit artikel, GRACE, stelt een eenvoudige maar lastige vraag: Hoe houd je dat regelboek over een lange periode up-to-date zonder dat het een rommelige, tegenstrijdige puinhoop wordt?

Het Problek: De "Flat Text"-valstrik

De meeste mensen proberen het regelboek bij te werken door simpelweg de hele tekst te herschrijven of nieuwe paragrafen onderaan een lang tekstdocument toe te voegen. De auteurs noemen dit "flat-text maintenance" (onderhoud van platte tekst).

Denk hierbij aan een groepschat waar iedereen gewoon nieuwe regels onderaan de chat blijft typen. In het begin werkt het geweldig. Maar na een paar weken is de chat 500 pagina's lang. Je hebt een regel op pagina 10 die zegt: "Wees altijd beleefd," en een nieuwe regel op pagina 499 die zegt: "Wees bot als je boos bent." De chat weet niet dat deze elkaar tegenspreken. De robot raakt in de war, begint fouten te maken en uiteindelijk stort het hele systeem in. Het artikel laat zien dat wanneer je alleen maar tekst blijft toevoegen, de betrouwbaarheid van de robot na verloop van tijd weer afneemt.

De Oplossing: De "Slimme Kaart" (GRACE)

De auteurs stellen een nieuwe methode voor genaamd GRACE (Graph-Regularized Agentic Context Evolution). In plaats van een lange lijst met tekst, veranderen ze het regelboek in een gestructureerde kaart (een graaf).

Stel je voor dat de regels niet slechts regels tekst zijn, maar nodes (punten) op een kaart, verbonden door lijnen die laten zien hoe ze met elkaar samenhangen.

Eén punt is een "Regel" (bijv. "Wees beleefd").
Een ander punt is een "Feit" (bijv. "Klanten zijn moe").
Een lijn verbindt hen met de tekst: "Dit feit ondersteunt deze regel."

Wanneer de robot een fout maakt, schrijft het systeem niet zomaar een nieuwe paragraaf. Het kijkt naar de kaart. Het zoekt de specifieke stip (de regel) die de problemen veroorzaakte en controleert de directe buren daarvan.

Botst dit nieuwe idee met de regels die er direct naast staan? (Tegenstrijdigheidscontrole)
Is dit nieuwe idee slechts een herhaling van een oude regel? (Redundantiecontrole)

Als het nieuwe idee past binnen de lokale omgeving van de kaart, wordt het toegevoegd. Als het de logica van de kaart verbreekt, wordt het direct afgewezen of gecorrigeerd. Ten slotte vertaalt het systeem de bijgewerkte kaart terug naar de tekst die de robot daadwerkelijk leest.

Het Experiment: Een Touwtrekwedstrijd

De onderzoekers testten dit in een gesimuleerde telecomomgeving (een nep telefoonbedrijf) met een specifiek robotmodel (Gemini 2.5 Flash). Ze draalden de simulatie vijf keer om er zeker van te zijn dat de resultaten niet op toeval berustten. Ze veranderden de soorten klantgesprekken waar de robot mee te maken kreeg om de paar rondes, om te zien of het regelboek kon aanpassen zonder uit elkaar te vallen.

Dit is wat er gebeurde:

Het Startpunt: Voordat er enige updates plaatsvonden, was de robot slecht in het zijn van betrouwbaar. Hij slaagde voor de strengste test (drie keer achter elkaar de taak correct uitvoeren) slechts 0,091 van de tijd (ongeveer 9% van de tijd).
Het "Flat Text"-team (HCE): Zij probeerden de oude methode waarbij simpelweg tekst wordt toegevoegd. De robot werd eerst een beetje beter en bereikte 0,215, maar daarna begon het weer te dalen. Tegen het einde was het teruggezakt naar 0,191. Het regelboek werd te rommelig en de robot vergat hoe hij consistent moest blijven.
Het "Kaart zonder controles"-team: Zij gebruikten de kaart, maar controleerden niet op tegenstrijdigheden of redundantie. Ze kregen een redelijke boost naar 0,458, maar daarna stortten ze hard in naar 0,248. De kaart hielp bij de organisatie, maar zonder de "buurtcontrole" stapelden de regels zich nog steeds op tot een puinhoop.
Het GRACE-team: Dit team gebruikte de kaart en de strikte buurtcontroles. Ze begonnen op 0,091 en klommen gestaag omhoog. Bij de laatste controlepunt slaagden ze de strenge test ongeveer 0,673 van de tijd (ongeveer 67%).

De Grote Vergelijking: Zelfs een gloednieuw, veel slimmer robotmodel (Gemini 3.1 Pro) dat vanaf nul begint zonder updates, haalde slechts 0,242. Het GRACE-team, dat een ouder robotmodel gebruikte met een slimmer updatesysteem, versloeg het nieuwe robotmodel met een enorme marge.

Wat dit betekent (en wat het niet betekent)

Het artikel suggereert dat voor een robot die over een lange periode kan evolueren zonder kapot te gaan, je niet simpelweg tekst moet blijven opstapelen. Je hebt een structuur nodig (zoals een kaart) die je in staat stelt om te controleren of nieuwe ideeën passen bij de oude ideeën, lokaal, precies daar waar ze verbinding maken.

De auteurs benadrukken echter dat dit geen wondermiddel is voor alles.

Ze hebben dit alleen getest in een telecom klantenservice simulatie. Ze weten nog niet of dit ook werkt voor programmeren, medisch advies of autorijden.
Ze hebben dit alleen getest met één specifiek robotmodel en één specifieke set tools.
De resultaten zijn gebaseerd op simulaties (computertests), niet op echte telefoongesprekken met echte mensen.

Maar de les is duidelijk: als je wilt dat een robot zijn persoonlijkheid en regels over maanden of jaren ontwikkelt, moet je stoppen met zijn instructies als een dagboek te behandelen en ze gaan behandelen als een goed georganiseerde kaart. Als je niet de buurt controleert voordat je een nieuw huis bouwt, zal de hele stad uiteindelijk instorten.

Technische Samenvatting: Scoped Verification voor Betrouwbare Long-Horizon Agentic Context Evolutie (GRACE)

1. Probleemformulering

Het paper behandelt de uitdaging van long-horizon agentic context evolutie onder een vaste operationele harness. In uitgerolde Large Language Model (LLM) agent-systemen wordt de "agent context" samengesteld uit taakinputs, tool-observaties en een persistente systeeminstructie die de rol, beperkingen en domein-aannames van de agent definieert.

Wanneer taakdistributies in de loop van de tijd verschuiven, moet deze persistente instructie worden herzien op basis van operationele ervaring om effectief te blijven. Het onderhouden van deze instructie als platte tekst leidt echter tot significante faalmodi naarmate het artefact groeit:

Context Collapse: Inconsistenties accumuleren, wat eerdere verbeteringen ondermijnt.
Verificatieproblematiek: Naarmate het document groeit, wordt het verifiëren van relaties tussen regels, beperkingen en procedures steeds afhankelijker van long-context verwerking, wat het detecteren van tegenstrijdigheden of redundantie bemoeilijkt.
Onbegrensde Groei: Zonder structureel beheer kan de inhoud van de instructie onbeheersbaar groeien, wat leidt tot strijdige richtlijnen en gedegradeerde betrouwbaarheid.

Het kernproblek is het isoleren van de representatie-substraten die voor evolutie worden gebruikt. Het paper vraagt zich af of een structurele representatie de effectiviteit van verificatie en consolidatie over uitgebreide evolutie-horizonten kan handhaven vergeleken met het onderhoud van platte tekst, terwijl het model, de tools en de harness vast blijven.

2. Methodologie: GRACE

De auteurs stellen Graph-Regularized Agentic Context Evolution (GRACE) voor, een framework dat de persistente instructie onderhoudt als een getypeerde semantische graaf in plaats van platte tekst. Het uitgerolde artefact blijft tekstueel, maar het evolutieproces opereert op het graaf-substraat.

2.1 Graph-Regularized Substrate

GRACE representeert de instructie als een gerichte getypeerde graaf $G_t = (V_t, E_t)$ :

Nodes ( $V$ ): Coderen atomaire instructie-eenheden, gecategoriseerd in drie objecttypen:
- identity: De status van de agent (mandaat en onderwerp).
- norm: Gedragsregels (standaarden om te voldoen aan of te schenden).
- knowledge: Domein-premissen (redeneerfundamenten).
Edges ( $E$ ): Coderen structurele relaties, gecategoriseerd in:
- supports: Grondslag of rechtvaardiging.
- refines: Specialisatie (toevoegen van condities/uitzonderingen).
- sequence: Procedurele ordening.
Schema Constraints: Een netwerk-schema $\mathcal{T}_G$ definieert toegestane bron-doel type paren voor relaties, waardoor wordt gegarandeerd dat alle updates aan het schema voldoen.

2.2 Evolutie Pipeline

De evolutie-operator $F_{Evolve}$ transformeert de vorige staat $(G_{t-1}, \ell_{t-1}, o_t)$ naar de volgende staat $(G_t, \ell_t)$ via drie stadia:

Operation Planning:
- Een door LLM gemedieerde planner zet een diagnostische observatie (afgeleid van mislukte agent-interacties) om in een set getypeerde graaf-edits $\Delta^{edit}_t$ (bijv. AddNode, ModifyNode, AddEdge).
- Deze edits worden deterministisch toegepast om een intermediaire graaf $\hat{G}_t$ te creëren.
- Een module voor het onderhoud van relaties beoordeelt de relaties die incidenteel zijn aan de bewerkte nodes en stelt aanvullende relatie-niveau edits voor $\Delta^{rel}_t$ .
Structural Validation (Scoped Verification):
- In plaats van de volledige tekst opnieuw te lezen, focust validatie op lokale getypeerde buurten (neighborhoods).
- Een validatiestraal $k$ definieert een buurt $N_k$ rond de "geraakte" nodes (deze die gewijzigd zijn in de planning-fase).
- Structural Analysis (SA) inspecteert deze lokale subgraaf op twee semantische problemen:
  - Contradiction (Tegenstrijdigheid): Detecteert gezamenlijke onvervulbaarheid waarbij overlappende instructie-eenheden niet simultaan voldaan kunnen worden.
  - Redundancy (Redundantie): Detecteert het gebrek aan marginale semantische bijdrage waarbij één eenheid een andere subsumeert zonder structurele differentiatie (bijv. verschillende support-buurten).
- Gedetecteerde problemen worden gerepareerd met behulp van schema-conforme operaties.
Delta Reconstruction:
- De gevalideerde graaf $G_t$ wordt teruggezet naar de tekstuele instructie-checkpoint $\ell_t$ .
- Dit gebeurt via incrementele edits die in lijn zijn met de graaf-niveau wijzigingen, waarbij onveranderde inhoud en formattering behouden blijven.

3. Experimentele Opstelling

Domein: Telecom klantenservice, afgeleid van $\tau^2$ -bench.
Protocol: Een gecontroleerd protocol voor distributieverschuiving over 10 evolutie-batches. De ervaring-batches wisselen af tussen twee intent-mixture fasen (Fase A en Fase B) om retentie en adaptatie te testen.
Condities:
1. GRACE: Volledige methode (Graaf-substraat + Structural Analysis).
2. GRACE w/o SA: Graaf-substraat zonder Structural Analysis (ablatie).
3. HCE (Holistic Context Evolution): Plat-tekst baseline met een ingebouwde consistentie-guard.
Metrics:
- pass@k: Capaciteit (best-of-k).
- pass^k: Strikte betrouwbaarheid (alle k-trials moeten slagen).
- Backward Transfer (BWT): Retentie van prestaties op specifieke intents nadat de distributies zijn verschoven.
Model: Het agent-model is vastgesteld op Gemini 2.5 Flash. Diagnose en evaluatie gebruiken vaste procedures.

4. Belangrijkste Resultaten

Over vijf onafhankelijke replicaties vertoonde GRACE een superieure betrouwbaarheid en retentie vergeleken met de baselines:

Duurzame Verbetering: GRACE verbeterde de strikte betrouwbaarheid (pass^3) van een zero-shot baseline van 0.091 naar 0.673 ± 0.136 bij de laatste checkpoint ( $\ell_{10}$ ).
Vergelijking met Baselines:
- HCE (Platte Tekst): Verbeterde aanvankelijk maar degradeerde over tijd, eindigend op 0.191 ± 0.051. Het leed onder "context collapse" naarmate de instructie groeide.
- GRACE w/o SA: Verbeterde aanvankelijk (0.458 bij $\ell_6$ ) maar slaagde er niet in de winst te consolideren, met een daling naar 0.248 ± 0.144 bij $\ell_{10}$ .
- Referentieprestatie: De laatste GRACE-checkpoint (0.673) overtrof een Gemini 3.1 Pro zero-shot referentie van 0.242 op dezelfde held-out set.
Faalmodus-analyse:
- HCE cumuleerde een hoog aantal tegenstrijdigheden (gemiddeld 3.35) en grote instructiegrootte (82.592 tekens), wat leidde tot verlies van coherentie.
- GRACE w/o SA behield een laag aantal tegenstrijdigheden maar slaagde er niet in te consolideren, wat resulteerde in een hogere redundantie (gemiddeld 4.85) en ongecontroleerde groei.
- GRACE behield een laag aantal tegenstrijdigheden (1.75–1.90) en lagere redundantie (4.15), en consolideerde het instructie-substraat effectief.
Retentie: GRACE vertoonde positieve of nul backward transfer in de meeste cycli, terwijl HCE een aanhoudende negatieve backward transfer vertoonde, wat duidt op een verlies van capaciteit wanneer distributies verschuiven.

5. Bijdragen en Significantie

Het paper levert drie primaire bijdragen:

Graph-Regularized Substrate: Introduceert een getypeerde semantische graaf als een intermediaire representatie voor het evolueren van persistente agent-instructies, wat scoped structurele validatie mogelijk maakt die zich richt op lokale buurten in plaats van globale tekst-herlezing.
Evaluatieprotocol: Stelt een gecontroleerd protocol voor distributieverschuiving voor dat zowel binnen-fase verbetering als cross-fase retentie test, waarbij de effecten van representatie en verificatiemechanismen worden geïsoleerd.
Inzicht in Mechanismen: Door middel van ablatie identificeert het paper twee onderscheidende vereisten voor betrouwbare long-horizon evolutie:
- Structureel Substraat: Noodzakelijk om verificatie lokaal te maken en grove tegenstrijdigheden te voorkomen.
- Consolidatiemechanisme: Noodzakelijk (via Structural Analysis) om overlappende inhoud samen te voegen en subtiele spanningen op te lossen, om ongecontroleerde groei en redundantie te voorkomen.

Significantie:
Het paper betoogt dat voor betrouwbare long-horizon context-evolutie de representatie van het evoluerende artefact cruciaal is. Het onderhoud van platte tekst wordt steeds moeilijker te verifiëren naarmate het artefact groeit. GRACE demonstreert dat het onderhouden van instructies als een getypeerde graaf met lokale structurele validatie agents in staat stelt om betrouwbaarheid te handhaven en zich effectiever aan te passen aan distributieverschuivingen dan platte tekst-benaderingen of graaf-benaderingen zonder consolidatie. Het werk suggereert dat "relaties tussen geaccumuleerde instructie-eenheden" expliciet en lokaal genoeg moeten zijn om te kunnen inspecteren om duurzaamheid te waarborgen.

Beperkingen:
De auteurs merken op dat het bewijs momenteel beperkt is tot het telecomdomein van $\tau^2$ -bench met een vaste agent-model en harness. Toekomstig werk is vereist om GRACE te evalueren over aanvullende domeinen en tegen volledige voorafgaande context-evolutie systemen onder gelijke implementatiebudgetten.