🤖 AI

Trace2Policy: From Expert Behavior Traces to Self-Evolving Decision Agents

Trace2Policy introduceert een foutgestuurd iteratief framework voor vaardigheidsverfijning (EISR) dat systematisch expertbeslisregels herstelt en verbetert naar hoogwaardige, deterministische Python-code, waarmee het zowel statische LLM-distillatie als pure-LLM-baselines overtreft bij nalevingsgevoelige taken, terwijl de verfijningskosten aanzienlijk worden verminderd.

Oorspronkelijke auteurs: Junli Zha, Jinbo Wang, Chao Zhou, Xiang Song

Gepubliceerd 2026-06-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junli Zha, Jinbo Wang, Chao Zhou, Xiang Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een druk logistiek bedrijf voor waar deskundige auditors hun dagen doorbrengen met het beoordelen van duizenden schadeclaims. Ze bekijken foto's, lezen rapporten en beslissen: "Is deze schade de schuld van de vervoerder of van de afzender?" Deze experts nemen deze beslissingen op basis van een complexe, ongeschreven set mentale regels die ze in de loop der jaren hebben geleerd. Ze weten zaken als: "Als de foto een gescheurde doos laat zien maar het systeem zegt 'intact', vertrouw dan de foto," of "Als de beoordelaar een notitie heeft die begint met 'C:', betekent dit dat hij stiekem de aansprakelijkheid herverdeelt."

Het probleem is dat deze regels vastzitten in de hoofden van de experts. Als je een computer (een AI) probeert te leren om dit werk te doen door het slechts een paar voorbeelden te tonen, raakt het in de war. Het mist de subtiele, verborgen trucs die de experts gebruiken.

Trace2Policy is een nieuw systeem ontworpen om dit op te lossen. Beschouw dit als een "Machine voor Regelextractie en Verfijning." Zo werkt het, met behulp van eenvoudige analogieën:

1. De Detectivefase (Gedrag Vastleggen)

Eerst fungeert het systeem als een stille detective. Het observeert de deskundige auditors terwijl ze op hun computers werken en legt elke klik, elk scherm waar ze naar kijken en elke notitie die ze typen vast. Het registreert niet alleen wat ze aanklikten; het probeert te begrijpen waarom ze dat deden.

Analogie: Stel je een coach voor die een meesterkok registreert terwijl deze een complex gerecht bereidt. De coach noteert niet alleen "voeg zout toe"; de coach merkt op: "De chef proefde de soep, fronste, en voegde een snufje zout toe omdat de bouillon te zuur was."

2. De Conceptfase (De Eerste Poging)

Het systeem neemt deze opnames en vraagt een slimme AI om de regels op te schrijven waarvan het denkt dat de chef ze volgt.

Het Probleen: De eerste versie is meestal oppervlakkig. Het legt de voor de hand liggende stappen vast ("Controleer de doos"), maar mist de diepe, verborgen logica ("Controleer de huidige code, niet de oorspronkelijke code, omdat het systeem in realtime wordt bijgewerkt").
Het Resultaat: Deze eerste versie (de "v1 Skills") is oké, maar het krijgt slechts ongeveer 70% van de beslissingen goed. Het is als een student die het tekstboek uit zijn hoofd heeft geleerd, maar de strikvragen van het eindexamen nog niet beheerst.

3. De "EISR"-motor (De Magische Lus)

Dit is de kerninnovatie. Het systeem gebruikt een proces dat EISR wordt genoemd (Error-driven Iterative Skill Refinement - Foutgestuurde Iteratieve Vaardigheidsverfijning).

Hoe het werkt: Het systeem draait de conceptregels tegen een testset van gevallen. Wanneer het een fout maakt, zegt het niet simpelweg "Fout". Het gedraagt zich als een strenge redacteur:
1. Diagnose: Het groepeert de fouten. Zijn ze "Ontbrekend" (geen regel dekte dit)? "Verkeerd" (de regel bestond, maar gaf het verkeerde antwoord)? Of "Conflicterend" (twee regels botsten met elkaar)?
2. Patch (Pleister): Het schrijft een specifieke oplossing voor die groep fouten.
3. Veiligheidscontrole (De Regressiepoort): Voordat de oplossing wordt opgeslagen, draait het de oude correcte gevallen opnieuw. Als de nieuwe oplossing iets breekt dat eerder wel werkte, wordt de oplossing weggegooid.
Analogie: Stel je een monteur voor die een automotor repareert. Elke keer dat hij een bout aandraait om een rammel te verhelpen, test hij direct de motor om er zeker van te zijn dat hij niet per ongeluk de bougies heeft losgedraaid. Hij blijft dit doen totdat de auto perfect rijdt zonder iets anders te beschadigen.

4. De Ontdekking van "Trap Rules" (Valstrikregels)

Door deze lus heeft het systeem "Trap Rules" gevonden—diepe kennis die niemand in een enkel interview had kunnen opschrijven.

Voorbeeld: Eén valstrik was dat een specifieke code op het scherm "Gedeelde Aansprakelijkheid" kon lijken, maar dat het eigenlijk slechts een tijdelijk label was dat vijf minuten daarvoor was veranderd van "Verpakkingsschade". De experts wisten dat ze het label moesten negeren en naar de actie van de beoordelaar moesten kijken. De AI leerde dit pas nadat het de fout herhaaldelijk had gemaakt en gecorrigeerd werd.

5. Het Eindproduct: Gecompileerd vs. Prompt

Het paper maakt een zeer specifieke en verrassende claim over hoe de regels worden gebruikt:

De Prompt-methode: Je kunt de regels aan een AI voeren als een lange lijst instructies (een "prompt"). Dit werkt, maar het is alsof je een genie vraagt een wiskundig probleem op te lossen terwijl hij een handleiding van 50 pagina's leest. Het krijgt ongeveer 70% goed.
De Gecompileerde methode: Het systeem vertaalt die regels naar een strikt computerprogramma (Python-code). Dit is alsof je de handleiding verandert in een rekenmachine die simpelweg de berekening doet.
Het Resultaat: De "Gecompileerde" versie sprong naar 79,6% nauwkeurigheid. Het paper betoogt dat voor deze specifieke, regelzware taken de kwaliteit van de regels belangrijker is dan de intelligentie van de AI. Een slimme AI die slechte regels volgt faalt; een eenvoudige computer die perfecte regels volgt, slaagt.

6. De "Flywheel" (Zelfverbetering)

Eenmaal uitgerold, stopt het systeem niet.

De Lus: Menselijke auditors beoordelen nog steeds elk geval (als onderdeel van hun normale werk). Het systeem vergelijkt zijn antwoord met het antwoord van de mens. Als ze van mening verschillen, markeert het systeem dit, analyseert de fout en triggert automatisch een nieuwe "EISR"-ronde om de regel aan te passen.
Kosten: Het handmatig doen van dit proces zou een menselijke expert 70 uur per cyclus kosten. De geautomatiseerde versie (Auto-EISR) doet dit voor $5–$ 10 en duurt slechts enkele uren.

Samenvatting van de Claims

Wat het doet: Zet het gedrag van experts om in zelfverbeterende beslisregels.
Wat het vond:
- One-shot learning (een AI één keer vragen) slaagt er niet in om diepe, verborgen regels te vangen.
- Iteratieve foutcorrectie (EISR) vindt "trap rules" die de nauwkeurigheid aanzienlijk verhogen.
- Voor deze specifieke taken is het draaien van de regels als een strikt computerprogramma veel beter dan een AI vragen om de regels als een prompt te lezen.
- Het toevoegen van een AI "veiligheidsnet" (de AI laten de regels aanpassen wanneer hij het niet zeker weet) verlaagde de nauwkeurigheid in dit specifieke geval juist, omdat de AI te enthousiast was om claims af te wijzen, terwijl de regels perfect waren afgestemd op de specifieke behoeften van het bedrijf.
Reikwijdte: Dit werd getest op de schadeclaims van een logistiek bedrijf (3.349 gevallen) en een aantal benchmarks voor juridische redenering. De auteurs beweren niet dat dit voor elke vorm van besluitvorming werkt, maar specif

Technische Samenvatting: Trace2Policy

Probleemstelling

Bedrijfstaken voor besluitvorming in domeinen zoals auditing, compliance en contractbeoordeling vertrouwen op deskundig oordeel dat vaak impliciet, systematisch en diep verweven is met specifieke gedragingen van softwaresystemen. Bestaande automatiseringsbenaderingen kampen met drie primaire tekortkomingen:

Kennisverwerving: Huidige GUI-agenten (bijv. CogAgent, SeeAct) leren hoe interfaces te bedienen (klikken, velden invullen), maar falen in het extraheren van de onderliggende beslissingslogica of heuristieken. Process mining ontdekt activiteitsstromen, maar niet het "waarom" achter specifieke beslissingen.
Kennisverfijning: One-shot extractiemethoden (LLM-distillatie, few-shot learning of expertinterviews) leggen slechts oppervlakkige procedures vast. Ze falen in het blootleggen van "diepe kennis"—zoals coderingconventies van systemen, impliciete actiesemantiek en mismatches tussen claims en acties—wat leidt tot prestatieplateaus (vaak rond de 70%) en in sommige gevallen "autoriteitsverplaatsing" waarbij sterke modellen degraderen wanneer ze worden gedwongen onverfijnde regels te volgen.
Kennisevolutie: De meeste agentsystemen blijven statisch na implementatie. Hoewel er zelfevoluerende agent-surveys bestaan, zijn er weinig mechanismen die gebruikmaken van de natuurlijke grondwaarheid die door bestaande menselijke review-workflows wordt geleverd om continue, laagkosten aanpassing aan veranderende zakelijke omstandigheden mogelijk te maken.

Methodologie: Trace2Policy Framework

De auteurs stellen Trace2Policy voor, een end-to-end framework dat ruwe expertgedragstraces transformeert naar zelf evoluerende beslissingsagenten. De pipeline bestaat uit vijf fasen:

Fase 0–1: Gedragsregistratie en Structurering

Agent Observer: Legt passief multimodale expertgedragingen vast (vensterfocus, muisklikken met screenshots, toetsenbordinvoer, browsergebeurtenissen) en segmenteert deze in taakniveau-trajecten met behulp van zakelijke ankers (bijv. vrachtbriefnummers).
VLM Structurering: Een Vision-Language Model zet ruwe trajecten om in gestructureerde beslissingsrecords, waarbij geëxtraheerd wordt welke systemen geraadpleegd zijn, belangrijke observaties, redeneerketens en bewijsvoering.

Fase 2: Geautomatiseerde Policy Distillatie

Een LLM distilleert een initiële policy (genoemd Skills) uit de gestructureerde records. Deze policy is een geëxternaliseerd, voor mensen leesbaar regeldocument (Markdown) georganiseerd in drie lagen:

Workflow Laag: Queryvolgorde en parameters voor systemen.
Beslissingslaag: Padroutering en oordeelscondities.
Platform Laag: API-schema's, veldencoderingen en inlogprocedures.

Fase 3: EISR (Foutgestuurde Iteratieve Skill Refinement)

De kerninnovatie is EISR, een gestructureerde diagnose-en-patch-loop die het regeldocument behandelt als het optimalisatietarget, niet de modelgewichten.

Executie & Vergelijking: De policy wordt uitgevoerd op een validatieset, en fouten worden geïdentificeerd tegen de grondwaarheid.
Gestructureerde Diagnose: Fouten worden gegroepeerd op oorzaak in drie typen: MISSING (geen regel dekt dit geval), WRONG (regel schrijft de verkeerde actie voor), of CONFLICT (tegenstrijdige regels).
Gerichte Verfijning: Een LLM stelt patches voor voor elk cluster.
Regressiepoort: Patches worden alleen geaccepteerd als ze een regressietest passeren, om te garanderen dat eerder correcte gevallen niet worden beschadigd.

Auto-EISR: Een LLM-gestuurde variant waarbij een "Executor"-agent fouten genereert en "Diagnose/Refine"-agents fixes voorstellen, waardoor het proces van menselijke kosten wordt bevrijd.

Fase 4: Productie Implementatie en Zelfevolutie

De verfijnde policy wordt geïmplementeerd. Menselijke auditors blijven gevallen beoordelen, waarbij zij natuurlijke grondwaarheid leveren tegen marginale kosten van nul. Wanneer vergelijkbare fouten zich ophopen (≥5 gevallen), wordt een incrementele EISR-ronde getriggerd om de regels bij te werken, wat een continue verbeteringsvliegwiel creëert.

Belangrijkste Bijdragen

Trace2Pipeline: Een gevalideerde pipeline van ruwe traces naar geïmplementeerde agents, gedemonstreerd in een 22-daagse productie-implementatie bij een grote logistieke vervoerder (3.349 auditgevallen).
EISR Algoritme: Een methode voor regelverfijning die LLM's gebruikt als optimizers met een regressie-gegateerde acceptatie. Het slaagt erin "trap rules" te ontsluieren—diepe kennis die onzichtbaar is voor one-shot methoden, zoals:
- Encoding State Ambiguity: Het onderscheid tussen huidige en oorspronkelijke aansprakelijkheidscodes in systeemweergaven.
- Impliciete Actie Prefixes: Het herkennen van ongedocumenteerde signalen (bijv. "C:" prefixes) in tekstcommentaren.
- Claim Mismatches: Het differentiëren tussen het uitvoeren van een actie en het accepteren van een specifieke claim.
Observaties over Executie-vorm: Het paper identificeert dat de kwaliteit van de regels een dominantere prestatiehefsel is dan de modelcapaciteit.
- Compilatie Winst: Dezelfde door EISR-verfijnde regels, wanneer gecompileerd in deterministische Python, presteren 9,8 procentpunt beter (79,6% vs. 69,8%) dan dezelfde regels gebruikt als LLM-prompt in productie.
- LLM Fallback Falen: Bij taken met een scheve basisratio (skewed-base-rate) leidt het opnieuw inschakelen van een LLM-fallback (een veelvoorkomend designpatroon) tot een monotone afname van de nauwkeurigheid, omdat de prior van de LLM niet overeenkomt met de gekalibreerde, scheve distributie van de regelcascade.
Autoriteitsverplaatsing: Onverfijnde regels kunnen sterke LLM's actief schaden (nauwkeurigheid verminderen met 7–9pp) door hen te dwingen onjuiste heuristieken te volgen, terwijl EISR-verfijnde regels dit gat dichten.
Kostenefficiëntie: Auto-EISR bereikt een verfijningsprestatie die vergelijkbaar is met menselijke experts voor $5–$ 10 per cyclus tegenover ~70 experturen.

Resultaten

Productieprestaties: De gecompileerde EISR-verfijnde pipeline behaalde 79,6% nauwkeurigheid op de trainingsbenchmark en 77,3% op een hold-out set, waarmee het de historische pure-LLM baseline (72,7%) en zero-shot baselines (43,8%) versloeg.
Cross-Model Consistentie: Over vijf verschillende LLM's heen, was de variantie in prestaties toe te schrijven aan de versie van de regel (v1 vs. v8) groter dan de variantie toe te schrijven aan de keuze van het model.
Cross-Domain Transfer: De verfijningsloop (Fase 3) werd getest op publieke benchmarks (LegalBench hearsay, BPIC 2012) zonder herontwerp. Op de LegalBench hearsay taak verhoogde EISR-verfijning de nauwkeurigheid van ~84% naar 92,2%, waarbij het herstelde van een initiële "overshoot" in Ronde 1.
Kosten-Baten: Auto-EISR verminderde de kosten van regelverfijning met ongeveer 100x vergeleken met human-in-the-loop verfijning, terwijl vergelijkbare actienauwkeurigheid werd behouden.

Betekenis en Claims

Het paper positioneert Trace2Policy als een Use-Inspired bijdrage, gericht op een specifieke operationele behoefte in enterprise compliance. De betekenis ligt in:

Verschuiving van het Optimalisatietarget: Het verschuiven van het optimaliseren van modelparameters of prompts naar het optimaliseren van geëxternaliseerde, controleerbare, versiebeheerbare regeldocumenten.
Extractie van Diepe Kennis: Het aantonen dat iteratieve foutanalyse noodzakelijk is om systeemspecifieke conventies naar boven te brengen die one-shot methoden missen.
Form-Bundle Observatie: Het benadrukken dat in compliance-gevoelige omgevingen met een scheve basisratio, de combinatie van verfijnde regels + deterministische compilatie superieure resultaten oplevert vergeleken met LLM-prompting of hybride LLM-fallbacks. De auteurs merken expliciet op dat dit een regime-specifieke observatie is en geen universele claim voor alle beslissingstaken.
Schaalbare Zelfevolutie: Het bieden van een mechanisme waarmee agents continu kunnen evolueren via de natuurlijke feedbackloop van bestaande menselijke workflows, waardoor de noodzaak voor kostbare, expliciete beloningslabels wordt geëlimineerd.

De auteurs blijven bescheiden en erkennen beperkingen zoals de enkelvoudige domein-studie, bescheiden hold-out steekproefgroottes en het potentieel voor "auditor anchoring" (waarbij menselijke reviewers beïnvloed kunnen worden door de initiële aanbeveling van de agent). Ze roepen op tot toekomstig werk om het "alleen-vorm" component van de compilatie-winst te isoleren en bredere multi-domein validaties uit te voeren.