Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification

Dit artikel introduceert GLEAN, een betrouwbaar verificatiekader voor LLM-agenten in hoog-risico domeinen zoals klinische diagnose, dat door richtlijn-gebaseerde bewijsaccumulatie en actieve verificatie de nauwkeurigheid en kalibratie aanzienlijk verbetert.

De kern

Stel je voor dat je een zeer slimme, maar soms wat onzeker robot-arts hebt. Deze robot kan patiënten onderzoeken, vragen stellen en een diagnose stellen. Maar wat als de robot een fout maakt? In de echte wereld, vooral in de gezondheidszorg, kan zo'n fout leiden tot ernstige problemen. We hebben dus een manier nodig om te controleren of de robot het juiste pad volgt, voordat we zijn advies gebruiken.

Dit is precies waar het nieuwe onderzoek GLEAN om de hoek komt kijken. Het is een slim systeem dat helpt om te controleren of deze AI-artsen hun werk goed doen, zonder dat we duizenden menselijke experts hoeven in te huren.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Onzichtbare" Fout

Stel je voor dat de robot-arts een diagnose stelt als een detective die een zaak oplost. Hij verzamelt stukjes bewijs: "De patiënt heeft koorts," "De buik is pijnlijk," "De bloedtest toont X."
Het probleem is dat bestaande controlesystemen vaak te veel vertrouwen op het 'gevoel' van de AI zelf. Het is alsof je de detective vraagt: "Ben je zeker dat je het hebt opgelost?" en hij zegt: "Ja, ik voel me er goed bij." Maar soms voelt hij zich goed bij het verkeerde antwoord. Ze missen de echte regels van het spel.

2. De Oplossing: GLEAN als de "Regelboekje-Controleur"

GLEAN (Guideline-grounded Evidence AccumulatioN) werkt anders. Het heeft geen eigen gevoel, maar kijkt naar regels.

• De Analogie: Stel je voor dat de robot-arts een speler is in een complex bordspel. Er is een dik regelboek (de medische richtlijnen) dat precies beschrijft wat je mag doen en wat niet.
• Hoe GLEAN werkt: GLEAN is de scheidsrechter die het regelboek bij de hand heeft. Hij kijkt niet alleen naar het eindresultaat (wie heeft gewonnen?), maar naar elke zet die de speler doet.
  • Zet 1: De speler vraagt om koorts. De scheidsrechter kijkt in het boek: "Goed, dat mag." (Puntje toegevoegd).
  • Zet 2: De speler zegt dat de buik zacht is, maar het boek zegt: "Bij deze ziekte moet de buik hard zijn." De scheidsrechter zegt: "Hé, dat klopt niet met de regels!" (Puntje eraf gehaald).
  • Zet 3: De speler doet een CT-scan die alles bevestigt. De scheidsrechter zegt: "Perfect, dat staat precies in het boek." (Veel punten toegevoegd).

3. Het "Bewijsverzamelings"-Principe

Het slimme aan GLEAN is dat het niet wacht tot het einde. Het verzamelt bewijsstukjes stap voor stap.

• De Analogie: Denk aan een thermometer die je in de kamer houdt. Als het koud wordt, daalt de temperatuur. Als het warm wordt, stijgt hij.
  • GLEAN houdt een "vertrouwens-thermometer" bij.
  • Als de robot-arts stappen doet die overeenkomen met het regelboek, stijgt de thermometer (hoog vertrouwen).
  • Als de robot-arts stappen doet die tegen de regels in gaan, daalt de thermometer (laag vertrouwen).
  • Aan het eind heeft GLEAN een exact percentage: "Ik ben 95% zeker dat dit antwoord correct is."

4. Wat als GLEAN twijfelt? (Actieve Verificatie)

Soms is het regelboek niet volledig duidelijk, of is de situatie heel complex. Dan kan de thermometer in het midden blijven hangen (bijvoorbeeld 50/50). Wat doet GLEAN dan?

• De Analogie: Stel je voor dat een detective twijfelt of een verdachte schuldig is. Hij zou niet zomaar een arrestatie plegen. Hij zou extra onderzoek doen.
  • GLEAN doet precies hetzelfde. Als het systeem twijfelt, zegt het: "Wacht even, ik ben niet zeker genoeg."
  • Dan zoekt het meer regels op (uitbreiding) om beter te kijken.
  • Het vergelijkt ook met andere mogelijke diagnoses (verschilcontrole): "Is deze patiënt misschien ziek X in plaats van ziek Y?"
  • Pas als het extra bewijs heeft verzameld, geeft het een definitief oordeel.

5. Waarom is dit belangrijk?

In de echte wereld (zoals in het ziekenhuis) willen artsen niet dat een AI zomaar een diagnose stelt zonder controle.

• Betrouwbaarheid: GLEAN zorgt dat we weten waarom de AI iets denkt, gebaseerd op harde regels en niet op giswerk.
• Veiligheid: Als de AI een fout maakt, grijpt het systeem in voordat het schade doet.
• Efficiëntie: Het is veel sneller en goedkoper dan elke diagnose handmatig te laten nakijken door een menselijke arts.

Samenvatting

GLEAN is als een slimme, onuitputtelijke assistent die naast de AI-arts staat. Hij heeft het medische regelboek bij de hand, kijkt elke stap na, verzamelt bewijs, en geeft een eerlijk oordeel over hoe zeker we kunnen zijn. Als hij twijfelt, vraagt hij om meer informatie, zodat we nooit op een onzeker antwoord hoeven te vertrouwen.

Dit maakt het mogelijk om slimme AI's veilig in te zetten in levensbelangrijke situaties, zoals het diagnosticeren van ziektes.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet als autonome agenten in hoog-risicodomains zoals de gezondheidszorg (bijvoorbeeld voor klinische diagnose). Hoewel deze agenten complexe beslissingen kunnen nemen, is het kritiek om de juistheid van hun beslissingen betrouwbaar te verifiëren voordat ze worden toegepast in de praktijk. Bestaande verificatiemethoden hebben echter twee grote tekortkomingen:

1. Gebrek aan domeinkennis: Veel methoden vertrouwen op interne kennis van het model of generieke beoordelingen, wat leidt tot bias en inconsistentie.
2. Slechte kalibratie: Bestaande verifiers geven vaak onbetrouwbare waarschijnlijkheidsschattingen (ze zijn niet "well-calibrated"), wat risicobewust handelen (zoals het afzien van een actie of escalatie) bemoeilijkt.
3. Kosten: Het trainen van verifiers met uitgebreide, door experts gelabelde datasets is vaak prohibitief duur en moeilijk te schalen.

De kernvraag is: Hoe kunnen we domeinkennis omzetten in betrouwbare verificatiesignalen met goed gekalibreerde correctheidskansen, zonder afhankelijk te zijn van enorme hoeveelheden specifieke annotaties?

Methodologie: GLEAN

De auteurs introduceren GLEAN (GuideLine-grounded Evidence AccumulatioN), een verificatiekader dat professionele protocollen (richtlijnen) gebruikt als externe grondslag voor verificatie. Het kader ziet agentverificatie als een proces van sequentiële bewijsaccumulatie langs de uitvoeringstrajecten van de agent.

De methode bestaat uit de volgende kerncomponenten:

1. Sequentiële Bewijsaccumulatie:

   • In plaats van alleen het eindresultaat te beoordelen, evalueert GLEAN elke stap ($t$) in het traject van de agent ($\tau_{1:t}$).
   • Het doel is om de posterieure waarschijnlijkheid $p_t = P(Z=1 | \tau_{1:t}, y)$ te schatten, waarbij $Z$ de latent variabele is voor correctheid.
   • Dit wordt gemodelleerd als een additieve accumulatie van logit-waarden (evidence) over de tijd.

2. Richtlijn-gegronde Surrogaatbewijs (Guideline-Grounded Surrogate Evidence):

   • Voor elke stap in het traject wordt een relevante medische richtlijn ($g$) opgehaald uit een externe database.
   • Een "LLM-judge" beoordeelt of de huidige stap (observatie en actie) in lijn is met deze richtlijn, wat resulteert in een score $s_{t,g}$.
   • Deze scores worden getransformeerd naar logit-waarden en opgeteld om een cumulatief surrogaatbewijs $S_t$ te vormen.
   • Kerninzicht: De auteurs tonen aan dat richtlijn-gegronde signalen een sterke, monotone en bijna lineaire relatie vertonen met de correctheid in de logit-ruimte, wat eenvoudige kalibratie mogelijk maakt.

3. Bayesiaanse Logistische Regressie voor Kalibratie:

   • Omdat de ruwe scores van de LLM-judge vaak slecht gekalibreerd zijn, wordt een kalibratielaag gebruikt.
   • Door gebruik te maken van Bayesiaanse logistische regressie op een klein aantal gelabelde trajecten, worden de cumulatieve signalen ($S_t$) omgezet in goed gekalibreerde correctheidskansen ($\hat{p}_T$).
   • Dit maakt het systeem data-efficiënt; het vereist geen grote datasets voor training.

4. Actieve Verificatie (Active Verification):

   • Wanneer de onzekerheid (bijv. entropie van de voorspelde kans) een bepaalde drempel overschrijdt, activeert het systeem extra verificatiestappen:
     • Richtlijn-uitbreiding (Guideline Expansion): Er worden extra, relevante richtlijnen opgehaald om de dekking te vergroten.
     • Differentiële Checks: De agent wordt geëvalueerd tegenover richtlijnen voor concurrerende diagnoses. Als een traject ook sterk past bij een alternatieve diagnose, wordt de score voor de oorspronkelijke diagnose verlaagd om oververtrouwen te voorkomen.

Belangrijkste Bijdragen

1. Conceptueel: Herformulering van verificatie in hoog-risicodomains als sequentiële bewijsaccumulatie gebaseerd op expliciete domeinkennis (richtlijnen), wat de link legt tussen verificatie en "test-time scaling".
2. Technisch: Operationalisatie van richtlijnen in stap-voor-stap uitlijningsscores, gekalibreerd via Bayesiaanse regressie, en de introductie van een actieve verificatiemechanisme dat onzekerheid gebruikt om extra bewijs te verzamelen.
3. Empirisch: Uitgebreide validatie in klinische diagnose-scenario's (diverticulitis, cholecystitis, pancreatitis) met gebruik van het MIMIC-IV dataset.

Resultaten

GLEAN werd getest tegen een breed scala aan baselines (zoals LLM-as-a-Judge, Self-Consistency, Reward Models en RAG-augmented methoden) op twee verschillende LLM-architecturen (Qwen2.5-7B en Qwen3-30B).

• Discriminatie en Kalibratie: GLEAN overtrof de beste baselines met 12% in AUROC en een 50% reductie in de Brier-score (een maatstaf voor kalibratie).
  • Met actieve verificatie bereikte GLEAN een AUROC van >0.94 en een Brier-score <0.10.
• Best-of-N Selectie: Wanneer GLEAN werd gebruikt om de beste uit 16 gegenereerde trajecten te selecteren, steeg de diagnose-accuraatheid van de agent van 55,6% naar 77,5%.
• Expert Validatie: Een studie met drie klinische experts bevestigde de praktische bruikbaarheid. Experts gaven een hoge score voor interpretabiliteit (4.36/5) en klinische nut (4.12/5), en waren het grotendeels eens over de foutdetectie (Cohen's $\kappa$ = 0.78).
• Efficiëntie: GLEAN is aanzienlijk efficiënter dan methoden die afhankelijk zijn van het genereren van meerdere volledige trajecten (zoals Self-Consistency), omdat het richtlijnen gebruikt om een enkel traject te verifiëren.

Betekenis en Impact

Dit paper biedt een robuust kader voor het veilig inzetten van autonome AI-agenten in kritieke domeinen zoals de gezondheidszorg.

• Vertrouwen: Het lost het probleem op van onbetrouwbare zekerheidskansen door gebruik te maken van expliciete, auditabele standaarden (richtlijnen) in plaats van alleen interne modelkennis.
• Risicobeheer: Door onzekerheid te kwantificeren en actief extra bewijs te verzamelen bij twijfel, biedt het een mechanisme voor risicobewust handelen (bijv. het laten controleren door een menselijke arts).
• Generaliseerbaarheid: De aanpak is niet beperkt tot de geneeskunde; het kan worden toegepast op elk domein waar gestructureerde protocollen bestaan, zoals juridische zaken, financiën of veiligheidskritieke systemen.

Samenvattend demonstreert GLEAN dat het combineren van domeinrichtlijnen met probabilistische bewijsaccumulatie een effectieve, data-efficiënte en goed gekalibreerde manier is om hoog-risico AI-beslissingen te verifiëren.