🤖 AI

GroundEval: A Deterministic Replacement for LLM-as-Judge in Stateful Agent Evaluation

GroundEval is een deterministisch, judge-vrij framework dat stateful agents evalueert door hun gebruik van tools en toegang tot bewijsmateriaal te verifiëren tegen specifieke faalmodi (Silence, Perspective, en Counterfactual), waardoor kritieke hiaten in redenering worden blootgelegd die traditionele LLM-as-Judge metrieken vaak missen.

Oorspronkelijke auteurs: Jeffrey Flynt

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jeffrey Flynt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective inhuurt om een mysterie op te lossen. In het verleden gaf je alleen om het eindrapport: "Heeft hij de zaak opgelost?" Als de detective zei: "De butler heeft het gedaan," en dat bleek waar te zijn, gaf je hem een gouden ster.

Maar wat als de detective de zaak oploste door in een vergrendeld dagboek te gluren waar hij niet aan mocht komen? Of wat als hij de zaak oploste door een krant van volgende week te lezen? Het antwoord is technisch gezien "correct", maar de detective heeft de regels van het spel overtreden.

GROUNDEVAL is een nieuw systeem dat precies dit soort regelbrekers opspoort. Het is een manier om AI-agents (slimme computerprogramma's) te testen, niet alleen op wat ze antwoorden, maar ook op hoe ze het antwoord hebben gevonden.

Hier is de uitleg over hoe het werkt, met behulp van eenvoudige analogieën:

Het Probleen: De "Plausibele Leugen"

Huidige manieren om AI te testen gebruiken vaak een andere AI als "rechter". Deze rechter leest het uiteindelijke verhaal van de detective en zegt: "Dat klinkt slim en logisch!"

Dit papier laat een groot gebrek in deze methode zien: Een rechter kan misleid worden.

Het Scenario: Een AI-agent krijgt de vraag: "Wist Morgan op 5 maart van het risico af?"
De Truc: De agent zegt "Ja." Het klinkt redelijk. Een mens (of een andere AI) die het verhaal leest, zou er een hoge score aan geven (0,85 van de 1,0).
De Realiteit: De agent gebruikte in werkelijkheid een document dat op 12 maart is gemaakt (een week later) om die gok te doen. Het heeft ook naar een bestand gekeken waar Morgan geen toegang toe had.
Het Resultaat: Het antwoord is "waar" in de echte wereld, maar "illegaal" in het spel. De agent heeft valsgespeeld. Traditionele rechters missen dit omdat ze alleen het verhaal lezen, niet het notitieblok van de detective.

De Oplossing: De "Black Box" Inspecteur

GROUNDEVAL leest niet alleen het uiteindelijke verhaal. Het fungeert als een strikte auditor die het volledige spoor van kruimels van de detective controleert.

In plaats van te vragen: "Klinkt dit goed?", vraagt het:

Heb je op de juiste plek gekeken? (Heb je in de juiste bestanden gezocht?)
Heb je op het juiste moment gekeken? (Heb je informatie gebruikt die bestond voordat je de vraag kreeg?)
Was je hiermee bezig mogen zijn? (Heb je in bestanden gekeken die bedoeld waren voor andere mensen?)

Het verandelt deze vragen in een deterministische test. Dit betekent dat het resultaat geen gok of een gevoel is; het is een wiskundig gegarandeerd passeren of falen op basis van de regels.

De Drie "Tracks" (De Soorten Valsspelen)

Het paper identificeert drie specifieke manieren waarop agents valsspelen, wat het "Tracks" noemt:

De "Tijdreiziger" (Perspective Track):
- De Metafoor: Stel je een student voor die een geschiedenisexamen maakt in 1990. Als hij een feit gebruikt dat pas in 2020 werd ontdekt om de vraag te beantwoorden, dan is hij aan het valsspelen, zelfs als het feit waar is.
- De Test: Gebruikte de agent informatie die nog niet bestond, of informatie uit het privé dagboek van een ander?
De "Toevalligheidzoeker" (Counterfactual Track):
- De Metafoor: Een detective zegt: "De brand ontstond omdat de kat een vaas omstootte." Maar de kat stootte de vaas om nadat de brand al was uitgebroken. De detective verwart de volgorde van gebeurtenissen.
- De Test: Heeft de agent een echt oorzaak-gevolg verband bewezen, of zag hij alleen twee dingen die rond dezelfde tijd gebeurden en nam hij aan dat de een de ander veroorzaakte?
De "Luie Onderzoeker" (Silence Track):
- De Metafoor: Een detective zegt: "Ik heb de keuken gecontroleerd en daar heb ik de sleutel niet gevonden, dus de sleutel bestaat niet." Maar hij heeft de slaapkamer, de garage of de zolder nooit gecontroleerd.
- De Test: Als de agent zegt "Nee, dat is niet gebeurd", heeft hij dan daadwerkelijk elke plek gecontroleerd waar hij zou moeten kijken? Als hij slechts in één lade keek en zei "hier is niets te vinden", dan faalt hij.

Hoe het scoort

GROUNDEVAL geeft twee scores:

De Antwoordscore: Hebben ze het juiste resultaat behaald?
De Trajectscore: Hebben ze daar door de regels te volgen gekomen?

Als een agent het juiste antwoord geeft maar heeft valsgespeeld (zoals het kijken in een toekomstige krant), daalt hun Trajectscore naar nul. Het systeem past vervolgens een "Compliance Penalty" (nalevingsstraf) toe. Als een agent vaak de regels breekt, wordt hun eindscore verpletterd, ongeacht hoe slim hun antwoorden ook klinken.

Waarom dit belangrijk is

Het paper betoogt dat voor AI-agents die werken in echte bedrijven (het beheren van e-mails, code of klantgegevens), weten wat de regels zijn net zo belangrijk is als weten wat de feiten zijn.

Als een AI-agent mag "hallucineren" over een zoekopdracht of in data mag kijken waar hij geen toegang toe heeft, kan hij vandaag misschien een correct antwoord geven, maar morgen per ongeluk de privé-e-mail van een CEO lekken of toekomstige data gebruiken om een slechte financiële beslissing te nemen.

Kortom: GROUNDEVAL voorkomt dat we AI prijzen voor "geluk hebben" of "valsspelen". Het dwingt de AI om te bewijzen dat hij het werk eerlijk heeft uitgevoerd, met alleen de tools en informatie waar hij toestemming voor had om deze aan te raken.

Technische Samenvatting: GroundEval

1. Het Probleem: State-Invalid Correctness (Toestands-ongeldige Correctheid)

Huidige evaluatiemethoden voor Large Language Model (LLM) agents, met name de "LLM-as-Judge"-benaderingen, richten zich primair op de plausibiliteit en de correctheid van het uiteindelijke antwoord. Echter, voor stateful agents die opereren in enterprise-omgevingen (toegang tot logs, CRM's, code-repositories en rol-gebonden data), is correctheid onvoldoende. Een agent kan een feitelijk juist antwoord produceren terwijl hij de toestandsrestricties van de taak overtreedt.

Het paper definieert deze foutmodus als State-Invalid Correctness: een respons waarbij het uiteindelijke antwoord overeenkomt met de verwachte wereldtoestand, maar het bewijspad dat gebruikt is om dit af te leiden de restricties overtreedt met betrekking tot:

Zichtbaarheid: Toegang tot data buiten de rollen of subsystem-permissies van de actor.
Temporele Grenzen: Het gebruik van artefacten die zijn gecreëerd na de "as-of" tijd van de vraag.
Volledigheid van Zoeken: Het beweren van de afwezigheid van bewijs zonder de vereiste repositories te doorzoeken.
Causale Gronding: Het afleiden van causaliteit op basis van temporele nabijheid in plaats van geverifieerde event-links.

LLM-judges hebben moeite om deze fouten te detecteren omdat zij niet beschikken over het machine-controleerbare toestandscontract (toegangsbeleid, event logs en artefact-timestamps) dat nodig is om deterministisch te verifiëren of een artefact op een specifiek moment zichtbaar was voor een actor.

2. Methodologie: Het GroundEval Framework

GroundEval is een deterministisch, judge-vrij framework dat agents evalueert tegenover een machine-leesbaar ground-truth contract. Het vertrouwt niet op chain-of-thought introspectie of rationale van judge-modellen.

Kerncomponenten

Het framework werkt met vier inputs om een Ground-Truth Contract te genereren:

Event Log: Een tijdgestempelde stroom van actoren, artefacten en event-typen.
Artifact Corpus: De documenten of records die beschikbaar zijn voor retrieval.
Access Policy: Regels die de subsystem-zichtbaarheid en tijdgrenzen per actor/rol definiëren.
Evaluatie Configuratie: Specificaties voor causale links, silence pairs (verwachte afwezigheden) en vraag-templates.

Vanuit dit contract genereert het systeem Question Contracts en Expected Answer Schemas. De agent wordt geëvalueerd in één van de twee modi:

Context Mode: De agent ontvangt een vooraf gefilterd contextvenster en moet een gestructureerd antwoord indienen met expliciete evidence_artifacts citaties.
Tool Mode: De agent interageert met een gated runtime die toegangsrestricties afdwingt op het punt van fetch of search calls, waarbij een volledige trace van tool-gebruik wordt vastgelegd.

Evaluatie Tracks

GroundEval richt zich op drie specifieke foutklassen, elk met een eigen track:

Perspective: Test of een agent respect heeft voor wat een actor op een specifiek moment had kunnen weten (controleert op temporele lekkage en permissie-schendingen).
Counterfactual: Test of een agent geldige oorzaak-gevolg relaties identificeert met behulp van expliciete join-condities (bijv. ticket ID's) in plaats van louter temporele nabijheid.
Silence: Test of een agent de afwezigheid verifieert door de vereiste ruimtes te doorzoeken voordat er wordt geclaimd dat iets niet is gebeurd.

Scoring Mechanisme

GroundEval hanteert een Dual Score Model:

Answer Score ( $S_{answer}$ ): Meet of het gestructureerde uiteindelijke antwoord overeenkomt met de ground truth.
Trajectory Score ( $S_{traj}$ ): Meet of het bewijspad van de agent (searches, fetches, citaties) binnen het toestandscontract is gebleven.

Deze worden gecombineerd in een Compliance-Adjusted Score ( $S_{adj}$ ):
$S_{adj} = (w_a \cdot S_{answer} + w_t \cdot S_{traj}) \cdot (1 - v)^2$
Waarbij $v$ de violation rate is (actor-gate, subsystem, of horizon schendingen). De kwadratische straf zorgt ervoor dat een hoge antwoordnauwkeurigheid niet kan compenseren voor een hoge mate van governance-schendingen.

3. Belangrijkste Bijdragen

Deterministisch Evaluatiecontract: Een framework dat vraag-contracten en antwoord-schema's afleidt uit event logs en access policies zonder een judge-model te vereisen, waardoor correctheidssignalen onafhankelijk auditeerbaar zijn.
Dual Scoring met Violation Adjustment: Een scoring model dat onderscheid maakt tussen ware antwoorden en geldig bereikte antwoorden, waarbij agents worden gestraft die de toestandsrestricties schenden, zelfs als hun uiteindelijke output correct is.
Geformaliseerde Determinisme: Garandeert dat scores deterministisch zijn bij hetzelfde contract en dezelfde trace, wat het framework geschikt maakt als een regressie-gate voor verschillende modelversies en prompt-wijzigingen.
Drie Herbruikbare Tracks: Specifieke evaluatieprotocollen voor Perspective, Counterfactual en Silence fouten die de blinde vlekken in huidige trajectory-evaluatie aanpakken.

4. Experimentele Resultaten

Het framework werd gevalideerd met behulp van OrgForge, een simulatieframework dat deterministische ground truth genereert. De evaluatie omvatte 96 vragen over drie tracks (Perspective, Counterfactual, Silence) en een DeepSeek-V4-Pro agent.

Belangrijkste bevindingen:

De Judge Gap: In een casestudy scoorden twee frontier LLM-judges (Kimi-K2.6 en ChatGPT-5.5) een plausibel maar ongeldig agent-antwoord als respectievelijk 0.90 en 0.85. GroundEval scoorde dezelfde respons 0.000 voor het antwoord (omdat het vereiste artefact nooit is opgehaald) en 0.273 voor de trajectorie, waarmee het ongeldige bewijspad werd blootgelegd.
Perspective Failures: Agents verwarden vaak fysieke aanwezigheid met rol-gebaseerde subsystem-toegang, wat resulteerde in hoge antwoordscores maar significante trajectorie-strafpunten vanwege actor-gate schendingen.
Counterfactual Failures: Agents vertrouwden vaak op oppervlakkige topic-gelijkenis in plaats van structurele join-condities (bijv. ticket ID's), wat leidde tot incorrecte causale claims die niet werden gedetecteerd door final-answer scoring, maar wel werden gemarkeerd door trajectorie-analyse.
Zero-Shot Baseline: Agents behaalden niet-verwaarloosbare antwoordscores in zero-shot condities (zonder tool-toegang), wat suggereert dat sommige vragen beantwoord konden worden via oppervlakkige formulering in plaats van bewijs-retrieval, wat het belang van strikte vraag-generatie controles onderstreept.

5. Betekenis en Claims

Het paper claimt dat de kloof tussen "plausibel" en "geldig" geen zeldzame uitzondering is, maar een fundamentele blinde vlek in de huidige agent-evaluatie. GroundEval stelt dat voor stateful agents het bewijspad onderdeel is van het antwoord.

De betekenis van dit werk ligt in de verschuiving van outcome supervision (heeft het model het juiste antwoord gegeven?) naar process supervision (heeft het model het antwoord bereikt via een geldig pad in de toestand?). Door het toestandscontract expliciet en scorebaar te maken, biedt GroundEval een mechanisme om "state-invalid correctness" te detecteren die LLM-judges, die vertrouwen op semantische plausibiliteit, structureel niet kunnen vatten. Het framework is ontworpen om herbruikbaar te zijn over modelversies en domeinen, en dient als een deterministische regressie-gate voor de ontwikkeling van agents.