🤖 AI

Consistency as a Testable Property: Statistical Methods to Evaluate AI Agent Reliability

Dit artikel introduceert een strikt statistisch kader met behulp van U-statistieken en op kernels gebaseerde metrieken om onderscheid te maken tussen de kerncapaciteiten van een AI-agent en de robuustheid van diens uitvoering, en toont aan dat maatstaven voor consistentie op trajectniveau een superieure diagnostische gevoeligheid bieden ten opzichte van traditionele pass@1-ratio's voor het identificeren van betrouwbaarheidsproblemen in omgevingen met hoge risico's.

Oorspronkelijke auteurs: Harsh Raj, Niranjan Orkat, Suvrorup Mukherjee, Aritra Guha, Cheryl Flynn, Subhabrata Majumdar

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Harsh Raj, Niranjan Orkat, Suvrorup Mukherjee, Aritra Guha, Cheryl Flynn, Subhabrata Majumdar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente robotassistent inhuurt om een complex raadsel op te lossen. Je vraagt hem om een specifiek type brug te bouwen. Hij doet dit perfect. Je bent blij.

Maar dan stel je exact dezelfde vraag opnieuw, alleen net iets anders geformuleerd: "Zou je een brug van dit specifieke ontwerp kunnen construeren?" In plaats van de brug te bouwen, besluit de robot plotseling een boot te bouwen, of raakt hij in de war en begint hij de blauwdrukken op te eten.

Dit is het probleem dat dit artikel aanpakt. Het betoogt dat het feit dat een AI-agent (een robotassistent) één keer het juiste antwoord geeft, niet betekent dat hij betrouwbaar is. Hij kan een "één-hit wonder" zijn dat kapotgaat als je de formulering van je verzoek of de omgeving waarin hij werkt, verandert.

Hier is een uiteenzetting van hun oplossing, met eenvoudige analogieën:

1. Het Probleem: De "Wispelturige Chef"

Huidige manieren om AI te testen, lijken op een restaurantcriticus die slechts één gerecht proeft. Als de chef een perfecte biefstuk maakt, geeft de criticus een vijfsterrenbeoordeling. Maar wat als de chef een "wispelturige chef" is?

Als je om de biefstuk "medium-rare" vraagt, maken ze hem perfect.
Als je erom vraagt "medium rare" (met een spatie), verbranden ze hem.
Als je erom vraagt in een andere taal, serveren ze je soep.

Het artikel zegt: We moeten testen of de chef consistent is, niet alleen of hij één keer kan koken.

2. De Oplossing: De "Consistentietest"

De auteurs hebben een nieuwe statistische "fitheidstest" voor AI-agenten ontwikkeld. In plaats van de AI één keer een taak te laten uitvoeren, vragen ze hem dezelfde taak vele malen te doen, maar met kleine, onschadelijke veranderingen (zoals het wijzigen van het lettertype, het toevoegen van een typefout, of het herformuleren van de zin).

Ze meten twee dingen:

Het Resultaat (Output-consistentie): Gaf de AI elke keer hetzelfde antwoord?
De Reis (Traject-consistentie): Volgde de AI elke keer dezelfde stappen om daar te komen?

3. De "Kaart" versus de "Bestemming"

Dit is de belangrijkste ontdekking van het artikel. Ze ontdekten dat een AI de juiste bestemming (het juiste antwoord) kan bereiken, maar elke keer een volledig andere kaart (de stappen die hij nam) kan volgen.

De Analogie: Stel je voor dat je een GPS om een route naar de luchthaven vraagt.
- Scenario A: Het geeft je elke keer dezelfde route. (Consistent)
- Scenario B: Het brengt je naar de luchthaven, maar vandaag neemt het de snelweg, morgen de achterwegen, en de dag daarna rijdt het door een park. (Inconsistent)

Het artikel toont aan dat traditionele tests alleen controleren of je op de luchthaven bent aangekomen (Geslaagd/Niet geslaagd). Hun nieuwe test controleert of de GPS een betrouwbare kaart gebruikt. Ze ontdekten dat zelfs wanneer AI het juiste antwoord geeft, het vaak elke keer een chaotisch, ander pad volgt, wat gevaarlijk is voor gebruik in de echte wereld.

4. De "Drift"-detector

De auteurs ontwikkelden een wiskundig hulpmiddel (met behulp van zogenoemde "U-statistieken" en "kernen") om deze "drift" te meten.

Compositie-drift: Gebruikte de AI dezelfde hulpmiddelen? (Bijvoorbeeld: gebruikte hij een hamer en een zaag, of een hamer en een lepel?)
Volgorde-drift: deed de AI dingen in dezelfde volgorde? (Bijvoorbeeld: sneed hij het hout voor het te verven, of verft hij het eerst?)

Ze ontdekten dat AI-agenten vaak goed zijn in het kiezen van de juiste hulpmiddelen (Compositie), maar verschrikkelijk zijn in het onthouden van de volgorde waarin ze ze moeten gebruiken (Volgorde). Als je de omgeving iets verandert (zoals het hernoemen van een bestand of het wijzigen van een databasekolom), kan de AI de juiste hulpmiddelen kiezen, maar ze in de verkeerde volgorde gebruiken, waardoor het hele plan instort.

5. De "Tijdsreizen"-diagnose

Het artikel introduceert ook een slimme manier om te kijken wanneer de AI fouten maakt.

Vooraanstaande fouten: De AI raakt direct aan het begin in de war.
Achteraanstaande fouten: De AI begint goed, maar verliest zijn draad helemaal aan het einde.

Ze ontdekten dat sommige AI-agenten eigenlijk vrij stabiel zijn aan het begin, maar aan het einde uit elkaar vallen. Dit is als een student die een geweldig inleiding schrijft voor een essay, maar de conclusie volledig vergeet. Hun nieuwe "gewogen" test kan deze specifieke zwakte opsporen, terwijl oude tests gewoon zouden zeggen "Essay gefaald" zonder uit te leggen waarom.

6. De "Vervormde Output"-verrassing

In één specifiek experiment vroegen ze aan een AI om gegevens in een ander formaat uit te voeren (XML in plaats van JSON). De AI gaf niet alleen het verkeerde antwoord; het stortte volledig in en produceerde onzin die niet te lezen was. Dit toonde aan dat de AI niet slecht "redeneerde"; het was zwaar bevooroordeeld ten opzichte van één formaat (JSON) en kon de overstap niet aan.

Samenvatting

Het artikel beweert dat consistentie een meetbare, testbare eigenschap is die momenteel ontbreekt in AI-evaluaties.

Oude manier: "Kreeg het het juiste antwoord?" (Ja/Nee)
Nieuwe manier: "Als we dezelfde vraag 100 keer in 100 verschillende manieren stellen, volgt het dan hetzelfde pad en krijgt het hetzelfde resultaat?"

Ze bewijzen dat veel AI-agenten "bros" zijn. Ze kunnen slim lijken op een standaardtest, maar als je de prompt iets aanpast, valt hun interne logica uit elkaar. Hun nieuwe kader geeft ontwikkelaars de wiskundige hulpmiddelen om precies te vinden waar en waarom de AI kapotgaat, zodat ze de architectuur kunnen repareren voordat ze deze inzetten in situaties met hoge risico's zoals gezondheidszorg of financiën.

Kortom: Vertrouw de AI niet alleen omdat hij één keer het juiste antwoord gaf. Zorg ervoor dat hij niet in paniek raakt als je het lettertype van je vraag verandert.

Technische Samenvatting: Consistentie als Testbare Eigenschap

Probleemstelling

Hoewel agents op basis van Large Language Models (LLM) opmerkelijke capaciteiten hebben aangetoond in domeinen variërend van software-engineering tot complex redeneren, wordt hun inzet in omgevingen met hoge risico's belemmerd door een gebrek aan gedragsconsistentie. In tegenstelling tot deterministische software vertonen LLM-gebaseerde agents aanzienlijke variatie in output wanneer ze geconfronteerd worden met semantisch equivalente inputs, als gevolg van stochastiek bij het sampling en gevoeligheid voor oppervlakkige variaties in prompts. Bestaande evaluatiemethodologieën richten zich voornamelijk op percentages taakvoltooiing (bijv. pass@1) en nauwkeurigheid op specifieke benchmarks. Deze metrieken falen echter om vast te stellen of agents coherente en betrouwbare output produceren wanneer ze geconfronteerd worden met variaties in inputformulering, context of uitvoeringsomgevingen.

Het artikel benadrukt verschillende kritieke beperkingen in de huidige betrouwbaarheid van agents:

Fragiliteit ten opzichte van verstoringen: Kleine typografische fouten of parafraseren kunnen leiden tot aanzienlijke dalingen in de nauwkeurigheid van chain-of-thought redenering.
Gevoeligheid voor hulpmiddelen: Agents met toegang tot meerdere hulpmiddelen vertonen grillig gedrag wanneer hulpmiddelbeschrijvingen worden gewijzigd of irrelevante hulpmiddelen worden toegevoegd, waarbij de nauwkeurigheid onder adversariale omstandigheden tot bijna nul daalt.
Contradictoire antwoorden: Agents produceren vaak contradictoire antwoorden over conversatierondes heen, met name onder contextlengtebeperkingen of bij onvoldoende gespecificeerde queries.
Verontreiniging van benchmarks: Prestaties op statische benchmarks (bijv. SWE-bench) vertalen zich vaak niet naar continu bijgewerkte varianten (bijv. SWE-bench-Live), wat wijst op een gebrek aan echte robuustheid.

Bestaand werk mist een gestandaardiseerd, rigoureus raamwerk om consistentie te decomponeren en te meten op het niveau van agent-uitvoeringstrajecten, waarbij vaak alleen de uiteindelijke output wordt onderzocht.

Methodologie

De auteurs stellen een rigoureuze meetwetenschap voor AI-agentbetrouwbaarheid voor, gebaseerd op statistische hypothetetoetsing. Het raamwerk decomponeert betrouwbaarheid in twee dimensies: observable (op output-niveau) en intern (op traject-niveau).

1. Output-consistentie via U-statistieken

Om consistentie op output-niveau te meten, formaliseren de auteurs het probleem met behulp van U-statistieken.

Opzet: Gegeven een basisprompt $x_0$ en een set semantisch equivalente verstoord varianten $x_1, \dots, x_n$ , produceert de agent outputs $y_0, \dots, y_n$ .
Metriek: Een symmetrische kernfunctie $k(y_i, y_j)$ meet de gelijkenis tussen paren outputs (bijv. BLEU, ROUGE, entailment of door LLM's beoordeelde judges).
Schatter: De consistentie wordt geschat door de U-statistiek $U_n$ , wat een onbevooroordeelde schatter is van de populatieparameter $\theta = E[k(Y, Y')]$ .
Hypothetetoetsing: Het raamwerk toetst de nulhypothese $H_0: \theta = 1$ (perfecte consistentie) tegen $H_1: \theta < 1$ (inconsistentie). Stelling 1 en 2 stellen vast dat onder specifieke aannames (distributie-invariantie en homogene taakverdeling) de toetsingsstatistiek asymptotisch een normale verdeling volgt, wat garanties biedt op grootte (controle van vals-positieven) en power (detectiegevoeligheid).

2. Traject-consistentie via Kernmethoden

Omdat agents sequentiële besluitvormingsprocessen uitvoeren, breidt het raamwerk zich uit tot uitvoeringstrajecten $\tau = (a_1, \dots, a_T)$ .

Stochastische processen: Trajecten worden behandeld als stochastische processen met variabele lengtes en temporele afhankelijkheden.
Metriek: De auteurs gebruiken Maximum Mean Discrepancy (MMD) in een Reproducing Kernel Hilbert Space (RKHS) om de afstand te meten tussen de verdeling van basis-trajecten en verstoord trajecten.
Kernen: Om met variabele lengte actie-sequenties om te gaan, hanteert het artikel:
- Jensen-Shannon Afstand (JSD): Meet compositieshift (proporties van gebruikte hulpmiddelen).
- Levenshtein Afstand (LD): Meet ordeningsshift (sequentiestabiliteit).
- Global Alignment Kernel (GAK): Een positief-definiete kern die het probleem van niet-negatieve definitie bij edit-afstanden oplost, en een statistisch geldig analogon voor MMD biedt.
Gewogen Metrieken: Om de asymmetrie van fouten vast te leggen (waarbij afwijkingen in een later stadium consequenter zijn dan vroege exploratie), introduceren de auteurs gewogen Levenshtein-afstanden, waarbij de edit-kosten worden geschaald op basis van positie.

3. Omgaan met Multimodaliteit

Het raamwerk adresseert het probleem waarbij meerdere geldige oplossingsstrategieën bestaan voor een enkele taak. Het stelt een tweestapsbenadering voor: (i) het identificeren van oplossingsmodi via spectrale clustering op de GAK-matrix, en (ii) het meten van consistentie binnen elke modus om legitieme strategiediversiteit te onderscheiden van echte instabiliteit.

Belangrijkste Bijdragen

Fundamenteel Raamwerk: Het artikel vestigt een principieel statistisch raamwerk voor het kwantificeren van agent-consistentie, waarbij onderscheid wordt gemaakt tussen kerncapaciteit en uitvoeringsrobustheid.
Theoretische Rigor: Het biedt formele bewijzen voor de asymptotische normaliteit van de voorgestelde toetsingsstatistieken (Stellingen 1–3), wat conservatieve vals-positiefpercentages en hoge power voor het detecteren van echte inconsistenties garandeert.
Diagnostische Granulariteit: Door inconsistentie te decomponeren in compositieshift (welke acties worden ondernomen) en ordeningsshift (hoe ze worden gesequenced), onthult het raamwerk architecturale zwaktes die onzichtbaar zijn voor output-only metrieken.
Temporele Diagnostiek: De introductie van gewogen trajectmetrieken maakt het mogelijk om te identificeren wanneer agents afwijken (fouten die vooraan staan versus fouten die achteraan staan), wat specifieke richtlijnen biedt voor architecturale correcties.

Experimentele Resultaten

Het raamwerk werd gevalideerd op drie agent-benchmarks: SWE-bench Verified (software-engineering), Spider2-DBT (datatransformatie) en BFCL (functiediensten). Experimenten omvatten het toepassen van prompt-niveau verstoringen (parafraseren, terug-vertalen, ruis) en taak-niveau verstoringen (omgevingswijzigingen, schema-verschuivingen, misleidende hulpmiddelen).

Hoge Nauwkeurigheid Maskeert Consistentiefouten: Agents behielden relatief hoge output-consistentie (0,75–0,90) onder prompt-niveau verstoringen, maar vertoonden significante degradatie onder taak-niveau verstoringen.
Trajectmetrieken Onthullen Verborgen Fouten:
- SWE-bench: Onder een "lineaire MCP"-verstoring (wijziging van informatiezoekmechanismen) daalde de nauwkeurigheid van OpenHands+Kimi-K2 tot ongeveer 25%, terwijl de output-consistentie op 60% bleef. Trajectanalyse onthulde dat hoewel de selectie van hulpmiddelen consistent bleef (hoge JSD), de volgorde van acties aanzienlijk degradeerde (lage Levenshtein), wat wijst op een falen in uitvoeringssequencing.
- BFCL: Onder een XML-formaat verstoring daalde de nauwkeurigheid van OpenHands+Kimi-K2 tot bijna nul. Trajectmetrieken toonden een volledig ineenstorting aan zowel in compositie als ordening, wat een hardgecodeerde afhankelijkheid van JSON-parsing en een onvermogen om geldig XML te genereren onthulde.
- Spider2-DBT: Codex toonde hoge compositie-consistentie maar gematigde ordeningsconsistentie onder schema-verstoringen, wat suggereert dat de agent consequent het verkeerde antwoord gaf op verstoord inputs.
Verstoringssterkte: Ablatiestudies toonden aan dat het verhogen van de verstooringssterkte (bijv. meerdere parafraseringspasses) leidde tot geleidelijke dalingen in nauwkeurigheid, terwijl specifieke structurele wijzigingen (bijv. injectie van dode code) verzadigingseffecten vertoonden, wat suggereert dat agents duidelijk ongebruikte code kunnen negeren.

Betekenis en Claims

Het artikel claimt de "wiskundige tools te bieden om te isoleren waar en waarom agents afwijken". De betekenis ligt in het verschuiven van het evaluatieparadigma van "lost de agent de taak op?" naar "lost de agent de taak betrouwbaar op onder variatie?".

Diagnostische Gevoeligheid: De auteurs demonstreren dat consistentiemetrieken op traject-niveau een veel grotere diagnostische gevoeligheid bieden dan traditionele pass@1-percentages, waardoor architecturale broosheid wordt blootgelegd die door nauwkeurigheidsmetrieken wordt verdoezeld.
Klaarheid voor Inzet: Door specifieke faalmodi te identificeren (bijv. sequencingfouten versus fouten bij hulpmiddelselectie), stelt het raamwerk de identificatie en correctie van architecturale zorgen mogelijk, wat een voorwaarde is voor het inzetten van agents in omgevingen met hoge risico's en in de echte wereld.
Beperkingen: De auteurs erkennen dat hun benadering rust op de aanname van semantische equivalentie in verstoringen, wat empirisch moeilijk te valideren is. Bovendien behandelt de huidige trajectanalyse actie-sequenties als de eenheid van consistentie, en negeert het tussentijdse redeneertoestanden of updates van overtuigingen, wat toegang zou vereisen tot interne modeltoestanden die momenteel niet worden blootgelegd door standaard agent-raamwerken.

Concluderend biedt dit werk een rigoureuze, testbare definitie van agent-betrouwbaarheid, die verder gaat dan eenvoudige succespercentages naar een genuanceerd begrip van hoe agents zich onder stress gedragen, en daarmee een fundament legt voor het bouwen van robuustere AI-systemen.