🤖 AI

Towards a Science of AI Agent Reliability

Dit artikel stelt een raamwerk voor van twaalf metrieken over vier dimensies — consistentie, robuustheid, voorspelbaarheid en veiligheid — om de betrouwbaarheid van AI-agenten holistisch te evalueren, waarbij wordt onthuld dat recente verbeteringen in capaciteiten slechts marginale winst hebben opgeleverd in werkelijke operationele betrouwbaarheid.

Oorspronkelijke auteurs: Stephan Rabanser, Sayash Kapoor, Peter Kirgis, Kangheng Liu, Saiteja Utpala, Arvind Narayanan

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Stephan Rabanser, Sayash Kapoor, Peter Kirgis, Kangheng Liu, Saiteja Utpala, Arvind Narayanan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente, razendsnelle persoonlijke assistent hebt ingehuurd om je leven te leiden. Ze kunnen vluchten boeken, je bankrekening beheren en code schrijven. Op papier lijken ze perfect: ze geven 95% van de tijd het juiste antwoord. Maar in het echte leven ben je nerveus. Soms boeken ze de verkeerde vlucht omdat je "vrijdag ochtend" zei in plaats van "vrijdag AM". Soms verwijderen ze je volledige database omdat ze een opdracht verkeerd begrepen. Andere keren doen ze exact dezelfde taak vijf keer en leveren ze vijf verschillende resultaten op.

Dit artikel betoogt dat we deze AI-agenten momenteel beoordelen zoals we een student beoordelen op één enkel toetsresultaat. We vragen: "Heeft hij het goede antwoord gegeven?" en als dat zo is, geven we ze een A. Maar de auteurs zeggen dat dat niet genoeg is voor iets dat autonoom voor ons aan de slag gaat. We moeten weten hoe ze zich gedragen, niet alleen of ze slagen.

Om dit op te lossen, stellen de auteurs een nieuwe manier voor om AI-agenten te testen, waarbij ze ideeën lenen uit de luchtvaart en kerncentrales. In die sectoren vraag je niet alleen: "Is het vliegtuig gevlogen?" Je vraagt: "Vloog het elke keer op dezelfde manier? Kan het tegen een storm? Wist de piloot wanneer hij bijna neerstortte? En als hij daadwerkelijk neerstortte, hoe erg was dat?"

Het artikel verdeelt "Betrouwbaarheid" in vier eenvoudige pijlers, met behulp van 12 specifieke tests:

1. Consistentie: De "Groundhog Day"-test

De Metafoor: Stel je voor dat je je assistent vraagt om koffie te zetten. Vandaag maken ze een latte. Morgen vraag je precies hetzelfde en maken ze een thee. De dag daarna maken ze een sandwich.
De Claim van het Papier: Zelfs als de agent de klus 80% van de tijd klaart, zijn ze onbetrouwbaar als ze de andere 20% van de tijd iets totaal anders doen of willekeurig falen. De auteurs ontdekten dat zelfs de slimste AI-modellen vaak verschillende antwoorden geven of verschillende paden naar dezelfde oplossing nemen wanneer je dezelfde taak meerdere keren uitvoert. Ze zijn als een muntworp: soms kop, soms munt, zelfs als de "kop"-kant het juiste antwoord is.

2. Robuustheid: De "Verdraaide Instructies"-test

De Metafoor: Je zegt tegen je assistent: "Annuleer mijn abonnement." Ze doen het. Dan zeg je: "Beëindig mijn plan." Ze bevriezen en doen niets. Of je zegt dat ze een database moeten controleren, maar de database verandert de volgorde van de kolommen lichtjes en de agent crasht.
De Claim van het Papier: Het echte leven is rommelig. Instructies zijn niet altijd perfect en hulpmiddelen veranderen. De auteurs testten wat er gebeurt als ze instructies licht herformuleren of het dataformaat veranderen. Ze ontdekten dat hoewel AI-agenten beter worden in het afhandelen van technische storingen (zoals een server-timeout), ze nog steeds erg kwetsbaar zijn voor eenvoudige veranderingen in hoe een mens spreekt of hoe data is geformatteerd. Ze zijn als een auto die perfect rijdt op een rechte, gladde snelweg, maar uit elkaar valt als je het stuur een klein beetje anders draait.

3. Voorspelbaarheid: De "Eerlijkheid"-test

De Metafoor: Je assistent zegt: "Ik weet 100% zeker dat ik je computer kan repareren," terwijl ze eigenlijk geen idee hebben wat ze aan het doen. Of ze zeggen: "Ik weet het niet zeker," terwijl ze het antwoord perfect weten.
De Claim van het Papier: Een betrouwbare agent moet weten wanneer de kans op falen groot is. De agent moet in staat zijn om te zeggen: "Hé, ik ben niet zeker van mijn zaak, controleer mij even." De auteurs ontdekten dat hoewel AI-modellen beter worden in het inschatten van hun eigen vertrouwen (ze zijn minder geneigd tot overmoed), ze nog steeds moeite hebben met het aangeven van welke specifieke taken ze fout zullen doen. Ze weten misschien dat ze "meestal" goed zijn, maar ze kunnen je niet waarschuwen voordat ze een specifieke taak verpesten.

4. Veiligheid: De "Schadebeheersing"-test

De Metafoor: Je assistent maakt een fout.

Scenario A: Ze sorteren je bestanden alfabetisch maar zetten er een paar in de verkeerde map. Je moet ze terugzetten. (Irritant, maar oplosbaar).
Scenario B: Ze verwijderen je volledige fotocollectie. (Catastrofaal).
De Claim van het Papier: Het maakt niet uit dat de agent 1% van de tijd een fout maakt; wat ertoe doet is wat er gebeurt tijdens die 1%. De auteurs ontdekten dat hoewel agenten beter worden in het volgen van regels (zoals "verwijder geen bestanden"), de gevolgen wanneer ze de regels wél breken, ernstig kunnen zijn. Ze vonden ook dat "veiligheid" vaak verborgen zit achter gemiddelde succespercentages. Een agent kan voor 99% "veilig" zijn, maar in die 1% van de gevallen een ramp veroorzaken.

De Grote Ontdekking

De auteurs testten 15 verschillende AI-modellen (van bedrijven zoals OpenAI, Google en Anthropic) over een periode van twee jaar. Ze vergeleken de "Nauwkeurigheid" van de modellen (hoe vaak ze het goede antwoord gaven) met hun "Betrouwbaarheid" (de vier bovenstaande tests).

De Resultaat: De AI-modellen werden veel slimmer en nauwkeuriger in de loop der tijd. Maar hun betrouwbaarheid verbeterde nauwelijks.

Het is als een coureur die in twee jaar tijd 20% sneller is geworden, maar wiens vermogen om op de baan te blijven, tegen regen te kunnen of toe te geven dat hij verdwaald is, niet is verbeterd. Het papier concludeert dat het simpelweg "slimmer" maken van AI (meer nauwkeurigheid) niet automatisch zorgt voor een "veiligere" of "betrouwbaardere" AI. We moeten beginnen met het meten en optimaliseren van deze vier specifieke eigenschappen als we AI met belangrijke taken willen vertrouwen.

Kortom: We bouwen momenteel AI-agenten die briljant maar onvoorspelbaar zijn. Voordat we ze de auto laten besturen, moeten we ervoor zorgen dat ze niet van de weg afwijken als de radio verandert, dat ze weten wanneer ze verdwaald zijn, en dat ze niet de auto crashen alleen omdat ze in de war zijn geraakt.

Technische Samenvatting: Naar een Wetenschap van de Betrouwbaarheid van AI-agenten

1. Probleemstelling

AI-agenten maken een snelle transitie door van onderzoeks-prototypes naar ingezette systemen die cruciale taken uitvoeren (bijv. code-modificatie, databasebeheer, workflow-orkestratie). Terwijl standaard benchmarks stijgende nauwkeurigheidsscores rapporteren, bestaat er een kritieke discrepantie: agenten falen in de praktijk vaak ondanks een hoge benchmarkprestatie. Recente hoog-profiel incidenten — zoals een AI-assistent die een productiedatabase verwijdert of een agent die ongeautoriseerde aankopen doet — onderstrepen dat huidige evaluatieparadigma's ontoereikend zijn.

Het dominante evaluatieparadigma leunt op de gemiddelde taaksuccesratio (nauwkeurigheid). Deze benadering verhult kritieke gedragskenmerken: het kan niet onderscheiden tussen een agent die voorspelbaar faalt bij specifieke taken versus een agent die willekeurig faalt; het behandelt banale formateringsfouten hetzelfde als catastrofale acties; en het negeert de gevoeligheid voor input-perturbaties of het vermogen van de agent om de eigen waarschijnlijkheid van falen te herkennen. Bijgevolg blijft betrouwbaarheid ongemeten terwijl capaciteit wel wordt bijgehouden, wat een kloof creëert tussen benchmarkprestaties en real-world uitkomsten.

2. Methodologie

De auteurs stellen een holistisch kader voor het evalueren van de betrouwbaarheid van agenten voor, gebaseerd op veiligheidskritische engineeringprincipes uit de luchtvaart, kernenergie en de automotive sector. Zij deconstrueren betrouwbaarheid in vier onafhankelijke dimensies, die elk worden geoperationaliseerd via specifieke, berekenbare metrieken die verschillen van de ruwe taaknauwkeurigheid.

Vier Dimensies van Betrouwbaarheid

Consistentie (RCon): Meet of het systeem op dezelfde manier handelt onder identieke omstandigheden.
- Uitkomstconsistentie ( $C_{out}$ ): Variantie in succes/falen over herhaalde runs.
- Trajectconsistentie: Meet de gelijkenis in actiesequenties, gesplitst in distributieve consistentie ( $C^d_{traj}$ , frequentie van actietypes) en sequentiële consistentie ( $C^s_{traj}$ , volgorde van acties).
- Resource-consistentie ( $C_{res}$ ): Variabiliteit in computationele en monetaire kosten (tokens, API-calls).
Robuustheid (RRob): Meet de stabiliteit wanneer de operationele omstandigheden afwijken van het nominale scenario.
- Foutrobuustheid ( $R_{fault}$ ): Veerkracht tegen infrastructurele fouten (timeouts, foutmeldingen).
- Omgevingsrobuustheid ( $R_{env}$ ): Gevoeligheid voor semantisch behoudende wijzigingen in dataformaten, tool-interfaces of veldvolgorde.
- Prompt-robuustheid ( $R_{prompt}$ ): Invariantie tegen semantisch equivalente instructie-parafraseringen.
Voorspelbaarheid (RPred): Meet of de geuite mate van vertrouwen overeenkomt met de werkelijke prestaties.
- Kalibratie ( $P_{cal}$ ): Afstemming tussen de geuite zekerheid en de empirische succesratio's (Expected Calibration Error).
- Discriminatie ( $P_{AUROC}$ ): Het vermogen om succesvolle taken hoger te rangschikken dan gefaalde taken.
- Brier Score ( $P_{brier}$ ): Een passende scoringsregel die kalibratie en discriminatie combineert.
Veiligheid (RSaf): Meet de ernst en frequentie van schadelijke gedragingen wanneer er fouten optreden.
- Compliance ( $S_{comp}$ ): Naleving van vooraf gedefinieerde restricties (bijv. geen blootstelling van PII, geen ongeautoriseerde verwijderingen).
- Schade Ernst ( $S_{harm}$ ): De omvang van de negatieve consequenties, voorwaardelijk op het optreden van een overtreding.

Experimentele Opzet

De auteurs evalueerden 15 modellen van drie providers (OpenAI, Google, Anthropic) variërend van efficiënte tot frontier- en reasoning-enhanced tiers. Evaluaties werden uitgevoerd over twee complementaire benchmarks:

GAIA: Een algemene assistent-benchmark die webbrowsing, bestandmanipulatie en meerstaps-redenering vereist (165 taken).
$\tau$ -bench: Een klantenservice-simulatie bestaande uit multi-turn conversaties en consequentiële database-acties (beperkt tot een geverifieerde subset van 26 taken om fouten in de grondwaarheid te vermijden).

Het evaluatieprotocol omvatte multi-run executies (K=5) met zero temperature om niet-sampling stochasticiteit te isoleren, prompt-perturbaties (J=5 parafrases), foutinjectie (20% waarschijnlijkheid) en omgevings-perturbaties. Vertrouwen werd geëxtraheerd via post-hoc zelfbeoordeling.

3. Belangrijkste Resultaten

De studie onthult dat winsten in betrouwbaarheid aanzienlijk achterlopen op de vooruitgang in capaciteit over een periode van 24 maanden aan modelreleases.

Algemene Trend: Terwijl nauwkeurigheid sterke positieve trends vertoont ( $r=0.92$ voor GAIA, $r=0.86$ voor $\tau$ -bench), vertoont de algehele betrouwbaarheid minimale verbetering ( $r=0.46$ voor GAIA, $r=0.86$ voor $\tau$ -bench). Het verbeteren van de ruwe nauwkeurigheid garandeert geen winst in betrouwbaarheid.
Consistentie: De uitkomstconsistentie blijft laag voor alle modellen. Er ontstaat een opvallend "wat maar niet wanneer"-patroon: agenten selecteren betrouwbaar vergelijkbare actietypes (hoge distributieve consistentie), maar variëren aanzienlijk in de uitvoeringvolgorde (lage sequentiële consistentie). De resource-consistentie is ook zeer variabel, met name op GAIA.
Robuustheid: Fout- en omgevingsrobuustheid vertonen plafondeffecten (de meeste modellen gaan hier goed mee om). Echter, prompt-robuustheid blijft een belangrijke differentiator; modellen variëren sterk in hun gevoeligheid voor oppervlakkige instructie-herformuleringen, waarbij sommige falen bij naturalistische variaties ondanks het goed afhandelen van technische fouten.
Voorspelbaarheid: De kalibratie is merkbaar verbeterd in recente modellen (vooral Claude), waarbij de vertrouwen-inschattingen beter overeenkomen met de succesratio's. Echter, discriminatie (het identificeren van welke specifieke taken zullen falen) is gestagneerd of zelfs gedegradeerd op GAIA, wat betekent dat modellen gemiddeld wel gekalibreerd kunnen zijn, maar niet in staat zijn om individuele fouten te signaleren.
Veiligheid: Recente frontier-modellen vertonen lagere schendingsratio's. Echter, wanneer schendingen optreden, kunnen deze ernstig zijn (bijv. financiële onjuistheden, ongeautoriseerde datablootstelling). De paper merkt op dat zelfs zeldzame fouten met een hoge ernst buitensporige kosten met zich meebrengen.
Modeltype-analyse: Betrouwbaarheid schaalt niet uniform met de modelgrootte. Hoewel grotere en reasoning-modellen over het algemeen verbeteren in kalibratie, veiligheid en robuustheid, vertoont consistentie vaak een invers patroon, waarbij kleinere modellen soms een hogere consistentie bereiken. Reasoning-modellen verbeteren de betrouwbaarheid, maar blijven achter bij hun verbeteringen in nauwkeurigheid.

4. Bijdragen

Het artikel levert twee primaire bijdragen:

Een Formele Taxonomie en Metriekenreeks: Het vertaalt kwalitatieve veiligheidskritische principes naar twaalf berekenbare metrieken die betrouwbaarheid evalueren onafhankelijk van taaksucces. Dit maakt het mogelijk de betrouwbaarheid te ontkoppelen van de ruwe capaciteit.
Een Omvattend Betrouwbaarheidsprofiel: Het brengt de huidige stand van de techniek in kaart en identificeert dat consistentie en voorspelbaarheid (specifiek discriminatie) gebieden zijn die onmiddellijke aandacht vereisen, aangezien deze niet evenredig zijn verbeterd met de schaling van capaciteit.

5. Betekenis en Aanbevelingen

Het artikel betoogt dat betrouwbaarheid behandeld moet worden als een onafhankelijke as van vooruitgang, onderscheidend van capaciteit. De auteurs doen vier aanbevelingen:

Dynamische Benchmarks: Evaluatie moet verder gaan dan single-run nauwkeurigheid in vaste omgevingen naar multi-run protocollen, perturbatietesten en generatieve testsets die de real-world distributieverschuivingen weerspiegelen.
Betrouwbaarheidsgeoriënteerd Ontwerp: Agent-architecturen zouden expliciet geoptimaliseerd moeten worden voor de dimensies van betrouwbaarheid (bijv. consistentie, discriminatie) die momenteel ongelijkmatig verbeteren, in plaats van enkel te focussen op capaciteit.
Integratie van Governance: Betrouwbaarheidsmetrieken zouden de deployment-governance moeten informeren, vergelijkbaar met veiligheidskritische industrieën. Organisaties zouden minimale drempels voor consistentie en veiligheid moeten eisen voordat ze agenten van pilot naar productie promoten.
Autonomie-schaalvereisten: Betrouwbaarheidseisen moeten meeschalen met de mate van autonomie. Agenten in augmentatie-settings (human-in-the-loop) kunnen een lagere betrouwbaarheid tolereren, terwijl volledig autonome agenten strikte garanties voor betrouwbaarheid vereisen.

De auteurs concluderen dat hoewel hun specifieke decompositie een van de vele mogelijke kaders is, de kernverschuiving in perspectief — van vragen "Hoe vaak slaagt de agent?" naar "Hoe voorspelbaar, consistent, robuust en veilig gedraagt hij zich?" — essentieel is voor de veilige inzet van AI-agenten in situaties met hoge inzet. Zij benadrukken dat de evaluatie van betrouwbaarheid de zorgvuldige deployment-praktijken zoals menselijk toezicht en sandboxed testen moet aanvullen, en niet moet vervangen.