💻 computer science

Stop Shipping AI Agents on Faith: Capability Is Not Production Readiness

Dit artikel introduceert de ProofAgent Index (PAI), een framework voor governance-gereedheid dat de besluitvorming over de inzet van AI-agenten verschuift van de afhankelijkheid van demonstraties van capaciteiten naar een controleerbare, vierdimensionale beoordeling van evaluatie, context, naleving en governance, gevalideerd in gereguleerde domeinen om productie-gereedheid te onderscheiden van louter functionele capaciteit.

Oorspronkelijke auteurs: Fouad Bousetouane

Gepubliceerd 2026-07-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fouad Bousetouane

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot-butler bouwt. Je hebt maanden besteed aan het leren hoe hij moet koken, de was moet opvouwen en grappen moet vertellen. Je voert een paar tests uit in je woonkamer, en het ziet er geweldig uit! Hij serveert je een perfect omelet en laat je lachen. Je bent klaar om hem in te huren. Maar dan herinner je je plotseling: deze robot gaat werken in een drukke ziekenhuiskeuken, waar hij het eten van echte patiënten moet bereiden, strikte gezondheidsvoorschriften moet volgen en beslissingen moet nemen die levens kunnen beïnvloeden. Alleen omdat de robot kan koken, betekent niet dat hij klaar is voor dat werk. Hij weet misschien de veiligheidsregels niet, hij kan vergeten zijn handen te wassen, of hij kan in de war raken door een nieuw menu. In de wereld van Kunstmatige Intelligentie hebben we een vergelijkbaar probleem. We hebben "AI-agenten" gebouwd—slimme computerprogramma's die taken kunnen uitvoeren, hulpmiddelen kunnen gebruiken en met ons kunnen praten. We beoordelen ze vaak alleen op hoe goed ze een taak uitvoeren, zoals een robot-butler die zijn kookkunsten laat zien. Maar in de echte wereld, vooral op serieuze plekken zoals ziekenhuizen en banken, moeten we veel meer weten dan alleen "kan hij de klus klaren?". We moeten weten: Is het veilig? Volgt het de regels? Is er een baas die toezicht houdt? En als het misgaat, kunnen we het dan stoppen?

Dit artikel, getiteld "Stop Shipping AI Agents on Faith," betoogt dat we momenteel een gevaarlijke fout maken. We brengen deze AI-agenten in de echte wereld uit, simpelweg omdat ze bekwaam lijken, zoals het inhuren van de robot-butler voordat je zijn veiligheidshandboek hebt gecontroleerd. De auteurs, Fouad Bousetouane en collega's, zeggen dat "bekwaamheid" (hoe slim de agent is) niet hetzelfde is als "productie-gereedheid" (of het daadwerkelijk veilig is om te gebruiken). Om dit op te lossen, hebben ze een nieuwe tool ontwikkeld genaamd de ProofAgent Index (PAI). Zie PAI als een enorme, meerdelige rapportcijferlijst die niet alleen één cijfer geeft voor "kookvaardigheden." In plaats daarvan controleert het vier verschillende zaken:

Evaluatie: Heeft de agent de taak daadwerkelijk correct uitgevoerd?
Context: Is de omgeving waarin de agent werkt correct ingericht? (Zoals controleren of de keuken over de juiste instrumenten en regels beschikt).
Compliance (Naleving): Heeft het de wetten en regels gevolgd? (Zoals controleren of het de handen heeft gewassen).
Governance (Bestuur): Is er een menselijke baas die toezicht houdt, en hebben we een plan voor als het misgaat?

Het artikel introduceert een systeem genaamd ProofAgent Harness, wat een soort testlaboratorium is dat deze agenten door duizenden lastige scenario's jaagt om dit rapportcijfer in te vullen. De onderzoekers hebben hun idee getest in twee zeer strikte werelden: de gezondheidszorg (ziekenhuizen) en de financiële sector (banken). Ze creëerden 12 verschillende versies van AI-agenten, waarbij ze verschillende niveaus van "slimheid" (van zwak tot sterk) combineerden met verschillende niveaus van "omgevingsinstelling" (van rommelig en onvoorbereid tot schoon en goed georganiseerd).

Dit is wat ze ontdekten, en het is een grote verrassing voor iedereen die denkt dat "groter en slimmer altijd beter is." Ze ontdekten dat bekwaamheid niet gelijkstaat aan gereedheid. Zelfs als je de "sterkste" AI-agent ter wereld hebt, als je hem in een rommelige, onvoorbereide omgeving plaatst (wat zij een "zwakke context" noemen), zal hij falen. Sterker nog, hun tests toonden aan dat een AI-agent met een "middelmatig" niveau van slimheid in een perfect ingerichte omgeving veel betrouwbaarder was dan een "super-slimme" agent in een rommelige omgeving. De omgeving was belangrijker dan de ruwe intelligentie.

Ze ontdekten ook dat je niet simpelweg de scores kunt middelen. Als een agent geweldig is in koken maar een veiligheidsregel overtreedt, kun je niet zeggen: "Nou, hij is voor 90% goed in koken, dus hij is voor 90% klaar." Het artikel introduceert "harde blokkade"-regels. Dit betekent dat als een agent een kritieke veiligheidscontrole faalt of een vereiste regel mist, het hele systeem automatisch "NEE" zegt, ongeacht hoe goed de andere scores zijn. Het is als een rijbewijs: je kunt geen rijbewijs krijgen omdat je een geweldige bestuurder bent als je de verkeersregels niet kent.

De onderzoekers voerden een massale test uit met 10.000 interacties (beurten) over deze verschillende opstellingen heen. Ze ontdekten dat hun nieuwe index, de PAI, ongelooflijk goed was in het rangschikken van welke agenten klaar waren en welke risicovol waren. Wanneer ze de PAI gebruikten om te voorspellen welke configuraties zouden falen bij ongeziene tests, behaalden ze een rangschikkingsscore (AUC) van 0,98. Dit betekent dat de index de agenten bijna perfect op volgorde van risico heeft gezet, waarbij het onderscheid werd gemaakt tussen hoog-risico opstellingen en laag-risico opstellingen. Ze bewezen ook dat het simpelweg "slimmer" maken van de AI (het gebruik van een groter model) de problemen niet oploste als de omgeving niet werd aangepast. De grootste verbetering kwam voort uit "context engineering" — kortom, het zorgvuldig instellen van de regels, instructies en hulpmiddelen die de AI gebruikt.

Kortom, het artikel suggereert dat we moeten stoppen met het vertrouwen op AI-agenten alleen omdat ze cool en bekwaam lijken in een demo. We moeten stoppen met het verzenden op basis van "geloof" (faith). In plaats daarvan moeten we een systeem zoals de ProofAgent Index gebruiken om te controleren of ze veilig, legaal en onder toezicht staan voordat we ze in de echte wereld loslaten. Het is een oproep om te bewegen van "Kijk hoe slim deze robot is!" naar "Hier is het bewijs dat deze robot klaar is om te werken."

Technisch Overzicht: Stop met het lanceren van AI-agenten op basis van vertrouwen: Capaciteit is geen productierijheid

Probleemstelling

AI-agenten maken de overgang van gecontroleerde demonstraties naar productie-workflows waarin ze informatie ophalen, tools aanroepen, status bijhouden en handelen namens gebruikers. De huidige beslissingen over releases zijn echter vaak gebaseerd op "capaciteitssignalen"—zoals gedragsdemo's of taakspecifieke benchmarks—die er niet in slagen vast te stellen of een agent klaar is voor de beperkingen van een productieomgeving.

Het paper betoogt dat capaciteit geen productierijheid is. Een capabele agent kan nog steeds onveilig zijn voor implementatie als de operationele context zwak is, het gebruik van tools slecht gecontroleerd wordt, de nalevingsbewijslast incompleet is, of de governance-controles ontbreken. In gereguleerde sectoren zoals de gezondheidszorg en de financiële sector vertegenwoordigen deze hiaten fouten in naleving, veiligheid en governance, in plaats van louter prestatiefouten. Bestaande evaluatiemethoden meten hoe een agent zich gedraagt tijdens tests, maar bepalen niet of de agent over voldoende bewijs beschikt om te worden ingezet, gemonitord en beheerd binnen een gedefinieerde operationele reikwijdte.

Methodologie: De ProofAgent Index (PAI)

Om het gat tussen gedragsprestaties en inzetbaarheid te overbruggen, introduceren de auteurs de ProofAgent Index (PAI), een index voor governance-rijheid. PAI herformuleert de release van een agent als een controleerbare beslissing gebaseerd op decomponeerbaar bewijs in plaats van op vertrouwen.

1. Vier dimensies van rijheid

PAI aggregeert bewijs over vier genormaliseerde dimensies (geschaald van 0–100):

Evaluatie (E): Meet het waargenomen gedrag van de agent onder adversariële en verwachte omstandigheden (bijv. taaksucces, weerstand tegen hallucinaties, veiligheid, toolgebruik).
Context (Q): Meet de kwaliteit van de operationele omgeving, inclusief rolhelderheid, instructieconsistentie, gronding, tool-schema's, guardrails en injectie-harding.
Naleving (C): Meet of het waargenomen gedrag en de artefacten voldoen aan de toepasbare juridische, regulatoire en beleidsverplichtingen (bijv. AVG, HIPAA, EU AI Act). Ontbrekend bewijs wordt behandeld als niet voldaan.
Governance (G): Meet organisatorische controles, inclusief eigenaarschap, definitie van de reikwijdte, goedkeuringsworkflows, monitoring en incidentrespons en rollback-mechanismen.

2. Aggregatie en Toelatingspoort (Admissibility Gate)

PAI wordt in twee fasen berekend om te voorkomen dat kritieke defecten worden "gemiddeld":

Geometrische gemiddelde aggregatie: De ruwe score ( $PAI_{raw}$ ) is een gewogen geometrisch gemiddelde van de vier dimensies. Dit zorgt ervoor dat een lage score in één dimensie de totale score sterker naar beneden trekt dan een rekenkundig gemiddelde, waardoor compensatie tussen dimensies wordt beperkt.
Toelatingspoort (Hard Blocks): Een "cap" (plafond) wordt toegepast op basis van harde blokregel. Als een configuratie een verboden gebruiksconditie triggert, een kritiek veiligheidsfalen vertoont, essentiële nalevingsbewijslast mist of een onopgelost governance-bevinding heeft, wordt de definitieve score onder de beoordelingsdrempel gecapteerd, ongeacht het ruwe geometrische gemiddelde. Dit zorgt ervoor dat niet-onderhandelbare defecten de release blokkeren.

3. Rijheidsbanden

De definitieve score wordt gekoppeld aan operationele banden:

Geblokkeerd: Harde blokconditie getriggerd; release verboden.
Niet klaar: Voldoet niet aan de minimale rijheidsdrempel.
Klaar met kanttekeningen: Voldoet aan de beoordelingsdrempel, maar vereist monitoring of remediëring.
Klaar: Voldoet volledig aan de drempel zonder blokkerende condities.

Empirische Validatie

De auteurs hebben PAI gevalideerd met behulp van de ProofAgent Harness, een open-source infrastructuur voor controleerbare evaluatie. De studie besloeg twee zwaar gereguleerde domeinen (gezondheidszorg en financiën) over een configuratiematrix van 12 eenheden (3 capaciteitsniveaus × 2 contextcondities × 2 domeinen).

Experimentele Opstelling

Capaciteiten: Zwak (8B model), Middel (70B model) en Sterk (Mixture-of-Experts model).
Context: Baseline (B0, zwakke instructies/governance) versus Engineered (B5, sterke instructies/governance).
Validatiestrategie: Een "held-out" benadering waarbij PAI-scores werden berekend uit een ontwikkelings-trap pack (25 beurten), terwijl de PASS/FAIL uitkomst werd gemeten op een afzonderlijke exam pack (1s beurten) om circulaire validatie te voorkomen.
Schaal: Een validatie van 10.000 beurten over 1.000 sessies om defectpatronen te analyseren.

Belangrijkste Resultaten

Voorspellende kracht: PAI bereikte een AUC van 0,98 in het ordenen van configuraties op basis van hun risico op falen bij onvoorziene scenario's (unseen traps). Dit duidt op een sterke discriminatie tussen gereed en niet-gereed configuraties.
Context versus Capaciteit:
- Context Engineering: Had het sterkste effect. De overgang van zwakke (B0) naar geengineerde (B5) context verminderde de defecten van 65,74% naar 17,84% (een relatieve reductie van 72,9%).
- Capaciteitsverzadiging: Hoewel de overgang van zwakke naar middelmatige capaciteit de defecten aanzienlijk verminderde, leverde de stap van middelmatig naar sterk minder rendement op. Cruciaal was dat een agent met middelmatige capaciteit in een sterke context (B5) veel betrouwbaarder was dan een agent met sterke capaciteit in een zwakke context (B0).
Capaciteit is geen Rijheid: De studie bevestigde dat een hoge gedragscapaciteit geen garantie biedt voor rijheid. Zwakke agenten bleven riskant, zelfs onder sterke contextcondities, terwijl sterke agenten faalden onder zwakke governance of context.
Foutmodi: Defecten varieerden van veiligheid en toolgebruik tot hallucinatiebestendigheid en fictieve tool-aanroepen (phantom tool calls), wat het belang van een rijheidsframework dat breder is dan eenvoudige taaknauwkeurigheid bevestigt.

Belangrijkste Bijdragen

Definitie van Rijheid: Het paper definieert de productierijheid van AI-agenten als een governance-probleem dat verder gaat dan gedragsevaluatie, waarbij bewijs vereist is voor veilige operaties binnen een specifiek risiconiveau en een nalevingsscope.
Het PAI-framework: Introductie van een vierdimensionale index (Evaluatie, Context, Naleving, Governance) die technische prestaties integreert met organisatorische controles.
Implementatie: Beschrijving van de implementatie van PAI in de ProofAgent Harness, die een open-source CLI biedt voor het genereren van decomponeerbare rijheidsartefacten, harde blokkeringsbeslissingen en release-rapporten.
Empirisch Bewijs: Validatie die aantoont dat PAI een "held-out" rijheidssignaal draagt en dat context engineering en governance-bewijs cruciale determinanten zijn van de implementatierisico's, die vaak zwaarder wegen dan de ruwe modelcapaciteit.

Betekenis en Claims

Het paper claimt dat PAI de release van AI-agenten transformeert van een "vertrouwen-gebaseerde" beslissing naar een controleerbare rijheidsbeslissing. De betekenis ligt in het bieden van een verenigde taal voor drie verschillende belanghebbenden:

Engineers: Ontvangen meetbare, decomponeerbare signalen (niet alleen een enkele gedragsscore).
Risico-/Compliance-teams: Ontvangen controleerbaar bewijs dat gedrag koppelt aan beleids- en controleverplichtingen.
Zakelijke Leiders: Ontvangen interpreteerbare release-beslissingen die rekening houden met context, naleving en governance, in plaats van enkel modelprestaties.

De auteurs concluderen dat AI-agenten niet gelanceerd moeten worden omdat ze capabel lijken; ze mogen alleen worden gelanceerd wanneer er bewijs is dat ze klaar zijn om te opereren binnen een beheerde productieomgeving. PAI dient als het mechanisme om de evaluatie van een agent te transformeren van een daad van vertrouwen naar een verifieerbare beslissing over rijheid.