🤖 AI

The AI Evaluability Gap: The Missing Layer for Managing Risk and Sustaining Value

Dit artikel identificeert de "AI Evaluability Gap" — het gebrek aan voldoende bewijs om beslissingen met een hoog vertrouwen met betrekking tot risico en waarde te ondersteunen — als een kritiek gebrek in de huidige AI-governance, en stelt een nieuw kader voor dat gecentreerd is rond "Evaluability" dat onderscheid maakt tussen operationele en investeringscertificeringen op basis van zes eigenschappen van bewijsvoering om duurzaam AI-beheer te waarborgen.

Oorspronkelijke auteurs: Vishal Srivastava, Tanmay Sah

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vishal Srivastava, Tanmay Sah

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Blinde Piloot"

Stel je voor dat een bedrijf een nieuwe piloot (een AI-systeem) inhuurt om hun vliegtuig te besturen. Het bedrijf staat voor twee grote vragen:

Is het vliegtuig op dit moment veilig genoeg om te vliegen? (Risicobeheer)
Is deze vlucht de kosten van brandstof en bemanning waard? (Waardebeheer)

Momenteel proberen de meeste bedrijven deze vragen te beantwoorden door naar het dashboard van het vliegtuig te kijken. Maar het artikel stelt dat het dashboard vaak kapot is of ontbreekt. Ze hebben niet genoeg bewijs om vol vertrouwen antwoord te kunnen geven.

De auteurs noemen dit ontbrekende bewijs de "Evaluability Gap" (de evaluatiekloof). Het is niet dat de AI noodzakelijkerwijs gevaarlijk of nutteloos is; het is dat het bedrijf niet over de bewijzen beschikt om het zeker te weten. Omdat ze niet kunnen bewijzen dat het veilig of waardevol is, vliegen ze ofwel blind (nemen enorme risico's) of zetten ze het vliegtuig onnodig aan de grond (missen waardevolle kansen).

De Kern van het Idee: "Evaluability" (Evalueerbaarheid)

Het artikel introduceert een nieuw concept genaamd Evaluability. Zie dit niet als een kenmerk van de AI zelf, maar als een kenmerk van het bewijs rondom de AI.

De oude manier: "Is de AI accuraat?" (We controleren de score).
De nieuwe manier (Evaluability): "Hebben we een betrouwbare, actuele en verifieerbare set bonnetjes die bewijzen dat de AI accuraat is?"

Evaluability is het vermogen van een systeem om het bewijs te genereren, te bewaren en te verversen dat nodig is om beslissingen met een hoog vertrouwen te nemen. Als je het niet kunt bewijzen, kun je het niet besturen.

De Twee Soorten Beslissingen

Het artikel zegt dat we moeten stoppen met het behandelen van "Veiligheid" en "Geld" als hetzelfde; ze vereisen verschillende soorten bewijs:

Operationele Certificering (De "Veiligheidscontrole"):
- Vraag: "Kunnen we dit aanzetten?"
- Benodigd bewijs: Structureel bewijs. Zoals controleren of de remmen werken, of de vleugels vastzitten en of de piloot de regels volgt.
- Analogie: Een auto-inspectie. Je moet bewijzen dat de auto niemand doodt.
Investeringscertificering (De "Waardencheck"):
- Vraag: "Moeten we hiervoor blijven betalen?"
- Benodigd bewijs: Causaal bewijs. Is deze specifieke auto ons daadwerkelijk sneller op de bestemming gebracht dan wanneer we hadden gelopen? Heeft het ons geld bespaard?
- Analogie: Een onkostendeclaratie van een bedrijf. Je moet bewijzen dat de auto het bedrijf daadwerkelijk heeft geholpen groeien, en niet alleen dat de auto bestaat.

De Valstrik: Een systeem kan "Operationeel Gecertificeerd" zijn (veilig), maar falen op "Investeringscertificering" (nutteloos). Bedrijven lopen nu vast omdat ze niet weten hoe ze deze twee van elkaar moeten scheiden.

De Zes Ingrediënten van Goed Bewijs

Om de "Evaluability Gap" te dichten, stelt het artikel dat je zes specifieke ingrediënten in je bewijs nodig hebt. Zie deze als de zes poten van een stevige kruk. Als er één mist, stort de kruk in.

Observability (Observeerbaarheid - Kunnen we het zien?):
- Analogie: Als je aan het koken bent, kun je dan de ingrediënten zien die erin gaan en het eten dat eruit komt? Als de AI een beslissing neemt maar niet logt wat hij zag of wat hij deed, heb je geen bewijs.
Attributability (Attributabiliteit - Is de AI de oorzaak?):
- Analogie: Als de verkopen omhoog gingen, kwam dat door de AI, of door het kerstfeest? Je moet bewijzen dat de AI de oorzaak was van het resultaat, en niet alleen dat ze tegelijkertijd gebeurden.
Intervenability (Interveneerbaarheid - Kunnen we het stoppen of veranderen?):
- Analogie: Als de AI de auto tegen een muur aan begint te rijden, kun je dan op de rem trappen? Als je hem niet kunt uitzetten of kunt bijsturen om hem te testen, kun je hem niet vertrouwen.
Verifiability (Verifieerbaarheid - Kan iemand anders het controleren?):
- Analogie: Als je zegt "Ik heb een cake gebakken", kan een vriend dan naar je bonnetjes en de logboeken van de oven kijken om dat te bewijzen? Bewijs op basis van eigen verklaring (gewoon zeggen "ik heb het gedaan") is niet genoeg.
Calibration (Kalibratie - Zijn we eerlijk over ons vertrouwen?):
- Analogie: Als je zegt: "Ik ben 90% zeker dat deze brug het zal houden", houdt de brug dan ook daadwerkelijk 90% van de tijd stand? Veel systemen zeggen "90% zeker", maar hebben slechts 60% gelijk. Dat is gevaarlijk.
Temporal Validity (Temporele Validiteit - Is het bewijs nog vers?):
- Analogie: Een weerbericht van vorige week is nutteloos voor vandaag. AI verandert snel. Als het bewijs dat je hebt oud is, is het waardeloos. Je moet het bewijs constant verversen.

De "Evidence Lifecycle" (De Cyclus van Vertrouwen)

Het artikel stelt dat bewijs geen eenmalige gebeurtenis is. Het is als een vers gebakken brood.

Wanneer je het bakt (bewijs verzamelt), is het vers en betrouwbaar.
Na verloop van tijd wordt het oud (de wereld verandert, gebruikers passen zich aan, de AI leert nieuwe dingen).
Uiteindelijk wordt het bedorven (het bewijs is niet langer geldig).

De Oplossing: Je kunt niet één keer brood bakken en dat een jaar lang eten. Je moet constant vers brood blijven bakken. Dit betekent continue her-certificering. Je moet constant controleren of je bewijs nog wel vers is.

Waarom dit specifiek voor AI belangrijk is

AI is anders dan een brug of een machine in een fabriek, omdat AI snel verandert.

De wereld beweegt: Gebruikers leren hoe ze de AI kunnen misleiden. Concurrenten veranderen. De economie verschuift.
De AI evolueert: De AI kan nieuwe dingen leren waarvoor hij niet getraind was.
Het resultaat: Bewijs dat vandaag perfect was, kan volgende week fout zijn.

Vanwege deze reden zegt het artikel dat we moeten stoppen met de vraag "Is de AI veilig?" en moeten beginnen met de vraag "Hebben we vers, betrouwbaar bewijs dat de AI veilig is?"

Samenvatting

Het artikel concludeert dat Governance een bewijsprobleem is, en niet alleen een technologisch probleem.

Bouw niet alleen betere AI-modellen.
Bouw betere bewijssystemen rondom hen.
Zorg dat je bewijs hebt dat observeerbaar, attributabel, verifieerbaar, gekalibreerd en vers is.

Als je het bewijs hebt, kun je met vertrouwen beslissingen nemen. Als je dat niet hebt, vlieg je blind. De "Evaluability Gap" is de ruimte tussen "denken dat we het weten" en "het bewijs hebben om het te weten".

Technische Samenvatting: De AI-Evalueerbaarheidskloof

Probleemstelling

Organisaties die AI op schaal implementeren, staan voor een dubbele uitdaging: het beheren van AI-risico (bepalen of een systeem veilig, eerlijk, betrouwbaar en compliant genoeg is om te opereren) en het duurzaam maken van AI-waarde (bepalen of een systeem voortgezette toewijzing van middelen rechtvaardigt). Huidige governance-praktijken falen vaak omdat ze deze als afzonderlijke problemen behandelen met verschillende eigenaren en vocabularia, of omdat ze zich richten op systeemeigenschappen in plaats van op het bewijs dat nodig is om beslissingen over die eigenschappen te nemen.

Het artikel identificeert een fundamentele onderliggende conditie, de AI-evalueerbaarheidskloof (AI Evaluability Gap) genoemd: de toestand waarin organisaties niet over voldoende bewijs beschikken om hoogwaardige governance-beslissingen te ondersteunen met betrekking tot zowel risico als waarde. Deze kloof leidt tot twee faalmodi:

Over-implementatie: Het accepteren van ongemeten risico's door onvoldoende bewijs van veiligheid.
Onder-investering: Het laten afzien van ongemeten waarde door onvoldoende bewijs van voordeel.

De auteurs stellen dat huidige kaders lijden aan een "categoriefout", waarbij governance wordt gelijkgesteld aan risicobeheer en ervan wordt uitgegaan dat bewijsvoering voldoende is, in plaats van dat bewijsvoering een primair object van governance is. Bovendien houden bestaande praktijken vaak geen rekening met de niet-stationariteit van AI-systemen, waarbij bewijs snel erodeert door gebruikersadaptatie, modelher-training en verschuivende omgevingen.

Methodologie en Framework

Het artikel stelt Evalueerbaarheid (Evaluability) voor als een nieuw theoretisch framework om deze kloof te adresseren. In plaats van specifieke metrieken of statistische methoden voor te schrijven, definieert Evalueerbaarheid de bewijstechnische condities waaronder governance-beslissingen verdedigbaar worden.

Kerndefinitie

Evalueerbaarheid wordt gedefinieerd als het vermogen van een systeem om bewijs te genereren, te onderhouden en te vernieuwen dat voldoende is om hoogwaardige governance-beslissingen met betrekking tot de werking en de toewijzing van middelen over tijd te ondersteunen.

Formeel is Evalueerbaarheid een functie van zes eigenschappen van de bewijsstroom van een AI-systeem:
$\text{Evalueerbaarheid} = f(O, A, I, V, C, T)$
Waarbij:

Observabiliteit (O): Kunnen uitkomsten die relevant zijn voor de beslissing worden geobserveerd? (bijv. logs, telemetrie, zakelijke uitkomsten).
Attributabiliteit (A): Kan de bijdrage van de AI worden geïsoleerd van confounders? (Vereist causaal of quasi-experimenteel ontwerp).
Intervenibiliteit (I): Kan het systeem worden aangepast om claims te testen en op fouten te reageren? (bijv. rollback, A/B-testen).
Verifieerbaarheid (V): Kan een onafhankelijke partij de analyse auditeren en reproduceren?
Kalibratie (C): Komen de gestelde vertrouwensniveaus overeen met de geobserveerde frequenties van juistheid?
Temporele Validiteit (T): Blijft het bewijs relevant naarmate de omgeving en het systeem evolueren?

Beslissingsgerichte Formulering

Het framework verschuift de focus van het meten van systeemeigenschappen naar het beoordelen van de vertrouwen in een beslissing ( $D$ ) gegeven een lichaam van bewijs ( $E$ ).

Vertrouwen ($Conf(D|E)$): Een epistemische staat met betrekking tot de toereikendheid van bewijs, niet een waarschijnlijkheid van een wereldtoestand.
Beslissingsregel: Een actie $D$ is gerechtvaardigd indien en slechts indien $Conf(D|E) > \tau(D)$ , waarbij $\tau$ een drempelwaarde is die wordt bepaald door de materialiteit en de asymmetrie van de fout.
De Kloof: De Evalueerbaarheidskloof bestaat wanneer $Conf(D|E) < \tau(D)$ .

Twee Klassen van Certificering

Het framework maakt onderscheid tussen twee soorten governance-beslissingen, die elk verschillende bewijstechnische structuren vereisen:

Operationele Certificering: Bepaalt of een systeem mag opereren. Dit leunt op structureel bewijs (verificatie, stresstesten, adversariële evaluatie) om de afwezigheid van faalmodi vast te stellen. De bewijstechnische standaard is doorgaans hoog.
Investeringscertificering: Bepaalt of een systeem verdere middelen verdient. Dit leunt op causaal bewijs (counterfactual redeneren, gerandomiseerde uitrol) om waardecreatie vast te stellen. De bewijstechnische standaard schaalt met de materialiteit van de uitgave.

De Evalueerbaarheidscyclus

De zes eigenschappen zijn geen statische checklist maar een continue cyclus:

Observabiliteit legt vast wat er is gebeurd.
Attributabiliteit koppelt uitkomsten aan de AI.
Verifieerbaarheid maakt onafhankelijk vertrouwen mogelijk.
Kalibratie zorgt ervoor dat vertrouwenverklaringen betrouwbaar zijn.
Temporele Validiteit beoordeelt of het bewijs nog actueel is.
Intervenibiliteit maakt actie mogelijk (testen, hertrainen) wanneer onzekerheid ontstaat, wat nieuwe observaties genereert om de cyclus te herstarten.

Het framework benadrukt dat bewijs vergankelijk is. Bij gebrek aan vernieuwing erodeert het vertrouwen in de loop van de tijd ( $Conf(D|E(t)) \to Conf(D|\emptyset)$ ), wat continue her-certificering noodzakelijk maakt in plaats van een eenmalige goedkeuring.

Institutionele Laag

Om epistemische kaping te voorkomen, stelt het framework een gedistribueerd institutioneel model voor:

Bewijsproducenten: Engineering- en datateams die logs en resultaten genereren.
Bewijsverifieerders: Risico-, audit- en financiële functies die de integriteit en kalibratie valideren.
Bewijsadjudicatoren: Raden of commissies die drempelwaarden vaststellen en conflicten tussen certificeringen oplossen.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Unificatie van Governance-objecten: Het identificeert bewijstoereikendheid als het verenigende object over governance-domeinen heen, en formaliseert dit via de functie $Conf(D|E)$. Het stelt dat governance niet gaat over het direct meten van eigenschappen (veiligheid, waarde), maar over het bepalen of er voldoende bewijs bestaat om beslissingen over die eigenschappen te rechtvaardigen.
Operationele versus Investeringscertificering: Het introduceert een structureel onderscheid tussen operationele en investeringsbeslissingen. Dit verheldert de verwarring met betrekking tot "waarde" in governance-taxonomieën, waardoor organisaties coherent kunnen stellen dat een systeem operationeel veilig is maar niet investeringswaardig (of vice versa), waarmee governance-verlamming wordt opgelost.
Verhoging van Temporele Validiteit en Kalibratie: Het verheft temporele validiteit en kalibratie van perifere zaken naar eersteklas eigenschappen. Het artikel stelt dat huidige AI-governance rijk is aan monitoring maar arm aan kalibratie, wat leidt tot "vertrouwde beslissingen waarvan het vertrouwen zelf onverantwoord is".

Resultaten en Claims

Het artikel presenteert geen empirische experimentele resultaten, aangezien het een theoretisch framework is. De "resultaten" zijn logische proposities en structurele argumenten:

Propositie 3.1 (Governance Niet-Identificeerbaarheid): Twee AI-systemen met ononderscheidbare geobserveerde uitkomsten kunnen verschillende governance-beslissingen vereisen omdat het vertrouwen dat door hun bewijsstromen wordt gerechtvaardigd verschilt. Governance kan niet worden afgeleid uit uitkomsten alleen; het hangt af van de structuur en herkomst van het bewijs.
De Noodzaak van de Zes Eigenschappen: Een systeem kan accuraat of winstgevend zijn, maar toch falen voor de Evalueerbaarheidstest als het ondersteunende bewijs onverifieerbaar, ongekalibreerd of verouderd is.
De Erosie van Bewijs: Het artikel claimt dat bewijs in AI snel erodeert door niet-stationariteit, opkomst van capaciteiten en menselijke adaptatie. Daarom moet governance een continu proces van her-certificering zijn, gekoppeld aan empirisch geschatte erosiecijfers, in plaats van aan kalenderconventies.

Betekenis en Reikwijdte

De auteurs positioneren Evalueerbaarheid als een substraat voor bestaande governance-frameworks (zoals NIST RMF, ISO/IEC 42001 en assurance cases) in plaats van een vervanging.

Wat het is: Een framework om te bepalen of er voldoende bewijs aanwezig is om hoogwaardige beslissingen te ondersteunen. Het biedt de architecturale standaarden voor bewijsgeneratie en -validatie.
Wat het niet is: Het bepaalt niet of een systeem daadwerkelijk veilig, eerlijk, betrouwbaar of waardevol is. Het vervangt geen domeinspecifieke risicomodellen, eerlijkheidsmetrieken of ROI-calculatoren. Het schrijft geen specifieke statistische methoden voor voor causale inferentie of de representatie van vertrouwen (waardoor het ruimte laat voor Bayesiaanse, frequentistische of Dempster-Shafer benaderingen).

Het artikel concludeert dat naarmate AI-systemen dynamischer en autonomer worden, het vermogen om bewijs te genereren, te onderhouden en te vernieuwen (Evalueerbaarheid) even cruciaal kan worden als de onderliggende modellen zelf. Het framework beoogt de kloof te dichten tussen de complexiteit van moderne AI-systemen en de toereikendheid van het bewijs dat nodig is om ze verantwoord te besturen.