💻 computer science

Statistical Confidence in Functional Correctness: An Approach for AI Product Functional Correctness Evaluation

Dit artikel introduceert en evalueert de 'Statistical Confidence in Functional Correctness' (SCFC)-aanpak, een methode die statistische betrouwbaarheid koppelt aan functionele correctheid van AI-systemen door business-eisen om te zetten in een betrouwbaarheidsinterval en vermogensindex, waarmee de evaluatie van een enkel punt naar een statistisch onderbouwde uitspraak verschuift.

Oorspronkelijke auteurs: Wallace Albertini, Marina Condé Araújo, Júlia Condé Araújo, Antonio Pedro Santos Alves, Marcos Kalinowski

Gepubliceerd 2026-02-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wallace Albertini, Marina Condé Araújo, Júlia Condé Araújo, Antonio Pedro Santos Alves, Marcos Kalinowski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Statistiek voor AI: Hoe weet je zeker dat je slimme computer niet gaat dwalen?

Stel je voor dat je een nieuwe, slimme robot hebt aangeschaft. Deze robot moet taken uitvoeren die belangrijk zijn voor je bedrijf, zoals het controleren van fraude op creditcards of het meten van vrije ruimte op een olieboringplatform. Je wilt weten: Is deze robot betrouwbaar genoeg om de baan te krijgen?

In de oude wereld van software was dit makkelijk. Je gaf de computer een opdracht en keek of het antwoord klopte. Ja of Nee. Maar AI werkt anders. Het is niet als een rekenmachine; het is meer als een mens die soms een beetje slaperig is of een dagje minder goed presteert. Het is probabilistisch: het geeft een antwoord met een bepaalde kans van slagen, niet met 100% zekerheid.

Dit maakt het lastig om te zeggen: "Deze AI is goed." Want wat als hij morgen net iets minder goed werkt?

De auteurs van dit artikel (Wallace, Marina, Júlia, Antonio en Marcos) hebben een nieuwe manier bedacht om dit probleem op te lossen. Ze noemen het SCFC (Statistical Confidence in Functional Correctness). Laten we dit uitleggen met een paar simpele analogieën.

1. Het Probleem: De "Gemiddelde" Leugen

Stel, je test je AI-robot 100 keer. Hij slaagt 83 keer. Dat klinkt goed, toch? Maar wat als die 83 keer toevallig allemaal op een dag waren dat de robot zich goed voelde? En wat als hij op een andere dag maar 60 keer zou slagen?

Als je alleen kijkt naar het gemiddelde (83%), krijg je een vals gevoel van veiligheid. Het is alsof je zegt: "Deze auto rijdt gemiddeld 100 km/u," terwijl je vergeet te vertellen dat hij soms 200 km/u gaat en soms stilstaat. Je hebt meer nodig dan alleen een gemiddelde; je hebt zekerheid nodig.

2. De Oplossing: De SCFC-methode (De 4 Stappen)

De auteurs hebben een stappenplan bedacht om deze zekerheid te meten. Het is als het bouwen van een stevig huis in plaats van een tent.

Stap 1: De Doelwitten trekken (De "Lijn in het Zand")

Voordat je begint, moet je weten wat "goed genoeg" betekent.

Analogie: Stel je bent een bakker. Je zegt niet: "De broden moeten lekker zijn." Je zegt: "De broden moeten tussen de 500 en 600 gram wegen."
In de AI-wereld noemen ze dit de Specificatiegrenzen. Bijvoorbeeld: "De fraude-detectie moet minstens 98% van de oplichting vinden." Dit is je onmisbare lijn in het zand.

Stap 2: De Proefneming (De "Reprezentatieve Steekproef")

Je kunt niet alle data van de hele wereld testen. Je moet een stukje kiezen. Maar je moet wel slim kiezen.

Analogie: Als je wilt weten of een soep goed smaakt, moet je niet alleen de bovenkant proeven (waar de kruiden drijven). Je moet roeren en een lepel nemen die stukjes van overal bevat: groente, vlees, bouillon.
De methode gebruikt gestratificeerde steekproeven. Je zorgt dat je testgroep precies hetzelfde is als de echte wereld, inclusief de rare en moeilijke gevallen, zodat je niet bedrogen wordt door toeval.

Stap 3: De "Bootstrapping" (Het "Herhaaldelijk Spelen")

Dit is het meest creatieve deel. Omdat je niet oneindig kunt testen, doen we alsof we het 1000 keer testen met dezelfde data, maar dan in een andere volgorde.

Analogie: Stel je hebt een doos met 42 kaarten. Je trekt er 10, telt je score, en legt ze terug. Dan doe je dat nog 999 keer. Zo zie je: "Hoe vaak zou ik een slechte score krijgen als ik het toevallig net iets anders had getrokken?"
Dit heet Bootstrapping. Het geeft je een Vertrouwensinterval. In plaats van te zeggen "Ik haal 83%", zeg je: "Ik haal 83%, maar met 95% zekerheid ligt mijn echte score ergens tussen 71% en 93%." Dat is veel eerlijker!

Stap 4: De Capabiliteitsindex (De "Veiligheidsmeter")

Nu heb je je doel (Stap 1), je steekproef (Stap 2) en je betrouwbaarheidsinterval (Stap 3). Hoe combineer je dat tot één getal?

Analogie: Stel je rijdt een auto door een smalle tunnel. Je doel is om niet tegen de muren te slaan.
- Als je precies in het midden rijdt, ben je veilig.
- Als je heel dicht tegen de muur rijdt, ben je in gevaar, zelfs als je nog niet hebt geraakt.
- De Capabiliteitsindex (Cpk) is een getal dat aangeeft hoeveel "ruimte" je hebt.
  - Cpk < 1: Je zit te dicht tegen de muur. Gevaarlijk! Niet gebruiken.
  - Cpk = 1: Je zit op de rand. Misschien wel, maar pas op.
  - Cpk > 2: Je hebt veel ruimte. Je kunt rustig doorrijden.

Wat hebben ze ontdekt?

De auteurs hebben deze methode getest op twee echte bedrijven:

Een olieboring-bedrijf: Een AI die ruimte op een platform meet. De AI had een gemiddelde score die "goed" leek, maar de Cpk-toon liet zien dat ze heel dicht tegen de veilige limiet zaten. Conclusie: "Je mag het gebruiken, maar houd het heel goed in de gaten."
Een bank: Een AI die creditcardfraude opsporst. Deze had een Cpk van bijna 2. Conclusie: "Deze is heel veilig en betrouwbaar."

Wat zeggen de experts?

De auteurs hebben vier experts uit de industrie geïnterviewd. Wat vonden ze?

Het is nuttig: Het helpt om de discussie te veranderen van "Ik denk dat het wel goed is" naar "We hebben statistisch bewijs dat het veilig is."
Het is niet moeilijk: De berekeningen zijn simpel, al moet je wel even wennen aan het idee van "bootstrapping".
Het vult een gat: Er was geen goede manier om AI-kwaliteit te meten die rekening hield met variatie. Dit is die manier.

Conclusie

Kortom: AI-systemen zijn als levende wezens; ze variëren. De oude manier van testen (alleen kijken naar het gemiddelde) is als kijken naar de gemiddelde temperatuur van een dag en vergeten dat het 's nachts vriest.

De SCFC-methode is als een slimme thermometer die je niet alleen de temperatuur geeft, maar ook waarschuwt: "Let op, morgen kan het vriest, dus trek een jas aan." Het helpt bedrijven om veiliger, slimmer en met meer vertrouwen AI-systemen in te zetten.

Probleemstelling

De kwaliteitsevaluatie van kunstmatige intelligentie (AI)-systemen vormt een fundamentele uitdaging vanwege hun inherent probabilistische aard. Bestaande standaarden, zoals ISO/IEC 25059, bieden weliswaar een kwaliteitsmodel, maar missen praktische en statistisch robuuste methoden om functionele correctheid te beoordelen.
De huidige praktijk kampt met de volgende tekortkomingen:

Deterministische vs. Probabilistische Incompatibiliteit: Traditionele testmethodes (die uitgaan van voorspelbare input-output mapping) zijn ontoereikend voor adaptieve AI-modellen.
Het "Test Oracle"-probleem: De "correcte" output is vaak niet eenduidig gedefinieerd of slechts binnen een probabilistisch bereik te benaderen.
Afwijkingen in evaluatie: Evaluaties baseren zich vaak op punt-schattingen (bijv. een gemiddelde nauwkeurigheid van 83%). Dit maskeert de variabiliteit van het model en creëert een vals gevoel van zekerheid, zonder inzicht te geven in de statistische betrouwbaarheid of het risico dat de prestaties onder de bedrijfsvereisten zakken.

Methodologie: De SCFC-benadering

Het paper introduceert de Statistical Confidence in Functional Correctness (SCFC) benadering. Deze methode koppelt zakelijke requirements aan een maatstaf voor statistisch vertrouwen die zowel de gemiddelde prestatie als de variabiliteit in overweging neemt. De aanpak bestaat uit vier sequentiële stappen:

Definiëren van Specificatiegrenzen voor Functionele Correctheid:
- Zakelijke behoeften worden vertaald naar objectieve, meetbare acceptatiecriteria.
- Er worden Specificatiegrenzen vastgesteld: een Lower Specification Limit (LSL) voor metrics waarbij hogere waarden beter zijn (bijv. recall), en een Upper Specification Limit (USL) voor metrics waarbij lagere waarden beter zijn (bijv. false positive rate).
- Voorbeeld: Een fraudedetectiesysteem moet minimaal 95% van de fraudegevallen detecteren (LSL = 0,95).
Uitvoeren van Gelaagde en Probabilistische Steekproeven (Stratified Sampling):
- Om vertekening te voorkomen en de realiteit te simuleren, wordt stratified sampling toegepast in plaats van eenvoudige willekeurige steekproeven.
- Samen met domeinexperts worden stratificatievariabelen geïdentificeerd (bijv. transactietype, regio) die het modelgedrag beïnvloeden.
- Elementen binnen elke stratum worden probabilistisch geselecteerd om ervoor te zorgen dat minderheidsgroepen (die vaak kritiek zijn) adequaat vertegenwoordigd zijn.
Toepassen van Bootstrapping en Berekenen van Vertrouwensintervallen:
- Om de variabiliteit van het model te kwantificeren, wordt bootstrapping (niet-parametrische resampling) toegepast op de verzamelde teststeekproef.
- Er worden 1000 nieuwe steekproeven gegenereerd (met teruglegging) om de verdeling van de prestatiemetric te schatten.
- Op basis hiervan wordt een 95% Vertrouwensinterval (Confidence Interval - CI) berekend. Dit geeft een bereik van plausibele waarden voor de ware prestatie van het systeem, in plaats van slechts één gemiddelde.
Berekenen en Analyseren van de Capability Index ( $C_{pk}$ ):
- De uiteindelijke indicator is een Capability Index ( $C_{pk}$ ), een aanpassing van de Six Sigma-formule. Deze index meet de relatie tussen het gemiddelde en de variabiliteit ten opzichte van de specificatiegrens.
- De formule gebruikt de onder- of bovengrens van het CI in plaats van de standaarddeviatie, waardoor deze robuuster is voor niet-normale verdelingen van AI-metrics.
- Interpretatie:
  - $C_{pk} < 1.0$ : Onaanvaardbaar (het systeem voldoet niet consistent).
  - $C_{pk} = 1.0$ : Minimale capaciteit (systeem zit aan de rand van de specificatie).
  - $C_{pk} > 2.0$ : Uitstekend (zeer hoog vertrouwen in consistentie).

Belangrijkste Bijdragen

Paradigmaverschuiving: De overgang van een punt-schatting (gemiddelde) naar een statistische zekerheidsuitspraak die variabiliteit en risico kwantificeert.
Operationalisatie van Standaarden: Een praktische methode om de hoge-level eisen van ISO/IEC 25059 toe te passen in industriële contexten.
Robuuste Statistiek: Integratie van bootstrapping en capability indices in de softwarekwaliteitsbeoordeling van AI, wat geschikt is voor niet-normale data-verdelingen.
Besluitvormingsondersteuning: De $C_{pk}$ biedt een eenduidige, interpreteerbare maatstaf voor stakeholders om te beslissen over de deploybaarheid van een AI-model.

Resultaten

De methode werd geëvalueerd via een case study met twee reële industriële AI-systemen en beoordeeld door vier AI-experts.

1. Case Studies:

Case 1 (Ruimteberekening op boorplatforms):
- Vereiste: Minimaal 70% correcte schattingen (LSL = 0,70).
- Gemiddelde prestatie: 83,4%.
- Resultaat SCFC: De 95% CI was [0,7143; 0,9286]. De berekende $C_{pk}$ was 1,12.
- Inzicht: Hoewel het gemiddelde hoog was, bleek de ondergrens van het vertrouwen (71,4%) zeer dicht bij de limiet (70%) te liggen. Dit duidt op een klein veiligheidsmarge en een risico op degradatie. Het systeem werd goedgekeurd voor deploy met strikte monitoring.
Case 2 (Creditcardfraudedetectie):
- Vereiste: Minimaal 98% recall (LSL = 0,98).
- Gemiddelde prestatie: 99,1%.
- Resultaat SCFC: De 95% CI was [0,9855; 0,9967]. De berekende $C_{pk}$ was 1,98.
- Inzicht: De ondergrens (98,55%) zat ruim boven de limiet, wat een zeer robuuste situatie aangeeft. Het model werd als uitstekend beoordeeld voor productie.

2. Expert Feedback (Interviews):

Acceptatie: De experts toonden een hoge intentie om de methode toe te passen.
Nuttigheid: De methode werd gewaardeerd omdat hij een gat in de huidige QA-processen vult en helpt bij het definiëren van verwachtingen van stakeholders.
Gebruiksgemak: De berekeningen werden als eenvoudig beschouwd, hoewel er een leercurve is voor het toepassen van bootstrapping.
Nuances: Experts merkten op dat de definitie van grenzen sterk afhankelijk is van de betrokkenheid van stakeholders en dat stratified sampling soms moet worden aangepast aan specifieke contexten (bijv. oversampling van minderheden bij fraudedetectie).

Betekenis en Conclusie

De SCFC-benadering biedt een haalbare en waardevolle manier om functionele correctheid van AI-systemen te operationaliseren. Door te verschuiven van "is het gemiddelde goed genoeg?" naar "hoe zeker zijn we dat het systeem binnen de specificaties blijft?", biedt de methode een robuustere basis voor besluitvorming.

De studie concludeert dat het gebruik van een Capability Index ( $C_{pk}$ ) gebaseerd op bootstrapped confidence intervals ontwikkelaars en stakeholders in staat stelt om de risico's van deploy kwantitatief te beoordelen. Dit is essentieel voor het bouwen van betrouwbare, veilige en verantwoorde AI-systemen in kritieke toepassingsgebieden zoals financiën, gezondheidszorg en logistiek. De aanpak wordt gezien als een belangrijke stap richting mature MLOps en continue kwaliteitsbewaking.