📊 statistics

Black-Box Reliability Certification for AI Agents via Self-Consistency Sampling and Conformal Calibration

Dit artikel introduceert een methode voor black-box betrouwbaarheidscertificering van AI-agenten die, door gebruik te maken van zelfconsistentie-sampling en conformale kalibratie, een exacte, distributie-vrije betrouwbaarheidsgraad per taak levert met gegarandeerde dekking en kostenefficiëntie.

Oorspronkelijke auteurs: Charafeddine Mouzouni

Gepubliceerd 2026-02-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Charafeddine Mouzouni

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe, zeer slimme maar geheime robot hebt aangeschaft. Je wilt hem inzetten om moeilijke wiskundeproblemen op te lossen of supporttickets te beantwoorden. Maar er is een groot probleem: je mag niet in zijn hersenen kijken. Je ziet alleen wat hij zegt, niet hoe hij er aan komt.

De vraag is dan: "Hoeveel kan ik deze robot eigenlijk vertrouwen?"

Meestal zeggen mensen: "Laten we hem een paar vragen laten doen en kijken of hij het goed heeft." Maar dat is als het testen van een muntje door het één keer op te gooien. Soms heb je geluk, soms niet. Of ze laten een andere AI oordelen, maar die andere AI kan ook vooroordelen hebben (bijvoorbeeld: "hij klinkt zo overtuigend, dus hij moet wel gelijk hebben").

Deze paper introduceert een nieuwe, slimme manier om die robot te testen. Ze noemen het "Black-Box Reliability Certification". Laten we het uitleggen met een paar leuke vergelijkingen.

1. De "Meeste Stemmen" Strategie (Self-Consistency)

Stel, je vraagt de robot: "Hoeveel is 2 + 2?"
In plaats van één keer te vragen, vraag je hem 10 keer hetzelfde.

De robot antwoordt 10 keer: "4".
Of: 8 keer "4", 1 keer "5", en 1 keer "3".

Als de robot 8 keer "4" zegt en 2 keer "5", is hij waarschijnlijk heel zeker van "4". Maar als hij 5 keer "4" en 5 keer "5" zegt, is hij in de war.

De truc: De auteurs laten de robot een vraag 10 keer beantwoorden, groeperen de antwoorden en kijken welke het vaakst voorkomt. Dit is als een jury van 10 personen die allemaal hetzelfde probleem oplossen. Als 9 van de 10 hetzelfde zeggen, is dat een sterk signaal.

2. De "Stemmen tellen" (Conformal Calibration)

Nu komt het slimme deel. Stel, je hebt deze robot getest op 100 vragen. Je ziet dat hij vaak "4" zegt, maar is hij ook altijd correct?

Hier komt een menselijke controleur (of een heel klein, betrouwbaar team) kijken. Ze kijken niet naar alle 100 antwoorden, maar kiezen willekeurig 50 vragen uit.

Ze kijken: "Zag de robot hier het juiste antwoord als zijn meest populaire keuze?"
Als dat zo is, tikken ze een vinkje.
Zo niet, dan een kruisje.

Op basis van deze 50 snelle checks berekent het systeem een betrouwbaarheidsscore.

Voorbeeld: "Op basis van deze 50 checks, kunnen we garanderen dat de robot 94,6% van de tijd het juiste antwoord geeft als hij dat antwoord als zijn 'meest populaire' keuze aanwijst."

Het mooie is: dit getal is wiskundig gegarandeerd. Het maakt niet uit of de robot gek is, of dat de vragen heel moeilijk zijn. Het systeem zegt gewoon: "Boven dit percentage kun je erop vertrouwen, en daarbeneden niet."

3. De "Veiligheidsnet" (Prediction Sets)

Soms is de robot in de war. Hij zegt 5 keer "4" en 5 keer "5". Wat doe je dan?
In plaats van te zeggen: "Hij heeft het fout," zegt het systeem: "Ik kan niet kiezen tussen 4 en 5, dus ik geef je beide als antwoord."

Dit noemen ze een voorspellingsset.

Een slimme robot: Geeft bijna altijd één antwoord (een set van grootte 1).
Een stomme robot: Geeft vaak een lijstje met 3 of 4 mogelijke antwoorden.

Dit is eerlijk. Als de robot twijfelt, laat het systeem dat zien door de lijst langer te maken. Je ziet dan direct: "Ah, op dit soort vragen is deze robot niet zo sterk."

Waarom is dit zo belangrijk?

Geen geheimen nodig: Je hoeft niet te weten hoe de robot werkt (geen toegang tot zijn code of gewichten). Je hebt alleen de API (de manier waarop je hem vraagt) nodig.
Eerlijkheid: Als een robot slecht is, krijg je een laag cijfer (bijv. 66%). Je krijgt geen nep-cijfer dat zegt dat hij 99% goed is. Het systeem maakt de zwaktes zichtbaar.
Kostenbesparing: Omdat je weet wanneer de robot zeker is, kun je stoppen met vragen stellen zodra hij duidelijk is. In de tests bespaarde dit 50% van de kosten (want je hoeft de robot niet 10 keer te vragen als hij na 2 keer al duidelijk is).

Samenvatting in één zin

Deze paper geeft je een betrouwbaarheidsmeter voor AI-systemen die je niet kunt openmaken. Door de AI dezelfde vraag 10 keer te laten beantwoorden en een klein beetje menselijke controle toe te passen, krijg je een exact percentage dat zegt: "Je kunt dit systeem vertrouwen tot dit niveau, en we weten precies waar het faalt."

Het is als een keurmerk voor AI: geen vage beloften, maar een hard, wiskundig gegarandeerd cijfer.

Probleemstelling

De kernvraag die dit artikel adresseert is: Op welk betrouwbaarheidsniveau kan een gebruiker het output van een black-box AI-systeem vertrouwen voor een specifieke taak?

Bestaande evaluatiemethoden hebben fundamentele tekortkomingen:

Enkele steekproef-evaluatie: Is onbevooroordeeld maar heeft een hoge variantie (ruis), vooral bij moeilijke vragen.
Naïeve zelfconsistentie (Self-Consistency): Verlaagt de variantie door meerdere antwoorden te aggregeren, maar kan bias versterken. Als het meest voorkomende antwoord verkeerd is, maakt meer steekproeven het verkeerde antwoord "zekerder" (het "stabiele hallucinatie"-fenomeen).
LLM-as-judge: Leidt tot onoplosbare systematische bias (bijv. positie-bias, voorkeur voor uitgebreide antwoorden) en biedt geen formele garanties.

Er is een behoefte aan een methode die zowel bias als variantie controleert, geen toegang vereist tot de interne gewichten van het model (black-box), en een formele, eindige-steekproef-garantie biedt zonder aannames over de data-verdeling.

Methodologie

De auteurs introduceren een raamwerk dat Zelfconsistentie Sampling combineert met Conformale Kalibratie om een enkel getal te genereren: het Betrouwbaarheidsniveau (Reliability Level).

Het proces verloopt in drie stappen (zie Figuur 1 in het artikel):

Zelfconsistentie Sampling:
- Voor elke testvraag wordt het AI-systeem $K$ keer (bijv. $K=10$ ) gevraagd om hetzelfde te beantwoorden.
- De antwoorden worden gegroepeerd en gekanoniseerd (bijv. "42", "42.0" en "veertig-twee" worden als hetzelfde beschouwd).
- De unieke antwoorden worden gerangschikt op basis van hun frequentie. Het meest voorkomende antwoord is de "mode".
Conformale Kalibratie:
- Een kleine, menselijk gecontroleerde kalibratie-set ( $n \approx 50-100$ items) wordt gebruikt.
- Voor elk item in deze set wordt de niet-conformiteitscore berekend: dit is de rang van het juiste antwoord binnen de gerangschikte lijst van het model. Als het juiste antwoord de top-1 is, is de score 1; als het niet voorkomt, is de score oneindig.
- Op basis van deze scores wordt een conformale drempelwaarde ( $M^*$ ) bepaald die garandeert dat de waarheid met een bepaalde waarschijnlijkheid ( $1-\alpha$ ) binnen de top- $M$ antwoorden zit.
Betrouwbaarheidsniveau (Reliability Level):
- Dit is het eindresultaat: een enkel percentage per (model, taak)-paar.
- Het definieert het hoogste vertrouwen (coverage) waarbij het model zijn top-antwoord (de mode) betrouwbaar kan leveren.
- Het is een deployment gate: als het vereiste niveau (bijv. 90%) niet wordt gehaald, mag het model niet worden ingezet.

Kernbijdragen

Betrouwbaarheidscertificering voor Deployment:
- De introductie van het Reliability Level (Definitie 2.4). Dit is een enkel getal dat direct antwoord geeft op de vraag: "Kan ik dit agent op X% vertrouwen?". Het is gevalideerd over vijf benchmarks en meerdere model-families.
Black-Box Niet-Conformiteitscore:
- Een technische innovatie waarbij de conformale score volledig wordt gebouwd op externe steekproeffrequenties (rangschikking van consensus), in plaats van interne logits of softmax-kansen. Dit maakt de methode toepasbaar op elke black-box API (zoals GPT-4) zonder toegang tot de modelinterne.
Theoretische Garantie's (Bias-Immuniteit):
- Theorema 7.3: De dekking (coverage) is geldig ongeacht de systematische bias van het agent. Als het model systematisch fouten maakt, wordt dit niet verborgen in een score, maar zichtbaar gemaakt door grotere voorspellingssets (het model moet meer antwoorden presenteren om de dekking te garanderen).
- De foutmarge in de dekking is begrensd door $1/(n+1)$ , wat onafhankelijk is van de agent-kwaliteit.
Bias-Variance Anatomie:
- Een formele ontleding toont aan dat enkelvoudige steekproeven te veel variantie hebben, LLM-judges onoplosbare bias hebben, en naïeve zelfconsistentie bias kan versterken. Het voorgestelde raamwerk lost dit op door een set-valued voorspelling te maken (in plaats van één punt) en deze te kalibreren.
Sequentiële Stoppen met Vroege Stop:
- Een Hoeffding-gebaseerde stopregel die de API-kosten met ongeveer 50% verlaagt. Het systeem stopt vroeg bij vragen waar de consensus snel duidelijk is, maar verzamelt meer steekproeven bij onduidelijke vragen, zonder in te leveren op de dekking.

Resultaten

De methode is gevalideerd op vijf benchmarks (HumanEval, TruthfulQA, BigBench, GSM8K, MMLU) met vijf modellen (GPT-4.1 ladder, Llama 4, Mistral Small).

Betrouwbaarheidsniveaus:
- GPT-4.1: 94.6% op GSM8K (wiskunde) en 96.8% op TruthfulQA.
- GPT-4.1-nano: 89.8% op GSM8K en slechts 66.5% op MMLU.
- Dit illustreert dat zwakkere modellen een lager betrouwbaarheidsniveau krijgen, wat een eerlijke vergelijking mogelijk maakt zonder misleidende "accuracy"-scores.
Dekking en Kalibratie:
- De conditionele dekking op oplosbare items (waar het model überhaupt een correct antwoord kan genereren) overschrijdt 0.93 in alle configuraties.
- Waar de marginale dekking lager is dan het doel (bijv. 0.707 op HumanEval), is dit te wijten aan het onvermogen van het model om bepaalde vragen op te lossen (capaciteitskloof), en niet aan een falende kalibratie.
Kostenbesparing:
- Door sequentiële stoppen wordt het gemiddelde aantal API-calls per vraag gehalveerd (van 20 naar ~10) met behoud van de dekking.
Vergelijking met LLM-as-Judge:
- Op ambigue taken (zoals BigBench) presteert de conformale methode beter dan een LLM-judge, zelfs bij gelijke kosten. De judge faalt door systematische bias, terwijl de conformale methode deze bias "eerlijk" rapporteert via grotere voorspellingssets.

Betekenis en Impact

Dit werk biedt een praktische, wiskundig onderbouwde oplossing voor het vertrouwen in AI-systemen in productieomgevingen.

Transparantie: Het maakt vertrouwen meetbaar en transparant. In plaats van een vaag gevoel, krijgt een gebruiker een getal met een garantie.
Black-Box Compatibiliteit: Het is de eerste methode die formele conformale garanties biedt voor modellen waar men geen toegang toe heeft (geen logits), wat essentieel is voor commerciële API's.
Eerlijke Diagnose: Het onderscheidt tussen "kalibratiefout" (de methode werkt niet) en "capaciteitskloof" (het model is gewoon niet goed genoeg). Als een model faalt, wordt dit zichtbaar in de grootte van de voorspellingsset of een laag betrouwbaarheidsniveau, in plaats van een verborgen fout.
Toepasbaarheid: Het raamwerk is direct inzetbaar als een "deployment gate" voor organisaties die AI willen inbouwen, met een duidelijke drempel: "We hebben 90% betrouwbaarheid nodig; welke modellen halen dit?"

Kortom, het artikel verschuift de focus van het schatten van nauwkeurigheid (accuracy) naar het certificeren van betrouwbaarheid (reliability) met formele garanties, wat cruciaal is voor de veilige en verantwoorde implementatie van AI-agenten.