🤖 machine learning

Using predictive multiplicity to measure individual performance within the AI Act

Dit artikel betoogt dat voorspellende veelvoudigheid — het bestaan van meerdere modellen met een vergelijkbare nauwkeurigheid maar conflicterende individuele voorspellingen — in strijd is met de vereisten van de EU AI Act voor hoogrisicosystemen, en stelt specifieke metrieken en rapportagerichtlijnen voor om dergelijke onenigheden te kwantificeren en openbaar te maken om naleving en betrouwbaarheid te waarborgen.

Oorspronkelijke auteurs: Karolin Frohnapfel, Mara Seyfert, Sebastian Bordt, Ulrike von Luxburg, Kristof Meding

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Karolin Frohnapfel, Mara Seyfert, Sebastian Bordt, Ulrike von Luxburg, Kristof Meding

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een lening aanvraagt, een baan zoekt of een medische behandeling krijgt. Je hoopt dat het computersysteem dat over jouw lot beslist een kristallen bol is die de waarheid perfect ziet. Maar wat als die kristallen bol niet één enkel object is? Wat als het eigenlijk een hele doos met verschillende kristallen bollen is, die allemaal door hetzelfde bedrijf zijn gemaakt, die allemaal beweren 95% accuraat te zijn, maar die je toch allemaal iets anders vertellen over jouw specifieke situatie?

Dit is de kern van het probleem waar het artikel "Using predictive multiplicity to measure individual performance within the AI Act" zich mee bezighoudt. Hieronder volgt een eenvoudige uiteenzetting van hun argument, gebruikmakend van alledaagse analogieën.

1. Het Probleem: Het "Rashomon"-effect

In de wereld van AI bestaat er een fenomeen genaamd Predictive Multiplicity (voorspellende veelvoudigheid). Denk hierbij aan een groep deskundige rechters die naar hetzelfde dossier kijken.

Het scenario: Je hebt 100 deskundige rechters. Ze zijn het over 90% van de zaken eens. Ze zijn allemaal "accuraat" in algemene zin.
De twist: Wanneer ze naar jouw specifieke zaak kijken, zeggen 50 rechters "Ja" en 50 rechters "Nee".
De realiteit: Omdat er geen enkel "beste" model is, had de AI-aanbieder ook gemakkelijk een ander model uit zijn gereedschapskist kunnen kiezen dat jou een tegenovergesteld resultaat zou hebben gegeven, ook al was dat model in algemene zin net zo "accuraat".

De auteurs stellen dat deze willekeur gevaarlijk is. Als jouw leven afhangt van de beslissing, mag het er niet toe doen welk van de "even goede" modellen de computer toevallig heeft gekozen. Als de modellen het oneens zijn over jou, is het systeem in feite een muntje aan het opgooien voor jouw specifieke geval.

2. De Wet: De EU AI Act

Het artikel bekijkt dit probleem vanuit het perspectief van de EU AI Act, een nieuwe Europese wet die hoogrisico-AI reguleert (zoals bij werving, gezondheidszorg of kredietverlening).

De vereiste: De wet stelt dat bedrijven die deze AI-systemen bouwen moeten bewijzen dat ze accuraat zijn.
De kloof: Meestal zeggen bedrijven gewoon: "Ons systeem is 90% accuraat op de totale dataset."
Het inzicht van het artikel: De wet vereist eigenlijk dat aanbieders rapporteren over specifieke personen, en niet alleen over het gemiddelde van de groep. De auteurs stellen dat als verschillende "goede" modellen het oneens zijn over een specifiek persoon, het systeem niet betrouwbaar is voor die persoon, zelfs als de algemene score er geweldig uitziet.

3. De Oplossing: Het Meten van de "Onenigheid"

Om dit op te lossen, stellen de auteurs een nieuwe manier voor om prestaties te meten. In plaats van alleen te vragen: "Heeft het model gelijk?", vragen ze: "In hoeverre zijn de andere goede modellen het oneens met dit specifieke model?"

Ze introduceren twee eenvoudige instrumenten (metrieken) om deze onenigheid te meten:

De Conflict Ratio (De "Touwtrekkingsmeter"):
Stel je een touwtrekwedstrijd voor bij jouw specifieke geval. Als er 100 modellen aan het touw trekken, hoeveel trekken er dan aan "Ja" versus "Nee"?
- Als 99 aan "Ja" trekken en 1 aan "Nee", is het conflict laag. Je kunt de "Ja" vertrouwen.
- Als 50 aan "Ja" trekken en 50 aan "Nee", is het conflict maximaal. Het systeem is verward over jou.
- Het doel: Als de conflict ratio hoog is, moet het systeem deze persoon signaleren voor een menselijke beoordeling, in plaats van de computer de beslissing te laten nemen.
De $\delta$ -Ambiguity (De "Verwarringsmeting"):
Dit is een manier om te tellen hoeveel mensen in de gehele groep zich in deze "verwarde" staat bevinden. Het helpt het bedrijf om te zien of hun systeem over het algemeen betrouwbaar is of dat het voor een groot deel van de mensen een puinhoop is.

4. Hoe doe je dit: De "Ad-Hoc" Aanpak

Je zou kunnen denken: "Om al deze verschillende modellen te vinden, moet ik er miljoenen testen!" Dat zou eeuwig duren.
De auteurs hebben een slimme afkorting gevonden. Je hoeft niet elk mogelijk model te testen. Je hoeft alleen maar een kleine groep modellen te trainen door kleine, willekeurige wijzigingen aan te brengen in het proces, zoals:

De volgorde van de gegevens licht te veranderen.
Een klein beetje "ruis" (willekeur) toe te voegen aan de getallen.
Iets andere instellingen te gebruiken (zoals de temperatuur op een fornuis aanpassen).

Ze hebben dit getest en ontdekten dat zelfs een kleine groep modellen die op deze manier zijn getraind, voldoende is om te onthullen waar het systeem in de war is. Het is alsoals een paar verschillende koks vragen om hetzelfde gerecht te bereiden met net iets andere ingrediënten; als ze het allemaal eens zijn over de smaak, zit je goed. Als ze ruzie maken, weet je dat er iets mis is.

5. De Aanbeveling: Een Handdruk tussen Maker en Gebruiker

Het artikel concludeert met een praktische suggestie voor hoe de AI Act in de praktijk zou moeten werken:

Voor de AI-makers (Aanbieders): Lever niet alleen één "black box"-model aan. Geef de mensen die het systeem gebruiken (de Gebruikers/Deployers) een "gereedschapskist" van verschillende even goede modellen.
Voor de AI-gebruikers (Deployers): Controleer voordat je een definitieve beslissing neemt over een persoon de "Conflict Ratio".
- Laag conflict: De modellen zijn het eens. Ga door met de geautomatiseerde beslissing.
- Hoog conflict: De modellen vechten met elkaar. Stop. Laat een mens de definitieve beslissing nemen.

Samenvatting

Het artikel betoogt dat accuratesse niet alleen een getal is; het is een verhaal over consistentie. Als een AI-systeem het niet met zichzelf eens kan zijn over jou, dan zou het niet de toestemming moeten krijgen om een ingrijpende beslissing over jou te nemen zonder dat een mens over je schouder meekijkt. Door te meten hoeveel verschillende "goede" modellen het oneens zijn, kunnen we AI veiliger en betrouwbaarder maken onder de nieuwe Europese wetgeving.

Technische Samenvatting: Het gebruik van voorspellende multipliciteit om individuele prestaties te meten binnen de AI-verordening

Probleemstelling
Het artikel behandelt het fenomeen van voorspellende multipliciteit (ook wel het Rashomon-effect genoemd), waarbij meerdere verschillende machine learning-modellen vergelijkbare algemene statistische nauwkeurigheid bereiken, maar conflicterende voorspellingen doen voor specifieke individuele gevallen. Hoewel een hoge geaggregeerde nauwkeurigheid duidt op algemene betrouwbaarheid, garandeert dit geen betrouwbare uitkomsten voor specifieke individuen. Deze willekeur is bijzonder problematisch in sectoren met een hoge inzet (bijv. werkgelegenheid, gezondheidszorg, onderwijs) waar beslissingen direct invloed hebben op mensenrechten en welzijn.

De auteurs stellen dat dit probleem een regelgevende uitdaging vormt onder de EU AI-verordening (AI Act). De Verordening vereist dat hoogrisico-AI-systemen een "passend niveau van nauwkeurigheid" bereiken (Artikel 15) en verplicht aanbieders om prestatiegegevens te rapporteren, niet alleen op het niveau van de dataset, maar ook voor specifieke personen (Artikelen 11 en 13, Bijlage IV). Het artikel stelt dat als meerdere modellen van vergelijkbare nauwkeurigheid van mening verschillen over een individueel geval, het systeem voor dat individu niet als betrouwbaar kan worden beschouwd, wat potentieel in strijd is met de bepalingen van de AI-verordening met betrekking tot nauwkeurigheid en transparantie.

Methodologie
Het artikel hanteert een tweeledige aanpak: een doctrinaal juridische analyse van de EU AI-verordening en een computationeel kader voor het meten van voorspellende multipliciteit.

Juridische Analyse:
- De auteurs analyseren Artikelen 11, 13 en 15 van de AI-verordening met behulp van tekstuele, systematische en teleologische interpretatie.
- Zij stellen vast dat "nauwkeurigheid" in de Verordening verwijst naar het bredere concept van prestaties in relatie tot het beoogde doel van het systeem, wat verder gaat dan standaard statistische metrieken.
- Cruciaal is dat zij de transparantievereisten interpreteren als een verplichting tot prestatiebeoordelingen voor specifieke individuen, en niet alleen voor geaggregeerde datasetstatistieken.
Technisch Kader:
Om de juridische vereiste voor individuele prestatiebeoordeling te operationaliseren, stellen de auteurs voor om de onenigheid tussen modellen binnen een Rashomon-set te kwantificeren (de verzameling van alle modellen die een nauwkeurigheid bereiken binnen een drempelwaarde $\epsilon$ van het beste model).
- Conflict Ratio ( $c_R(x)$ ): Een metriek voor individuele datapunten $x$ . Het meet het deel van de modellen in de Rashomon-set die een andere label voorspellen dan de meerderheid. Een waarde van 0,5 geeft maximale conflicten aan (de helft voorspelt 0, de andere helft 1); 0 duidt op unanieme overeenstemming.
- $\delta$ -Ambiguïteit ( $A_\delta(R, D)$ ): Een metriek op datasetniveau die het deel van de individuen vertegenwoordigt wier conflict ratio een drempelwaarde $\delta$ overschrijdt. Dit generaliseert standaard ambiguïteit door rekening te houden met de graad van conflict, in plaats van enkel de aanwezigheid ervan.
- Ad-hoc Benadering: Omdat het enumereren van de volledige Rashomon-set computationeel onhaalbaar is voor complexe modellen, stellen de auteurs een ad-hoc benadering voor. Dit houdt in dat er meerdere modellen worden getraind door te variëren in:
  - Parametrische multipliciteit: Hyperparameters, random seeds en modelarchitectuur.
  - Dataset-multipliciteit: Bootstrapping, ruis in kenmerken (features) en subsampling van kenmerken.
- De resulterende verzameling hoogpresterende modellen dient als een benadering van de Rashomon-set om conflict ratio's te berekenen.

Belangrijkste Resultaten
De auteurs valideren hun aanpak via experimenten met synthetische data, de American Community Survey (ACS) werkgelegenheidsdataset en verschillende real-world datasets (COMPAS, Student Dropout, European Social Survey).

Belang van Dataset-multipliciteit: Experimenten tonen aan dat het negeren van dataset-multipliciteit (het trainen van alle modellen op dezelfde dataset-sample) de voorspellende multipliciteit aanzienlijk onderschat. Het opnemen van datasetvariaties (bijv. bootstrapping) is cruciaal voor het ontdekken van conflicterende gevallen.
Effectiviteit van de Ad-hoc Benadering: De ad-hoc benadering, zelfs met een relatief klein aantal modellen (bijv. 200–500), benadert de conflict ratio's en $\delta$ -ambiguïteit van exhaustieve methoden (zoals het TreeFarms-algoritme voor beslisbomen) nauwgezet.
Convergentie: Metrieken zoals standaard ambiguïteit en $\delta$ -ambiguïteit convergeren snel naarmate de omvang van de Rashomon-set toeneemt, wat suggereert dat een kleine, diverse set modellen voldoende is om de relevante multipliciteit te vangen.
Real-World Toepassing: Op de ACS Employment dataset identificeerden benaderingen die dataset-multipliciteit incorporeerden (specifiek bootstrapping) succesvol een hoger aandeel individuen met hoge conflict ratio's vergeleken met benaderingen die gebruikmaakten van vaste data.

Betekenis en Claims
Het artikel claimt de eerste te zijn die voorspellende multipliciteit direct verbindt met de nalevingsvereisten van de EU AI-verordening. De primaire bijdragen zijn:

Juridische Interpretatie: Het betoogt dat de eis van de AI-verordening om prestaties voor "specifieke personen" te rapporteren, impliceert dat er een noodzaak is om individuele betrouwbaarheid te beoordelen, waarvoor voorspellende multipliciteit een kader biedt om dit te meten.
Praktische Compliance-instrumenten: Het introduceert conflict ratio's en $\delta$ -ambiguïteit als concrete, computationeel haalbare instrumenten voor aanbieders om individuele prestaties te evalueren en voor gebruikers om hoogrisicogevallen te identificeren.
Actiegerichte Aanbevelingen:
- Voor Aanbieders: Zij moeten doelbewust zoeken naar modellen met vergelijkbare nauwkeurigheid (met behulp van de ad-hoc benadering) en gebruikers informatie verstrekken over conflicterende voorspellingen.
- Voor Gebruikers: Zij moeten conflict ratio's gebruiken om individuen te identificeren die onderhevig zijn aan hoge ambiguïteit. Voor deze gevallen adviseert het artikel om menselijk toezicht te betrekken in plaats uitsluitend te vertrouwen op geautomatiseerde beslissingen, om zo te waarborgen dat beslissingen goed onderbouwd zijn.

De auteurs nemen een bescheiden standpunt in door te erkennen dat hun ad-hoc benadering een benadering is en dat de exacte definitie van "passende nauwkeurigheid" afhankelijk zal zijn van toekomstige geharmoniseerde normen. Zij stellen echter dat het overwegen van voorspellende multipliciteit essentieel is om te garanderen dat door AI ondersteunde beslissingen betrouwbaar zijn en om vertrouwen in hoogrisico-AI-systemen te bevorderen.