🤖 machine learning

Actions Have Consequences: Detecting Outcome Performativity using Intervention Testing

Dit artikel introduceert Outcome Performativity A/B Detection (OPAB), een formeel kader dat interventietesten gebruikt om te detecteren wanneer voorspellingen causaal hun eigen uitkomsten beïnvloeden, terwijl het steekproefcomplexiteitsgrenzen afleidt en valideert om situaties te identificeren waarin dergelijke detectie wel of niet haalbaar is vanwege dataconstraints.

Oorspronkelijke auteurs: Brandon Gower-Winter, Georg Krempl

Gepubliceerd 2026-07-30

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Brandon Gower-Winter, Georg Krempl

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een weerman bent. Normaal gesproken kijk je gewoon naar de wolken en zeg je: "Het gaat regenen." Je voorspelling verandert het weer niet; de lucht doet wat hij wil, ongeacht wat jij zegt. Maar wat als je voorspelling het weer zou kunnen veranderen? Wat als, op het moment dat jij "Regen!" naar de menigte roept, de wolken daadwerkelijk samenklonteren omdat mensen hun paraplu's gaan openen en de wind van richting verandert? In de wereld van Kunstmatige Intelligentie is dit vreemde fenomeen echt. Het wordt Outcome Performativity genoemd. Het gebeurt wanneer de gok van een computer over de toekomst daadwerkelijk helpt om die toekomst te creëren. Denk aan de AI van een bank die voorspelt wie een lening niet zal kunnen terugbetalen. Als de AI zegt: "Deze persoon is riskant," en de bank weigert hen een lening, dan kan die persoon zelfs omdat ze het geld werd geweigeren, failliet gaan. De voorspelling veroorzaakte de uitkomst.

Dit is een lastig probleem voor wetenschappers omdat het een feedbackloop creëert. Als een AI leert van data waarin zijn eigen voorspellingen de resultaten hebben veranderd, kan de AI in de war raken en denken dat hij een genie is, terwijl hij in werkelijkheid slechts een zelfvervullende profeet is. De grote vraag is: Hoe vangen we dit gedrag op voordat we de AI op de echte wereld loslaten? We hebben een manier nodig om te testen of onze voorspellingen stiekem de touwtjes in handen hebben. Hier komt een nieuwe methode genaamd OPAB (Outcome Performativity A/B Detection) kijken, die fungeert als een wetenschappelijke detective om te zien of de AI stiekem het spel controleert.

De gereedschapskist van de detective: OPAB

Het artikel introduceert een methode genaamd OPAB, die in essentie een "wat als"-experiment is voor AI-voorspellingen. Om te begrijpen hoe het werkt, stel je voor dat je een schoolkantine runt. Je wilt weten of het vertellen aan leerlingen dat "De pizza slecht is" er daadwerkelijk toe leidt dat ze minder pizza eten.

In een normaal experiment zou je simpelweg aan de leerlingen vragen wat zij van de pizza vinden en vervolgens kijken hoeveel ze eten. Maar dat is gebrekkig, want de leerlingen die vinden dat de pizza slecht is, zijn misschien al kieskeurige eters. De voorspelling (hun mening) en de uitkomst (het eten) zijn met elkaar verstrengeld.

OPAB ontwarrelt deze knoop door gebruik te maken van een techniek genaamd Intervention Testing (interventietesten). In plaats van de leerlingen zelf te laten beslissen wat ze vinden, laat de kantinebeheerder voor elke leerling een muntje opwerpen. Kop, dan vertel je hen: "De pizza is geweldig!" Munt, dan vertel je hen: "De pizza is verschrikkelijk!" Je dwingt de voorspelling af, waarbij je de werkelijke mening van de leerling of wie zij zijn volledig negeert. Daarna kijk je wat er gebeurt. Als de groep die te horen kreeg "De pizza is geweldig" aanzienlijk meer eet dan de groep die te horen kreeg "De pizza is verschrikkelijk", dan heb je de AI (of de kantinebeheerder) betrapt op Outcome Performativity. De voorspelling veroorzaakte de verandering in gedrag.

De regels van het spel: Wanneer kunnen we het vangen?

De auteurs hebben niet alleen een detector gebouwd; ze hebben ook uitgezocht precies hoeveel leerlingen (of datapunten) je nodig hebt om dit experiment uit te voeren om er zeker van te zijn dat je niet naar een toevalstreffer kijkt. Ze noemen dit Sample Complexity (steekproefcomplexiteit).

Denk hierbij aan het proberen te horen van een fluistering in een lawaaierige kamer. Als de fluistering heel hard is (een sterk effect), heb je slechts een paar mensen nodig om het te horen. Maar als de fluistering nauwelijks hoorbaar is (een minuscuul effect), heb je misschien wel een heel stadion aan mensen nodig om zeker te weten dat je het hoorde en het niet hebt verbeeld.

Het artikel onderzoekt drie verschillende "scenario's" of regels voor hoe de AI de wereld zou kunnen beïnvloeden:

De Simpele Regel: De voorspelling verandert de uitkomst direct, zoals een magische schakelaar.
De Model Regel: De voorspelling verandert de uitkomst op basis van de specifieke details van de persoon (zoals hun leeftijd of locatie).
De Fout Regel: De voorspelling verandert de uitkomst alleen als de AI een fout maakt (zoals iemand die gezond is vertellen dat hij ziek is).

Voor elk van deze scenario's hebben de auteurs wiskundige formules afgeleid om het minimale aantal "muntopwerpen" (interventies) te berekenen die nodig zijn. Ze ontdekten dat als het effect zeer klein is, het aantal mensen dat je moet testen naar oneindig schiet. Dit creëert wat zij Regions of Indistinguishability (regio's van ononderscheidbaarheid) noemen. Dit zijn instellingen waar het effect zo subtiel is, of de kosten van het testen zo hoog zijn, dat het praktisch onmogelijk is om te bepalen of de AI aan performativiteit doet of niet. Het is alsof je probeert een speld te horen vallen in een orkaan; hoeveel mensen je ook vraagt, je kunt er niet zeker van zijn.

De praktijktest: De modezaak

Om te zien of hun theorie standhield, testten de auteurs OPAB op een echte dataset van een modewebsite genaamd ZOZOTOWN. Deze dataset volgde welke kledingartikelen aan gebruikers werden getoond en of zij erop klikten. Cruciaal is dat voor sommige gebruikers de positie van het artikel (links, midden of rechts) willekeurig werd gekozen, net als het muntje werpen in ons verhaal over de kantine.

Ze splitsen de data in mannen en vrouwen. Toen ze OPAB toepasten op de data van de mannen, ging de detector af: de positie van het artikel veranderde inderdaad of mensen klikten (Outcome Performativity). Maar toen ze de data van de vrouwen testten, bleef de detector stil. Dit suggereert dat voor vrouwen de volgorde van de artikelen niet uitmaakte, maar voor mannen wel. Dit bewijst dat OPAB deze verborgen invloeden in de echte wereld kan opsporen.

De beperkingen en de toekomst

Het artikel merkt zorgvuldig op dat dit geen wondermiddel is dat alles oplost. De methode werkt het beste wanneer je voldoende data hebt. Als het effect minuscuul is, of als de data erg uit evenwicht is (zoals wanneer er veel meer klikken zijn op één item dan op een ander), kan de detector het missen. De auteurs merken ook op dat deze methode een offline instrument is, wat betekent dat het het beste gebruikt kan worden voordat je een nieuw AI-systeem lanceert, tijdens de testfase, in plaats van te proberen het te repareren nadat het al in gebruik is genomen.

Ze vergeleken hun methode met een oudere, online methode die wacht tot de AI draait en dan controleert of de resultaten zijn veranderd. Ze vonden dat hun "muntje werpen"-methode (OPAB) veel efficiënter en betrouwbaarder was, omdat het het probleem oppikt met veel minder datapunten.

Uiteindelijk geeft dit artikel ons een nieuwe manier om achter het gordijn te kijken. Het vertelt ons dat, hoewel we niet altijd elke subtiele invloed die een AI kan hebben kunnen vangen, we wel een wiskundige kaart hebben die ons precies laat zien waar de gevarenzones liggen en hoeveel data we nodig hebben om veilig te zijn. Het is een cruciale stap om ervoor te zorgen dat onze AI-tools ons helpen, in plaats van ons per ongeluk te laten meeslepen in het creëren van de problemen die ze juist bedoeld waren op te lossen.

Technische Samenvatting: Detectie van Outcome Performativity via Interventietesten

Probleemdefinitie

In veel kritieke domeinen zoals palliatieve zorg, kredietwaardigheidstoetsing en aanbevelingssystemen kunnen de voorspellingen die door Machine Learning (ML)-modellen worden gegenereerd, de uitkomsten die ze beogen te voorspellen, causaal beïnvloeden. Dit fenomeen, bekend als Outcome Performativity, treedt op wanneer de gerealiseerde uitkomst $Y$ van een instantie $X$ niet alleen afhangt van de kenmerken $X$ , maar ook van de voorspelling $\hat{Y}$ die aan die instantie wordt toegewezen. Bijvoorbeeld: het toekennen van hoge rentetarieven aan kredietnemers met een hoog risico kan de kans op wanbetaling vergrokken, of het toekennen van palliatieve zorg in plaats van curatieve zorg kan de overlevingskans van een patiënt beïnvloeden.

Terwijl bestaand onderzoek naar Performative Prediction er vaak vanuit gaat dat de aanwezigheid van dergelijke feedbackloops a priori bekend is, adresseert dit artikel de kloof in het detecteren van Outcome Performativity, met name in offline settings (tijdens de dataverzameling of vóór de implementatie van een model). Niet-gedetecteerde performativity kan leiden tot modellen die vooroordelen verergeren of lijden onder prestatieverval. Huidige online methoden voor het identificeren van deze effecten bestaan, maar er is beperkt werk op het gebied van het offline identificeren ervan, wat cruciaal is voor ethische en financiële redenen voordat een model wordt ingezet.

Methodologie: Outcome Performativity A/B Detection (OPAB)

De auteurs stellen Outcome Performativity A/B Detection (OPAB) voor, een offline interventietestmethode geïnspireerd door gerandomiseerde gecontroleerde onderzoeken (RCT's) en A/B-testen.

Kernmechanisme

Standaard hypothesetesten die de distributies van uitkomsten vergelijken geconditioneerd op de voorspellingen van een classifier ( $P(Y|\hat{Y}=0)$ vs. $P(Y|\hat{Y}=1)$ ) zijn onvoldoende omdat de voorspellingen $\hat{Y}$ zelf afhankelijk zijn van de kenmerken $X$ , wat verwarrende variabelen (confounding variables) creëert. Om deze afhankelijkheid te doorbreken, voert OPAB een do-interventie uit op de voorspellingen.

Random Toewijzing: In plaats van een getrainde voorspeller $\phi(X)$ te gebruiken, wijst OPAB willekeurig voorspellingen $\hat{y} \in \{0, 1\}$ toe aan instanties $X$ met een gelijke kans (Bernoulli(0.5)). Dit ontkoppelt $\hat{Y}$ van $X$ .
Observatie: Het systeem observeert de resulterende uitkomsten $Y$ voor deze willekeurig toegewezen voorspellingen.
Hypothesetest: OPAB test statistisch de dissimilariteit tussen de uitkomstdistributies van de twee interventiegroepen:
$H(P(Y | \text{do}(\hat{Y}=0)), P(Y | \text{do}(\hat{Y}=1))) \leq \delta$
Als de distributies significant verschillen (waarbij $H$ een test is zoals Chi-kwadraat of de exacte toets van Fisher, en $\delta$ de significantiedrempel is), wordt Outcome Performativity gedetecteerd.

Aannameklassen

Het artikel leidt de complexiteitbounds voor steekproeven (het minimale aantal interventies $N$ vereist) af onder drie verschillende aannameklassen van Outcome Performativity:

Simple Outcome Performativity: De waarschijnlijkheid van de uitkomst hangt alleen af van de voorspelling $\hat{y}$ , waarbij de featureruimte $X$ wordt genegeerd.
Model-based Outcome Performativity: De uitkomst hangt af van de positie van de instantie in de featureruimte en de voorspelling, gemodelleerd als een lineaire verschuiving in de featureruimte op basis van voorspellingsgewichten.
Misclassification-based Outcome Performatity: Outcome Performativity treedt alleen op wanneer de voorspelling $\hat{y}$ afwijkt van een "gewenste" uitkomst $\bar{y}$ . De kans dat de gewenste uitkomst wordt gerealiseerd ondanks de misclassificatie wordt beheerst door parameters $\gamma_0$ en $\gamma_1$ .

Belangrijkste Bijdragen

Formalisering van Offline Detectie: Het artikel formaliseert het gebruik van interventietesten (OPAB) om Outcome Performativity te detecteren vóór de implementatie van een model, in contrast met methoden die een ingezet model vereisen om feedbackloops te observeren.
Steekproefcomplexiteit Bounds: De auteurs leiden theoretische bounds af voor het aantal samples ( $N$ ) dat nodig is om Outcome Performaity te detecteren voor de drie aannameklassen. Deze bounds laten zien dat detectie steeds moeilijker wordt (waarbij $N \to \infty$ gaat) naarmate het verschil in performatieve respons tussen de voorspellingsgroepen de nul nadert.
Regio's van Ononderscheidbaarheid: Een kernconcept dat wordt geïntroduceerd is de "regio van ononderscheidbaarheid". Dit zijn parameterinstellingen waarbij het toegewezen aantal interventies onvoldoende is om Outcome Performativity betrouwbaar te detecteren. Dit benadrukt de praktische beperkingen in scenario's waar samples schaars, kostbaar of ethisch beperkt zijn.
Empirische Validatie: De methode wordt gevalideerd op synthetische data waarop performativity is geïmputeerd over zes real-world binaire classificatiedatasets (Breast Cancer, Diabetes, Adult Census, Kickstarter, Titanic, Loan) en een real-world casestudy op de Open Bandits Dataset (OBD).

Resultaten

Detectie-effectiviteit: OPAB detecteert succesvol Outcome Performativity in diverse settings. De detectiegraad neemt toe met het aantal interventies ( $N$ ).
Ononderscheidbaarheid: De experimenten bevestigen het bestaan van regio's van ononderscheidbaarheid. Bijvoorbeeld, in Simple Outcome Performativity, als de performatieve respons parameters $\alpha_0$ en $\alpha_1$ bijna identiek zijn, faalt zelfs een grote steekproefomvang ( $N=10.000$ ) om performativity te detecteren.
Dataset-specifieke details:
- In de Open Bandits Dataset detecteerde OPAB Outcome Performativity in de "men" sub-dataset (waar de plaatsing van items kliks beïnvloedde), maar niet in de "women" sub-dataset.
- Klassenimbalans: De resultaten geven aan dat klassenimbalans de detectie aanzienlijk beïnvloedt. Gebalanceerde datasets maken meer efficiënte detectie mogelijk, terwijl sterk ongebalanceerde datasets (zoals de OBD click-through rates) exponentieel meer samples vereisen om subtiele effecten te detecteren.
Vergelijking met Online Methoden: Een vergelijking met een online detectiemethode (Adam Detection, gebaseerd op het monitoren van verschuivingen in de True Positive Rate) laat zien dat OPAB een hogere en consistentere detectiegraad bereikt met slechts 10% van de samples die de online methode vereist. OPAB is ook immuun voor concept drift problemen die online methoden treffen.

Betekenis en Claims

Het artikel claimt dat OPAB een praktische, steekproefefficiënte tool biedt voor beoefenaars om Outcome Performativity te identificeren vóór de implementatie van modellen, wat potentieel voorkomt dat systemen onbedoeld uitkomsten schaden of vooroordelen versterken.

De afleiding van de steekproefcomplexiteit bounds biedt een cruciaal inzicht: er zijn instellingen waarbij het detecteren van Outcome Performativity praktisch onhaalbaar is vanwege het prohibitieve aantal vereiste interventies. Dit heeft belangrijke implicaties voor hoog-risico domeinen (zoals de gezondheidszorg) waar interventietesten onethisch of te duur kunnen zijn. In dergelijke gevallen, wanneer een setting binnen een "regio van ononderscheidbaarheid" valt, moeten beoefenaars mogelijk vertrouwen op niet-interventionele methoden (die minder steekproef-efficiënt zijn) of het risico op niet-gedetecteerde performativity accepteren.

De auteurs concluderen dat hoewel OPAB effectief is, het steunt op de aanname van uniformiteit over de featureruimte en geen rekening houdt met verificatie-latentie of ruis in labels. Toekomstig werk zal zich richten op het aanpakken van deze beperkingen.