📊 statistics

Selective Randomization Inference for Adaptive Experiments

Dit artikel stelt een algemeen raamwerk voor dat selectieve randomisatie-inferentie wordt genoemd en dat conditionele inferentie na selectie en gerichte acyclische grafen gebruikt om geldige statistische toetsing uit te voeren en betrouwbaarheidsintervallen te construeren voor adaptieve experimenten, zonder afhankelijk te zijn van modelaannames of i.i.d.-data.

Oorspronkelijke auteurs: Tobias Freidling, Qingyuan Zhao, Zijun Gao

Gepubliceerd 2026-05-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tobias Freidling, Qingyuan Zhao, Zijun Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen. Bij een standaardonderzoek beslis je precies welke vragen je stelt en hoe je bewijs verzamelt voordat je begint met het bekijken van de aanwijzingen. Je houdt je aan dat plan, en aan het einde bereken je je kans op gelijkheid op basis van dat vaste plan.

Maar in de echte wereld werkt wetenschap vaak anders. Het is meer als een detective die de eerste paar aanwijzingen bekijkt, beseft dat de verdachte zich in een specifieke wijk verbergt, en vervolgens besluit al zijn energie op die wijk te richten. Dit heet een adaptief experiment. Het is slim omdat het tijd en middelen bespaart, maar het creëert een lastig statistisch probleem: Selectiebias.

Het Probleem: De "Ongelijke" Vergelijking

Het artikel legt uit dat als je je plan aanpast op basis van wat je ziet, je de oude regels niet kunt gebruiken om je resultaten te beoordelen.

De Analogie van de dobbelstenen:
Stel je voor dat je dobbelstenen gooit om te zien of een nieuw spel eerlijk is.

Ronde 1: Je gooit de dobbelstenen 10 keer. Je ziet dat het getal "6" steeds terugkomt.
De Beslissing: Omdat "6" veelbelovend lijkt, besluit je: "Oké, vanaf nu ga ik me alleen bezighouden met het getal 6. Ik negeer alle andere getallen."
Ronde 2: Je gooit de dobbelstenen 10 keer meer, maar deze keer tel je alleen de "6'en".

Als je probeert de kans te berekenen op het krijgen van zoveel "6'en" met standaard wiskunde, zit je fout. Waarom? Omdat je niet zomaar de dobbelstenen hebt gegooid; je hebt er voor gekozen om je te focussen op "6" omdat je zag dat het in Ronde 1 gebeurde. Je hebt de data "gecherry-picked". Als je je resultaten vergelijkt met een standaard dobbelsteengooi (waarbij je geen getal koos), vergelijk je appels met peren. Je bedriegt in feite door de regels te veranderen nadat je de eerste helft van het spel hebt gezien.

De Oplossing: "Selectieve Randomisatie-inferentie"

De auteurs, Tobias Freidling, Qingyuan Zhao en Zijun Gao, stellen een nieuwe manier voor om de wiskunde te doen, genaamd Selectieve Randomisatie-inferentie.

Denk er als een "Wat-zou-als"-simulatie die rekening houdt met je detectivewerk.

In plaats van te vragen: "Wat zijn de kansen dat dit gebeurt als ik had vastgehouden aan mijn oorspronkelijke plan?" (wat oneerlijk is omdat je niet aan het plan hebt vastgehouden), vragen ze:

"Als ik in Ronde 1 anders had gegooid, maar toch had besloten om me te focussen op het getal 6, hoe waarschijnlijk zouden mijn resultaten dan zijn?"

Hoe het werkt in de taal van het artikel:

De Opzet: Ze gebruiken een "Directed Acyclic Graph" (DAG), wat gewoon een chique stroomschema is dat laat zien hoe het ene ding leidt tot het andere (zoals: Data Zien $\to$ Subgroep Kiezen $\to$ Behandeling Toewijzen).
De Voorwaarde: Ze vergelijken je daadwerkelijke experiment alleen met andere mogelijke experimenten die zouden hebben geleid tot exact dezelfde beslissing om je te focussen op die specifieke subgroep.
Het Resultaat: Dit geeft je een "Selectieve P-waarde". Het vertelt je de kans op je resultaat, gegeven dat je de specifieke keuze hebt gemaakt die je hebt gemaakt.

Waarom Dit Beter Is Dan "Data Splitsing"

Voor dit artikel was het algemene advies voor dit probleem Data Splitsing.

De Oude Manier: Gooi de eerste helft van je data weg (het deel dat je deed besluiten van mening te veranderen) en gebruik alleen de tweede helft om de wiskunde te doen.
De Metafoor: Het is als een kok die de soep proeft, besluit dat er meer zout nodig is, en vervolgens de eerste helft van de soep weggooit om te bewijzen dat het zout werkt. Het is veilig, maar het is verspillend. Je verliest veel informatie.

De nieuwe methode van de auteurs is als Data Kerfing.

De Nieuwe Manier: Je houdt alle data. Je erkent alleen dat een deel van de "smaak" (informatie) is gebruikt om de beslissing te nemen om zout toe te voegen. Je "kerft" wiskundig het deel uit dat is gebruikt voor de beslissing en vergelijkt alleen de resterende "overgebleven" informatie met vergelijkbare scenario's.
Het Voordeel: Je krijgt een krachtigere test. Je gebruikt alle data die je hebt, maar je wordt niet bedrogen door het feit dat je onderweg een keuze hebt gemaakt.

De "Hold-Out" Truc

Het artikel noemt ook een praktische truc om de wiskunde makkelijker te maken en de resultaten soepeler te laten verlopen. Soms, als je alle data gebruikt om je beslissing te nemen, wordt de wiskunde hobbelig en onstabiel (zoals een hobbelige weg).

Om dit op te lossen, suggereren ze het gebruik van een "Hold-out" groep.

De Metafoor: Stel je voor dat je een leraar bent die een klas nakijkt. Je kijkt naar de toetsen van de eerste 10 leerlingen om te beslissen welk onderwerp het moeilijkst is. Vervolgens besluit je je eindexamen te richten op dat onderwerp. Maar om het eindexamen eerlijk te nakijken, kijk je alleen naar de scores van de laatste 10 leerlingen, die niet deel uitmaakten van de groep die je gebruikte om de beslissing te nemen.
In het artikel tonen ze aan dat als je een "hold-out" groep gebruikt (data die niet is gebruikt voor de beslissing), de wiskunde veel soepeler en betrouwbaarder wordt, terwijl het toch zeer krachtig blijft.

Samenvatting van Beweringen

Het artikel beweert dat:

Adaptieve experimenten veel voorkomen (in de geneeskunde, sociale wetenschappen, enz.), maar moeilijk te analyseren zijn omdat de regels veranderen op basis van de data.
Standaardmethoden falen omdat ze negeren dat de onderzoeker een keuze heeft gemaakt op basis van de data, wat leidt tot vals-positieven (denken dat een behandeling werkt terwijl dat niet zo is).
Hun nieuwe methode (Selectieve Randomisatie-inferentie) dit oplost door het echte experiment alleen te vergelijken met "parallelle universa" waarin de onderzoeker dezelfde keuze zou hebben gemaakt.
Het geen aannames vereist over de dataverdeling (het gaat er niet van uit dat de data een klokkromme volgt of onafhankelijk is), en alleen steunt op de willekeur van de toewijzing van de behandeling.
Het krachtiger is dan het weggooien van data (data splitsing) omdat het alle beschikbare informatie gebruikt, alleen met een zorgvuldiger wiskundig filter.

Kortom, het artikel geeft wetenschappers een nieuw, eerlijk regelboek voor het analyseren van experimenten waarbij ze halverwege hun strategie veranderen, zodat hun conclusies stevig zijn en niet slechts een gelukkig toeval zijn van hoe ze ervoor kozen om naar de data te kijken.

Technische Samenvatting: Selectieve Randomisatie-inferentie voor Adaptieve Experimenten

Probleemstelling

Adaptieve experimenten, die gebruikmaken van voorlopige data-analyses om latere fasen van werving en toewijzing van behandelingen te sturen, komen steeds vaker voor in de medische en sociale wetenschappen. Echter, standaard methoden voor statistische inferentie falen vaak in deze situaties omdat de nulhypothese en het experimentele ontwerp data-afhankelijk worden. Deze "selectie" introduceert vertekening, waardoor naïeve randomisatietests ongeldig worden omdat ze negeren dat toekomstige ontwerpkeuzes zijn geconditioneerd op eerdere uitkomsten. Hoewel er bestaande oplossingen zijn, zijn deze vaak beperkt tot specifieke adaptieve ontwerpen (bijvoorbeeld meerarmige meerfasige proeven) of vertrouwen ze op sterke parametrische aannames en asymptotische benaderingen die mogelijk niet gelden in eindige populaties. Bovendien zijn eenvoudige data-splitsingbenaderingen, hoewel geldig, inefficiënt omdat ze de informatie in de eerste fase, die voor selectie wordt gebruikt, weggooien.

Methodologie

De auteurs stellen Selectieve Randomisatie-inferentie (SRI) voor, een algemeen, modelvrij kader voor het analyseren van adaptieve experimenten. De kernmethodologie integreert conditionele inferentie na selectie met de principes van randomisatie-inferentie.

1. Causaal Kader en Aannames

De auteurs modelleren adaptieve experimenten met $K$ fasen met behulp van Gerichte Acyclische Grafieken (DAG's). Ze definiëren een algemene opzet die omvat:

Werving ( $R_k$ ): Gemodelleerd als een willekeurig gebeurtenis waarbij de set geworven eenheden kan afhangen van eerdere data.
Toewijzing van Behandeling ( $Z_k$ ): Gerandomiseerd door de onderzoeker, maar mogelijk afhankelijk van covariaten en eerdere uitkomsten.
Selectiestatistieken ( $S_k$ ): Deterministische functies van waargenomen data die het ontwerp van latere fasen bepalen (bijvoorbeeld welke subgroepen geworven moeten worden).

Voor geldigheid zijn drie minimale aannames vereist:

(A1) Bekende Sequentiële Toewijzing: De verdeling van toewijzingen van behandelingen $q(z | r, x, y)$ is bekend.
(A2) Conditionele Onafhankelijkheid: Toewijzing van behandeling in fase $k$ is conditioneel onafhankelijk van potentiële uitkomsten, gegeven de eerder waargenomen data en de huidige covariaten.
(A3) Selectie-volledigheid: De selectiestatistiek $S_{k-1}$ vat alle informatie uit eerdere fasen samen die van invloed is op de werving en toewijzing van behandeling in fase $k$ .

2. De Selectieve Randomisatie-p-waarde

De centrale bijdrage is de definitie van een selectieve randomisatie-p-waarde ( $P_{sel}$ ). In tegenstelling tot een naïeve p-waarde, die de waargenomen toewijzing van behandeling $Z$ vergelijkt met alle mogelijke willekeurige toewijzingen, conditioneert $P_{sel}$ op het specifieke selectiegebeurtenis dat heeft plaatsgevonden.

Formeel, laat $Z^*$ een contrafactuele toewijzing van behandeling zijn, getrokken uit de sequentiële toewijzingsverdeling. De p-waarde wordt gedefinieerd als:
$P_{sel} = P\left( T(Z^*, \dots) \leq T(Z, \dots) \mid R, X_R, Y_R(\cdot), Z, S(Z^*) = S(Z), G(Z^*) = G(Z) \right)$
waarbij:

$T$ de teststatistiek is.
$S(Z^*) = S(Z)$ garandeert dat de contrafactuele toewijzing leidt tot dezelfde ontwerpselectie als de waargenomen data.
$G(Z^*) = G(Z)$ een bijkomende conditioneringsstatistiek is die vereist is voor "gedeeltelijk scherpe" nulhypothese om te waarborgen dat niet-waargenomen potentiële uitkomsten kunnen worden ingevuld.

De auteurs bewijzen dat deze p-waarde stochastisch de uniforme verdeling domineert, waardoor de selectieve type-I-fout (de foutkans conditioneel op het selectiegebeurtenis) wordt gecontroleerd.

3. Berekeningsbenaderingen

Omdat de steun van de conditionele verdeling (toewijzingen die voldoen aan $S(Z^*)=S(Z)$ ) vaak onberekenbaar is om te enumereren, stellen de auteurs Monte Carlo-benaderingen voor:

Afwijzingssteekproefneming (Rejection Sampling): Eenvoudig, maar potentieel inefficiënt als de kans op het voldoen aan de selectieconstraint laag is.
Random Walk Metropolis-Hastings (RWM): Een Markov Chain Monte Carlo (MCMC) algoritme dat een keten construeert op de ruimte van haalbare toewijzingen. De auteurs bieden theoretische garanties dat de keten convergeert naar de juiste stationaire verdeling en dat de resulterende p-waarde de selectieve type-I-fout controleert, zelfs als de keten beperkt is tot een specifieke communicatieklasse.

4. Schatting en Betrouwbaarheidsintervallen

Het kader breidt zich uit tot het construeren van betrouwbaarheidsintervallen voor homogene behandelingseffecten door de selectieve hypothesetests te inverteren. De auteurs merken op dat conditioneren op selectie kan leiden tot niet-monotoone p-waardecurven, wat de constructie van intervallen bemoeilijkt. Om dit te mitigeren, stellen ze het gebruik van hold-out eenheden (data die niet voor selectie wordt gebruikt) voor om de p-waardecurve te gladstrijken en goed functionerende betrouwbaarheidssets te waarborgen.

Belangrijkste Resultaten

Het artikel valideert de methode via simulatiestudies en een hypothetische analyse van real-world data (SPRINT-proef):

Geldigheid: In simulaties waarbij de nulhypothese waar is, vertoont de naïeve randomisatietest (RT) opgeblazen type-I-foutpercentages (onderdekking van betrouwbaarheidsintervallen), terwijl de voorgestelde SRT en de data-splitsingbenadering (RT 2nd) correct de selectieve type-I-fout controleren.
Kracht: De SRT vertoont over het algemeen een hogere statistische kracht dan de data-splitsingbenadering (RT 2nd). Door te conditioneren op het selectiegebeurtenis in plaats van de eerste fase weg te gooien, maakt SRT gebruik van "achtergelaten" informatie uit de eerste fase, wat resulteert in strakkere betrouwbaarheidsintervallen en hogere afwijzingskansen voor valse nullen.
Berekening: Hoewel afwijzingssteekproefneming rechttoe rechtaan is, kan het computergewijs duur zijn wanneer de selectieconstraint zeldzaam is. De RWM-steekproever biedt een efficiënter alternatief, met prestaties die grotendeels ongevoelig zijn voor keuzes van venstergrootte in de geteste scenario's.
Toepassing op Real Data: In een hypothetische tweefasige verrijkingproef, afgeleid van de SPRINT-proef, leverde de SRT een kleinere p-waarde (0,048) op dan de data-splitsingbenadering (0,314) voor de geselecteerde subgroep, wat zijn vermogen demonstreert om effecten te detecteren die data-splitsing zou kunnen missen vanwege een verkleinde steekproefomvang.

Betekenis en Beweringen

Het artikel claimt een algemeen, modelvrij kader te bieden voor inferentie in adaptieve experimenten. De betekenis ligt in verschillende belangrijke aspecten:

Generaliteit: In tegenstelling tot eerdere methoden die beperkt zijn tot specifieke ontwerpen (bijvoorbeeld respons-geadaptieve randomisatie of meerarmige proeven), is deze toepassing van toepassing op een brede klasse van adaptieve ontwerpen, waaronder verrijkingontwerpen en complexe wervingsregels.
Modelvrije Aard: De methode vertrouwt uitsluitend op de willekeurigheid van toewijzing van behandelingen, zonder aannames over de verdeling van uitkomsten, onafhankelijkheid van datapunten of parametrische modellen. Dit maakt het een robuuste "standaard" test voor gerandomiseerde experimenten.
Efficiëntie: Het overwint de inefficiëntie van data-splitsing door gebruik te maken van alle beschikbare data, terwijl het selectievertekening rigoureus corrigeert.
Regulatorische Relevantie: De auteurs betogen dat het controleren van de conditionele type-I-fout cruciaal is vanuit regulatorisch perspectief, omdat het de geselecteerde hypothese als gegeven behandelt, wat een objectieve evaluatie van bewijs in een gerandomiseerd experiment mogelijk maakt.

De auteurs positioneren dit werk als een aanvulling op bestaande super-populatiekaders, en bieden een alternatief voor eindige populaties dat modelleringaannames minimaliseert. Ze erkennen dat hoewel het theoretische kader is vastgesteld, praktische uitbreidingen met betrekking tot de selectie van optimale teststatistieken en het omgaan met uitval gebieden blijven voor toekomstig onderzoek.