Don't Drop the Singletons: Efficient Inference for Pairwise Experiments with Independent Attrition

In de wereld van wetenschappelijke experimenten worden onderzoekers vaak geconfronteerd met een moeilijke keuze tussen precisie en praktische bruikbaarheid. Om te ontdekken of een nieuwe behandeling werkt, gebruiken wetenschappers vaak een methode genaamd randomisatie, waarbij ze mensen door middel van kansverdeling toewijzen aan ofwel een behandelingsgroep ofwel een controlegroep. Een populaire en krachtige versie hiervan houdt in dat deelnemers aan elkaar worden gekoppeld die zeer vergelijkbaar zijn met elkaar—bijvoorbeeld buren met een vergelijkbaar inkomen of studenten met vergelijkbare toetsresultaten—en vervolgens willekeurig de behandeling aan de één geven, terwijl de ander als controle dient. Deze "gepaarde" aanpak is als het hebben van een ingebouwde controle voor elk afzonderlijk subject, wat de resultaten meestal veel scherper en betrouwbaarder maakt dan het simpelweg vergelijken van twee grote, gemengde groepen. Echter, een hardnekkig probleem in praktijkstudies is uitval (attritie): mensen die voortijdig uit het experiment stappen voordat het eindigt. Wanneer dit gebeurt, kan een paar een lid verliezen, waardoor de andere persoon zonder partner achterblijft. Jarenlang was het standaardadvies om deze "wees-eenlingen" weg te gooien en alleen de paren te analyseren waarbij beide personen zijn gebleven. De logica was dat de data zonder partner te rommelig was om te gebruiken. Deze praktijk betekende echter dat onderzoekers waardevolle informatie weggoiden, wat hun studie effectief verkleinde en het moeilijker maakte om echte effecten te detecteren.

Twee onderzoekers, Simon Heß en Patrick W. Schmidt, hebben deze langdurige regel uitgedaagd. Zij stellen dat de angst voor het gebruik van data van incomplete paren ongeplaatst is, mits de reden voor de uitval niet gerelateerd is aan de ontvangen behandeling. In hun nieuwe werk laten zij zien dat het mogelijk is om elke observatie te behouden, zelfs de eenzame, en nog steeds zeer nauwkeurige resultaten te verkrijgen. Ze hebben een nieuwe manier ontwikkeld om de data te analyseren die de oorspronkelijke paarkarakteristieken respecteert en tegelijkertijd de informatie van complete paren intelligent combineert met de informatie van incomplete paren. In plaats van de eenlingen weg te gooien, behandelt hun methode hen als nuttige puzzelstukjes, waarbij ze naar rato worden gewogen op basis van de hoeveelheid informatie die ze bieden. Door dit te doen, tonen zij aan dat onderzoekers de hoge precisie van het gepaarde ontwerp kunnen behouden zonder het statistische nadeel te ondervinden van het verlies van data door uitval.

De kern van hun ontdekking is een specifieke toetsprocedure die werkt als een slim filter. Wanneer een studie een deelnemer verliest, zou de traditionele aanpak de gehele groep simpelweg verwijderen uit de analyse, alsof die persoon nooit heeft bestaan. De auteurs laten zien dat dit een aanzienlijke hoeveelheid bewijs weggooit. Hun nieuwe methode maakt gebruik van een techniek genaamd randomisatie-inferentie, die steunt op het feit dat de behandeling binnen elk paar werd toegewezen via een muntopwerp. Ze creëren een toetsstatistiek die kijkt naar het verschil in uitkomsten voor de complete paren en het verschil in uitkomsten tussen de eenlingen, en versmelt deze twee informatiebronnen vervolgens met elkaar. Deze versmelting gebeurt met wiskundige precisie: de complete paren, die een directe vergelijking bieden tussen twee vergelijkbare mensen, krijgen meer gewicht, terwijl de eenlingen, die een bredere vergelijking over de hele groep bieden, een kleiner maar nog steeds significant gewicht krijgen. Deze combinatie stelt de studie in staat om elke resterende datapunt te gebruiken, waardoor de kracht om een echt effect te detecteren wordt gemaximaliseerd.

Om te bewijzen dat dit werkt, hebben de onderzoekers uitgebreide simulaties en theoretische berekeningen uitgevoerd. Ze vergeleken hun nieuwe methode met de twee standaardmanieren waarop wetenschappers momenteel dit probleem aanpakken. De eerste standaardmethode is de "gepaarde t-toets", die de oude regel volgt om incomplete paren weg te gooien. De tweede methode is de "tweezijdige t-toets", die de koppeling volledig negeert en simpelweg de gemiddelden van alle behandelde personen vergelijkt met de gemiddelden van alle controlegroepen. De auteurs stelden vast dat hun nieuwe benadering consequent beide methoden overtrof. In scenario's waar de kwaliteit van de matching hoog was—wat betekent dat de paren zeer goed op elkaar waren afgestemd—verloor de oude gepaarde methode veel kracht zodra er mensen uitvielen. De methode die de koppeling volledig negeerde, was vaak te conservatief en zag effecten die er eigenlijk wel waren, niet. De nieuwe methode domineerde echter beide, en leverde sterkere resultaten op bij elk niveau van uitval en matchingskwaliteit dat zij testten.

De onderzoekers hebben ook een veelvoorkomende zorg geadresseerd over de vraag of deze nieuwe methode te ingewikkeld is voor de praktijk. Ze lieten zien dat de complexe weging en toetsing uitgevoerd kunnen worden met een standaard statistisch hulpmiddel genaamd gewogen regressie, dat beschikbaar is in bijna alle gangbare softwarepakketten. Een onderzoeker kan de software simpelweg instrueren om alle data op te nemen, een specifieke weging aan de eenlingen toe te kennen en vaste effecten voor de complete paren op te nemen. Dit maakt de krachtige nieuwe methode toegankelijk voor iedereen die een basisanalyse kan uitvoeren, waardoor de barrière van het nodig hebben van gespecialiseerde, op maat gemaakte code wordt weggenomen. De auteurs benadrukken dat deze oplossing het beste werkt wanneer de uitval gebeurt om redenen die niet gerelateerd zijn aan de behandeling, zoals verhuizen of het verliezen van interesse, in plaats van omdat de behandeling iemand een slechter gevoel geeft. Als de uitval gerelateerd is aan de behandeling zelf, wordt het probleem veel moeilijker, maar voor het overgrote deel van de gevallen waarin de uitval willekeurig is, biedt de nieuwe methode een duidelijke weg vooruit.

In een laatste controle vergeleken de auteurs hun geoptimaliseerde gepaarde ontwerp met een andere strategie die vaak wordt aanbevolen wanneer uitval wordt verwacht: het gebruik van grotere groepen in plaats van paren, zoals groepen van vier. Het idee is dat in een groep van vier, als één persoon vertrekt, er drie overblijven, waardoor meer van de groepsstructuur behouden blijft. De onderzoekers simuleerden dit scenario en vonden dat zelfs met grotere groepen, hun geoptimaliseerde methode voor paren nog steeds standhield. In veel gevallen was de efficiëntiewinst door de nauwe matching van paren, gecombineerd met hun methode om alle beschikbare data te gebruiken, voldoende om de grotere groepen te verslaan. Dit suggereert dat onderzoekers de gepaarde strategie niet hoeven te verlaten omdat ze vrezen voor uitval. In plaats daarvan kunnen ze vasthouden aan de meer precieze koppelingsstrategie en simpelweg de nieuwe analysemethode toepassen om ervoor te zorgen dat ze niet de data verspillen die ze zo hard hebben verzameld.

De implicaties van dit werk zijn rechttoe rechtaan voor iedereen die een studie uitvoert. Het heft de afruil op tussen het behouden van een strak, efficiënt ontwerp en het verlies van data door uitval. Door te weigeren de eenlingen weg te gooien en ze in plaats daarvan met het juiste gewicht in de analyse te weven, kunnen onderzoekers hun studies krachtig en hun conclusies robuust houden. Het artikel biedt een praktische toolkit die een potentieel zwak punt—het verliezen van deelnemers—verandert in een beheersbaar onderdeel van het proces, waardoor de uiteindelijke resultaten de volledige omvang van het experiment weerspiegelen in plaats van alleen die van de overlevers.