Don't Drop the Singletons: Efficient Inference for Pairwise Experiments with Independent Attrition

In der Welt wissenschaftlicher Experimente stehen Forscher oft vor der schwierigen Wahl zwischen Präzision und Praktikabilität. Um herauszufinden, ob eine neue Behandlung wirkt, verwenden Wissenschaftler häufig eine Methode namens Randomisierung, bei der Menschen durch Zufall entweder einer Behandlungsgruppe oder einer Kontrollgruppe zugewiesen werden. Eine beliebte und leistungsstarke Version davon beinhaltet das Paaren von Teilnehmern, die einander sehr ähnlich sind – etwa Nachbarn mit ähnlichem Einkommen oder Studenten mit ähnlichen Testergebnissen – und dann die Behandlung zufällig an eine Person des Paares zu geben, während die andere als Kontrolle dient. Dieser „paarweise“ Ansatz ist wie eine eingebaute Kontrolle für jeden einzelnen Probanden, was die Ergebnisse in der Regel wesentlich schärfer und zuverlässiger macht als der bloße Vergleich zweier großer, gemischter Gruppen. Ein hartnäckiges Problem in realen Studien ist jedoch die Attrition: Menschen brechen vor dem Ende des Experiments ab. Wenn dies geschieht, kann ein Paar einen Teilnehmer verlieren, wodurch der andere ohne Partner zurückbleibt. Jahrelang war der Standardrat, diese „verwaisten“ Einzelpersonen wegzuwerfen und nur die Paare zu analysieren, bei denen beide Personen geblieben sind. Die Logik dahinter war, dass die Daten ohne einen Partner zu unordentlich zur Verwendung seien. Diese Praxis bedeutete jedoch, dass Forscher wertvolle Informationen wegwarfen, was ihre Studie effektiv schrumpfen ließ und es schwieriger machte, echte Effekte nachzuweisen.

Zwei Forscher, Simon Heß und Patrick W. Schmidt, stellen diese langjährige Regel in Frage. Sie argumentieren, dass die Angst vor der Verwendung von Daten aus unvollständigen Paaren unbegründet ist, sofern der Grund für den Ausstieg nicht mit der Behandlung zusammenhängt. In ihrer neuen Arbeit zeigen sie, dass es möglich ist, jede einzelne Beobachtung beizubehalten, selbst die einsamen, und dennoch hochgenaue Ergebnisse zu erzielen. Sie entwickelten eine neue Methode zur Datenanalyse, die die ursprüngliche Paarstruktur respektiert und gleichzeitig die Informationen aus vollständigen Paaren intelligent mit den Informationen aus unvollständigen Paaren kombiniert. Anstatt die Einzelpersonen wegzuwerfen, behandelt ihre Methode sie als nützliche Teile des Puzzles und gewichtet sie entsprechend dem Informationsgehalt, den sie liefern. Auf diese Weise zeigen sie, dass Forscher die hohe Präzision eines paarweisen Designs beibehalten können, ohne den statistischen Nachteil des Datenverlusts durch Attrition zu erleiden.

Der Kern ihrer Entdeckung ist ein spezifisches Testverfahren, das wie ein intelligenter Filter wirkt. Wenn eine Studie einen Teilnehmer verliert, würde der traditionelle Ansatz einfach das gesamte Paar aus der Analyse entfernen und so tun, als hätte diese Person nie existiert. Die Autoren zeigen, dass dies eine beträchtliche Menge an Beweisen verschwendet. Ihre neue Methode nutzt eine Technik namens Randomisierungsinferenz, die auf der Tatsache basiert, dass die Behandlung durch einen Münzwurf innerhalb jedes Paares zugewiesen wurde. Sie erstellen eine Teststatistik, die die Differenz der Ergebnisse für die vollständigen Paare und die Differenz der Ergebnisse für die Einzelpersonen betrachtet und dann diese beiden Informationsquellen miteinander verbindet. Die Kombination erfolgt mit mathematischer Präzision: Die vollständigen Paare, die einen direkten Vergleich zwischen zwei ähnlichen Menschen bieten, erhalten ein höheres Gewicht, während die Einzelpersonen, die einen breiteren Vergleich über die gesamte Gruppe hinweg bieten, ein geringeres, aber dennoch signifikantes Gewicht erhalten. Diese Kombination ermöglicht es der Studie, jeden verbleibenden Datenpunkt zu nutzen und so die Kraft zu maximieren, einen wahren Effekt nachzuweisen.

Um zu beweisen, dass dies funktioniert, führten die Forscher umfangreiche Simulationen und theoretische Berechnungen durch. Sie verglichen ihre neue Methode mit den zwei Standardwegen, wie Wissenschaftler dieses Problem derzeit handhaben. Die erste Standardmethode ist der „gepaarte t-Test“, der der alten Regel folgt, unvollständige Paare wegzuwerfen. Die zweite Methode ist der „Zwei-Stichproben-t-Test“, der die Paarung völlig ignoriert und lediglich den Durchschnitt aller behandelten Personen gegen den Durchschnitt aller Kontrollpersonen abgleicht. Die Autoren fanden heraus, dass ihr neuer Ansatz beide Methoden konsistent übertraf. In Szenarien mit hoher Matching-Qualität – das heißt, wenn die Paare sehr gut aufeinander abgestimmt waren – verlor die alte gepaarte Methode viel an statistischer Power, sobald Teilnehmer ausfielen. Die Methode, die die Paarung völlig ignorierte, war oft zu konservativ und übersah Effekte, die tatsächlich vorhanden waren. Die neue Methode dominierte jedoch beide und lieferte über alle getesteten Ebenen von Attrition und Matching-Qualität hinweg stärkere Ergebnisse.

Die Forscher gingen auch auf die häufige Sorge ein, ob diese neue Methode in der Praxis zu kompliziert anzuwenden sei. Sie zeigten, dass die komplexe Gewichtung und Testung mithilfe eines Standard-Statistikwerkzeugs namens gewichteter Regression durchgeführt werden kann, das in fast allen gängigen Softwarepaketen verfügbar ist. Ein Forscher kann der Software einfach mitteilen, alle Daten einzuschließen, den Einzelpersonen ein spezifisches Gewicht zuzuweisen und Fixed Effects für die vollständigen Paare einzubeziehen. Dies macht die leistungsstarke neue Methode für jeden zugänglich, der eine Basisanalyse durchführen kann, und entfernt die Barriere, spezialisierte, maßgeschneiderte Codes zu benötigen. Die Autoren betonen, dass diese Lösung am besten funktioniert, wenn die Ausfälle aus Gründen geschehen, die nicht mit der Behandlung zusammenhängen, wie etwa ein Umzug oder mangelndes Interesse. Wenn die Ausfälle mit der Behandlung selbst zusammenhängen, wird das Problem wesentlich schwieriger, aber für die überwiegende Mehrheit der Fälle, in denen die Ausfälle zufällig sind, bietet die neue Methode einen klaren Weg nach vorne.

In einer abschließenden Prüfung verglichen die Autoren ihr optimiertes Paar-Design mit einer anderen Strategie, die oft empfohlen wird, wenn Attrition zu erwarten ist: die Verwendung größerer Gruppen anstelle von Paaren, wie etwa Vierergruppen. Die Idee ist, dass in einer Gruppe von vier Personen, wenn eine Person geht, drei übrig bleiben, was mehr von der Gruppenstruktur bewahrt. Die Forscher simulierten dieses Szenario und fanden heraus, dass selbst mit größeren Gruppen ihr optimiertes Verfahren für Paare immer noch mithalten konnte. In vielen Fällen war der an Effizienz gewonnene Vorteil durch das enge Matching von Paaren, kombiniert mit ihrer Methode der Nutzung aller verfügbaren Daten, ausreichend, um die größeren Gruppen zu schlagen. Dies deutet darauf hin, dass Forscher das Paar-Design nicht aufgeben müssen, nur weil sie Attrition fürchten. Stattdessen können sie bei der präziseren Paarungsstrategie bleiben und einfach die neue Analysemethode anwenden, um sicherzustellen, dass sie nicht die Daten verschwenden, die sie so mühsam gesammelt haben.

Die Auswirkungen dieser Arbeit sind für jeden, der eine Studie durchführt, unmittelbar. Sie hebt den Zielkonflikt zwischen der Beibehaltung eines engen, effizienten Designs und dem Verlust von Daten durch Attrition auf. Indem sie sich weigern, die Einzelpersonen wegzuwerfen, und sie stattdessen mit dem richtigen Gewicht in die Analyse einweben, können Forscher ihre Studien leistungsstark und ihre Schlussfolgerungen robust halten. Die Arbeit bietet ein praktisches Toolkit, das eine potenzielle Schwäche – den Verlust von Teilnehmern – in einen beherrschbaren Teil des Prozesses verwandelt und sicherstellt, dass die Endergebnisse das volle Spektrum des Experiments widerspiegeln und nicht nur das der Überlebenden.