Anytime-Valid Inference in Adaptive Experiments: Covariate Adjustment and Balanced Power

1. Problemstellung

Adaptive Experimente, wie z. B. Multi-Armed Bandits (MAB), bieten gegenüber traditionellen randomisierten kontrollierten Studien (RCTs) erhebliche Effizienzvorteile. Sie ermöglichen es, schneller optimale Behandlungsarme zu identifizieren, die statistische Power für diese Arme zu erhöhen und das kumulative Wohlergehen der Teilnehmer während des Experiments zu maximieren.

Trotz dieser Vorteile bestehen zwei wesentliche Herausforderungen für die kausale Inferenz:

1. Ungültige Inferenz: Die adaptive Zuweisung der Behandlung ($W_t$) hängt von vorherigen Ergebnissen und Zuweisungen ab. Dies verletzt die Annahmen klassischer Schätzer (wie Differenz der Mittelwerte oder Inverse Propensity Score), was zu verzerrten Schätzungen des durchschnittlichen Behandlungseffekts (ATE) und ungültigen Konfidenzintervallen führt.
2. Ungleiche statistische Power: Adaptive Algorithmen konzentrieren die Stichprobe stark auf die optimalen Behandlungsarme. Dadurch bleiben suboptimale Arme unterversorgt (underpowered), was eine robuste Inferenz für alle Behandlungen – nicht nur für die beste – unmöglich macht.

Zwar gibt es neuere Ansätze wie das Mixture Adaptive Design (MAD) von Liang und Bojinov (2024), das anytime-valid Konfidenzsequenzen (CS) ermöglicht (d.h. gültige Inferenz zu jedem beliebigen Stoppzeitpunkt), doch leiden die MAD-Schätzer oft unter hoher Varianz (breite CS) und lösen das Problem der ungleichen Power-Verteilung nicht.

2. Methodik

Die Autoren erweitern das MAD-Framework durch zwei neue Methoden, die beide die Kernvorteile von MAD (asymptotische Konfidenzsequenzen und Unverzerrtheit) bewahren:

A. MADCovar (Covariate-Adjusted MAD)

Ziel ist die Erhöhung der Präzision der ATE-Schätzung durch Kovariatenadjustierung.

• Ansatz: Es wird ein kovariatenadjustierter Schätzer für den individuellen Behandlungseffekt ($\hat{\tau}_i$) verwendet, basierend auf dem Ansatz von Robins und Rotnitzky (1995).
• Formel:
  $$\hat{\tau}_i := \hat{\mu}_1(X_i) - \hat{\mu}_0(X_i) + \frac{1\{W_i = 1\}(Y_i - \hat{\mu}_1(X_i))}{p^{MAD}_i(1)} - \frac{1\{W_i = 0\}(Y_i - \hat{\mu}_0(X_i))}{p^{MAD}_i(0)}$$
  Dabei sind $\hat{\mu}_w(X_i)$ flexible Modelle zur Vorhersage der erwarteten Ergebnisse unter Behandlung $w$ gegeben die Kovariaten $X_i$.
• Theoretische Garantie: Unter Annahmen über die Beschränktheit der Modellanpassungen und der Varianz wird bewiesen, dass der mittlere Schätzer $\hat{\bar{\tau}}_t$ plus einem dynamischen Fehlerterm $\hat{V}_t$ eine gültige $(1-\alpha)$ asymptotische Konfidenzsequenz bildet.
• Robustheit: Die Methode ist robust gegenüber der Einbeziehung irrelevanter Kovariaten, solange die Stichprobengröße ausreichend ist.

B. MADMod (Power-Modified MAD)

Ziel ist die Angleichung der statistischen Power über alle Behandlungsarme hinweg, ohne die Gültigkeit der Inferenz zu gefährden.

• Ansatz: MADMod führt dynamische Gewichte ($w_k(t)$) für die Behandlungsarme ein, die die Zuordnungswahrscheinlichkeiten des zugrunde liegenden adaptiven Algorithmus ($A$) modifizieren.
• Mechanismus:
  1. Sobald ein Arm statistisch signifikant ist (die Konfidenzsequenz 0 ausschließt), wird sein Gewicht $w_k(t)$ durch eine Abklingfunktion (z. B. polynomiell) reduziert.
  2. Die „verlorene" Wahrscheinlichkeitsmasse wird proportional auf die unterversorgten (suboptimalen) Arme umverteilt.
  3. Dies wird durch eine Neugewichtungsfunktion $g$ realisiert, die sicherstellt, dass die Summe der Wahrscheinlichkeiten weiterhin 1 ergibt.
• Steuerung: Forscher können die Abklingfunktion wählen, um den Trade-off zwischen Effizienz (Fokus auf den besten Arm) und Power (Fokus auf alle Arme) zu kontrollieren.

3. Wichtige Beiträge

1. MADCovar: Einführung eines unverzerrten, kovariatenadjustierten ATE-Schätzers für adaptive Designs, der die Breite der Konfidenzsequenzen signifikant reduziert, während die anytime-valid Eigenschaften erhalten bleiben.
2. MADMod: Entwicklung eines Algorithmus zur dynamischen Umverteilung von Stichproben, der die statistische Power für suboptimale Behandlungsarme erhöht, ohne die Validität der Inferenz zu kompromittieren.
3. Theoretische Fundierung: Beweis der Gültigkeit der asymptotischen Konfidenzsequenzen für beide Erweiterungen unter design-basierten Inferenzannahmen.
4. Open Source: Bereitstellung einer Python-Bibliothek (pyssed) zur Implementierung der Methoden.

4. Ergebnisse

Die Autoren validieren ihre Methoden durch Simulationen und eine Anwendung auf reale Daten:

• Simulationen (MADCovar):

  • MADCovar reduziert die Breite der Konfidenzsequenzen (CS) im Vergleich zum Standard-MAD um 40–70 % bei mittlerer bis hoher Kovariaten-Signalstärke.
  • Die Präzisionsgewinne bleiben auch bei Einbeziehung vieler irrelevanter Kovariaten stabil.
  • In einem Szenario mit 10.000 Einheiten wurde eine Reduktion der CS-Breite um bis zu 60 % erreicht.

• Reale Daten (Großes RCT):

  • Anwendung auf ein politisches RCT mit ca. 32.000 Teilnehmern (Voelkel et al., 2024).
  • MADCovar erzielte ähnliche Präzisionsgewinne (bis zu 60–75 %) wie in den Simulationen im Vergleich zur nicht-adjustierten Basislinie.

• Simulationen (MADMod):

  • MADMod verbessert die Kontrolle des Fehlers 2. Art (Type II error) über alle Arme hinweg, insbesondere bei suboptimalen Behandlungen, die sonst oft unterversorgt wären.
  • Die Konfidenzintervalle werden schmaler, was zu präziseren Schlussfolgerungen für alle Arme führt.
  • Trade-off: Dies geht mit einer Umverteilung der Stichproben einher: MADMod weist suboptimalen Armen signifikant mehr Probanden zu als das reine MAD, was die reine Effizienz des adaptiven Algorithmus leicht reduziert, aber die Gesamtzuverlässigkeit des Experiments erhöht.

5. Bedeutung und Fazit

Die vorgestellten Methoden (MADCovar und MADMod) machen adaptive Experimente für angewandte Forscher in Bereichen wie Gesundheitswesen, Bildung und Sozialpolitik praktikabler, zuverlässiger und effizienter.

• Effizienz und Ethik: Durch die Erhöhung der Präzision ohne größere Stichprobengrößen können Kosten gesenkt und die Exposition von Teilnehmern gegenüber suboptimalen Behandlungen reduziert werden.
• Robuste Entscheidungsfindung: MADMod ermöglicht es, die Wirksamkeit aller Interventionen zu bewerten, nicht nur der besten. Dies verringert das Risiko, wertvolle, aber nicht optimale Behandlungen fälschlicherweise abzulehnen.
• Flexibilität: Die Methoden bieten Forschern Kontrolle über den Trade-off zwischen Effizienz und statistischer Power, ohne auf die strengen Anforderungen der anytime-valid Inferenz verzichten zu müssen.

Zusammenfassend adressieren diese Erweiterungen die beiden größten Schwachstellen adaptiver Designs (hohe Varianz und ungleiche Power) und schaffen so eine solide Grundlage für den Einsatz adaptiver Experimente in der realen Welt.