AI-Assisted Variance Reduction in Randomized Experiments

Technische Zusammenfassung: KI-gestützte Varianzreduktion in randomisierten Experimenten

Problemstellung
Die Arbeit adressiert die Herausforderung, die Präzision von Schätzungen des durchschnittlichen Behandlungseffekts (Average Treatment Effect, ATE) in randomisierten Experimenten zu verbessern. Während die jüngere Literatur untersucht, wie Large Language Models (LLMs) und „digitale Zwillinge“ genutzt werden können, um menschliche Reaktionen zu simulieren, leiden diese synthetischen Vorhersagen oft unter Bias und sind als Ersatz für echte menschliche Daten, wenn sie isoliert verwendet werden, ein schlechter Ersatz. Bestehende hybride Schätzverfahren, wie etwa Prediction-Powered Inference (PPI) und semiparametrische effiziente Schätzer, zielen darauf ab, KI-Vorhersagen mit menschlichen Daten zu kombinieren, lassen jedoch oft Robustheitsgarantien in randomisierten Settings vermissen. Speziell können unkalibrierte Ansätze die Varianz aufblähen, wenn die KI-Vorhersagen nicht ausreichend genau sind, und einige Methoden führen einen Bias ein, wenn das Modell misspezifiziert ist. Die Autoren argumentieren, dass Forscher eine Methode benötigen, die KI-Vorhersagen zur Varianzreduktion nutzt, ohne die Unverzerrtheit des Schätzers zu gefährden, selbst wenn die Qualität der Vorhersage moderat oder unbekannt ist.

Methodik
Die Autoren schlagen ein Framework vor, bei dem KI-generierte Vorhersagen strikt als Hilfskovariaten innerhalb einer Standard-Regressionsadjustierung verwendet werden, anstatt als direkter Ersatz für die Zielvariablen (Outcomes) zu dienen.

• Kern-Schätzer: Die Arbeit plädiert dafür, KI-Vorhersagen ($\hat{Y}_i$) als Kovariaten in einer linearen Regression der beobachteten Zielgröße ($Y^{obs}_i$) auf den Behandlungsindikator ($Z_i$) einzubeziehen. Konkret empfehlen sie die interagierende Regressionsspezifikation:
  $$Y \sim 1 + Z + \hat{Y}(Z) + Z \times \hat{Y}(Z)$$
  wobei $\hat{Y}(Z)$ die KI-Vorhersage für den zugewiesenen Behandlungsarm darstellt. Dies ist analog zur Adjustierung für einen Prognostic Score.
• Theoretische Begründung: Die Autoren zeigen auf, dass dieser regressionsadjustierte Schätzer eine „kalibrierte“ Version des modellgestützten Schätzers ist. Im Gegensatz zu unkalibrierten modellgestützten Schätzern (die erfordern, dass die Korrelation zwischen Vorhersagen und Zielgrößen 0,5 übersteigt, um die Varianz zu reduzieren), besitzt der regressionsadjustierte Schätzer eine „Do No Harm“-Eigenschaft (keinen Schaden anrichten). Er ist asymptotisch unverzerrt und garantiert, dass die Varianz niemals größer ist als die unadjustierte Differenz-der-Mittelwerte-Schätzung ($Deff \leq 1$). Wenn Vorhersagen nicht informativ sind, werden die geschätzten Koeffizienten gegen Null schrumpfen, und der Schätzer kehrt zum Standard-Differenz-der-Mittelwerte-Schätzer zurück.
• Umgang mit diskreten Zielgrößen: Für binäre oder Zählwert-Zielgrößen raten die Autoren davon ab, diskretisierte KI-Vorhersagen zu verwenden (z. B. die Klassifizierung eines LLM-Outputs als 0 oder 1). Stattdessen empfehlen sie die Adjustierung für kontinuierliche vorhergesagte Wahrscheinlichkeiten oder Scores. Sie liefern Implementierungsstrategien zur Gewinnung dieser kontinuierlichen Scores aus LLMs, wie etwa die Extraktion von Log-Wahrscheinlichkeiten spezifischer Tokens oder das Mitteln über mehrere stochastische Ziehungen.
• Datenquellen: Das Framework kann Vorhersagen aus verschiedenen Quellen verarbeiten, einschließlich Zero-Shot-LLMs, tabellarischer Foundation Models (z. B. TabPFN) und Standard-Supervised-Learning-Modellen (z. B. XGBoost, Ridge). Die Autoren merken an, dass für Modelle, die auf denselben experimentellen Daten trainiert wurden, Cross-Fitting erforderlich ist, um die Validität zu wahren, während Zero-Shot-LLM-Vorhersagen als feste Pre-Treatment-Kovariaten behandelt werden können.

Wesentliche Beiträge

1. Einfachheit und Robustheit: Die Arbeit etabliert, dass keine neuen Schätzer erforderlich sind; die Standard-Regressionsadjustierung mit KI-Kovariaten ist ausreichend. Dieser Ansatz erbt die Robustheit der „Do No Harm“-Eigenschaft, was bedeutet, dass Effizienzvorteile erzielt werden, wenn die Vorhersagen informativ sind, und kein Nachteil entsteht, wenn sie es nicht sind.
2. Vergleich von Schätzern: Die Autoren vergleichen systematisch die Regressionsadjustierung mit unkalibrierten modellgestützten Schätzern und „Digital Twin“ (Imputations-) Schätzern. Sie zeigen, dass unkalibrierte Methoden die Varianz aufblähen können, wenn die Qualität der Vorhersage niedrig ist ($\rho < 0,5$), und dass Digital-Twin-Schätzer signifikanten Bias einführen können, sofern das KI-Modell nicht perfekt spezifiziert ist.
3. Featurisierung unstrukturierter Daten: Die Arbeit hebt die einzigartige Fähigkeit von LLMs hervor, unstrukturierte Inputs (z. B. Text, komplexe Nutzerprofile) in Hilfskovariaten zu transformieren (Featurization). Dies ermöglicht eine Varianzreduktion in Szenarien, in denen traditionelle tabellarische Methoden Schwierigkeiten haben, Signale aus Rohtext zu extrahieren.
4. Implementierungshinweise: Die Autoren geben praktische Ratschläge zur Extraktion kontinuierlicher Scores aus diskreten LLM-Outputs und zum Umgang mit binären Zielgrößen, um die Varianzreduktion zu maximieren.

Ergebnisse
Die Arbeit validiert ihre Behauptungen durch synthetische Experimente und drei empirische Anwendungen: eine Survey-Mega-Studie, einen E-Mail-Marketing-A/B-Test und ein groß angelegtes Experiment einer Technologieplattform.

• Synthetische Experimente: Simulationen bestätigen, dass die Regressionsadjustierung einen Design-Effekt von $\leq 1$ über variierende Ebenen der Vorhersagequalität ($R^2_{\hat{Y}}$) und der Zielgrößen-Vorhersagbarkeit ($R^2_m$) beibehält. Im Gegensatz dazu blähen unkalibrierte modellgestützte Schätzer häufig die Varianz auf, wenn die Qualität der Vorhersage gering ist. Die Simulationen zeigen auch, dass die Verwendung kontinuierlicher KI-Vorhersagen für binäre Zielgrößen größere Effizienzvorteile bringt als die Verwendung diskretisierter Vorhersagen.
• Empirische Anwendungen:
  • In der Survey-Mega-Studie (unter Einbeziehung digitaler Zwillinge) lieferte die Regressionsadjustierung moderate, aber reale Effizienzvorteile.
  • Im E-Mail-Marketing-A/B-Test verbesserte die Adjustierung für KI-Vorhersagen neben tabellarischen Kovariaten die Präzision.
  • Im Technologieplattform-Experiment wurde der Ansatz auf sequentielle Nutzerdaten angewendet.
  • In allen Settings wurden die Gewinne als „real, wenn auch moderat“ beschrieben, wobei die signifikantesten Vorteile in Studien mit erheblichen Mengen an unstrukturierten Textdaten beobachtet wurden. Die „Do No Harm“-Eigenschaft wurde empirisch bestätigt; die adjustierten Schätzer waren nie schlechter als der unadjustierte Differenz-der-Mittelwerte-Schätzer.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass die Adjustierung für KI-generierte Vorhersagen zu einer regulären empirischen Praxis in randomisierten Experimenten werden sollte. Die Bedeutung liegt in der Fähigkeit, die Vorhersagekraft generativer KI – insbesondere für unstrukturierte Daten – zu nutzen, ohne die Risiken, die mit komplexeren hybriden Schätzern verbunden sind. Die Autoren betonen, dass die Effizienzvorteile in vielen strukturierten Settings zwar moderat sein mögen, der Ansatz jedoch kostengünstig, robust und besonders wertvoll für Studien ist, die reich an Text oder komplexen Inputs sind, in denen traditionelles Feature Engineering schwierig ist. Sie kommen zu dem Schluss, dass die Kombination aus garantierter Robustheit („Do No Harm“) und dem Potenzial zur Effizienzsteigerung sie zu einer überlegenen Strategie gegenüber unkalibrierten Alternativen oder dem vollständigen Ignorieren von KI-Vorhersagen macht.