AI-Assisted Variance Reduction in Randomized Experiments

Technische Samenvatting: AI-ondersteunde Variantiereductie in Gerandomiseerde Experimenten

Probleemstelling
Het artikel behandelt de uitdaging om de precisie van schattingen van het gemiddelde behandel-effect (Average Treatment Effect, ATE) in gerandomiseerde experimenten te verbeteren. Hoewel recente literatuur onderzoekt hoe Large Language Models (LLM's) en "digitale tweelingen" menselijke reacties kunnen simuleren, lijden deze synthetische voorspellingen vaak aan bias en zijn ze een slechte vervanging voor grondwaarheid-menselijke data wanneer ze in isolatie worden gebruikt. Bestaande hybride schattingsmethoden, zoals Prediction-Powered Inference (PPI) en semiparametrische efficiënte schatters, beogen AI-voorspellingen met menselijke data te combineren, maar missen vaak robuustheidsgaranties in gerandomiseerde settings. Specifiek kunnen ongekalibreerde benaderingen de variantie opblazen als de AI-voorspellingen niet voldoende accuraat zijn, en sommige methoden introduceren bias als het model verkeerd gespecificeerd is. De auteurs stellen dat onderzoekers een methode nodig hebben die AI-voorspellingen gebruikt voor variantiereductie zonder de onbevooroordeeldheid van de schatter in gevaar te brengen, zelfs wanneer de kwaliteit van de voorspelling bescheiden of onbekend is.

Methodologie
De auteurs stellen een framework voor waarbij AI-gegenereerde voorspellingen strikt worden gebruikt als hulp-covariaten binnen standaard regressie-adjustering, in plaats van als directe vervangers voor uitkomsten.

• Kernschatter: Het artikel pleit voor het opnemen van AI-voorspellingen ($\hat{Y}_i$) als covariaten in een lineaire regressie van de geobserveerde uitkomst ($Y^{obs}_i$) op de behandelindicator ($Z_i$). Specifiek bevelen zij de geïnteracteerde regressiespecificatie aan:
  $$Y \sim 1 + Z + \hat{Y}(Z) + Z \times \hat{Y}(Z)$$
  waarbij $\hat{Y}(Z)$ de AI-voorspelling is voor de toegewezen behandelarm. Dit is analoog aan het corrigeren voor een prognostische score.
• Theoretische Rechtvaardiging: De auteurs demonstreren dat deze regressie-gecorrigeerde schatter een "gekalibreerde" versie is van de model-ondersteunde schatter. In tegen tegenstelling tot ongekalibreerde model-ondersteunde schatters (die vereisen dat de correlatie tussen voorspellingen en uitkomsten groter is dan 0,5 om de variantie te verminderen), bezit de regressie-gecorrigeerde schatter een "do no harm"-eigenschap. Het is asymptotisch onbevooroordeeld en garandeert dat de variantie nooit groter is dan de ongecorrigeerde verschil-in-gemiddelden schatter ($Deff \leq 1$). Als voorspellingen niet-informatief zijn, krimpen de geschatte coëfficiënten naar nul en keert de schatter terug naar de standaard verschil-in-gemiddelden methode.
• Omgaan met Discrete Uitkomsten: Voor binaire of count-uitkomsten adviseren de auteurs tegen het gebruik van gediscretiseerde AI-voorspellingen (bijv. het classificeren van een LLM-output als 0 of 1). In plaats daarvan bevelen zij aan te corrigeren voor continue voorspelde waarschijnlijkheden of scores. Zij bieden implementatiestrategieën voor het verkrijgen van deze continue scores uit LLM's, zoals het extraheren van log-waarschijnlijkheden van specifieke tokens of het middelen over meerdere stochastische draws.
• Databronnen: Het framework kan voorspellingen accommoderen van diverse bronnen, waaronder zero-shot LLM's, tabel-foundation modellen (bijv. TabPFN) en standaard supervised learning modellen (bijv. XGBoost, Ridge). De auteurs merken op dat voor modellen die getraind zijn op de experimentele data zelf, cross-fitting vereist is om de validiteit te behouden, terwijl zero-shot LLM-voorspellingen als vaste pre-treatment covariaten kunnen worden behandeld.

Belangrijkste Bijdragen

1. Eenvoud en Robuustheid: Het artikel stelt vast dat er geen nieuwe schatters vereist zijn; standaard regressie-adjustering met AI-covariaten is voldoende. Deze benadering erft de robuustheid van de "do no harm"-eigenschap, wat zorgt voor efficiëntiewinst wanneer voorspellingen informatief zijn en geen straf oplevert wanneer ze dat niet zijn.
2. Vergelijking van Schatters: De auteurs vergelijken systematisch regressie-adjustering met ongekalibreerde model-ondersteunde schatters en "digitale tweeling" (imputatie) schatters. Zij tonen aan dat ongekalibreerde methoden de variantie kunnen opblazen als de kwaliteit van de voorspelling laag is ($\rho < 0,5$), en dat digitale tweeling-schatters significante bias kunnen introduceren tenzij het AI-model perfect gespecificeerd is.
3. Featurizatie van Ongestructureerde Data: Het paper benadrukt het unieke vermogen van LLM's om ongestructureerde inputs (bijv. tekst, complexe gebruikersprofielen) te featurizen naar hulp-covariaten. Dit maakt variantiereductie mogelijk in settings waar traditionele tabel-methoden moeite hebben om signaal te extraheren uit ruwe tekst.
4. Implementatie-instructies: De auteurs bieden praktisch advies voor het extraheren van continue scores uit discrete LLM-outputs en het afhandelen van binaire uitkomsten om de variantiereductie te maximaliseren.

Resultaten
Het paper valideert de claims via synthetische experimenten en drie empirische toepassingen: een survey mega-studie, een e-mail marketing A/B-test en een grootschalig technologieplatform-experiment.

• Synthetische Experimenten: Simulaties bevestigen dat regressie-adjustering een design effect $\leq 1$ handhaaft bij variërende niveaus van voorspellingskwaliteit ($R^2_{\hat{Y}}$) en uitkomst-voorspelbaarheid ($R^2_m$). In contrast hiermee blazen ongekalibreerde model-ondersteunde schatters de variantie regelmatig op wanneer de voorspellingskwaliteit laag is. De simulaties demonstreren ook dat het gebruik van continue AI-voorspellingen voor binaire uitkomsten grotere efficiëntiewinst oplevert dan het gebruik van gediscretiseerde voorspellingen.
• Empirische Toepassingen:
  • In de survey mega-studie (met betrekking tot digitale tweelingen) zorgde regressie-adjustering voor een bescheiden maar reële efficiëntiewinst.
  • In de e-mail marketing A/B-test verbeterde het corrigeren voor AI-voorspellingen naast tabel-covariaten de precisie.
  • In het technologieplatform-experiment werd de benadering toegepast op sequentiële gebruikersdata.
  • In alle settings werd de winst beschreven als "reëel indien bescheiden", waarbij de meest significante voordelen werden waargenomen in studies met substantiële ongestructureerde tekstdata. De "do no harm"-eigenschap werd empirisch bevestigd; de gecorrigeerde schatters presteerden nooit slechter dan de ongecorrigeerde verschil-in-gemiddelden methode.

Betekenis en Claims
Het artikel claimt dat het aanpassen voor AI-gegenereerde voorspellingen een reguliere empirische praktijk zou moeten worden in gerandomiseerde experimenten. De betekenis ligt in het vermogen om de voorspellende kracht van generatieve AI te benutten — met name voor ongestructureerde data — zonder de risico's die verbonden zijn aan complexere hybride schatters. De auteurs benadrukken dat hoewel de efficiëntiewinst in veel gestructureerde settings bescheiden kan zijn, de benadering een lage kostprijs heeft, robuust is en bijzonder waardevol is voor studies die rijk zijn aan tekst of complexe inputs waar traditionele feature engineering moeilijk is. Zij concluderen dat de combinatie van gegarandeerde robuustheid ("do no harm") en het potentieel voor efficiëntieverbetering het een superieure strategie maakt vergeleken met ongekalibreerde alternatieven of het volledig negeren van AI-voorspellingen.