Integrating Heterogeneous Information in Randomized Experiments: A Unified Calibration Framework

Deze paper introduceert een uniek kalibratiekader dat heterogene informatie uit diverse bronnen, zoals machinelearningvoorspellingen en externe data, integreert in gerandomiseerde experimenten via convex optimalisatie, waarbij een schatter wordt gegenereerd die zowel geldig is als asymptotisch nooit minder efficiënt is dan bestaande methoden.

De kern

Stel je voor dat je een grote, belangrijke proef doet, bijvoorbeeld om te testen of een nieuw medicijn werkt of of een nieuw spaarprogramma mensen helpt om meer geld op te bouwen. Je verdeelt de deelnemers willekeurig in twee groepen: een groep die het medicijn krijgt (de 'behandeling') en een groep die een nep-medicijn krijgt (de 'controle').

In de ideale wereld zijn deze twee groepen exact hetzelfde. Maar in het echte leven is dat bijna nooit zo. Misschien zijn er in de behandelgroep net iets meer mensen met een hoog inkomen, of net iets meer mensen die al wat ervaring hebben met het onderwerp. Dit noemen we onbalans.

Het Probleem: De "Willekeurige" Willekeur

Onderzoekers proberen dit op te lossen door de groepen in "strata" (laagjes) te verdelen voordat ze willekeurig toewijzen. Bijvoorbeeld: eerst alle mannen, dan alle vrouwen. Binnen die laagjes verdelen ze dan willekeurig. Dit heet Covariate-Adaptive Randomization (CAR).

Maar hier zit een addertje onder het gras:

1. Je kunt maar een paar kenmerken gebruiken om die laagjes te maken (bijv. geslacht en leeftijd).
2. Er zijn vaak nog tientallen andere belangrijke kenmerken (inkomen, opleiding, gezondheid, etc.) die je niet in de stratificatie hebt gebruikt.
3. Soms heb je ook extra informatie van buitenaf, zoals data van eerdere studies of voorspellingen van slimme computermodellen (AI).

De oude methoden om de resultaten te analyseren waren vaak te stijf. Ze keken alleen naar de mensen binnen hun eigen laagje en negeerden de rest van de wereld. Alsof je probeert een puzzel op te lossen door alleen naar één stukje te kijken, terwijl je de hele doos met stukjes hebt.

De Oplossing: Een Uniek Kalibratie-Frame

De auteurs van dit paper (Ma, Wu en Zhang) hebben een nieuwe, slimme manier bedacht om al deze verschillende informatiebronnen samen te brengen. Ze noemen het een "Unificatie Kalibratie Frame".

Laten we het uitleggen met een analogie:

De Analogie: De Perfecte Jury
Stel je voor dat je een jury hebt die moet beslissen of een nieuwe wet werkt.

• De oude methode: Je kijkt alleen naar de stemmen van de mensen die in dezelfde kamer zaten als de verdachte. Als die kamer toevallig meer voorstanders had, is je oordeel vertekend.
• De nieuwe methode (Kalibratie): Je hebt een magische weegschaal. Je kunt de stemmen van de juryleden "opwegen" (gewicht geven).
  • Als een jurylid een kenmerk heeft dat in de behandelgroep te veel voorkomt, geef je die stem een beetje minder gewicht.
  • Als een jurylid een zeldzaam kenmerk heeft, geef je die stem meer gewicht.
  • Het slimme deel: Je kunt nu ook stemmen toevoegen van mensen die niet in de kamer zaten, maar wel in de database zitten (historische data) of van slimme AI-modellen die voorspellen hoe het zou moeten gaan.

De auteurs gebruiken een wiskundig algoritme (een convex optimalisatie probleem) om precies te berekenen hoeveel gewicht elke stem moet krijgen. Het doel is om de weegschaal perfect in evenwicht te brengen, zodat de behandeling en de controle groep eruitzien alsof ze exact hetzelfde zijn, zelfs als ze dat in werkelijkheid niet zijn.

Waarom is dit zo geweldig?

1. Het is "veilig" (No-Harm):
   Stel je voor dat je een extra informatiebron toevoegt, maar dat die informatie eigenlijk helemaal niet nuttig is of zelfs een beetje verkeerd is. Bij veel oude methoden zou dit je resultaat kunnen verpesten. Bij deze nieuwe methode is dat onmogelijk. Het is alsof je een extra bril opzet: als de bril goed is, zie je scherper. Als de bril slecht is, kijk je er gewoon doorheen en zie je net zo goed als zonder bril. Je wordt er nooit slechter van.

2. Het combineert alles:
   Je kunt nu data van eerdere studies, voorspellingen van verschillende AI-modellen (bijv. een Random Forest én een Neuraal Netwerk) en je eigen experimentele data allemaal in één potje doen. Het algoritme zoekt de beste combinatie. Het is alsof je een team van experts samenbrengt in plaats van te vertrouwen op één persoon.

3. Het werkt altijd:
   Of je nu een simpele loterij doet of een heel complexe manier om mensen te verdelen, deze methode werkt. Het maakt niet uit hoe de groepen zijn gevormd, het kalibratie-algoritme zorgt ervoor dat het eindresultaat eerlijk is.

Wat hebben ze bewezen?

De auteurs hebben wiskundig bewezen dat:

• Hun methode altijd werkt, zelfs als je duizenden variabelen hebt.
• Het resultaat altijd nauwkeuriger is dan de simpele methode (alleen kijken naar het gemiddelde verschil).
• Het resultaat betrouwbaar is, zelfs als je data uit verschillende landen of tijden combineert.

In de praktijk: Het Spaar-voorbeeld

In het paper testen ze dit op echte data uit Oeganda en Malawi, waar mensen kregen om een bankrekening te openen.

• Ze gebruikten data van het ene land om de resultaten in het andere land te verbeteren.
• Ze gebruikten slimme modellen om de resultaten te "kalibreren".
• Resultaat: De nieuwe methode gaf een veel scherpere schatting van het effect dan de oude methoden. De foutmarge werd kleiner, waardoor je met meer zekerheid kunt zeggen of het programma werkte of niet.

Samenvatting

Dit paper is als een universale vertaler en evenwichtsmaker voor wetenschappelijke experimenten. Het zorgt ervoor dat je niet alleen kijkt naar wat je direct voor je hebt, maar dat je slim gebruikmaakt van alle beschikbare informatie (verleden, AI, andere landen) om de eerlijkste en meest accurate conclusie te trekken, zonder het risico te lopen dat je je resultaat verpest door slechte data.

Het is een stap voorwaarts naar "slimmere" experimenten waar we minder mensen nodig hebben om tot dezelfde, betere conclusies te komen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Integrating Heterogeneous Information in Randomized Experiments: A Unified Calibration Framework" van Ma, Wu en Zhang, in het Nederlands.

1. Probleemstelling

In moderne gerandomiseerde experimenten (RCT's) worden steeds vaker grote hoeveelheden data verzameld, inclusief rijke basiscovariaten en hulpinformatie uit diverse bronnen. Hoewel deze informatie kansen biedt voor nauwkeurigere schattingen van behandelingseffecten, vormt het integreren van deze heterogene informatie een uitdaging zonder de geldigheid van de resultaten te schaden.

• Huidige beperkingen: Covariaten-adaptieve randomisatie (CAR), zoals gestratificeerde randomisatie, zorgt voor balans op het ontwerpstadium, maar vaak slechts voor een beperkt aantal covariaten. Analysemethoden die covariaten aanpassen (covariate adjustment) zijn essentieel voor restbalans en efficiëntie.
• Het gat in de literatuur: Bestaande methoden (zoals AIPW-gebaseerde benaderingen met machine learning) focussen voornamelijk op interne informatie binnen de huidige trial (vaak per stratum). Ze bieden geen coherent mechanisme om:
  1. Informatie tussen strata te lenen (cross-stratum borrowing).
  2. Voorspellingen van verschillende machine learning-modellen te combineren.
  3. Externe informatie te integreren (bijv. uit historische trials of real-world data), zelfs als deze bronnen distributieverschillen (covariate shift) vertonen met de huidige trial.

2. Methodologie: Een Unificatie Kader

De auteurs stellen een unificatie kalibratiekader voor dat heterogene informatie integreert via een "informatie-proxyvector" en kalibratiegewichten.

Het Kader:
Het schatter voor het gemiddelde behandelingseffect (ATE), $\hat{\tau}_{cal}$, wordt gedefinieerd als:
$$\hat{\tau}_{cal} = \hat{\tau}_{sdim} + \frac{1}{n} \sum_{i=1}^n \hat{w}_i r_i$$
Waarbij:

• $\hat{\tau}_{sdim}$ de gestratificeerde verschil-in-gemiddelden schatter is.
• $r_i$ de residuen zijn die niet verklaard worden door de stratum-gemiddelden.
• $\hat{w}_i$ kalibratiegewichten zijn die worden bepaald door een convex optimalisatieprobleem.

De Kalibratie:
De gewichten $\hat{w}_i$ minimaliseren een afwijking (discrepancy) $D(w_i)$ (bijv. kwadratisch of empirische likelihood) onder de volgende beperkingen:
$$\frac{1}{n} \sum_{i=1}^n w_i \left( \frac{A_i}{\pi_{n[k]}} - \frac{1-A_i}{1-\pi_{n[k]}} \right) \mathbb{1}(B_i=k) \left( \xi_n(X_i) - \xi_{n[k]} \right) = 0$$
Hierbij is $\xi_n(X_i)$ de informatie-proxyvector. Deze vector kan bestaan uit:

• Interne schatters (bijv. uit random forests, neural networks, Lasso).
• Externe schatters (uit historische data of real-world data).
• Combinaties van bovenstaande.

Technische Innovaties:

• Conditionele Asymptotiek: Omdat CAR-ontwerpen complexe afhankelijkheidsstructuren binnen strata creëren (niet i.i.d.), gebruiken de auteurs conditionele wetten van grote aantallen en conditionele centrale limietstellingen. Ze conditioneren op de gerealiseerde stratum-indicatoren en toewijzingen.
• Robuustheid: Het kader is model-agnostisch. De geldigheid van de inferentie blijft behouden zelfs als de gebruikte informatie (bijv. uit externe bronnen) vertekend is of afkomstig is van onnauwkeurige modellen. Er zijn geen strenge aannames nodig over de gelijkheid van de verdelingen tussen externe en interne data.

3. Belangrijkste Bijdragen

1. Unificatie: Het kader herleidt vele recente covariaten-aanpassingsprocedures (zoals Lasso, AIPW met ML, en gestratificeerde regressie) tot speciale gevallen. Het biedt een enkele architectuur voor zowel interne als externe informatielevering.
2. Flexibele Informatielevering: Het stelt onderzoekers in staat om informatie over strata heen te lenen en heterogene ML-voorspellingen te aggregeren. Het kan ook historische trials en real-world data integreren zonder restrictieve "soortgelijkheid"-aannames.
3. Theoretische Garanties:
   • Asymptotische Normaliteit: De schatter is asymptotisch normaal verdeeld met een consistent schatbare variantie.
   • "No-Harm" Efficiëntie: Het toevoegen van extra informatiebronnen kan de asymptotische variantie nooit verhogen; het verbetert de efficiëntie of behoudt deze ten minste.
   • Semiparametrische Efficiëntie: Onder bepaalde voorwaarden bereikt de schatter de semiparametrische efficiëntiegrens.
   • Divergerende Dimensies: De theorie is uitgebreid naar scenario's waar het aantal strata ($K$) en de dimensie van de informatieve vector ($d$) meegroeien met de steekproefgrootte ($n$).

4. Resultaten

Simulatiestudies:
De auteurs hebben de methode getest via Monte Carlo-simulaties met verschillende randomisatiemethoden (simpel, gestratificeerd blok, minimalisatie) en steekproefgroottes.

• Resultaat: Kalibratie-schatters (vooral die gebaseerd op Random Forests of combinaties van modellen) presteerden consistent beter dan traditionele AIPW-methoden en de gestratificeerde verschil-in-gemiddelden schatter.
• Robuustheid: In kleine steekproeven ($n=500$) waren de kalibratie-methode stabieler dan lineaire regressie-aanpassingen, vooral bij uitbijters of niet-lineaire relaties.
• Externe Data: Het integreren van externe data (via de proxy-vector) resulteerde in lagere standaardfouten zonder de dekking van betrouwbaarheidsintervallen te schaden.

Empirische Toepassing:
De methode werd toegepast op data van Dupas et al. (2018) over bankrekening-subsidies in Oeganda en Malawi.

• Aanpak: Bij het analyseren van de data uit Oeganda werd informatie uit Malawi gebruikt (en vice versa) als externe bron in de kalibratie.
• Vindst: De kalibratie-schatter met externe informatie ($\text{cal\_info\_X\_X}\beta$) leverde de laagste standaardfouten op (11,2% lager in Oeganda en 6,3% lager in Malawi vergeleken met de standaard methode). De conclusie dat bankrekening-subsidies geen significant effect hadden op totale besparingen, werd bevestigd, maar met grotere precisie.

5. Betekenis en Impact

Dit artikel biedt een fundamentele doorbraak in de analyse van gerandomiseerde experimenten onder covariaten-adaptieve randomisatie.

• Praktische Relevantie: Het lost het probleem op van hoe men op een veilige en efficiënte manier gebruik kan maken van de overvloed aan beschikbare data (interne en externe) in klinische trials en veldexperimenten.
• Methodologische Vooruitgang: Het introduceert een robuust, model-agnostisch kader dat de beperkingen van bestaande AIPW-methoden overwint, vooral wat betreft het combineren van meerdere bronnen en het omgaan met covariate shift.
• Toekomstgericht: De theorie voor divergerende strata en dimensies maakt de methode toepasbaar op moderne, complexe datasets met duizenden covariaten en vele subgroepen.

Kortom, de auteurs bieden een "veiligheidsnet" voor onderzoekers: ze kunnen meer informatie toevoegen om hun schattingen te verfijnen, wetende dat ze hierdoor nooit slechter af zullen zijn dan met de standaardmethoden.