Technische Samenvatting: Synthesizing Evidence: Data-Pooling als een Instrument voor Behandelselectie in Online Experimenten

1. Probleemstelling

Gerandomiseerde gecontroleerde onderzoeken (RCT's) zijn de gouden standaard voor causale inferentie in zakelijke toepassingen, met name binnen online platforms. Echter, de toenemende schaal van experimentatie — waarbij bedrijven zoals Microsoft, Google en Booking duizenden gelijktijdige experimenten draaien — heeft een "dataschaarste"-probleem gecreëerd. Hoewel de totale gebruikersbasis groot is, wordt het verkeer dat aan een enkel experiment wordt toegewezen vaak beperkt door operationele limieten of risicobeheer.

Deze schaarste leidt tot een hoge variantie in de schattingen van het gemiddelde behandelingseffect (Average Treatment Effect, ATE), wat het moeilijk maakt om effectieve beleidsmaatregelen te onderscheiden van ineffectieve. Traditionele "Individual Treatment Roll-out" (ITR)-methoden, die elk experiment afzonderlijk analyseren met behulp van verschil-in-gemiddelden (difference-in-means) of gewone kleinste kwadraten (OLS), lijden onder een lage statistische kracht wanneer de steekproefomvang klein is. Dit probleem wordt verergerd door gerichte experimentatie (subgroepanalyse) en orthogonale ontwerpen waarbij specifieke behandelcombinaties mogelijk ondervertegenwoordigd zijn. De centrale onderzoeksvraag is: Hoe kunnen platforms de selectie van behandelingen en de uitrol van beleid verbeteren wanneer zij geconfronteerd worden met een groot aantal experimenten met beperkte data per experiment?

2. Methodologie: Het DPTR-raamwerk

De auteurs stellen het Data-Pooling Treatment Roll-out (DPTR) raamwerk voor. In tegenstelling tot ITR, dat experimenten onafhankelijk behandelt, aggregeert DPTR informatie over meerdere experimenten om de besluitvorming te verbeteren.

Kernmechanisme

DPTR maakt gebruik van een shrinkage-schatter die de individuele experimentele schatter ($\hat{\tau}_k$) combineert met een "anker"-schatter ($\hat{\tau}_0$), gedefinieerd als het gemiddelde van alle individuele schatters. De nieuwe schatter $\bar{\tau}_k$ is een gewogen gemiddelde:
$$\bar{\tau}_k = \frac{N}{N + \beta} \hat{\tau}_k + \frac{\beta}{N + \beta} \hat{\tau}_0$$
waarbij $N$ de steekproefomvang is en $\beta \geq 0$ een datagedreven schaalparameter is.

Besluitvormingsbewust Ontwerp

Een cruciaal onderscheid van DPTR is dat het besluitvormingsbewust (decision-aware) is. Traditionele shrinkage streeft vaak naar het minimaliseren van de gemiddelde kwadratische fout (Mean Squared Error, MSE). In contrast hiermee optimaliseert DPTR de roll-out beloning (de verwachte opbrengst van het implementeren van beleid). De schaalparameter $\beta$ wordt expliciet afgeleid om de verwachte beloning van de roll-out beslissing te maximaliseren, waarbij het significantieniveau ($\alpha$) en de drempel voor beleidsimplementatie worden meegenomen. Dit resulteert in "gecomprimeerde beslissingsgrenzen" (shrunken decision bounds) in plaats van standaard betrouwbaarheidsintervallen.

Implementatiescenario's

Het raamwerk is ontworpen om flexibel te zijn in vier verschillende experimentatiescenario's:

1. Niet-overlappende experimenten met lineaire specificaties: Gebruikt Verschil-in-Gemiddelden (DM) of OLS. De schaalparameter $\hat{\beta}$ wordt afgeleid op basis van de ratio tussen de variantie binnen experimenten en de heterogeniteit tussen experimenten.
2. Niet-overlappende experimenten met niet-lineaire specificaties: Maakt gebruik van Double Machine Learning (DML) en cross-fitting om partiële lineaire modellen te verwerken.
3. Overlappende experimenten met lineaire specificaties: Verwerkt gevallen waarin gebruikers gelijktijdig aan meerdere behandelingen worden blootgesteld via OLS op de gezamenlijke behandelingsvector.
4. Overlappende experimenten met niet-lineaire specificaties: Breidt de DML-aanpak uit naar overlappende verkeersstructuren.

In alle gevallen biedt het raamwerk formules voor een datagedreven schaalparameter ($\hat{\beta}$) die ofwel gedeeld kan worden over experimenten, ofwel gepersonaliseerd ($\hat{\beta}_k$) kan worden op basis van covariabele-informatie.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Een Algemeen Data-Pooling Raamwerk: De auteurs introduceren een nieuw raamwerk dat data integreert over meerdere experimenten om de selectie van behandelingen te verbeteren. Het is expliciet besluitvormingsbewust, waarbij de schatting wordt afgestemd op downstream roll-out beslissingen door significantieniveaus in de shrinkage-procedure te integreren. Het raamwerk is toepasbaar op zowel niet-overlappende als overlappende verkeersscenario's, evenals op lineaire en niet-lineaire modelspecificaties.
2. Theoretische Garanties: Onder niet-overlappende experimenten met lineaire specificaties leveren de auteurs formele theoretische bewijzen die aantonen dat DPTR de ITR-methode zwak verbetert en deze strikt verbetert in het "positieve-anker regime" (waar het verwachte ATE over de experimenten heen positief is). Zij leiden de optimale schaalparameter $\beta^*$ af die de verwachte beloning maximaliseert en demonstreren dat een consistente datagedreven estimator voor $\beta$ bestaat.
3. Empirische Validatie: Het raamwerk wordt gevalideerd via:
   • Synthetische Simulaties: Het aantonen van robuustheid bij variërende steekproefomvang, aantal experimenten, ruisniveaus en model-misspecificaties (lineair versus niet-lineair).
   • Real-World Toepassingen: Toepassing op twee datasets: (a) Criteo's advertentiedoelgroepdata (niet-overlappend) en (b) Ye et al. (2025) short-video platform data (overlappend).

4. Resultaten

Synthetische Experimenten

• Prestatie-indicatoren: DPTR presteert consequent beter dan ITR en Bayesiaanse benchmarks in termen van Optimality Ratio (OR) en Value of Data Pooling (VDP).
• Trade-offs: DPTR verbetert de Recall (het identificeren van positieve ATE's) aanzienlijk vergeleken met ITR, vaak ten koste van een iets lagere Specificiteit en Precisie. Deze trade-off is intentioneel, aangezien het raamwerk prioriteit geeft aan het maximaliseren van de totale beloning boven het minimaliseren van de classificatiefout.
• Sensitiviteit: De voordelen van DPTR zijn het meest uitgesproken wanneer:
  • Het aantal experimenten ($K$) groot is.
  • De steekproefomvang per experiment ($N$) klein is.
  • Het verwachte ATE ($\tau_0$) klein is.
• Robuustheid: DPTR blijft effectief, zelfs onder model-misspecificatie (bijv. het gebruik van DM wanneer het ware model niet-lineair is), terwijl de prestaties van ITR in dergelijke scenario's scherp dalen.

Real-World Toepassingen

• Criteo Dataset (Niet-overlappend): DPTR presteerde aanzienlijk beter dan ITR en Bayesiaanse methoden bij het selecteren van gepersonaliseerde aanbevelingen voor gebruikerssubgroepen, vooral wanneer de steekproefomvang klein was. De Bayesiaanse methode presteerde vergelijkbaar met ITR in deze context omdat de individuele groepvarianties klein waren, wat leidde tot verwaarloosbare shrinkage, terwijl DPTR's gebruik van geaggregeerde variantie effectieve pooling mogelijk maakte.
• Short-Video Platform (Overlappend): In een setting met drie overlappende experimenten leverde DPTR consequent hogere OR-waarden op dan ITR over diverse schattingmethoden (DM, OLS, DML) en steekproefomvang heen. Opvallend genoeg verbeterde DPTR de prestaties van DML, dat doorgaans kampt met een hoge variantie in kleine steekproeven, door de variantie effectief te verminderen via pooling.

5. Betekenis en Claims

Het artikel claimt dat DPTR een schaalbare, praktische oplossing biedt voor online platforms om hun experimentele data beter te benutten in complexe zakelijke omgevingen. De betekenis ligt in:

• Adresseren van Dataschaarste: Het biedt een gefundeerde manier om besluitvorming te verbeteren wanneer de toewijzing van verkeer beperkt is, een veelvoorkomende beperking in moderne A/B-testen.
• Besluitvormingsgerichte Optimalisatie: Door de focus te verschuiven van pure schattingsnauwkeurigheid (MSE) naar de kwaliteit van besluitvorming (beloning), stemt DPTR statistische inferentie af op zakelijke doelen.
• Robuustheid: Het raamwerk is aangetoond robuust te zijn tegen model-misspecificatie en overlappende experimentele ontwerpen, die veel voorkomen op echte platforms maar vaak moeilijk te behandelen zijn met traditionele methoden.

De auteurs merken bescheiden op dat de methode is ontworpen voor omgevingen met meerdere parallelle experimenten zonder capaciteitsbeperkingen. Zij erkennen dat in omgevingen met strikte capaciteitsbeperkingen (die het aantal roll-outs beperken) of sterke teken-omkerende interacties tussen behandelingen, de bestudeerde ongeconstreerde roll-out regel mogelijk niet optimaal is. Echter, voor het overgrote deel van de online experimentatiescenario's die gekenmerkt worden door dataschaarste en hoog-dimensionale behandelingsruimtes, biedt DPTR een theoretisch onderbouwde en empirisch gevalideerde verbetering ten opzichte van traditionele geïsoleerde analyse.