Technische Samenvatting: Real versus Semi-gesimuleerd: Evaluatie voor Schatting van Behandelingseffecten Heroverwegen

Probleemstelling

Het vakgebied van Causaal Machine Learning (Causaal ML) kampt met een kritieke misalignering tussen onderzoeks-evaluatiepraktijken en eisen voor implementatie in de echte wereld. Waar academisch onderzoek voornamelijk leunt op semi-gesimuleerde benchmarks en contrfactuele metrieken (bijv. $\sqrt{PEHE}$) die grondwaarheid voor potentiële uitkomsten vereisen, opereren industriële toepassingen onder omstandigheden waarbij alleen observeerbare uitkomsten beschikbaar zijn. In real-world settings is de contrfactuele uitkomst (wat er zou zijn gebeurd onder een andere behandeling) per definitie niet waargenomen. Bijgevolg moeten praktici vertrouwen op observeerbare metrieken zoals rangschikkingsprestaties (bijv. uplift-curves) of feitelijke testuitkomsten.

Het kernprobleem dat wordt aangepakt, is of de evaluatieregimes die in methodologische papers worden gebruikt, modelprestaties in implementatiescenario's betrouwbaar voorspellen. Specifiek onderzoeken de auteurs of modellen die als "beste" worden geselecteerd door contrfactuele metrieken op semi-gesimuleerde data, effectief overdragen naar echte datasets wanneer ze worden geëvalueerd met observeerbare metrieken.

Methodologie

De auteurs voeren een grootschalige empirische studie uit die 117 benchmarkinstanties omvat, bestaande uit 112 semi-gesimuleerde datasets en 5 real-world datasets. De steekproefomvang varieert van honderden tot bijna 14 miljoen (Criteo-ITE).

Geëvalueerde Schatters

De studie evalueert een uitgebreide pool van schatters, waaronder:

• Meta-learners: S-, T-, X-, R- en Doubly Robust (DR) learners [Künzel et al., 2019; Nie and Wager, 2021].
• Basislearners: Lineaire/Logistische Regressie (LR), XGBoost (XGB) en twee-laags Multi-Layer Perceptrons (NN).
• Gespecialiseerde Architecturen: TARNet, CFR, DragonNet en Causal Forests.

Evaluatiemetrieken

De auteurs vergelijken drie families van metrieken:

1. Contrfactueel gebaseerd (Oracle): $\sqrt{PEHE}$, Policy Value en $\Delta$ATE(Sim). Deze vereisen toegang tot zowel potentiële uitkomsten en zijn beperkt tot semi-gesimuleerde settings.
2. Op observeerbare uitkomsten gebaseerd: Feitelijke verliesfunctie en $\Delta$ATE (het meten van de discrepantie tussen voorspelde en empirische gemiddelde behandelingseffecten).
3. Op observeerbare rangschikking gebaseerd: Up@20, Qini-score en RATE AUTOC. Deze beoordelen het vermogen van het model om eenheden voor behandeling te prioriteren op basis van waargenomen data.

Experimenteel Ontwerp

De studie adresseert twee hoofdvragen:

• V1 (Metriek-overdracht): Induceren contrfactuele metrieken op semi-gesimuleerde data dezelfde modelrangschikkingen als observeerbare metrieken?
• V2 (Dataset-overdracht): Dragen rangschikkingen die op semi-gesimuleerde benchmarks worden verkregen, over naar real-world datasets?

De auteurs gebruiken Kendall's $\tau$ en de Wilcoxon signed-rank test om de overeenstemming tussen door metrieken geïnduceerde rangschikkingen te kwantificeren. Ze voeren ook een gematchte case study uit met de Criteo-dataset (real) en Criteo-ITE (semi-gesimuleerde variant afgeleid van dezelfde bron) om het effect van het evaluatieregime te isoleren van covariatenverschillen.

Belangrijkste Resultaten

1. Metriek-ontkoppeling (V1)

De studie stelt vast dat contrfactuele metrieken niet betrouwbaar de schatters herstellen die door observeerbare metrieken worden geprefereerd, zelfs niet op dezelfde semi-gesimuleerde benchmarks.

• Rangschikkingsdivergentie: Modellen die als "beste" worden geselecteerd door $\sqrt{PEHE}$, lijden vaak aanzienlijke regret wanneer ze worden geëvalueerd op rangschikkingsmetrieken zoals Up@20 of Qini. Bijvoorbeeld: de schatter geselecteerd door $\sqrt{PEHE}$ eindigde gemiddeld op de 13e plaats onder Up@20.
• Statistische significantie: De overeenstemming tussen rangschikkingsmetrieken is significant hoger (gemiddelde $\tau = 0,355$) dan de overeenstemming tussen rangschikkings- en contrfactuele metrieken (gemiddelde $\tau = 0,256$).
• Implicatie: Het behandelen van contrfactuele metrieken als de gouden standaard voor modelselectie kan leiden tot het selecteren van schatters die suboptimaal zijn voor implementatie-gerichte doelen.

2. Niet-overdraagbaarheid van Datasets (V2)

Rangschikkingen verkregen op semi-gesimuleerde benchmarks dragen niet over naar real-world datasets, zelfs niet bij gebruik van identieke observeerbare metrieken.

• Inconsistente winnaars: Methoden die semi-gesimuleerde benchmarks domineren (bijv. DragonNet, DR-LR op IHDP) verschijnen vaak niet in de top-rangschikkingen van real-world datasets.
• Rangverschuivingen: Er is significante spreiding in rangverschuivingen ($\Delta$Rank) tussen semi-gesimuleerde en real-world data. Bijvoorbeeld: R- en DR-gebaseerde schatters verbeteren vaak in real-world rangschikkingen, terwijl T- en X-learners kunnen verslechteren.
• Gematchte Case Study: Zelfs in de gematchte Criteo-studie (dezelfde covariaten en toewijzingen voor behandeling, maar verschillende uitkomstgeneratie), veranderde de algehele ordening van schatters tussen de contrfactuele (Criteo-ITE) en observeerbare (Criteo) settings.

3. Praktische Observaties

• Dominantie van Basislearners: Eenvoudige meta-learners gekoppeld aan sterke voorspellende ruggengraten (specifiek XGBoost) zijn consistent concurrerend over regimes heen. T(XGB), X(XGB) en S(XGB) domineren de algehele rangschikkingen.
• Gespecialiseerde Modellen: Gespecialiseerde neurale architecturen (bijv. DragonNet, CFR) presteren over het algemeen slechter dan eenvoudige meta-learners met tabulaire ruggengraten, behalve wanneer ze specifiek worden geëvalueerd onder contrfactuele semi-gesimuleerde metrieken.

Betekenis en Claims

Het paper betoogt dat het vakgebied van schatting van behandelingseffecten zowel een metriekprobleem als een datasetprobleem kent.

1. Herwaardering van Evaluatieprotocollen: De auteurs claimen dat vooruitgang in Causaal ML niet uitsluitend moet worden beoordeeld via oracle-stijl contrfactuele metrieken en semi-gesimuleerde benchmarks. Deze regimes kunnen methoden belonen met inductieve biases die overeenkomen met simulatiemechanismen in plaats van real-world toewijzing voor behandeling of uitkomstruis.
2. Behoefte aan Validatie op Real-world Data: De studie pleit voor het opnemen van observeerbare metrieken en validatie op real-world data om de kloof tussen onderzoek en implementatie te dichten.
3. Benchmarkstandaarden: De auteurs suggereren dat methodologische papers eenvoudige meta-learners met sterke voorspellende ruggengraten (zoals XGBoost) als baselines moeten opnemen, aangezien gespecialiseerde causale modellen vaak falen om deze te overtreffen in observeerbare, implementatie-gerichte settings.

Het paper concludeert dat, hoewel semi-gesimuleerde benchmarks nuttig zijn voor stress-testen en gecontroleerde analyse, ze onvoldoende zijn als zelfstandige leidraad voor praktische toepassingen. Toekomstig werk moet zich richten op het ontwikkelen van evaluatieprotocollen die oracle-stijl contrfactuele evaluatie beter verbinden met observeerbare, implementatie-gerichte criteria.