📈 economics

A Large-Scale Empirical Comparison of Meta-Learners and Causal Forests for Heterogeneous Treatment Effect Estimation in Marketing Uplift Modeling

Dit artikel presenteert UpliftBench, een grootschalige empirische evaluatie die aantoont dat de S-Learner met LightGBM de beste prestaties levert voor het schatten van heterogene behandelingseffecten in marketing, waarbij de top 20% van de klanten 3,9 keer meer conversies genereert dan willekeurige targeting.

Oorspronkelijke auteurs: Aman Singh

Gepubliceerd 2026-04-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aman Singh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een grote supermarkt runt en je wilt een nieuwe korting aanbieden. Je hebt twee opties:

De "Allemaal Korting" aanpak: Je geeft de korting aan iedereen. Dit is als een A/B-test. Je ziet dat de verkoop iets stijgt, maar je weet niet wie er echt blij mee is. Misschien kochten die mensen het product toch al, of misschien vinden ze de korting juist verdacht.
De "Slimme Marketing" aanpak: Je probeert te raden wie er echt overtuigd kan worden om iets te kopen door de korting, en wie het juist afhoudt. Dit noemen ze in de vakwereld "Uplift Modeling".

Dit artikel is een groot experiment om te ontdekken welke slimme methode het beste werkt in de echte wereld, met een dataset van bijna 14 miljoen klanten. De auteur, Aman Singh, heeft een race gehouden tussen vier verschillende "slimme algoritmes" om te zien wie de beste voorspellingen doet.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De Wedstrijd: Vier Algoritmes in de Ring

De auteur heeft vier methoden tegen elkaar laten strijden om te zien wie de beste "voorspeller" is van wie er reageert op een marketingactie:

S-Learner (De Alles-in-Één Chef): Deze methode kijkt naar alle gegevens in één groot recept. Het behandelt de korting als gewoon nog een ingrediënt.
T-Learner (De Twee Teams): Deze methode maakt twee aparte teams: één team leert alleen van de mensen die korting kregen, en het andere team alleen van de mensen die dat niet kregen. Daarna vergelijken ze hun resultaten.
X-Learner (De Wisseltrainer): Dit is een slimme variant die probeert de twee teams te laten "wisselen" van informatie, vooral als er veel meer mensen in één groep zitten dan in de andere (in dit geval: 85% kreeg korting, 15% niet).
Causal Forest (Het Bos van Bomen): Dit is een geavanceerde methode die duizenden kleine beslissingsbomen bouwt om een heel gedetailleerd beeld te krijgen, inclusief een "zekerheidsmeter" (hoe zeker is het algoritme van zijn voorspelling?).

2. De Uitslag: De "S-Learner" wint

Je zou denken dat de meest complexe methoden (zoals de X-Learner of het Bos) het beste zouden doen, vooral omdat er veel meer mensen in de "korting-groep" zaten. Maar verrassend genoeg won de S-Learner.

Waarom?
Stel je voor dat je een enorme hoeveelheid data hebt (14 miljoen mensen). De S-Learner is als een ervaren kok die een heel groot, stabiel gerecht maakt. Omdat hij alles in één model doet, "gladstrijkt" hij de ruis (de onzin in de data) eruit. De andere methoden, zoals de T-Learner, probeerden te specifiek te zijn en werden daardoor een beetje "overgevoelig" voor ruis in de data.

Het resultaat in cijfers:
Als je met de S-Learner alleen de top 20% van de klanten selecteert die het algoritme als "overtuigbaar" ziet, haal je 77,7% van alle extra verkopen binnen.

Vergelijking: Als je willekeurig 20% van de mensen zou kiezen, zou je maar 20% van die extra verkopen halen.
Conclusie: De slimme methode is 4 keer zo efficiënt als willekeurige keuzes. Je besteedt minder geld aan mensen die toch al kochten, en je mist minder mensen die je had kunnen overtuigen.

3. De "Zekerheidsmeter" (Causal Forest)

Hoewel het "Bos" (Causal Forest) niet de meeste verkopen opleverde, deed het iets heel belangrijks: het gaf een zekerheidsmeter.

Het kon zeggen: "Ik ben 95% zeker dat deze klant wel overtuigd kan worden" (de overtuigbare klanten).
Het kon ook zeggen: "Ik ben 95% zeker dat deze klant niet reageert of zelfs boos wordt" (de slaapende honden).

In dit onderzoek bleek dat slechts 1,9% van de klanten echt "overtuigbaar" was en 0,1% echt "slaapende honden" (mensen die je liever niet lastigvalt). Voor de rest (98%) was het algoritme niet zeker genoeg om een harde beslissing te nemen. Dit leert ons dat we voorzichtig moeten zijn met het maken van harde regels op basis van onzekere voorspellingen.

4. Wat maakt mensen verschillend? (De "F8" Factor)

Het onderzoek keek ook naar waarom mensen anders reageren. Omdat de data geanonimiseerd was (namen als f0, f1, f2), konden we niet zeggen "mensen met een hond reageren anders". Maar het algoritme vond wel dat variabele f8 de belangrijkste drijver was.

Vergelijking: Het is alsof je merkt dat in een grote stad, de afstand tot de metro (f8) de belangrijkste factor is om te bepalen of iemand op een fietsreclame reageert, meer dan hun leeftijd of inkomen.

De Grote Les voor de Praktijk

De belangrijkste boodschap van dit papier is: Meer complexiteit is niet altijd beter.

In de wereld van big data (zoals bij Criteo met 14 miljoen klanten) werkt een eenvoudige, stabiele methode (S-Learner) vaak beter dan de super-geavanceerde methoden die in theorie perfect klinken. Het is beter om een betrouwbare, simpele voorspeller te hebben dan een complexe die "overdenkt" en fouten maakt.

Kort samengevat:
Als je wilt weten wie je moet targeten met een marketingcampagne, gebruik dan een slim, maar stabiel algoritme. Je kunt dan met een klein budget (bijvoorbeeld 20% van je klanten) bijna 80% van je extra winst behalen, in plaats van geld te verbranden op iedereen. En vergeet niet: soms is de "slimme" methode juist de simpele.

Probleemstelling

In de digitale marketing leiden standaard A/B-tests slechts tot gemiddelde treatment effects (ATE) op campagneniveau. Dit maakt het onmogelijk om individuele klanten te onderscheiden die positief, negatief of niet reageren op een interventie. Dit gebrek aan granulariteit resulteert in drie economisch kostbare targetingfouten:

Verspilling: Budget uitgeven aan "always-converters" (klanten die ook zonder behandeling zouden converteren).
Negatieve rendementen: Schade toebrengen aan "sleeping dogs" (klanten die negatief reageren op marketing).
Gemiste kansen: Het niet prioriteren van hoog-reagerende klanten.

Uplift-modellering, gebaseerd op het Neyman-Rubin-raamwerk, lost dit op door de Conditional Average Treatment Effect (CATE) te schatten: $\tau(x) = E[Y (1) −Y (0) | X = x]$ . Ondanks de groeiende literatuur ontbreekt er echter systematisch empirisch onderzoek op industriële schaal om verschillende CATE-schatters te vergelijken.

Methodologie

De auteurs presenteren UpliftBench, een reproduceerbaar, groot-schalig benchmark-experiment op de Criteo Uplift v2.1 dataset (13,98 miljoen klantrecords).

Data-eigenschappen:

Behandeling: 85% behandeld vs. 15% controlegroep (ongebalanceerd).
Propensiteit: Bijna willekeurige toewijzing (Propensity AUC = 0,509), wat sterke interne validiteit garandeert.
Doel: Voorspelling van een bezoek (4,7% positieve rate); conversie (0,29%) werd voor latere werk gelaten.

Geëvalueerde Methodes (CATE-schatters):
Alle methoden gebruiken LightGBM als basisleerder, behalve de Causal Forest:

S-Learner: Eén enkel model dat behandeling als feature behandelt. CATE is het verschil in voorspelling tussen $t=1$ en $t=0$ .
T-Learner: Twee aparte modellen (één voor behandeld, één voor controle). CATE is het verschil tussen de voorspellingen.
X-Learner: Een twee-staps cross-fitting benadering die imputatie gebruikt om effecten te schatten, specifiek ontworpen voor onbalans in behandeling.
Causal Forest (EconML): Een niet-parametrische aanpak met eerlijke splitsing (honest splitting) voor punt-schattingen en betrouwbaarheidsintervallen. Vanwege rekenkrachtbeperkingen werd dit getest op een 10% subsample (≈280k records).

Evaluatiemetrics:

Qini-coëfficiënt: De primaire rangschikking-metric (oppervlakte tussen de cumulatieve winstcurve en de willekeurige baseline).
Cumulatieve winstcurves: Visuele weergave van de prestaties.
Beleidssimulatie: Vertaalt resultaten naar budget vs. incrementele conversies.
Onzekerheidskwantificatie: Gebruik van 95% betrouwbaarheidsintervallen (CI) om klanten te segmenteren in "persuadables" en "sleeping dogs".
Interpretability: SHAP-waarden om de heterogeniteit van behandelingseffecten (HTE) toe te schrijven aan covariaten.

Belangrijkste Resultaten

1. Prestatievergelijking (Qini-score):

De S-Learner behaalde de hoogste Qini-score (0,376) en presteerde consistent beter dan de T-Learner, X-Learner en Causal Forest.
Top 20% targeting: Klanten gerangschikt op basis van de S-Learner CATE voorspellingen vingen 77,7% van alle incrementele conversies op. Dit is een 3,9x verbetering ten opzichte van willekeurige targeting.
Verrassende bevinding: Ondanks de 85/15 onbalans in de data, presteerde de X-Learner (die theoretisch beter zou moeten zijn bij onbalans) niet beter dan de S-Learner. De auteurs suggereren dat de impliciete regularisatie van de S-Learner op deze schaal (11,2M trainingsrecords) overfitting voorkomt.
Causal Forest: Had een lagere Qini-score (0,252), wat waarschijnlijk te wijten is aan de noodzaak tot subsampling (rekenkracht) in plaats van een fundamenteel prestatieprobleem.

2. Bedrijfsimpact:

Een simulatie toont aan dat het richten op de top 20% van de klanten met de S-Learner leidt tot dezelfde incrementele conversies als willekeurige targeting, maar dan met 80% lagere contactkosten.

3. Onzekerheidskwantificatie (Causal Forest):

Op het subsample bleek dat 98% van de klanten "onzeker" is (het betrouwbaarheidsinterval overlapt met 0).
Slechts 1,9% zijn "confident persuadables" (onderste CI > 0) en 0,1% zijn "confident sleeping dogs" (bovenste CI < 0). Dit benadrukt dat probabilistische targeting (gebaseerd op de volledige verdeling) superieur is aan binaire regels gebaseerd op CI's.

4. Feature Attribution (SHAP):

SHAP-analyse identificeerde feature f8 als de dominante driver van heterogeniteit in behandelingseffecten, gevolgd door f6 en f2. Dit geldt ondanks de geanonimiseerde data.

Bijdragen

UpliftBench: Een open-source, reproduceerbaar benchmark-framework voor CATE-schatters op industriële schaal.
Empirisch Bewijs: Het paper levert bewijs dat de S-Learner met LightGBM op grote schaal (miljoenen records) vaak superieur is aan complexere meta-learners zoals de X-Learner, ondanks data-onbalans.
Praktische Richtlijnen: Het biedt evidence-based richtlijnen voor practitioners bij het kiezen van modellen voor uplift-modellering, inclusief de afweging tussen schaalbaarheid en onzekerheidskwantificatie.
Onzekerheidsanalyse: Het demonstreert de beperkingen van Causal Forests bij zeer grote datasets door subsampling en de daaruit voortvloeiende impact op de segmentatie van klanten.

Betekenis en Conclusie

Dit onderzoek is significant omdat het de theorie over CATE-schatters test op een schaal die relevant is voor echte industriële toepassingen. Het weerlegt de algemene aanname dat complexe methoden (zoals X-Learner of Causal Forest) altijd superieur zijn. In plaats daarvan toont het aan dat voor grote datasets met een lage basisconversie, een goed geregulariseerd S-Learner (LightGBM) de meest stabiele en efficiënte keuze is voor ranking en targeting.

Voor de praktijk betekent dit dat marketeers hun focus kunnen verleggen van het zoeken naar de "meest geavanceerde" algoritmes naar het optimaliseren van robuuste, schaalbare modellen die bewezen presteren op volledige populaties, terwijl ze rekening houden met de onzekerheid in individuele effectschattingen. De volledige code en resultaten zijn beschikbaar via de GitHub-repository van de auteur.