📈 economics

The Honest Truth About Causal Trees: Accuracy Limits for Heterogeneous Treatment Effect Estimation

Dit artikel toont aan dat causale bomen die gebruikmaken van standaard CART-type splitsingsregels fundamentele beperkingen hebben in hun nauwkeurigheid, omdat hun gulzige recursieve partitie vaak tot onevenwichtige splitsingen leidt die de schattingsvariatie verhogen en polynoom-convergentie in de uniforme norm onmogelijk maken.

Oorspronkelijke auteurs: Matias D. Cattaneo, Jason M. Klusowski, Ruiqi Rae Yu

Gepubliceerd 2026-03-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matias D. Cattaneo, Jason M. Klusowski, Ruiqi Rae Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De eerlijke waarheid over "Causal Trees": Waarom slimme bomen soms slecht zijn voor voorspellingen

Stel je voor dat je een enorme boomplant wilt kweken in een tuin vol met verschillende soorten planten (de data). Je wilt weten: Welke plant groeit het beste als je hem water geeft (behandeling) en welke niet?

In de wereld van datawetenschap gebruiken onderzoekers een methode genaamd "Causal Trees" (oorzakelijke bomen). Het idee is simpel en populair: je deelt je tuin op in kleinere vakjes (takken) op basis van kenmerken (zoals grondsoort of zonlicht). In elk vakje kijk je dan hoeveel verschil water geven maakt. Het klinkt als een perfecte manier om te ontdekken dat water alleen helpt voor de cactussen, maar niet voor de varens.

Maar dit nieuwe onderzoek van Cattaneo, Klusowski en Yu (van de Princeton Universiteit) brengt een koude douche: Deze bomen zijn fundamenteel onbetrouwbaar als je ze overal in de tuin wilt gebruiken.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. De "Gierige Tuinman" (Het probleem met de splitsing)

Deze bomen worden gekweekt met een algoritme dat we "CART" noemen. Dit algoritme is als een gierige tuinman. Op elk moment kijkt hij naar de hele tuin en zegt: "Waar kan ik de beste snede maken om het verschil tussen de twee groepen zo groot mogelijk te maken?"

Het probleem is dat deze tuinman vaak extreem scheve snedes maakt.

De analogie: Stel je hebt een lange rij mensen. De tuinman wil ze in twee groepen splitsen: "Diegenen die water nodig hebben" en "Diegenen die het niet nodig hebben".
In plaats van een eerlijke splitsing (50% links, 50% rechts), kiest de gierige tuinman vaak een puntje heel dicht bij de rand. Bijvoorbeeld: "Ik split de eerste 10 mensen links en de rest (990 mensen) rechts."
Waarom? Omdat in de data soms door pure toeval (ruis) die eerste 10 mensen er heel anders uitzien dan de rest. De tuinman denkt: "Aha! Hier zit het geheim!" Maar in werkelijkheid is het toeval.

2. De "Lege Vakjes" (Het kleine steekproef-probleem)

Doordat de tuinman zo vaak scheve snedes maakt, ontstaan er kleine vakjes met heel weinig planten.

In een vakje met slechts 3 planten is het heel moeilijk om te zeggen of water echt helpt. Misschien groeide die ene plant gewoon toevallig goed.
De onderzoekers laten zien dat deze kleine vakjes overal in de tuin kunnen ontstaan, niet alleen aan de randen.
Het gevolg: Als je vraagt: "Hoeveel helpt water voor deze specifieke plant?" en die plant zit in zo'n klein, leeg vakje, dan is je antwoord puur giswerk. De foutmarge is enorm.

3. De "Eerlijke Tuinman" helpt niet genoeg (Honesty)

Veel mensen dachten: "Oké, laten we de tuinman eerlijk maken!" (Dit noemen ze in de vaktaal "Honesty" of sample splitting).

Het idee: Je gebruikt de ene helft van de data om de boom te bouwen (de takken te tekenen) en de andere helft om te meten of water helpt. Zo voorkom je dat de tuinman de data "leert" en vals speelt.
De ontdekking: Het onderzoek toont aan dat dit niet het fundamentele probleem oplost. Zelfs met een eerlijke tuinman blijven die kleine, lege vakjes ontstaan door de gierige manier waarop de boom groeit. De foutmarge wordt iets kleiner, maar de boom blijft onbetrouwbaar op specifieke plekken.

4. Het Paradoxale Resultaat: Gemiddeld goed, lokaal slecht

Dit is het meest verwarrende deel:

Als je kijkt naar de gemiddelde prestatie van de hele tuin, doet de boom het prima. Hij geeft een goed antwoord voor de "gemiddelde plant".
Maar als je kijkt naar elke individuele plant (vooral die in de kleine vakjes), kan de boom volledig in de war raken.
De metafoor: Het is alsof een weerman zegt: "Gemiddeld is het vandaag 20 graden." Dat klopt. Maar als je in een specifieke vallei staat, kan het -10 graden zijn, en de weerman heeft daar geen idee van. Voor een boom die "heterogene effecten" (verschillen per persoon) moet vinden, is die gemiddelde waarheid nutteloos.

5. Wat betekent dit voor de praktijk?

Veel bedrijven en onderzoekers gebruiken deze bomen om te zeggen: "Voor groep A werkt medicijn X, maar voor groep B niet."

Dit onderzoek waarschuwt: Wees voorzichtig. Als je die groepen te klein maakt (door te diep in de boom te graven), zijn je conclusies misschien puur toeval.
De "wiskundige garantie" die vaak wordt aangehaald (dat deze methoden werken) geldt alleen als je de boom kunstmatig dwingt om eerlijke, grote vakjes te maken. Maar echte, slimme bomen doen dat niet graag; ze houden van kleine, specifieke vakjes.

Conclusie

De titel van het artikel is "De eerlijke waarheid". De waarheid is: Causal Trees zijn geweldig voor voorspellingen in het algemeen, maar slecht voor het vinden van specifieke, kleine groepen mensen met unieke reacties.

Ze zijn als een schatzoeker die een hele berg goud vindt (gemiddeld goed), maar die per ongeluk in een klein putje graaft waar niets ligt (lokaal slecht), en dan denkt dat hij de schat heeft gevonden. Zolang we niet oppassen met hoe we die bomen laten groeien, kunnen we op basis van deze resultaten verkeerde beslissingen nemen.

1. Probleemstelling

Recursieve beslissingsbomen (zoals CART) zijn een populair hulpmiddel voor het schatten van heterogene causale behandelingseffecten (CATE) in zowel experimentele als observationele studies. Methoden zoals de "honest causal tree" van Athey en Imbens (2016) worden vaak gezien als adaptieve procedures die in staat zijn om subgroepen met verschillende behandelingseffecten te ontdekken, zelfs in hoogdimensionale settings.

De kernvraag die dit artikel onderzoekt, is of deze bomen theoretisch gegarandeerde convergentie hebben voor de uniforme schatting van het CATE. Hoewel deze methoden wijdverspreid zijn gebruikt, is hun fundamentele statistische eigenschap onder basisvoorwaarden slecht begrepen. Bestaande theoretische analyses vertrouwen vaak op sterke aannames (zoals gebalanceerde splitsingen) die niet overeenkomen met de kanonieke implementaties van greedy CART-algoritmen.

2. Methodologie en Opzet

De auteurs analyseren causale boom-schatters die zijn opgebouwd uit drie componenten:

Schatters binnen knopen: Verschil in gemiddelden (DIM), Inverse Probability Weighting (IPW) en Minimale Som van Kwarten (SSE).
Boomconstructie: Greedy recursieve partitie gebaseerd op variantie-maximalisatie of SSE-minimalisatie (standaard CART-achtige regels).
Gebruik van data: Zowel zonder steekproefsplitsing (NSS) als met "honesty" (steekproefsplitsing, waarbij de boom wordt gebouwd op één dataset en geschat op een andere).

Kernassumpties:
De analyse richt zich op een model met een constant behandelingseffect (waarbij het CATE overal gelijk is aan een constante $\tau$ ). Dit is een canoniek geval; als schatters falen in dit eenvoudige scenario, falen ze ook in complexere scenario's. De covariaten worden verondersteld onafhankelijk en continu verdeeld te zijn, en de fouttermen zijn sub-exponentieel.

Technische Tools:
De bewijzen maken gebruik van geavanceerde probabilistische instrumenten, waaronder:

Niet-asymptotische benaderingen voor supremums van partiële sommen.
Hoogdimensionale centrale limiettheorema's (CLT) en Gaussische procesbenaderingen.
De Darling-Erdős stelling voor het maximum van Ornstein-Uhlenbeck-processen.
De Gaussische correlatie-ongelijkheid.
Een correctie van een fout in de klassieke literatuur van Eicker (1979).

3. Belangrijkste Resultaten

A. Falen van Uniforme Convergentie (Theorema 1)

Het meest cruciale resultaat is dat causale bomen, gebouwd via standaard greedy CART-splitsingsregels, geen polynomiële convergentiesnelheid kunnen bereiken in de uniforme norm (sup-norm), zelfs niet onder de basisvoorwaarde van een constant behandelingseffect.

Mechanisme: Greedy recursieve partitie selecteert met een niet-verdwijnende kans zeer onbalanssplitsingen (highly imbalanced splits). Dit betekent dat een splitsing dicht bij de rand van een ouderknooppunt plaatsvindt, wat resulteert in een eindknooppunt met zeer weinig observaties.
Gevolg: Omdat het behandelingseffect binnen een knoop wordt geschat door lokale middeling, leiden deze kleine cellen tot enorme schattingsvariantie in die regio's. Hierdoor kan de schatter zich niet uniform concentreren rond het ware CATE.
Snelheid: De schatters convergeren langzamer dan elke polynoom $n^{-b}$ (voor $b>0$ ). Ze kunnen willekeurig langzaam convergeren of zelfs inconsistent zijn in uniforme zin.

B. Beperkte Impact van "Honesty" (Steekproefsplitsing)

Een veelgebruikte oplossing voor overfitting is "honesty" (het gebruik van aparte datasets voor boomconstructie en schatting).

De auteurs tonen aan dat honesty de convergentiesnelheid slechts marginaal verbetert (door het verwijderen van een $\sqrt{\log \log n}$ factor).
Conclusie: Honesty lost het fundamentele probleem van onbalanssplitsingen niet op. Zelfs met honesty bereiken causale bomen geen polynomiële uniforme convergentiesnelheid.

C. Inconsistentie bij X-Adaptiviteit (Theorema 3)

Zelfs bij een "X-adaptief" ontwerp (waarbij covariaten gedeeld worden maar uitkomsten onafhankelijk zijn), zijn de schatters uniform inconsistent als de boomdiepte $K_n$ groeit als $\log \log n$ of sneller. Dit betekent dat het probleem al optreedt bij zeer ondiepe bomen.

D. Contrast met Geïntegreerde Kwaliteit (Theorema 2)

Hoewel de schatters falen in uniforme zin, presteren ze goed in geïntegreerde gemiddelde kwadratische fout (IMSE).

De IMSE convergeert wel met een gunstige snelheid (bijna optimaal, tot op log-factoren).
Interpretatie: De slechte prestatie is lokaal beperkt tot specifieke regio's van de covariatenruimte (de "kleine cellen" bij de randen van de partities), maar deze regio's hebben een kleine maat (waarschijnlijkheid). Gemiddeld over de hele ruimte ziet de prestatie er goed uit, maar puntsgewijs (en dus uniform) is de garantie niet aanwezig.

4. Implicaties en Discussie

Geldigheid van Bestaande Theorie: Veel theoretische garanties voor Causal Forests en ensemble-methoden (zoals Wager en Athey, 2018) rusten op de $\alpha$ -regulariteitsaanneming (dat elke splitsing een niet-verwaarloosbaar deel van de data naar beide kinderen stuurt). De auteurs tonen aan dat standaard CART-algoritmen deze aanneming niet respecteren. De theorie voor gebalanceerde bomen is dus niet direct toepasbaar op de praktijk van greedy CART.
Inferentie: Omdat de effectieve steekproefgrootte in sommige regio's niet toeneemt met de totale steekproefgrootte, zijn standaard Gaussische benaderingen voor betrouwbaarheidsintervallen ongeldig. De gebruikelijke standaardfouten en $t$ -statistieken kunnen misleidend zijn.
Regularisatie: Het toepassen van minimum knoopgrootte-regels (regularisatie) kan de variantie verminderen, maar introduceert dan een nieuwe bias (benaderingsfout) en vermindert de adaptiviteit die bomen aantrekkelijk maakt. Er is een fundamenteel bias-variatie-dilemma dat niet eenvoudig op te lossen is zonder de aard van de methode te veranderen.

5. Significatie

Dit artikel levert een fundamentele kritiek op de theoretische basis van adaptieve recursieve partitie voor causale inferentie. Het onthult dat:

De populariteit van causale bomen niet gebaseerd is op solide uniforme convergentiegaranties.
De "honesty"-truc, hoewel nuttig voor inferentie in andere contexten, de inherente beperkingen van greedy splitsing niet wegneemt.
Er een scherp onderscheid bestaat tussen goede voorspellende prestaties in gemiddelde zin (IMSE) en betrouwbare schatting in uniforme zin.

Voor de praktijk betekent dit dat onderzoekers voorzichtig moeten zijn bij het interpreteren van puntsgewijze schattingen en betrouwbaarheidsintervallen van causale bomen, vooral in gebieden waar de data schaars is of waar de boom onbalanssplitsingen heeft gegenereerd. Het artikel pleit voor een heroverweging van de theoretische aannames in de literatuur over causale bomen en bossen.