The Honest Truth About Causal Trees: Accuracy Limits for Heterogeneous Treatment Effect Estimation

1. Problemstellung

Das Paper untersucht die statistischen Eigenschaften von rekursiven Entscheidungsbäumen (insbesondere CART-basierte Verfahren) zur Schätzung heterogener kausaler Behandlungseffekte (Conditional Average Treatment Effects, CATE). Obwohl diese Methoden in der Praxis weit verbreitet sind und oft als adaptiv angesehen werden, die Daten nutzen, um relevante Subgruppen zu entdecken, bleibt ihr fundamentales Verhalten unter Basisbedingungen unklar.

Die zentrale Frage ist, ob kausale Bäume, die durch standardmäßige „greedy" (gierige) rekursive Partitionierung konstruiert werden, konsistente Schätzer für den CATE liefern können, insbesondere wenn die Genauigkeit uniform über den gesamten Kovariatenraum betrachtet wird. Bisherige theoretische Garantien für kausale Wälder (Causal Forests) und Bäume basieren oft auf starken Annahmen über die Balance der Partitionen, die mit der Realität standardisierter CART-Algorithmen kollidieren.

2. Methodik und Setup

Die Autoren analysieren eine breite Klasse von CATE-Schätzern, die durch die Kombination von drei Komponenten entstehen:

1. Schätzer innerhalb der Knoten: Differenz der Mittelwerte (DIM) oder Inverse-Wahrscheinlichkeits-Gewichtung (IPW).
2. Baumaufbau-Kriterien: Maximierung der Varianz des Behandlungseffekts oder Minimierung der Summe der quadratischen Fehler (SSE).
3. Datennutzungsschemata:
   • Keine Aufteilung (No Sample Splitting - NSS).
   • Ehrlichkeit (Honesty/ Sample Splitting): Trennung von Trainingsdaten für den Baum und Schätzdaten für den Effekt.
   • X-adaptiv: Kovariaten werden geteilt, aber Outcomes werden zwischen den Stufen ausgetauscht.

Modellannahmen:
Die Analyse konzentriert sich auf ein konstantes Behandlungseffekt-Modell (der wahre Effekt $\tau(x)$ ist konstant über den gesamten Raum). Dies dient als Worst-Case-Szenario für die Uniform-Konvergenz, da jede Abweichung von der Konstanten durch Bias verursacht werden könnte; hier wird gezeigt, dass selbst bei perfektem Signal (konstantem Effekt) die Varianz das Problem ist. Die Kovariaten sind unabhängig und kontinuierlich verteilt, die Fehlerterme sub-exponentiell.

3. Schlüsselbeiträge und theoretische Ergebnisse

A. Untere Schranken für die Uniform-Konvergenzrate (Theorem 1)

Die Hauptentdeckung des Papers ist, dass kausale Bäume, die durch standardmäßige CART-artige gierige Splitting-Regeln konstruiert werden, keine polynomielle Konvergenzrate in der Uniform-Norm erreichen können.

• Ergebnis: Für jede Konstante $b \in (0, 1)$ konvergieren die Schätzer langsamer als $n^{-b/2}$.
• Mechanismus: Der gierige Algorithmus wählt mit nicht verschwindender Wahrscheinlichkeit hochgradig unausgeglichene Splits (end-cut preference). Das bedeutet, dass ein Kindknoten nur eine sehr kleine Anzahl von Beobachtungen enthält (z. B. $n^b$ statt $n/2$).
• Folge: In diesen kleinen Zellen ist die Varianz der lokalen Durchschnittsschätzung enorm hoch. Da dies rekursiv durch den Baum propagiert wird, entstehen Regionen im Kovariatenraum, in denen der Schätzer willkürlich langsam konvergiert oder sogar inkonsistent ist.

B. Die Begrenztheit von „Honesty" (Sample Splitting)

Ein häufig diskutierter „Fix" für Overfitting ist die Verwendung von Sample Splitting (Honesty), bei dem Baumkonstruktion und Effektschätzung auf getrennten Datensätzen basieren.

• Ergebnis: Die Autoren zeigen, dass Honesty die fundamentale Beschränkung nicht auflöst. Zwar verbessert sich die Rate leicht (der Faktor $\sqrt{\log \log n}$ entfällt), aber die Konvergenz bleibt sub-polynomiell.
• Bedeutung: Die Trennung von Modellselektion und Schätzung verhindert nicht, dass der Baum aufgrund von stochastischen Schwankungen in den Daten unausgeglichene Partitionen wählt.

C. Inkonsistenz bei X-adaptiven Bäumen (Theorem 3)

Selbst bei einem intermediären Design, bei dem Kovariaten geteilt, aber Outcomes neu generiert werden (X-adaptiv), bleiben die Schätzer uniform inkonsistent, sobald die Baumbreite $K_n$ mit $\log \log n$ wächst. Dies zeigt, dass das Problem tief im adaptiven Charakter der Partitionierung selbst verwurzelt ist.

D. Kontrast: Integrierter mittlerer quadratischer Fehler (IMSE) vs. Uniformer Fehler

Ein wichtiger technischer Befund ist die Diskrepanz zwischen punktweiser/uniformer Genauigkeit und durchschnittlicher Genauigkeit:

• Theorem 2: Im Sinne des integrierten mittleren quadratischen Fehlers (IMSE) können kausale Bäume nahe-optimal konvergieren (Raten von der Ordnung $O(n^{-1})$ bis polylogarithmische Faktoren).
• Interpretation: Die schlechte Performance tritt nur in „schlechten" Regionen auf (nahe den Rändern der Partitionen oder in kleinen Zellen), die ein kleines Maß im Kovariatenraum haben. Im Durchschnitt über den Raum funktioniert der Schätzer gut, aber für die Uniform-Schätzung (wichtig für Subgruppenanalysen und Konfidenzintervalle) versagt er.

E. Implikationen für kausale Wälder und $\alpha$-Regularität

Die Ergebnisse werfen ein kritisches Licht auf die theoretischen Garantien für Causal Forests (Wager & Athey, 2018).

• Diese Garantien basieren oft auf der $\alpha$-Regularitätsannahme, die fordert, dass jeder Split einen nicht vernachlässigbaren Anteil ($\alpha$) der Beobachtungen in beide Kindknoten aufteilt.
• Kritik: Standard-CART-Implementierungen erfüllen diese Bedingung nicht. Sie wählen Splits oft nahe den Rändern, was zu extrem unausgeglichenen Zellen führt. Daher lassen sich die positiven Konvergenzresultate für Wälder nicht direkt auf Standard-CART-Implementierungen übertragen, es sei denn, man erzwingt starke Regularisierung, die die Adaptivität des Algorithmus zerstört.

4. Technische Innovationen

Die Beweise basieren auf neuen probabilistischen Werkzeugen für adaptive rekursive Partitionierung:

• Nicht-asymptotische Approximationen: Supremale von Partialsummen und Gauß-Prozessen.
• Darling-Erdős-Theorem: Die Autoren nutzen dieses Theorem für Ornstein-Uhlenbeck-Prozesse, um die Verteilung des Maximums des Split-Kriteriums zu charakterisieren.
• Korrektur von Eicker [1979]: Als technischer Nebeneffekt identifizieren und korrigieren die Autoren einen Fehler in der ursprünglichen Formulierung des Darling-Erdős-Theorems in Eicker (1979), der für die korrekte Bestimmung der Grenzwerte entscheidend war.

5. Bedeutung und Fazit

Das Paper liefert eine „harte Wahrheit" über die Grenzen von Entscheidungsbäumen in der kausalen Inferenz:

1. Warnung vor Uniformität: Kausale Bäume sind nicht geeignet, um heterogene Behandlungseffekte uniform über den gesamten Kovariatenraum mit polynomieller Rate zu schätzen. Die Gefahr von extrem kleinen Zellen mit hoher Varianz ist inhärent.
2. Inferenz-Probleme: Da die effektive Stichprobengröße in bestimmten Regionen nicht mit $n$ wächst, sind klassische Gauß-Approximationen für Konfidenzintervalle in diesen Regionen ungültig.
3. Regularisierung vs. Adaptivität: Um die Konvergenz zu erzwingen, müsste man die Bäume stark regularisieren (z. B. durch Mindestknotengrößen, die mit $n$ wachsen). Dies würde jedoch die Adaptivität des CART-Algorithmus aufheben, die ihn eigentlich attraktiv macht.
4. Praxisimplikation: Die Ergebnisse erklären, warum kausale Wälder oft besser funktionieren als einzelne Bäume (durch Mittelung wird das Problem der kleinen Zellen gemildert), aber auch warum selbst Wälder theoretische Annahmen benötigen, die von Standard-Implementierungen oft nicht erfüllt werden.

Zusammenfassend zeigt das Paper, dass die scheinbare Einfachheit und Interpretierbarkeit von Entscheidungsbäumen in der kausalen Inferenz mit fundamentalen statistischen Limitationen erkauft wird, die durch Standard-Implementierungen nicht überwunden werden können.