Detecting and Mitigating Group Bias in Heterogeneous Treatment Effects

1. Il Problema: Bias di Gruppo nell'Aggregazione degli HTE

Il lavoro affronta un problema fondamentale nell'uso del Machine Learning (ML) per la stima degli Effetti di Trattamento Eterogenei (HTE). Sebbene i modelli moderni (come Random Forests causali o Meta-learners) siano in grado di stimare con precisione l'effetto di trattamento condizionato a livello individuale (CATE, Conditional Average Treatment Effect), nella pratica questi effetti vengono spesso aggregati per analizzare sottogruppi di interesse (es. segmenti demografici, mercati, fasce di rischio) per ottenere il GATE (Group Average Treatment Effect).

Il nucleo del problema:
Gli autori dimostrano che l'aggregazione semplice delle previsioni CATE individuali per ottenere un GATE di gruppo non garantisce la recovering (recupero) dell'effetto causale reale del gruppo, anche se:

1. I dati provengono da esperimenti randomizzati (RCT).
2. Il modello CATE è correttamente specificato e privo di bias a livello individuale.
3. Il modello è stato addestrato su dati sperimentali.

Questo fenomeno, definito Bias di Gruppo, nasce da due fonti principali:

• Errore di Stima e Aggregazione: I modelli ML sono spesso addestrati per ottimizzare un obiettivo globale (fit su tutta la popolazione) con regolarizzazione. Quando i gruppi hanno dimensioni o distribuzioni di covariate diverse, gli errori di previsione non si annullano simmetricamente all'interno di ciascun gruppo, portando a una stima distorta del GATE.
• Non Collapsibilità (Non Collapsibility): Per effetti relativi (es. Risk Ratio o Lift), la media dei rapporti non è uguale al rapporto delle medie (disuguaglianza di Jensen). Senza un'opportuna ponderazione (collapsibility weights), la media semplice delle stime CATE relative non converge al vero GATE.

2. Metodologia e Framework Statistico

Gli autori propongono un framework unificato per rilevare e mitigare questo bias, agendo a livello di gruppo senza richiedere il riaddestramento del modello CATE.

A. Definizione e Rilevamento del Bias

Il bias di gruppo ($b_g$) è definito come la discrepanza tra il GATE implicato dal modello e il GATE identificato sperimentalmente:
$$b_g = E[W \cdot \hat{\tau}_f(X) | G=g] - E[Y(1) - Y(0) | G=g]$$
Dove $W$ sono pesi di collapsibility (uniformi per effetti additivi, basati sull'outcome di base per effetti relativi).

• Stimatore: Il bias è stimato come differenza tra il GATE predetto (aggregando le previsioni CATE con i pesi corretti) e il GATE sperimentale (calcolato direttamente dai dati RCT tramite contrasto di medie o regressione).
• Inferenza: Viene proposto uno stimatore asintoticamente normale per il bias. Si utilizza un test statistico (test di Wald) per determinare se il bias è statisticamente significativo, permettendo di distinguere tra bias reale e rumore di campionamento.

B. Mitigazione: Correzione con Shrinking (Riduzione)

Una correzione ingenua (sottrarre semplicemente la stima del bias $\hat{b}_g$) è rischiosa, specialmente per gruppi piccoli o rumorosi, poiché amplifica la varianza (sovra-correzione).

Gli autori formulano la mitigazione come un problema di decisione statistica per minimizzare il rischio (perdita attesa) dell'errore residuo. Introducono un fattore di shrinkage $\gamma_g \in [0,1]$ per correggere le nuove previsioni:
$$\hat{\tau}_{corretto}(X) = \hat{\tau}_f(X) - \gamma_g \hat{b}_g$$

Vengono derivati tre strategie ottimali basate su diverse funzioni di perdita:

1. Strategia Mean Error (ME): Corregge completamente ($\gamma=1$) solo se il bias è statisticamente significativo (test a soglia), altrimenti non corregge ($\gamma=0$).
2. Strategia MSE- (Mean Squared Error): Minimizza l'errore quadratico medio. La soluzione ottima (oracle) è $\gamma^* = \frac{b_g^2}{b_g^2 + \sigma_g^2}$. Questa strategia adatta la correzione al rapporto segnale-rumore: corregge di più se il bias è grande e preciso, e meno se è rumoroso.
3. Strategia MSE+: Un'approssimazione empirica della MSE- che utilizza i momenti campionari, più semplice da implementare ma tende a sovrastimare leggermente la correzione.

C. Valutazione

Per evitare il bias di selezione post-stima, la valutazione della mitigazione richiede l'uso di dati di hold-out (o split del campione) indipendenti da quelli usati per la rilevazione del bias.

3. Risultati Sperimentali

Il framework è stato validato su due fronti:

1. Dati Reali (Booking.com):

   • Contesto: Un test A/B su larga scala (18.5 milioni di sessioni) per valutare l'impatto di un'offerta promozionale.
   • Gruppi: Paesi di origine degli utenti.
   • Risultati: Le previsioni CATE del modello mostravano un bias sistematico rispetto ai GATE sperimentali, sottostimando l'effetto per i gruppi più piccoli e sovrastimandolo per quelli grandi.
   • Mitigazione: Le strategie basate sul rischio (MSE-) hanno allineato le previsioni del modello ai dati sperimentali riducendo la dispersione e correggendo il bias senza amplificare il rumore, a differenza della correzione ingenua che ha peggiorato la varianza per i gruppi piccoli.

2. Simulazioni e Dataset Criteo:

   • Analisi di Targeting: Gli autori hanno analizzato l'impatto economico della correzione del bias sul targeting profittevole.
   • Trade-off: Correggere il bias migliora l'inferenza causale di gruppo ma può alterare le decisioni di targeting individuali, potenzialmente riducendo i profitti se le correzioni spostano gli utenti vicino alla soglia di decisione (profit-lift threshold).
   • Risultati: Le strategie di shrinkage (MSE-) offrono un compromesso superiore: riducono il bias mantenendo un impatto negativo sui profitti minimo e stabile, a differenza delle strategie naive che causano perdite di profitto più elevate e volatili.

4. Contributi Chiave

1. Identificazione del Fenomeno: Dimostrazione teorica ed empirica che l'aggregazione di modelli CATE addestrati su RCT può produrre GATE distorti, un problema distinto dal bias di confondimento o di identificazione.
2. Framework di Rilevamento: Un metodo non parametrico, agnostico rispetto al modello e valido per effetti additivi e relativi, per testare statisticamente la presenza di bias di gruppo.
3. Metodologia di Mitigazione: Introduzione di strategie di correzione basate sullo shrinkage che bilanciano bias e varianza, adattandosi automaticamente alla precisione della stima del bias per ciascun gruppo.
4. Analisi Economica: Caratterizzazione dei trade-off tra inferenza causale corretta e ottimizzazione del profitto nel targeting personalizzato, fornendo linee guida pratiche su quando e come correggere.

5. Significato e Implicazioni Pratiche

• Per le Piattaforme Digitali: Il paper offre uno strumento cruciale per i team di data science che devono reportare l'efficacia delle campagne a livello di segmento (es. per paese o demografia) senza dover riaddestrare modelli complessi. Permette di "auditare" i modelli esistenti.
• Decisioni di Business: Aiuta a navigare il compromesso tra personalizzazione fine (CATE) e stabilità di gruppo (GATE). Suggerisce che, in presenza di bias, l'uso di strategie di shrinkage permette di ottenere stime di gruppo affidabili con un costo marginale minimo in termini di efficienza del targeting.
• Generalizzabilità: Il metodo è applicabile a qualsiasi learner causale e non richiede assunzioni forti, rendendolo immediatamente utilizzabile in contesti industriali con dati sperimentali.

In sintesi, il paper risolve il paradosso per cui un modello causalmente corretto a livello individuale può fallire nel fornire stime corrette a livello di gruppo, offrendo una soluzione statistica rigorosa per allineare le previsioni del ML con la realtà sperimentale aggregata.