Bias-robust causal inference for panel data

Immagina di essere un detective che cerca di risolvere un mistero: "Questa nuova politica ha davvero cambiato la vita delle persone?". Nel mondo reale, raramente riusciamo a condurre esperimenti perfetti in cui attiviamo un interruttore e assegniamo casualmente alcune persone a ricevere la politica e altre no. Inveverso, dobbiamo basarci sui dati osservativi disordinati che già abbiamo a disposizione. Per capire cosa sarebbe successo senza la politica (il "controfattuale"), gli statistici costruiscono modelli — come macchine del tempo digitali — che cercano di prevedere il futuro basandosi sul passato. Spesso utilizzano una matematica sofisticata per trovare schemi nascosti, come un "trend" o un "fattore" comune che influenza tutti, e poi usano tali schemi per ipotizzare come il gruppo trattato sarebbe apparso se non fosse mai stato trattato. Il problema è che queste macchine del tempo non sono perfette. Se il modello manca un pattern nascosto o sbaglia il trend, la previsione è errata. I metodi tradizionali agiscono spesso come se fossero sicuri al 100% della propria previsione, ignorando il fatto che la nostra "macchina del tempo" potrebbe essere leggermente guasta, portando a conclusioni che sembrano sicure ma che in realtà sono fragili.

Questo articolo introduce un modo nuovo, più cauto, di svolgere questo lavoro investigativo, specificamente per i dati che tracciano molte diverse persone o luoghi nel tempo (chiamati dati panel). L'autore, Angelos Alexopoulos, sostiene che invece di pretendere che le nostre previsioni siano perfette, dovremmo ammettere che potrebbero essere sbagliate e integrare questa incertezza direttamente nella nostra risposta finale. Pensatelo come a una previsione meteorologica: invece di dire solo "Pioverà alle 14:00", un metodo robusto rispetto al bias dice: "Pioverà alle 14:00, ma se il nostro modello è impreciso, la pioggia potrebbe iniziare alle 13:30 o alle 14:30". Il documento sviluppa un metodo che aggiusta la previsione osservando l'errore "residuo" nei dati e crea una rete di sicurezza (un intervallo più ampio) che garantisce che la risposta vera sia all'interno di essa, anche se il modello non è perfetto.

La Macchina del Tempo e la Rete di Sicurezza

L'articolo affronta un mal di testa specifico nell'economia e nelle scienze sociali: come misurare l'effetto di una politica quando non possiamo condurre un esperimento controllato. L'approccio standard, come il metodo "Generalized Synthetic Control" (GSC), è come cercare di abbinare l'outfit di una celebrità cucendo insieme pezzi di vestiti da un gruppo di persone comuni. Funziona bene se la celebrità e le persone comuni hanno uno stile sottostante (fattori) molto simile. Ma se il modello sbaglia lo stile — ad esempio, se manca un trend sottile che solo la celebrità segue — l'outfit "cucito" risulta sbagliato, e l'effetto stimato della politica è distorto. Peggio ancora, i metodi tradizionali calcolano la loro "fiducia" come se la cucitura fosse perfetta, ignorando il fatto che il pattern potrebbe essere errato.

L'autore propone un metodo "robusto rispetto al bias". Immaginate di dover indovinare il peso di una scatola misteriosa. Avete una bilancia che potrebbe essere leggermente sballata. Inveve di limitarsi a leggere il numero e dire: "Pesa 10 chili", dite: "Pesa 10 chili, ma la mia bilancia potrebbe sbagliare fino a 2 chili, quindi il peso reale è da qualche parte tra gli 8 e i 12". Il nuovo metodo fa esattamente questo per gli effetti delle politiche. Prende la previsione standard, controlla quanto il modello potrebbe sbagliare (l'errore controfattuale) e poi aggiunge un "margine di sicurezza" al risultato finale. Utilizza un trucco matematico chiamato ottimizzazione "minimax", che è come un gioco in cui si cerca di trovare la migliore ipotesi che funzioni anche nello scenario peggiore (worst-case) di quanto il modello possa essere errato.

Cosa hanno mostrato le simulazioni

Per testare questa idea, l'autore ha eseguito simulazioni al computer — creando mondi artificiali in cui la risposta vera era nota per essere zero (il che significa che la politica non ha fatto nulla). In queste simulazioni, il nuovo metodo si è dimostrato un detective affidabile. Quando il metodo "Generalized Synthetic Control" standard cercava di indovinare l'effetto, era spesso follemente sicuro di sé ma completamente sbagliato, mancando la risposta vera (zero) quasi sempre, specialmente quando il modello non aveva abbastanza "fattori" per descrivere i dati. In uno scenario in cui il modello mancava un trend chiave, gli intervalli di confidenza del metodo standard erano così stretti da mancare la verità il 100% delle volte.

Al contrario, gli intervalli del nuovo metodo erano più ampi, ma catturavano sempre la risposta vera. Era come una rete da pesca che è più grande e pesante, ma che non lascia mai scappare il pesce. Il documento nota che questo comporta un costo: gli intervalli sono più ampi, il che significa che la stima è meno precisa. Tuttavia, l'autore sostiene che essere leggermente meno precisi ma effettivamente corretti è molto meglio che essere molto precisi ma sbagliati. Nelle simulazioni, il nuovo metodo ha mantenuto un tasso di successo del 100% nel catturare la verità, mentre il tasso di successo del metodo standard è sceso vicino allo zero quando il modello era leggermente imperfetto.

Il Test del Mondo Reale: La Registrazione il Giorno delle Elezioni

L'autore ha poi applicato questo metodo a un caso reale: l'effetto della registrazione il giorno delle elezioni (Election Day Registration - EDR) sull'affluenza alle urne. Studi precedenti utilizzando il metodo standard stimavano che l'EDR aumentasse l'affluenza di circa 4,9 punti percentuali. Quando l'autore ha applicato il nuovo metodo robusto rispetto al bias, la stima è rimasta molto simile (circa 4,99 punti), ma la "rete di sicurezza" era molto più ampia.

La parte più interessante di questo test nel mondo reale è stata verificare quanto errore il metodo potesse tollerare prima che la conclusione cambiasse. L'autore ha scoperto che la conclusione (che l'EDR aumenti l'affluenza) rimaneva valida anche se l'errore di previsione del modello era quasi il doppio degli errori tipici visti nei test "placebo" (esperimenti finti dove la politica non dovrebbe avere alcun effetto). Tuttavia, se l'errore fosse diventato troppo grande — specificamente, se il modello fosse stato errato di una quantità massiccia — la conclusione sarebbe stata ribaltata. Il documento evidenzia che, mentre il metodo standard fornisce un intervallo stretto che sembra impressionante, il nuovo metodo ammette: "Siamo piuttosto sicuri che l'effetto sia positivo, ma dobbiamo permettere la possibilità che il nostro modello sia un po' impreciso".

Conclusione

Questo articolo non sostiene di aver trovato una soluzione magica che renda tutti i modelli perfetti. Invece, offre un modo più onesto di riportare i risultati. Suggerisce che, quando usiamo modelli complessi per indovinare cosa sarebbe successo, dovremmo esplicitamente tenere conto della possibilità che la nostra ipotesi sia errata. Il nuovo metodo scambia un po' di precisione con molta affidabilità. Ci dice che, sebbene non possiamo conoscere l'esatto errore controfattuale, possiamo stabilire un limite su quanto grande possa essere tale errore e continuare comunque a fidarci della nostra conclusione. In definitiva, l'articolo sostiene che essere trasparenti sulla propria incertezza è l'unico modo per sapere davvero se una politica ha funzionato, piuttosto che limitarsi a pretendere che la nostra macchina del tempo sia impeccabile.