📊 statistics

Discussion of "Matrix Completion When Missing Is Not at Random and Its Applications in Causal Panel Data Models"

Questo commento elogia il lavoro di Choi e Yuan (2025) sull'imputazione di matrici in presenza di dati mancanti non casuali per l'analisi causale, situandolo nell'ambito delle strategie "split-apply-combine", discutendo il divario tra teoria e pratica e applicando il metodo a uno studio sulle leggi sul porto d'armi.

Autori originali: Eli Ben-Michael, Avi Feller

Pubblicato 2026-02-26

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Eli Ben-Michael, Avi Feller

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover ricostruire un grande mosaico antico, ma alcune tessere sono mancanti. Non solo mancano, ma sono sparite in modo "strano": le tessere mancanti sono proprio quelle che rappresentano i momenti in cui un certo gruppo di persone ha iniziato a usare un nuovo farmaco o ha subito una nuova legge. Questo è il problema che affrontano gli autori di un nuovo studio (Choi e Yuan, chiamiamoli CY) e i due professori che ne scrivono la recensione (Ben-Michael e Feller).

Ecco una spiegazione semplice, in italiano, di cosa dicono, usando metafore di tutti i giorni.

1. Il Problema: Il Mosaico "Sbagliato"

Immagina di avere un calendario gigante con 50 stati (le righe) e 50 anni (le colonne). In ogni casella c'è un dato, ad esempio il tasso di crimine.

Il problema: In alcuni anni, alcuni stati hanno approvato una legge (ad esempio, la legge sul "portare armi"). Da quel momento in poi, non sappiamo più cosa sarebbe successo se non avessero approvato la legge. È come se avessimo coperto quelle caselle con un foglio bianco.
La difficoltà: Non è un caso che manchino queste tessere. Sono mancanti apposta perché è successo qualcosa di importante. In statistica, questo si chiama "Missing Not At Random" (mancanti non a caso). È come se cercassi di capire quanto è veloce un'auto guardando solo i momenti in cui il conducente ha premuto il freno: i dati sono distorti.

2. La Soluzione di CY: Il "Puzzle a Pezzi"

Choi e Yuan propongono un metodo intelligente basato su una strategia che chiamano "Dividi, Applica, Ricombina".

Dividi: Invece di cercare di risolvere tutto il puzzle gigante in una volta sola (che è difficile e rischioso), prendi un pezzo alla volta. Prendi un gruppo di stati che hanno approvato la legge nello stesso anno.
Applica: Per quel piccolo gruppo, usi un trucco matematico (chiamato "completamento della matrice") per indovinare cosa sarebbe successo se non avessero approvato la legge. Immagina di usare le tessere degli stati vicini che non hanno ancora approvato la legge per prevedere il futuro di quelli che l'hanno fatto.
Ricombina: Una volta fatto questo per tutti i gruppi, sommi i risultati per avere una risposta finale.

È come se volessi sapere quanto è buono un nuovo piatto di pasta. Invece di assaggiare tutto il calderone, ne prendi un cucchiaino per ogni persona che lo ha provato, lo assaggi, e poi fai la media.

3. La Critica: La "Ultima Miglia" (Il Problema Reale)

I due professori dicono: "Bravi, la teoria è bella, ma nella vita reale le cose sono più complicate". Usano l'analogia della consegna di un pacco.
Puoi avere il camion perfetto e il percorso migliore (la teoria), ma se il pacco non arriva alla porta di casa perché il postino si è perso o il codice postale è sbagliato, il servizio non funziona. Questo è il "problema dell'ultima miglia" nella statistica.

Ecco i tre ostacoli principali che indicano:

Il Tempo conta (Evento vs Calendario): CY guardano il calendario (es. "Cosa è successo nel 2005?"). Ma spesso è più utile guardare il tempo dall'inizio dell'evento (es. "Cosa succede 2 anni dopo che hai approvato la legge?"). Se misuri tutto in base al calendario, stai mischiando insieme persone che hanno appena iniziato e persone che sono sotto la legge da 10 anni. È come misurare la crescita di un bambino guardando solo l'anno solare, invece di contare quanti anni ha dalla nascita.
Scegliere i Parametri (Il Volume della Radio): Il metodo di CY ha una "manopola" da girare (un parametro) per decidere quanto essere rigidi o flessibili nel calcolo. Trovare la manopola giusta è difficile. Se la giri troppo, il risultato è sordo; se la giri troppo, è pieno di rumore. Serve un modo semplice e automatico per trovare il volume giusto.
I Controlli (Il Test del Falso): Come fai a sapere se il tuo metodo funziona davvero? Di solito si guarda cosa succedeva prima della legge (i "falsi positivi"). Se il metodo dice che la legge ha cambiato le cose prima ancora che venisse approvata, allora il metodo è sbagliato. I professori suggeriscono di fare anche altri test, come immaginare che la legge sia entrata in vigore 5 anni prima, per vedere se il modello "impazzisce".

4. L'Esempio Reale: Le Leggi sulle Armi

Per dimostrare il loro punto, applicano tutto questo a un caso reale: le leggi sul "diritto di portare armi" (Right to Carry) e i crimini violenti negli USA.

Cosa è successo: Hanno preso i dati di 44 stati dal 1977 al 2014.
Il risultato "spaventoso": Quando hanno usato il metodo di CY senza aggiustamenti, il modello ha detto: "Dopo la legge, i crimini sono esplosi di oltre 200 casi ogni 100.000 persone!".
- L'analogia: È come se un medico ti dicesse che un nuovo farmaco ti farà ingrassare 50 chili in un giorno. Sembra troppo esagerato per essere vero.
Il confronto: Altri metodi più tradizionali (come i "sintetici", che costruiscono una copia virtuale dello stato) dicevano che l'aumento era di circa 10-30 casi. Una differenza enorme!
La soluzione: I professori hanno notato che i dati avevano un "rumore di fondo" (ogni stato ha un livello di crimine base diverso, come un volume di fondo diverso). Se prima "pulisci" i dati togliendo questo rumore di fondo (come togliere la polvere a un quadro prima di dipingere), il metodo di CY funziona molto meglio e dà risultati simili agli altri.

In Conclusione

Il messaggio finale è: La matematica è potente, ma va usata con cautela.
Il metodo di Choi e Yuan è un ottimo strumento per ricostruire i pezzi mancanti del mosaico quando i dati sono disordinati. Tuttavia, per usarlo nella vita reale (per decidere se una legge funziona o meno), bisogna:

Guardare i dati nel modo giusto (dal momento dell'evento, non solo dal calendario).
Pulire i dati dai "rumori" di fondo.
Fare molti controlli per assicurarsi che non si stiano inventando risultati.

È come avere un'auto da corsa velocissima (il metodo): è fantastica, ma se non metti le cinture di sicurezza e non controlli la strada (i controlli e la pulizia dei dati), potresti finire fuori strada.

1. Il Problema: Stima Causale in Dati Panel con Dati Mancanti Strutturati

Il documento affronta la sfida di stimare effetti causali in dati panel quando i dati mancanti non sono casuali (Missing Not At Random - MNAR). In particolare, il problema sorge nella valutazione delle politiche pubbliche con adozione scalare (staggered adoption), dove l'unità di trattamento (es. uno stato) entra nel trattamento in momenti diversi.

Il contesto: In questi scenari, le osservazioni post-trattamento per le unità trattate sono mancanti (controfattuali non osservati).
La sfida: I metodi tradizionali come la regressione a effetti fissi bidimensionali (TWFE) possono produrre stime distorte se gli effetti del trattamento sono eterogenei nel tempo e tra le unità.
L'ipotesi di CY: Anche con pattern di dati mancanti strutturati (selezione nel trattamento), il completamento della matrice (Matrix Completion) può essere efficace se il numero di osservazioni trattate è piccolo rispetto al numero di osservazioni di controllo.

2. Metodologia e Quadro Teorico

A. Strategia "Split-Apply-Combine"

Gli autori inquadrono la proposta di CY all'interno di una strategia generale "Split-Apply-Combine" (Dividi-Applica-Combina), comune negli stimatori moderni per dati panel (come DiD e Synthetic Control):

Split (Dividi): Il panel viene suddiviso in casi gestibili. CY selezionano un periodo focale e un insieme di unità con lo stesso tempo di trattamento prima di quel periodo. Sottosettano la matrice per includere le unità trattate selezionate e tutte le unità non ancora trattate per i periodi pre-trattamento e il periodo focale.
Apply (Applica): Vengono imputati i controfattuali mancanti utilizzando il completamento della matrice con regolarizzazione della norma nucleare (nuclear-norm regularized matrix completion).
Combine (Combina): Si calcola la media della differenza tra gli esiti osservati e i controfattuali imputati tra le unità trattate per ottenere la stima finale.

B. Confronto con altri Stimatori

DiD e Synthetic Control: La discussione evidenzia come i metodi moderni (es. Sun & Abraham, 2021; Callaway & Sant'Anna, 2021) usino lo stesso approccio "Split-Apply-Combine" per evitare "comparazioni proibite" tra unità già trattate e non trattate.
Approccio "Combine-Apply": Gli autori suggeriscono che, per stimare l'effetto medio sul trattato (ATT), potrebbe essere più efficiente prima aggregare le unità trattate e poi applicare l'imputazione (simile alla "fine balance" nel matching), piuttosto che stimare effetti individuali (ITE) e poi aggregare.

C. Il "Problema dell'Ultimo Miglio" (Last Mile Problem)

Il documento identifica le sfide pratiche nel passaggio dalla teoria alla pratica per gli stimatori di completamento della matrice:

Tempo Calendario vs. Tempo Evento: CY stimano effetti medi nel tempo calendario ( $\tau^{cal}_{t0}$ ), che aggregano unità in fasi diverse del trattamento, rendendo l'interpretazione difficile. Gli autori suggeriscono che l'uso del tempo evento ( $\tau^{event}_k$ ) è più interpretabile, ma richiede aggregazioni complesse su diversi tempi calendario che possono alterare le proprietà asintotiche.
Inferenza Robusta: È cruciale sviluppare stimatori di varianza robusti all'eteroschedasticità, un requisito minimo nelle scienze sociali. CY hanno fatto progressi in questo senso per casi di blocchi mancanti, ma serve estenderlo all'adozione scalare.
Selezione degli Iperparametri: La scelta del parametro di regolarizzazione è critica. Le strategie di validazione incrociata standard possono non rispettare la struttura dei dati mancanti. Sono necessarie strategie specifiche (es. hold-out di periodi pre-trattamento).
Diagnostica: I classici "event study plots" (check placebo pre-trattamento) potrebbero non essere sufficienti per il completamento della matrice a causa del rischio di overfitting. Gli autori propongono l'uso di "in-time-placebo checks" (test fuori campione con tempi di trattamento fittizi) per validare le assunzioni.

3. Risultati dell'Applicazione Empirica

Gli autori applicano il metodo di CY a uno studio sull'impatto delle leggi "Right to Carry" (RTC) sui crimini violenti negli USA (dati 1977-2014, 44 stati).

Risultati senza pre-processing:
- Gli stimatori di completamento della matrice (sia su tutta la matrice che con l'approccio CY) producono stime di un aumento dei crimini violenti implausibilmente alto (circa 205 e 136 crimini per 100.000 abitanti rispettivamente).
- Questi valori sono di un ordine di grandezza superiori rispetto ad altri metodi (Synthetic Control: ~11; Gsynth: ~4).
- Sebbene i test placebo pre-trattamento siano vicini allo zero, le stime post-trattamento appaiono distorte.
Risultati con pre-processing (Rimozione degli effetti fissi):
- Gli autori propongono di stimare e sottrarre gli effetti fissi di unità e tempo (TWFE) dai dati grezzi prima di applicare il completamento della matrice.
- Risultato: Dopo questa correzione, le stime del completamento della matrice si allineano molto meglio con gli altri metodi, mostrando una diminuzione dei crimini violenti (circa -8.5 e -10.1 per 100.000).
- Le stime non corrette erano fuori dagli intervalli di confidenza degli altri metodi, mentre quelle corrette rientrano nella variabilità attesa.

4. Contributi Chiave e Significato

Inquadramento Teorico: Il documento posiziona il lavoro di CY come un'applicazione sofisticata della strategia "Split-Apply-Combine" al completamento della matrice, collegandolo alla letteratura esistente su DiD e Synthetic Control.
Identificazione del "Last Mile": Sottolinea che, nonostante i forti risultati teorici (limiti di probabilità alta), esistono ostacoli pratici significativi (scelta iperparametri, diagnostica, interpretazione temporale) che devono essere risolti per l'adozione diffusa.
Importanza del Pre-processing: Dimostra empiricamente che il completamento della matrice puro può fallire in contesti reali con dati mal condizionati (condizionamento elevato, fattori latenti a coda lunga). L'integrazione con la rimozione degli effetti fissi (pre-processing) è essenziale per ottenere stime credibili e allineate con la realtà empirica.
Avvertenza sulle Politiche Pubbliche: Evidenzia le difficoltà specifiche nella valutazione delle politiche statali (N piccolo, T limitato, adozione scalare estesa), dove la teoria asintotica classica potrebbe non essere sufficiente senza accorgimenti pratici.

In conclusione, Ben-Michael e Feller lodano l'approccio innovativo di CY ma avvertono che la sua applicazione pratica richiede cautela, diagnostica rigorosa e spesso un pre-processing dei dati per gestire l'eterogeneità strutturale e i problemi di condizionamento tipici dei dati reali sulle politiche pubbliche.