Riepilogo Tecnico: Shift Distributivo nell'Imputazione di Dati Mancanti

Formulazione del Problema

Il documento affronta la sfida fondamentale dell'imputazione di dati mancanti, concentrandosi specificamente sulla discrepanza tra la distribuzione dei dati osservati utilizzata per l'addestramento e la distribuzione completa dei dati necessaria per la valutazione. Sebbene molti metodi di imputazione all'avanguardia (ad es. GAIN, MIWAE, MICE, MissForest) operino nell'ambito di un framework di minimizzazione del rischio, essi tipicamente si addestrano sulle voci osservate senza correggere esplicitamente lo shift distributivo indotto dal meccanismo di mancata osservazione.

Gli autori formalizzano il problema come la minimizzazione del rischio di Errore Quadratico Medio (MSE) sulla distribuzione completa dei dati. Dimostrano che quando la probabilità di mancata osservazione dipende dai dati (specificamente sotto l'assunzione di Mancanza Casuale (MAR)), la distribuzione di addestramento (dati osservati) e la distribuzione target (dati completi) differiscono. Ciò crea un problema di shift delle covariate in cui la minimizzazione empirica standard del rischio sui dati osservati produce stimatori distorti per il rischio sui dati completi.

Metodologia

Fondamento Teorico

Il contributo teorico principale è la derivazione del rischio di imputazione come un'aspettativa ponderata per importanza sui dati osservati.

• Decomposizione del Rischio: Il rischio MSE globale è decomposto in una somma di rischi coordinate per coordinate. Per una specifica coordinata $i$ con mancata osservazione, il rischio $J_i(g_i)$ è definito sulla sottopopolazione non osservata ($R_i=0$).
• Connessione con lo Shift delle Covariate: Sotto l'assunzione MAR ($p(r|x) = p(r|x_{obs})$) e una condizione di sovrapposizione, gli autori dimostrano che il rischio sulla sottopopolazione non osservata può essere riscritto come un'aspettativa sulla sottopopolazione osservata ($R_i=1$) ponderata da un fattore di importanza:
  $$w_i(x_{obs}, r_{\neg i}) = \frac{p(x_{obs}, r_{\neg i} | R_i = 0)}{p(x_{obs}, r_{\neg i} | R_i = 1)}$$
  Questo peso corregge lo shift nella distribuzione marginale delle covariate tra i gruppi osservati e non osservati. Si dimostra che i metodi esistenti omettono implicitamente questo termine di ponderazione, ottimizzando efficacemente per la distribuzione errata.

Algoritmo Proposto: Imputazione Iterativa Ponderata

Per rendere operativa questa teoria, gli autori propongono un algoritmo di Imputazione Iterativa Ponderata (Algoritmo 1), che estende l'approccio iterativo standard a rotazione (ad es. MICE, HyperImpute).

1. Framework Iterativo: L'algoritmo cicla attraverso le variabili parzialmente osservate. In ogni passaggio, un modello di imputazione condizionale $g_i$ viene adattato per la variabile target utilizzando i valori correnti di tutte le altre variabili come predittori.
2. Rischio Surrogato: Invece di minimizzare la perdita di ricostruzione standard, l'algoritmo minimizza un rischio surrogato che incorpora pesi di importanza stimati:
   $$J_i^{(t)}(g_i) = \mathbb{E}\left[ w_i(\hat{X}_{\neg i}^{(t)}) (g_i(\hat{X}_{\neg i}^{(t)}) - X_i)^2 \mid R_i = 1 \right]$$
3. Stima dei Pesi: Poiché i pesi reali dipendono da distribuzioni sconosciute, vengono stimati ad ogni iterazione (Algoritmo 2) utilizzando un modello di classificazione binaria (regressione logistica) per stimare la probabilità di mancata osservazione $p(R_i=1 | \hat{X}_{\neg i})$. I pesi sono quindi calcolati come il rapporto inverso delle probabilità.
4. Stabilizzazione Pratica: Per gestire l'alta varianza spesso associata alla ponderazione per importanza, gli autori impiegano diverse tecniche di stabilizzazione:
   • Taglio (clipping) dei pesi al 5° e 95° percentile.
   • Rimozione di feature con varianza prossima allo zero.
   • Introduzione di un parametro di temperamento $\gamma$ (dove i pesi diventano $w_i^\gamma$) per controllare l'influenza dei pesi, tarato tramite validazione incrociata.
   • Una strategia di "avvio caldo" (warm-starting) per la taratura di $\gamma$ al fine di ridurre il sovraccarico computazionale.

Contributi Chiave

1. Formulazione Teorica: Il documento stabilisce rigorosamente che l'imputazione sotto MAR è equivalente a una collezione di problemi di shift delle covariate, derivando i pesi di importanza specifici necessari per allineare la distribuzione dei dati osservati con la distribuzione completa dei dati.
2. Algoritmo Innovativo: Introduce un algoritmo iterativo pratico a rotazione che integra questi pesi di importanza nell'obiettivo di addestramento, correggendo esplicitamente lo shift distributivo.
3. Validazione Empirica: Il metodo è stato confrontato con baseline non ponderate (utilizzando classi di modelli condizionali identiche) e metodi all'avanguardia su dataset diversificati (dati tabulari, serie temporali e immagini) e classi di modelli (Lineare, Random Forest, MLP).

Risultati Sperimentali

Gli autori hanno valutato il loro metodo su otto dataset, simulando condizioni MAR con diverse intensità di dipendenza tra mancata osservazione e covariate osservate.

• Miglioramenti delle Prestazioni: L'approccio ponderato ha ridotto costantemente l'Errore Quadratico Medio Radice (RMSE) e la distanza di Wasserstein (WD) rispetto alle baseline non ponderate.
  • Riduzione media del 3% nell'RMSE e del 7% nella distanza di Wasserstein.
  • I miglioramenti sono stati più pronunciati per modelli più semplici (Lineari) e in contesti con forte shift delle covariate (alta dipendenza MAR).
• Espressività del Modello: L'analisi teorica e i risultati empirici indicano che il beneficio della ponderazione diminuisce all'aumentare dell'espressività del modello condizionale (ad es. Random Forest e MLP). Ciò è attribuito al compromesso bias-varianza; modelli altamente espressivi possono approssimare bene la funzione target anche senza ponderazione esplicita, mentre i modelli più semplici si affidano maggiormente alla correzione.
• Compiti a Valle: Nei compiti di regressione e classificazione a valle, l'imputazione ponderata ha generalmente portato a miglioramenti statisticamente significativi nelle prestazioni predittive, in particolare per i modelli lineari e rispetto alle baseline non imputate.
• Robustezza: Il metodo ha mostrato un degrado graduale delle prestazioni in caso di violazioni dell'assunzione MAR (MNAR) o di errata specificazione del modello dei pesi, piuttosto che un fallimento improvviso, a condizione che i principali driver della mancata osservazione fossero catturati nei dati osservati.
• Efficienza: Il costo computazionale è stato gestibile, con tempi di esecuzione aumentati di solo ~10% per modelli complessi (RF/MLP) e mostrando significativi guadagni di velocità per i modelli lineari grazie ai dettagli specifici dell'implementazione.

Significato e Affermazioni

Il documento afferma che lo shift distributivo è un problema intrinseco e spesso trascurato nell'imputazione basata sul rischio. Inquadrando l'imputazione come un problema di shift delle covariate, gli autori forniscono una giustificazione razionale per l'uso della ponderazione per importanza.

• Il significato risiede nel dimostrare che tenere esplicitamente conto dello shift tra le distribuzioni dei dati osservati e completi porta a un'imputazione più accurata e a una migliore preservazione della distribuzione sottostante dei dati (fedeltà).
• Gli autori posizionano il loro lavoro come un affinamento necessario ai framework esistenti di minimizzazione del rischio, sostenendo che senza questa correzione, i modelli di imputazione sono ottimizzati per la distribuzione dei dati osservati piuttosto che per la vera distribuzione dei dati richiesta per un'inferenza valida.
• Il documento rimane modesto riguardo alle limitazioni, riconoscendo che il metodo può offrire guadagni limitati in regimi di debole-MAR o con modelli altamente espressivi dove l'errore di approssimazione è già basso, e che le prestazioni dipendono dalla qualità della stima dei pesi.