Predicting missing values: A good idea?

Riepilogo Tecnico: Prevedere i Valori Mancanti. Una buona idea?

Enunciato del Problema
Il documento affronta una critica disconnessione nella gestione dei dati mancanti all'interno dell'apprendimento automatico e dell'analisi statistica. Sebbene la minimizzazione dell'Errore Quadratico Medio (MSE) sia il criterio dominante per valutare i metodi di imputazione — privilegiando l'accuratezza delle stime puntuali — questo approccio introduce sistematicamente distorsioni nelle analisi successive. Il problema centrale è che le imputazioni ottimizzate per l'MSE sono essenzialmente medie condizionali (medie). Sostituendo i valori mancanti con queste medie deterministiche, la variabilità naturale dei dati viene artificialmente ridotta. Questa riduzione distorce parametri statistici chiave, inclusa la varianza, la prevalenza, la correlazione, le pendenze di regressione e la varianza spiegata ($R^2$), portando a inferenze non valide e stime eccessivamente confidenti nella modellazione successiva.

Metodologia
L'autore utilizza un quadro teorico e studi di simulazione per confrontare due strategie di imputazione distinte in un contesto normale multivariato:

1. Imputazione Predittiva (Predict): Questo metodo minimizza l'MSE imputando il valore atteso ($\hat{y}$) basato sui predittori osservati. È deterministico e corrisponde all'imputazione tramite regressione o all'imputazione della media condizionale.
2. Imputazione Stocastica (Draw): Questo metodo aggiunge rumore casuale ($\epsilon$) al valore previsto, tale che $\dot{y} = \hat{y} + \epsilon$. Il rumore è estratto dalla distribuzione dei residui del modello di imputazione. Questo approccio riconosce l'incertezza intrinseca dei dati mancanti.

Lo studio utilizza una configurazione di simulazione con popolazioni sintetiche che rappresentano dati ad "alto segnale" ($R^2=0.8$) e a "basso segnale" ($R^2=0.2$). La mancanza di dati è introdotta tramite due meccanismi: Mancanti Completamente a Caso (MCAR) e Mancanti a Caso (MAR). La performance di questi metodi è valutata non solo dall'MSE, ma dal loro impatto sui parametri a valle ($\mu, \sigma, P90, \rho, \gamma, R^2$) nei modelli di regressione in cui la variabile imputata funge sia da predittore che da esito.

Inoltre, il documento valuta tre strumenti software popolari — missForest, softImpute e mice — per verificare se i loro comportamenti predefiniti si allineano ai paradigmi predittivi o stocastici.

Risultati Chiave

• Distorsione nei Metodi Predittivi: Il metodo "predict" riduce sistematicamente la deviazione standard ($\sigma$) e la proporzione di casi che superano il 90° percentile ($P90$). Al contrario, gonfia le correlazioni ($\rho$), le pendenze di regressione ($\delta$) e la proporzione di varianza spiegata ($R^2$). Queste distorsioni sono più severe negli scenari a basso segnale, dove la relazione tra le variabili è debole.
• Validità dei Metodi Stocastici: Il metodo "draw", che incorpora rumore, produce stime per varianza, correlazione e pendenze che si allineano strettamente ai veri parametri della popolazione, eliminando efficacemente le distorsioni sistematiche introdotte dai metodi predittivi.
• Il Paradosso dell'MSE: Sebbene il metodo "draw" produca stime a valle non distorte, risulta in un MSE circa il doppio rispetto al metodo "predict" ($MSE_{draw} \approx 2 \times MSE_{predict}$). Fare affidamento esclusivamente sull'MSE identificherebbe erroneamente il metodo predittivo distorto come superiore.
• Valutazione del Software:
  • missForest si comporta in modo simile al metodo predittivo, introducendo distorsioni significative.
  • softImpute mostra risultati misti; performa bene sulla varianza in contesti ad alto segnale, ma esibisce una dispersione eccessiva e un MSE elevato in contesti a basso segnale, pur sottostimando ancora la varianza spiegata.
  • mice (utilizzando il suo framework bayesiano predefinito) produce le stime a valle più accurate, preservando la variabilità dei dati. Il documento nota un problema minore con $P90$ in mice quando si utilizza l'abbinamento della media predittiva, che può essere risolto passando all'imputazione normale.

Contributi Chiave

1. Dimostrazione della Distorsione Sistematica: Il documento fornisce prove empiriche che la minimizzazione dell'MSE per l'imputazione distorce sistematicamente le proprietà statistiche a valle, specificamente comprimendo la distribuzione dei dati verso la media condizionale.
2. Il Rumore come Soluzione: Propone e valida l'aggiunta di rumore (imputazione stocastica) come un meccanismo semplice ed efficace per ripristinare la variabilità naturale dei dati e garantire un'analisi a valle non distorta.
3. Critica delle Metriche di Valutazione: L'opera sfida la dipendenza della comunità dell'apprendimento automatico dall'MSE come metrica primaria per la qualità dell'imputazione, sostenendo che essa privilegi l'accuratezza puntuale rispetto alla validità statistica della distribuzione dei dati.
4. Valutazione Pratica degli Strumenti: Offre un'analisi comparativa degli strumenti di imputazione ampiamente utilizzati, evidenziando che molti popolari metodi "scatola nera" (come missForest) perpetuano involontariamente le distorsioni dell'imputazione deterministica.

Significato e Affermazioni
Il documento sostiene che l'obiettivo dell'imputazione non dovrebbe essere quello di ricreare perfettamente i veri valori mancanti (ciò che è impossibile), ma di facilitare analisi a valle valide e informative. L'autore afferma che "prevedere i valori mancanti" è solo una "buona idea" se il processo di previsione abbraccia l'aggiunta di rumore per preservare la variabilità dei dati.

Il significato risiede nello spostamento del paradigma dall'accuratezza (minimizzare l'MSE) alla validità (preservare la variabilità). Il documento conclude che incorporare il rumore è essenziale per prevenire distorsioni nelle stime di varianza, correlazione e pendenza. Pur riconoscendo che l'aggiunta di rumore aumenta l'MSE, l'autore ipotizza che questo sia un compromesso necessario per tenere conto dell'errore irriducibile intrinseco nei dati mancanti. L'opera colma il divario tra rigore statistico e utilità pratica, suggerendo che gli approcci stocastici sono superiori per la gestione di dati incompleti in scenari che richiedono inferenze affidabili.