Deep learning with missing data

Sintesi Tecnica: Reti Neurali con Pattern Embedding per la Regressione Nonparametrica con Covariate Mancanti

Impostazione del Problema
Il lavoro affronta la sfida dell'apprendimento profondo supervisionato nella regressione nonparametrica multivariata quando le covariate contengono valori mancanti. A differenza dei lavori precedenti che spesso assumono una mancanza completamente casuale (MCAR) o si affidano a specifici modelli parametrici di mancanza, questo studio considera un setting generale in cui il meccanismo di mancanza è arbitrario e potenzialmente dipendente dalle covariate (Missing Not At Random, MNAR). L'obiettivo è la predizione: stimare la funzione di regressione Bayesiana $f^\star(z, \omega) = \mathbb{E}(Y | Z=z, \Omega=\omega)$, dove $Z$ rappresenta le covariate imputate e $\Omega$ rappresenta il vettore di rivelazione (indicatori di osservazione) che denota quali voci sono state osservate.

Una difficoltà centrale identificata è che, sebbene i vettori di rivelazione contengano informazioni predittive critiche riguardo alla struttura della mancanza, l'impiego ingenuo della loro concatenazione con le covariate imputate come input per una rete neurale porta spesso a prestazioni scarse. Ciò è dovuto alla crescita esponenziale dei possibili pattern di osservazione ($2^d$) con la dimensione $d$, causando overfitting, e al disallineamento tra la geometria euclidea dell'ipercubo $\{0,1\}^d$ e la reale struttura predittiva del problema.

Metodologia: Reti Neurali con Pattern Embedding (PENNs)
Gli autori propongono le Pattern Embedded Neural Networks (PENNs), un'architettura innovativa progettata per integrare i pattern di osservazione in framework di deep learning senza fare affidamento su specifiche tecniche di imputazione. Lo stimatore PENN assume la forma:
$$\hat{f}(z, \omega) = f_3(f_1(z), f_2(\omega))$$
dove:

1. $f_1$: Una rete neurale che funge da mappa di caratteristiche (feature map) per le covariate imputate $z$.
2. $f_2$: Una rete neurale che funge da funzione di embedding per i vettori di rivelazione $\omega$. Questa mappa i vettori di osservazione discreti ad alta dimensione in uno spazio continuo a bassa dimensione dove la prossimità geometrica riflette la somiglianza nel comportamento predittivo.
3. $f_3$: Una rete neurale finale che combina le caratteristiche delle covariate apprese e gli embedding dei pattern per produrre la predizione.

Questo approccio permette al modello di "prendere in prestito forza" (borrow strength) tra pattern di osservazione simili, comprimendo efficacemente l'informazione contenuta nei vettori di rivelazione. Il metodo è compatibile con qualsiasi tecnica di imputazione esistente (ad es. mean imputation, MissForest, MICE) applicata prima dell'addestramento.

Contributi Teorici
Il documento fornisce un'analisi teorica rigorosa dello stimatore PENN, stabilendo limiti di eccesso di rischio (excess risk bounds) in campioni finiti senza assumere l'indipendenza tra il processo di generazione dei dati e i meccanismi di mancanza.

• Disuguaglianza Oracolo: Viene derivata una disuguaglianza oracolo generale, che decompone l'eccesso di rischio in termini di ottimizzazione, approssimazione e stima. Questa vale per arbitrarie reti neurali e risposte sub-gaussiane.
• Ottimalità Minimax: Sotto un'ipotesi di "smoothness a tratti" (Assunzione 1), la funzione di regressione Bayesiana è partizionata in celle in cui la funzione si comporta in modo simile. All'interno di ogni cella, la funzione appartiene a una classe Hölder composizionale.
  • Teorema 2 stabilisce un limite superiore sull'eccesso di rischio. Il limite è una media ponderata dei tassi minimax per ogni cella della partizione, scalata dalla dimensione effettiva del campione di tale cella. Fondamentalmente, il tasso viene raggiunto come se la partizione fosse nota in anticipo, salvo un fattore polilogaritmico nella dimensione del campione.
  • Teorema 3 fornisce un limite inferiore minimax corrispondente, confermando che lo stimatore PENN raggiunge il tasso di convergenza ottimale per questo setting di problema.
• Novità: La teoria introduce il concetto di F-separabilità per le partizioni dei pattern di osservazione, permettendo alla rete neurale di apprendere il raggruppamento di pattern che condividono funzioni di regressione simili. Questo affronta la "maledizione della dimensionalità" associata ai $2^d$ possibili pattern di mancanza.

Risultati Empirici
Sono stati condotti estesi esperimenti numerici su dataset simulati, semi-sintetici e del mondo reale:

• Dati Simulati: Attraverso quattro modelli che coprono scenari MCAR e MNAR con diverse correlazioni, le PENN hanno superato costantemente le reti neurali standard (addestrate su dati imputati senza embedding dei pattern), XGBoost e Random Forests. Il miglioramento è stato particolarmente drammatico nei setting MNAR dove i metodi standard faticavano.
• Dati Semi-Sintetici: Gli esperimenti sul dataset di posizione relativa CT (regressione) e MNIST (classificazione) hanno dimostrato che le PENN riducono significativamente l'errore di predizione (misurato come Proporzione di Varianza non Spiegata e Errore di Classificazione Errata) rispetto ai baseline, specialmente sotto meccanismi MNAR.
• Dati Reali: In un dataset di predizione del credit score con mancanza intrinseca, le PENN hanno mostrato nuovamente miglioramenti coerenti e notevoli rispetto alle reti neurali standard e ai metodi basati su alberi.
• Visualizzazione: Gli embedding appresi dei pattern di osservazione hanno rivelato che la rete ha raggruppato con successo i pattern con comportamenti predittivi simili, validando la premessa teorica che l'embedding cattura l'informazione strutturale rilevante.

Significatività e Rivendicazioni
Gli autori affermano che questo lavoro è il primo a fornire garanzie di ottimalità minimax per la regressione nonparametrica multivariata con dati mancanti sotto meccanismi di mancanza generali. La significatività del lavoro risiede in:

1. Innovazione Metodologica: Introdurre l'embedding dei pattern come meccanismo per gestire la mancanza nel deep learning, colmando il divario tra gli approcci basati sull'imputazione e la modellazione diretta degli indicatori di mancanza.
2. Rigore Teorico: Dimostrare che le PENN possono raggiungere il tasso ottimale di convergenza anche quando il meccanismo di mancanza è complesso e dipendente, a condizione che la funzione di regressione presenti una smoothness composizionale a tratti.
3. Utilità Pratica: Dimostrare che il metodo è robusto, funziona con gli strumenti di imputazione standard e produce sostanziali guadagni empirici rispetto ai metodi allo stato dell'arte esistenti in scenari sia sintetici che reali.

Il documento conclude che le PENN offrono una soluzione fondata ed efficace per il deep learning con covariate mancanti, superando i limiti del semplice trattamento degli indicatori di mancanza come ulteriori feature grezze.