Boosting prediction with data missing not at random

1. Il Problema: Previsione con Dati MNAR

Il lavoro affronta una sfida critica nell'apprendimento automatico: l'applicazione degli algoritmi di Boosting a dataset in cui la variabile di risposta ($Y$) presenta valori mancanti.

• Contesto: Le tecniche di boosting (come AdaBoost o Gradient Boosting) sono state sviluppate e ottimizzate per dati completi. Quando i dati sono mancanti, le procedure standard falliscono o producono risultati distorti se applicate direttamente solo alle osservazioni complete.
• Meccanismo di Mancanza: Il paper si concentra specificamente sul caso MNAR (Missing Not At Random), dove la probabilità che un dato sia mancante dipende dal valore stesso della variabile di risposta (non osservata).
• Sfida Principale: I dati MNAR soffrono di problemi di non-identificabilità. Senza assunzioni aggiuntive, la distribuzione congiunta di $Y$ e il meccanismo di mancanza non possono essere stimati univocamente dai dati osservati. Applicare il boosting standard su dati MNAR porta a stime distorte e non coerenti.

2. Metodologia Proposta

Gli autori propongono un quadro semiparametrico per adattare il boosting a dati MNAR, modificando la funzione di perdita (loss function) per correggere il bias introdotto dai dati mancanti.

A. Strategie di Adattamento della Loss Function

Vengono introdotte due strategie principali per costruire una funzione di perdita aggiustata $L^*$, tale che il suo valore atteso sia uguale a quello della funzione di perdita originale calcolata sui dati completi:

1. Metodo IPW (Inverse Propensity Weighting):

   • Adatta la perdita osservata pesandola con l'inverso della probabilità di osservazione (propensity score) $\pi(y, x) = P(R=1|Y=y, X=x)$.
   • Formula: $L_{IPW} = \frac{R \cdot L(Y, f(X))}{\pi(Y, X)}$.
   • Questo metodo utilizza solo le osservazioni complete ma corregge il bias tramite il peso.

2. Metodo BJ (Buckley-James Type):

   • Estende il concetto di imputazione. Per le osservazioni mancanti ($R=0$), sostituisce la perdita con il valore atteso della perdita condizionata alla covariate e al fatto che il dato sia mancante: $\Psi_0(x) = E[L(Y, f(X)) | X=x, R=0]$.
   • Formula: $L_{BJ} = R \cdot L(Y, f(X)) + (1-R) \cdot \Psi_0(X)$.
   • Per calcolare $\Psi_0(x)$, è necessario stimare la distribuzione condizionata $f(y|x, R=0)$, che viene derivata utilizzando la regola di Bayes e il modello di propensione.

B. Stima Semiparametrica e Identificabilità

Poiché $\pi(y, x)$ e la distribuzione di $Y$ sono sconosciute, il paper adotta un approccio semiparametrico basato sulle condizioni di identificabilità proposte da Morikawa e Kim (2021):

• Modellazione Parametrica: La probabilità di risposta $\pi(y, x)$ viene modellata parametricamente (es. logit).
• Stima Semiparametrica: La distribuzione della risposta data che è osservata, $f(y|x, R=1)$, viene stimata in modo non parametrico (usando stimatori di densità kernel) o parametrico.
• Algoritmo di Stima: Viene utilizzato un metodo di risoluzione delle equazioni di stima (score equations) che permette di ottenere stime coerenti per i parametri di propensione anche in presenza di dati mancanti, senza richiedere variabili strumentali esterne.

C. Algoritmo di Boosting Modificato

L'implementazione avviene tramite un algoritmo di discesa del gradiente funzionale:

1. Si stima la funzione di propensione e la densità condizionata.
2. Si calcola la loss function aggiustata ($L^*$) per ogni osservazione.
3. Si esegue l'iterazione di boosting:
   • Calcolo del gradiente negativo della loss aggiustata.
   • Addestramento di un "weak learner" (es. spline di regressione con basi B-spline) per approssimare il gradiente.
   • Aggiornamento della funzione predittiva con un tasso di apprendimento.
4. Il processo si ferma quando la riduzione della perdita empirica scende sotto una soglia predefinita.

3. Contributi Chiave

• Estensione Teorica del Boosting: Il lavoro estende rigorosamente la teoria del boosting (convergenza e consistenza) al contesto di dati MNAR, un'area precedentemente poco esplorata per questo specifico algoritmo.
• Dualità delle Strategie: Confronta e formalizza due approcci distinti (IPW e Buckley-James) per gestire la non-ignorabilità, dimostrando che entrambi recuperano la funzione di rischio originale in attesa.
• Garanzie Teoriche: Vengono stabiliti teoremi che provano:
  • La convergenza dell'algoritmo iterativo verso il minimo della funzione di rischio.
  • La consistenza dell'estimatore finale ($\hat{f}$) rispetto alla funzione vera ($f^*$) quando la dimensione del campione tende all'infinito.
• Robustezza Semiparametrica: L'uso di stime non parametriche per la densità condizionata riduce il rischio di errori di specificazione del modello rispetto ai metodi puramente parametrici.

4. Risultati Sperimentali

Gli autori hanno condotto studi di simulazione e un'analisi su dati reali (KLIPS - Korean Labor and Income Panel Survey).

• Simulazioni (Dati Sintetici):

  • Scenario MAR (Missing At Random): Tutti i metodi (incluso il boosting standard su dati completi) performano bene.
  • Scenario MNAR: Il metodo "Naive" (che ignora i dati mancanti) produce errori di previsione (S-MAE e S-RMSE) significativamente più alti e bias sostanziali.
  • Metodi Proposti: Le varianti IPW, IPWN (non parametrico) e BJ mostrano prestazioni comparabili al metodo di riferimento (che usa dati completi, non disponibile in pratica), riducendo drasticamente il bias rispetto al metodo Naive.
  • Robustezza: In caso di errata specificazione del modello di propensione, i metodi falliscono (come previsto), ma se il modello di propensione è corretto, la stima della densità $f(y|x, R=1)$ può essere meno critica per la consistenza.
  • Dimensionalità: In scenari ad alta dimensionalità, l'estimatore non parametrico (IPWN) può diventare instabile a causa della "maledizione della dimensionalità", mentre l'approccio parametrico rimane più stabile.

• Analisi Dati Reali (KLIPS):

  • Applicazione alla previsione del reddito (2008) basata su reddito precedente, età e genere, con circa il 30% di dati mancanti.
  • I metodi proposti producono curve di previsione coerenti tra loro, mentre il metodo Naive mostra deviazioni sistematiche, specialmente alle estremità della distribuzione del reddito.

5. Significato e Implicazioni

Questo studio è significativo perché:

1. Colma un Gap Teorico: Fornisce una giustificazione teorica rigorosa per l'uso del boosting in scenari di dati mancanti non ignorabili, un problema comune in econometria, scienze sociali e medicina.
2. Flessibilità Pratica: Offre agli analisti strumenti pratici (implementati in R) per gestire dati reali imperfetti senza dover scartare osservazioni preziose o assumere erroneamente che i dati siano mancanti a caso (MAR).
3. Generalizzabilità: Le strategie di adattamento della loss function possono essere estese ad altre tecniche di machine learning (es. SVM, Reti Neurali, Alberi Decisionali), aprendo la strada a una nuova generazione di algoritmi robusti ai dati MNAR.
4. Avvertenza: Il paper sottolinea che la validità dipende dalla corretta specificazione del modello di propensione e dalle condizioni di identificabilità, richiedendo un'attenta validazione empirica nelle applicazioni reali.

In sintesi, il paper trasforma il boosting da uno strumento per dati completi a una metodologia robusta per dati incompleti e complessi, garantendo proprietà statistiche solide attraverso un approccio semiparametrico innovativo.