Semi-supervised linear regression with missing covariates

1. Problema e Motivazione

Il lavoro affronta la sfida della regressione lineare in presenza di dati mancanti nelle covariate (variabili predittive), un problema comune in statistica applicata.

• Contesto: Spesso i dataset contengono sia valori mancanti nelle covariate che nelle risposte (variabili target). La maggior parte della letteratura teorica esistente tratta questi due tipi di missingness separatamente o si concentra solo su dataset completamente etichettati.
• Gap: Manca una teoria rigorosa che integri l'uso di dati non etichettati (semi-supervised) per migliorare la stima dei parametri quando i dati etichettati hanno covariate mancanti.
• Tipologie di Missingness: Gli autori considerano due pattern principali:
  1. Missingness non strutturata (Unstructured): I valori mancanti sono sporadici e indipendenti tra le variabili (es. mancata risposta a singole domande).
  2. Missingness strutturata (Blockwise/Structured): I dati mancanti avvengono a blocchi, spesso dovuti alla fusione di dataset multimodali (es. dati clinici dove alcuni pazienti hanno solo risonanza magnetica e altri solo PET).

2. Metodologia Proposta

Gli autori sviluppano stimatori per due scenari dimensionali: basso (low-dimensional) e alto (high-dimensional), in contesti sia supervisionati che semi-supervisionati (OSS - Ordinary Semi-Supervised).

A. Caso Low-Dimensionale (Non sparso)

• Approccio: Viene proposto uno stimatore basato su un'interpolazione tra imputazione e ripesatura (reweighting).
• Meccanismo:
  1. Si imputano i dati mancanti utilizzando la struttura di covarianza stimata ($\hat{\Sigma}$).
  2. Si applica un passo di ripesatura (weighting) per correggere il bias introdotto dall'imputazione e dalla struttura del missingness.
  3. Lo stimatore minimizza una funzione di perdita pesata:
     $$\hat{\beta} = \arg \min_{\beta} \sum_{j=1}^K \sum_{i \in I_j} \hat{D}_j (Y_i - (X_i)_{O_j}^T \hat{P}_j \beta)^2$$
     dove $\hat{D}_j$ sono pesi ottimali (o loro stime) e $\hat{P}_j$ sono matrici di proiezione basate su $\hat{\Sigma}$.
• Vantaggio: A differenza delle semplici imputazioni naive, il passo di ripesatura è cruciale per ottenere prestazioni ottimali, specialmente quando il rapporto segnale-rumore è elevato.

B. Caso High-Dimensionale (Sparso)

• Approccio: Viene esteso il Dantzig Selector per gestire dati mancanti e dati non etichettati.
• Meccanismo:
  1. Si stimano in modo non distorto il vettore di covarianza $\hat{\Sigma}$ e il vettore di cross-covarianza $\hat{\gamma} = \widehat{E[XY]}$ utilizzando sia i dati etichettati che quelli non etichettati.
  2. Si risolve un programma lineare con penalizzazione $\ell_1$:
     $$\hat{\beta} \in \arg \min_{\beta} \{ \|\beta\|_1 : \|\hat{\Sigma}\beta - \hat{\gamma}\|_\infty \leq \lambda \}$$
• Innovazione: L'uso dei dati non etichettati permette di stimare $\Sigma$ con maggiore precisione, riducendo l'errore di regolarizzazione necessario.

3. Contributi Chiave

1. Limiti Minimax: Gli autori forniscono nuovi limiti superiori (upper bounds) e inferiori (lower bounds) non asintotici per il rischio di stima. Questi limiti sono matching, dimostrando l'ottimalità dei loro stimatori.
2. Ruolo dei Dati Non Etichettati:
   • Dimostrano che, anche in modelli ben specificati, i dati non etichettati migliorano i tassi di convergenza.
   • Nel caso non strutturato, i dati non etichettati aumentano il "tasso di osservazione effettivo" da $\rho$ a $\rho^{1/2}$ (dove $\rho$ è la probabilità di osservazione di una variabile).
   • Nel caso strutturato (es. pattern monotono semplice), i dati non etichettati permettono una riduzione della dimensionalità effettiva. Se un blocco di variabili è mancante nei dati etichettati ma presente nei dati non etichettati, la stima può beneficiare della dimensione ridotta di quel blocco, un vantaggio non ottenibile con metodi puramente supervisionati.
3. Risultati per Pattern Strutturati: Forniscono i primi limiti superiori e inferiori coincidenti per la regressione supervisionata con missingness strutturata (blockwise), migliorando risultati precedenti (es. Yu et al., 2020).
4. Robustezza: Gli stimatori proposti non richiedono assunzioni gaussiane forti per la validità dei limiti superiori, basandosi invece su condizioni di sub-Gaussianità e piccole sfere (small ball condition).

4. Risultati Teorici e Sperimentali

• Tassi di Convergenza Ottimali:
  • Low-Dimensionale: Il rischio scala come $\frac{R^2 p}{\rho n_L} + \frac{B^2 p}{\rho^2 n_L + N}$ (dove $n_L$ è la dimensione del dataset etichettato, $N$ quella non etichettata, $\rho$ il tasso di missingness).
  • High-Dimensionale: Il rischio scala come $\frac{R^2 s \log p}{\rho n_L} + \frac{B^2 s \log p}{\rho^2 n_L + N}$, dove $s$ è la sparsità.
  • I limiti inferiori confermano che questi tassi non possono essere migliorati.
• Simulazioni:
  • Gli esperimenti mostrano che l'approccio proposto (OSS) supera significativamente le tecniche di imputazione standard (come MICE, kNN, Mean Imputation) e i metodi supervisionati (Complete Case Analysis).
  • L'uso di dati non etichettati riduce drasticamente l'errore quadratico medio (MSE), specialmente quando il numero di dati etichettati completi è basso.
  • Il passo di ripesatura è confermato come essenziale: l'imputazione senza pesi ottimali può degradare le prestazioni rispetto all'analisi solo sui casi completi.
• Applicazione Reale:
  • Il metodo è stato applicato al dataset California Housing con missingness sintetica.
  • Risultato: L'estimatore OSS ha mostrato una riduzione significativa dell'errore di stima dei coefficienti rispetto alla regressione sui soli casi completi, specialmente per le variabili con alta percentuale di missingness.

5. Significato e Impatto

Questo lavoro è fondamentale perché:

1. Colma un gap teorico: Unifica la teoria della regressione con dati mancanti e l'apprendimento semi-supervisionato, fornendo garanzie teoriche rigorose.
2. Guida la pratica: Dimostra che ignorare i dati non etichettati in presenza di missingness nelle covariate porta a una perdita di efficienza statistica significativa.
3. Generalità: Offre soluzioni sia per pattern di missingness casuali (sporadici) che strutturati (blocchi), rendendolo applicabile a scenari reali complessi come la sanità (dati multimodali) e le indagini campionarie.
4. Ottimalità: Stabilisce nuovi benchmark minimax per la regressione lineare con dati mancanti, chiarendo esattamente quanto si può guadagnare integrando dati non etichettati.

In sintesi, Risebrow e Berrett dimostrano che l'integrazione intelligente di dati non etichettati, combinata con una corretta correzione del bias dovuta ai dati mancanti, permette di raggiungere limiti di prestazione statistica ottimali, superando di gran lunga le metodologie tradizionali supervisionate.