Robust and Sparse Generalized Linear Models for High-Dimensional Data via Maximum Mean Discrepancy

Sintesi Tecnica: Modelli Lineari Generalizzati Robusti e Sparsi per Dati ad Alta Dimensionalità tramite la Massima Discrepanza Media

Enunciato del Problema
I set di dati ad alta dimensionalità in campi come la genomica e la finanza sono frequentemente contaminati da outlier e rumore a code pesanti. Gli stimatori regolarizzati standard, come il Lasso (stima di massima verosimiglianza penalizzata con $\ell_1$), sono altamente sensibili a tale contaminazione, portando a stime dei parametri distorte e a una scarsa selezione delle variabili. Sebbene esistano metodi robusti come gli stimatori M (ad esempio, la perdita di Huber) e la Divergenza di Potenza della Densità (DPD), essi affrontano spesso sfide di ottimizzazione in paesaggi non convessi o sono adattati a specifiche famiglie di distribuzioni. Inoltre, gli esistenti framework basati sulla Massima Discrepanza Media (MMD), che offrono una robustezza "universale" trattando la stima come un problema di distanza minima in uno Spazio di Hilbert Riproducibile (RKHS), sono stati progettati principalmente per contesti a bassa o media dimensionalità. Essi mancano dei meccanismi di contrazione necessari per gestire i vincoli di sparsità nei regimi ad alta dimensionalità dove il numero di predittori $p$ supera la dimensione del campione $n$ ($p \gg n$), il che spesso risulta in overfitting o fallimento dell'identificabilità.

Metodologia
Gli autori propongono un framework MMD penalizzato per i Modelli Lineari Generalizzati (GLM) che integra penalità $\ell_1$ per la selezione delle variabili con la robustezza della MMD.

1. Funzione Obiettivo: L'innovazione centrale è la formulazione di un obiettivo MMD penalizzato. Gli autori definiscono due stimatori:

   • Stimatore Completo ($\hat{\theta}_n$): Una versione $O(n^2)$ che minimizza la distanza MMD al quadrato tra la distribuzione congiunta empirica dei dati e la distribuzione congiunta del modello, più una penalità $\ell_1$.
   • Stimatore Approssimato ($\tilde{\theta}_n$): Un'approssimazione computazionalmente efficiente $O(n)$. Questa versione assume che il kernel di input $K_x$ decada rapidamente, permettendo di trascurare i termini incrociati ($i \neq j$) nell'espansione MMD. Ciò riduce la complessità da quadratica a lineare rispetto a $n$.
   • Entrambi gli stimatori minimizzano: $\sum \text{termini MMD} + \lambda \|\theta\|_1$.

2. Formulazioni Specifiche:

   • Regressione Lineare Gaussiana: Gli autori derivano funzioni di perdita semplificate utilizzando kernel gaussiani per la variabile risposta, sfruttando la somiglianza tra il kernel e la densità normale.
   • Regressione Logistica Binaria: Viene impiegato un kernel geometrico per la variabile risposta discreta per costruire la distanza MMD.

3. Algoritmo di Ottimizzazione:

   • Poiché i problemi di ottimizzazione risultanti sono non convessi, gli autori impiegano un algoritmo che combina il Metodo Alternato dei Moltiplicatori di Lagrange (ADMM) con AdaGrad.
   • L'ADMM è utilizzato per disaccoppiare la penalità $\ell_1$ non regolare dalla funzione di perdita MMD tramite una variabile ausiliaria e moltiplicatori di Lagrange.
   • AdaGrad viene utilizzato per aggiornare i parametri del modello ($\theta$), scalando adattivamente i tassi di apprendimento per gestire la non convessità della perdita MMD, particolarmente in contesti ad alta dimensionalità.
   • L'algoritmo include aggiornamenti per il parametro di varianza ($\sigma^2$) nel caso della regressione lineare per mantenere la coerenza della scala del kernel.

Contributi Chiave

• GLM Robusti ad Alta Dimensionalità: Il paper colma il divario tra l'inferenza robusta basata su MMD e la statistica ad alta dimensionalità introducendo penalità che inducono la sparsità nel framework MMD.
• Gestione dei Punti di Leva (Leverage Points): A differenza dei tradizionali stimatori M che si affidano a funzioni di influenza limitate per coordinata, i quali spesso falliscono con punti di leva elevata, l'approccio MMD utilizza una prospettiva della distribuzione congiunta. Ciò consente allo stimatore di gestire simultaneamente gli outlier sia nello spazio della risposta ($Y$) che nello spazio delle covariate ($X$).
• Efficienza Computazionale: Lo sviluppo dello stimatore approssimato $O(n)$ rende il metodo scalabile per grandi dataset, un miglioramento significativo rispetto alla complessità $O(n^2)$ degli approcci MMD standard.
• Integrazione Algoritmica: Il successo della combinazione di ADMM e AdaGrad per risolvere problemi regolarizzati basati su kernel e non convessi in alta dimensionalità.

Risultati
Studi di simulazione estesi e applicazioni su dati reali sono stati condotti per valutare i metodi proposti rispetto a benchmark come Lasso, Huber-Lasso, l'estimatore robusto di Loh ed enetLTS.

• Simulazione (Regressione Lineare Gaussiana):

  • Robustezza: Gli stimatori MMD proposti ($\hat{\theta}_n$ e $\tilde{\theta}_n$) hanno dimostrato una stabilità superiore sotto distribuzioni di errore a code pesanti (Laplace, $t_5$) e contaminazione da punti di leva elevata ($X_1, X_2$) rispetto a Lasso e ai metodi Huber.
  • Selezione delle Variabili: I metodi MMD hanno costantemente ottenuto una minore Perdita di Selezione Errata (FSL), indicando una migliore capacità di distinguere i segnali veri dal rumore anche quando i predittori erano contaminati.
  • Predizione: Lo stimatore approssimato $O(n)$ ha performato in modo quasi identico alla versione completa $O(n^2)$, validando il suo uso per l'efficienza computazionale senza una significativa perdita di accuratezza.

• Simulazione (Regressione Logistica Binaria):

  • In contesti ad alta dimensionalità ($p=100, 200$), il Lasso standard e gli esistenti metodi robusti (enetLTS) hanno mostrato un degrado significativo nell'Errore Quadratico Medio (MSE) e nei tassi di misclassificazione sotto contaminazione.
  • Gli stimatori MMD proposti hanno mantenuto un basso MSE e un basso errore di misclassificazione, particolarmente in scenari di etichette invertite (flipped labels) e predittori attivi corrotti.
  • Lo stimatore approssimato ($\tilde{\theta}_n$) ha spesso fornito la migliore accuratezza predittiva nei compiti di classificazione.

• Applicazioni su Dati Reali:

  • Dati sul Cancro NCI-60: Lo stimatore MMD completo ($\hat{\theta}_n$) ha ottenuto un MSE di predizione mediano inferiore e una maggiore stabilità rispetto al benchmark sparseLTS.
  • Dati sul Default delle Carte di Credito: Lo stimatore approssimato ($\tilde{\theta}_n$) ha fornito un confine di classificazione più robusto rispetto al Lasso logistico standard in presenza di rumore e squilibrio delle classi, dimostrando efficienza in contesti su larga scala ($n=30.000$).

Significatività e Rivendicazioni
Il paper sostiene che il framework MMD penalizzato proposto offre un profilo di robustezza "universale" che è particolarmente efficace in scenari ad alta dimensionalità dove i metodi tradizionali faticano. Gli autori sottolineano che la prospettiva della distribuzione congiunta della MMD è cruciale per gestire i punti di leva, un tipico punto di debolezza per gli stimatori robusti per coordinata.

Il lavoro stabilisce che:

1. La MMD può essere estesa con successo ai GLM ad alta dimensionalità con selezione delle variabili.
2. L'approssimazione $O(n)$ è un'alternativa valida ed efficiente alla computazione completa $O(n^2)$.
3. Il metodo mantiene un equilibrio tra accuratezza della stima e selezione delle variabili attraverso diversi scenari di contaminazione, inclusi errori a code pesanti e punti di leva elevata.

Gli autori notano modestamente che il lavoro futuro dovrebbe investigare le proprietà oracle teoriche di questi stimatori ed esplorare metodi di selezione automatica della larghezza di banda (bandwidth) per migliorarne ulteriormente l'applicabilità. Suggeriscono inoltre di estendere il framework a penalità di sparsità di gruppo per l'integrazione di dati multi-modali.