Improving variable selection properties with data integration and transfer learning

1. Il Problema

Il lavoro si concentra sul problema della selezione delle variabili (o recupero del supporto) in modelli di regressione lineare ad alta dimensionalità, dove il numero di predittori $p$ è molto maggiore del numero di osservazioni $n$ ($n \ll p$).
In tali contesti, la consistenza nel recupero delle variabili attive (quelle con coefficienti non nulli) richiede condizioni restrittive su dimensione del campione, forza del segnale e sparsità. Spesso, un singolo dataset non fornisce informazioni sufficienti per soddisfare queste condizioni.
Il paper affronta la questione di come integrare informazioni esterne (ad esempio, risultati di studi precedenti, annotazioni funzionali o dataset sorgente) per rilassare queste condizioni e migliorare la selezione. Un caso specifico di interesse è l'apprendimento per trasferimento strutturale (structural transfer learning), dove le variabili selezionate in uno o più dataset sorgente vengono utilizzate per guidare la selezione in un dataset target, senza necessariamente assumere che i parametri siano identici tra i dataset.

2. Metodologia

Penalizzazioni $\ell_0$ Informate Esternamente

Gli autori propongono una famiglia di penalizzazioni basate sulla norma $\ell_0$ che dipendono da informazioni esterne $z$.

• Struttura a Blocchi: Le informazioni esterne $z$ partizionano le $p$ variabili in $b$ blocchi disgiunti ($B_1, \dots, B_b$). Ad esempio, in un'applicazione di trasferimento, un blocco potrebbe contenere le variabili selezionate in studi precedenti, mentre un altro quelle non selezionate.
• Penalità Differenziate: A differenza dei metodi standard che applicano una penalità uniforme $\kappa$ a tutte le variabili, il metodo proposto assegna una penalità specifica $\kappa_j$ a ciascun blocco $j$.
• Connessione Bayesiana: La metodologia è motivata dalla selezione bayesiana delle variabili. Una penalità $\ell_0$ corrisponde all'ottimizzazione della probabilità a posteriori del modello sotto prior "spike-and-slab". Le penalità differenziate $\kappa_j$ sono equivalenti a prior di inclusione delle variabili $\theta_j$ che variano tra i blocchi, permettendo di codificare la conoscenza esterna sulla probabilità che una variabile sia attiva.

Procedura Empirica Bayes (Adattiva)

Poiché le penalità ottimali ("oracolo") dipendono da parametri sconosciuti (come il numero esatto di variabili attive per blocco e la forza del segnale), gli autori propongono una procedura Empirical Bayes in due fasi per stimare le penalità dai dati:

1. Fase 1 (Stima preliminare): Si utilizza una penalità comune $\kappa^\circ$ su tutti i blocchi per calcolare le probabilità di inclusione a posteriori (o pseudo-posteriori) per ogni variabile.
2. Fase 2 (Adattamento): Si stima il numero di variabili attive $\hat{s}_j$ in ciascun blocco sommando le probabilità di inclusione. Queste stime vengono poi utilizzate per calcolare penalità adattive $\kappa_j^A = \ln(p_j - \hat{s}_j) + \frac{1}{2}\ln(n)$, che riflettono la sparsità specifica di ogni blocco.

Applicazione al Transfer Learning: Tran-s-$\ell_0$

Per il trasferimento strutturale, viene proposto l'algoritmo Tran-s-$\ell_0$:

• Le variabili selezionate in almeno un dataset sorgente formano il primo blocco ($B_1$).
• Le restanti variabili formano il secondo blocco ($B_2$).
• Viene applicata la procedura adattiva sopra descritta.
• Robustezza: Il metodo è teoricamente dimostrato essere robusto al "negative transfer" (quando le informazioni sorgente sono fuorvianti o non correlate al target). Se i dataset sorgente non sono informativi, il metodo degrada naturalmente alle prestazioni di un selezionatore standard, senza peggiorare le prestazioni.

3. Contributi Chiave

1. Teoria di Consistenza con Informazioni Esterne: Gli autori dimostrano che l'uso di penalità informate permette di recuperare il supporto vero con probabilità che tende a 1 sotto condizioni matematiche più deboli rispetto ai metodi standard. In particolare, riduce la soglia minima di forza del segnale ($\beta_{min}$) necessaria per la consistenza.
2. Miglioramento dei Tassi di Convergenza: Quando sia il metodo informato che quello standard sono consistenti, il metodo informato converge alla soluzione vera a un tasso esponenzialmente più veloce.
3. Procedure Computazionali Efficiente: Viene proposta una procedura Empirical Bayes che non richiede conoscenze oracolari (parametri veri) ma apprende le penalità ottimali direttamente dai dati, mantenendo le proprietà teoriche di miglioramento.
4. Analisi del Transfer Learning Strutturale: Fornisce il primo quadro teorico rigoroso che dimostra come il trasferimento di informazioni sulla struttura (supporto) delle variabili, piuttosto che sui parametri, possa migliorare la selezione in presenza di eterogeneità tra dataset sorgente e target.

4. Risultati

• Condizioni Teoriche: Sono state derivate condizioni sufficienti e necessarie per la consistenza. È stato mostrato che la penalità ottimale per un blocco dipende dal rapporto tra il numero di variabili inattive e attive in quel blocco specifico.
• Simulazioni:
  • In scenari dove i blocchi sono informativi (diversa sparsità o forza del segnale tra gruppi), il metodo adattivo informato ($\hat{S}^{A,ei}$) supera significativamente i metodi standard ($\hat{S}^{A,sd}$), EBIC, LASSO e SCAD, ottenendo una probabilità di recupero corretto più alta e un FDR (False Discovery Rate) più basso.
  • In scenari di trasferimento (dati sorgente e target), l'algoritmo Tran-s-$\ell_0$ mostra prestazioni superiori quando c'è sovrapposizione tra le variabili attive sorgente e target.
  • Robustezza: Nei casi di trasferimento irrilevante (nessuna sovrapposizione), il metodo non subisce un degrado delle prestazioni rispetto ai metodi non informati, confermando la robustezza al negative transfer.
• Applicazione Genomica (Cancro del Colon):
  • Il metodo è stato applicato per identificare geni associati all'espressione di TGFB in umani, utilizzando come informazione esterna i 172 geni associati a TGFB in un modello murino (topo).
  • Rispetto ai metodi standard, Tran-s-$\ell_0$ ha selezionato un numero maggiore di geni presenti nella lista dei topi (confermando la rilevanza biologica del trasferimento) e un numero inferiore di geni estranei, ottenendo un errore quadratico medio (MSE) cross-validato inferiore rispetto all'EBIC e probabilità di inclusione a posteriori più elevate per i geni rilevanti.

5. Significato e Implicazioni

Questo lavoro è significativo perché colma il divario tra l'uso empirico di informazioni esterne nella selezione delle variabili e la loro giustificazione teorica rigorosa.

• Superamento dei Limiti: Dimostra che l'integrazione di dati esterni può rendere fattibile la selezione delle variabili in regimi ad alta dimensionalità dove i metodi tradizionali fallirebbero.
• Flessibilità: La metodologia non richiede che i dataset sorgente e target siano identici (come spesso richiesto nel transfer learning per la stima dei parametri), ma si adatta anche a situazioni in cui le strutture di supporto differiscono parzialmente o totalmente.
• Efficienza Computazionale: Nonostante la complessità teorica, la procedura proposta è computazionalmente fattibile (utilizzando MCMC o ottimizzazione per problemi $\ell_0$ moderni) e scalabile.
• Impatto Pratico: Offre un framework solido per applicazioni in campi come la genomica, dove l'integrazione di dati cross-specie (es. topo-umano) o multi-omici è comune ma spesso gestita in modo euristico.

In sintesi, il paper fornisce sia le fondamenta teoriche che gli strumenti pratici per sfruttare informazioni esterne nella selezione delle variabili, migliorando la consistenza, la velocità di convergenza e la robustezza rispetto ai metodi attuali.