S2MAM: Semi-supervised Meta Additive Model for Robust Estimation and Variable Selection

1. Il Problema

Il lavoro affronta le limitazioni degli attuali modelli di Apprendimento Semi-Supervisionato (SSL) basati sulla regolarizzazione su varietà (manifold regularization), come LapRLS e LapSVM.

• Ipotesi di base: Questi metodi assumono che la distribuzione dei dati giaccia su una varietà riemanniana e utilizzano un operatore di Laplace-Beltrami approssimato empiricamente tramite una matrice di similarità (o grafo Laplaciano).
• La sfida: La costruzione della matrice di similarità dipende criticamente da una metrica di similarità predefinita su tutte le variabili di input. In presenza di dati ad alta dimensionalità contenenti variabili ridondanti, irrilevanti o rumorose, la matrice di similarità diventa distorta. Questo porta a una penalizzazione inappropriata, degradando significativamente la capacità predittiva e la robustezza del modello.
• Limiti delle soluzioni esistenti: Le strategie attuali di selezione delle variabili sono spesso disaccoppiate dalla struttura della varietà intrinseca o richiedono una quantità di dati etichettati sufficiente per essere efficaci, cosa rara nello scenario semi-supervisionato. Inoltre, molti modelli mancano di interpretabilità.

2. Metodologia: S2MAM

Gli autori propongono S2MAM (Semi-Supervised Meta Additive Model), un nuovo framework che integra l'apprendimento meta, i modelli additivi sparsi e la regolarizzazione su varietà in un unico schema di ottimizzazione bilevel.

A. Modello Additivo Sparsso Semi-Supervisionato

Il modello assume una funzione di predizione additiva:
$$f(x) = \sum_{j=1}^{p} f^{(j)}(x^{(j)})$$
dove ogni componente $f^{(j)}$ appartiene a uno spazio di Hilbert a kernel riproducente (RKHS). Viene introdotta una regolarizzazione $\ell_{2,1}$ per favorire la sparsità a livello di variabili.

B. Ottimizzazione Bilevel con Maschere

Per gestire il rumore e la ridondanza, S2MAM introduce un vettore di maschere binarie $m \in \{0, 1\}^p$, dove $m_j=1$ indica che la variabile $j$ è informativa e $m_j=0$ che viene ignorata.

• Livello Superiore (Meta-Learning): L'obiettivo è apprendere le maschere ottimali $m$ minimizzando l'errore di perdita su un dataset meta (dati etichettati).
  $$\min_{m} \mathcal{L}(\hat{\alpha}(m))$$
• Livello Inferiore (Training): Dati le maschere $m$, si ottimizzano i parametri del modello $\alpha$ e la matrice Laplaciana $L$ su tutto il dataset (etichettato + non etichettato). La similarità tra campioni è calcolata solo sulle variabili selezionate ($x \odot m$).
  $$\hat{\alpha} = \arg\min_{\alpha} R(\alpha; m; L)$$

C. Approccio Probabilistico e Algoritmo

Poiché l'ottimizzazione diretta su variabili discrete $\{0, 1\}$ è NP-difficile, S2MAM utilizza un approccio probabilistico:

1. Le maschere discrete sono rilassate in variabili continue $s \in [0, 1]$ (probabilità di selezione), modellate come variabili Bernoulliane.
2. Viene utilizzata una stima del gradiente della politica (Policy Gradient) per aggiornare le probabilità $s$ senza calcolare costose matrici Hessiane o Jacobiane implicite.
3. L'algoritmo alterna l'aggiornamento dei parametri del modello e l'aggiornamento delle probabilità di selezione delle variabili, aggiornando dinamicamente la matrice di similarità.

3. Contributi Chiave

1. Nuovo Modello Statistico: S2MAM è il primo metodo di apprendimento meta per modelli additivi con regolarizzazione su varietà. Permette la selezione automatica delle variabili guidata dai dati, riducendo l'impatto delle variabili rumorose.
2. Supporto Teorico e Computazionale:
   • Viene sviluppato un algoritmo di ottimizzazione bilevel probabilistico efficiente che evita il carico computazionale pesante tipico dei metodi bilevel classici.
   • Vengono forniti garanzie di convergenza per l'algoritmo proposto.
   • Viene stabilita una limitazione superiore dell'errore di generalizzazione (excess risk), dimostrando che l'approccio raggiunge un decadimento polinomiale dell'errore, sfruttando la struttura geometrica dei dati non etichettati.
3. Interpretabilità e Robustezza: A differenza dei modelli "black-box" o di quelli che pesano le variabili in modo continuo, S2MAM seleziona attivamente le variabili (maschera 0/1), fornendo un modello interpretabile e robusto al rumore.

4. Risultati Sperimentali

Il modello è stato valutato su 4 dataset sintetici e 12 dataset reali (inclusi dati clinici ADNI, immagini COIL-20, CelebA-HQ e AgeDB), confrontandosi con modelli supervisionati, SSL tradizionali e deep SSL.

• Robustezza al Rumore: Sui dati sintetici con variabili irrilevanti ($p_u$) e rumorose ($p_n$), S2MAM ha ottenuto la massima accuratezza e la minima varianza rispetto a tutti i baseline (inclusi LapSVM, AWSSL, RER, FlexMatch). I modelli tradizionali hanno mostrato un crollo delle prestazioni in presenza di rumore.
• Dati Clinici (ADNI): Nel task di regressione su dati ad alta dimensionalità (326 feature), S2MAM ha ridotto l'errore quadratico medio (MSE) di circa 0.119 rispetto ai migliori baseline competitivi, dimostrando capacità di isolare la struttura informativa anche in ambienti sparsi e rumorosi.
• Efficienza Computazionale: Sui dataset di immagini (CelebA-HQ), S2MAM ha raggiunto un'accuratezza superiore (92.1%) rispetto a metodi deep SSL complessi (es. FlexMatch al 91.8%), ma con un tempo di training drasticamente inferiore (8.4 minuti contro 35.2 minuti), grazie all'uso di Random Fourier Features (RFF) nella variante accelerata S2MAM-F.
• Interpretabilità: Il modello è in grado di identificare correttamente le variabili informative, confermando la sua capacità di selezione delle feature.

5. Significato e Impatto

S2MAM rappresenta un avanzamento significativo nell'intersezione tra Apprendimento Semi-Supervisionato, Modelli Additivi e Apprendimento Meta.

• Superamento del "Curse of Dimensionality": Risolve il problema della distorsione della struttura della varietà causata da variabili irrilevanti, un problema critico nei dati reali ad alta dimensionalità.
• Equilibrio Prestazioni/Interpretabilità: Dimostra che è possibile ottenere modelli ad alte prestazioni (spesso dominio dei Deep Learning) mantenendo la trasparenza e l'interpretabilità dei modelli lineari/additivi, cruciali in settori come la medicina (es. diagnosi basata su ADNI).
• Fondamento Teorico: Fornisce le prime garanzie teoriche di generalizzazione per modelli additivi semi-supervisionati con selezione di variabili dinamica, colmando un divario nella letteratura teorica esistente.

In sintesi, S2MAM offre una soluzione robusta, efficiente e interpretabile per l'apprendimento semi-supervisionato in scenari reali caratterizzati da rumore e alta dimensionalità.