Linear Models, Variable Selection, Artificial Intelligence

1. Enunciato del Problema

La selezione delle variabili nella regressione lineare è una sfida fondamentale in statistica, in particolare quando si tratta di distinguere tra predittori "attivi" (significativi) e "inattivi" (rumore). I metodi tradizionali presentano diverse limitazioni:

• Metodi Stepwise (Avanti/Indietro/Stepwise): Si basano su test di ipotesi sequenziali, rendendoli sensibili alla collinearità, all'ordine di inserimento delle variabili e all'instabilità dei valori p. Spesso producono modelli diversi per dataset leggermente perturbati.
• Criteri di Informazione (AIC/BIC): Sebbene penalizzino la complessità, richiedono la valutazione di un vasto numero di modelli candidati ($2^p$) e non gestiscono intrinsecamente strutture non lineari o multicollinearità senza una modellazione esplicita.
• Regressione Penalizzata (LASSO/Elastic Net): Queste tecniche restringono i coefficienti verso lo zero ma richiedono una regolazione attenta degli iperparametri ($\lambda$) e possono essere inconsistenti nella selezione delle variabili quando i predittori sono altamente correlati.
• Il Problema Centrale: Le regole basate su soglie classiche (ad esempio, selezionare variabili con $|t| > 2$) spesso falliscono perché le distribuzioni delle statistiche t per predittori attivi e inattivi si sovrappongono significativamente, specialmente in scenari ad alto rumore o con campioni piccoli.

2. Metodologia

Gli autori propongono di riformulare la selezione delle variabili come un problema di classificazione binaria utilizzando Reti Neurali Artificiali (ANN). Invece di derivare una nuova regola analitica, il metodo impara il confine decisionale tra variabili attive e inattive da dati simulati.

A. Generazione dei Dati e Strategia di Addestramento

L'innovazione centrale è l'uso di un approccio guidato da dati sintetici:

1. Simulazione: Vengono generati migliaia di dataset di regressione lineare con dimensioni campionarie ($n$), varianze dell'errore ($\sigma^2$) e numeri di predittori ($p$) variabili.
2. Verità Fondamentale (Ground Truth): Per ogni dataset, viene definito a priori un vero vettore indicatore binario ($\Gamma$), specificando quali variabili sono attive ($\beta \neq 0$) e quali sono inattive ($\beta = 0$).
3. Estrazione delle Caratteristiche: Per ogni dataset simulato, viene adattata una regressione dei Minimi Quadrati Ordinari (OLS) (senza intercetta su dati standardizzati). Le caratteristiche di input per l'ANN sono le statistiche t risultanti per ogni coefficiente: $T = \{t_{\hat{\beta}_1}, t_{\hat{\beta}_2}, \dots, t_{\hat{\beta}_p}\}$.
4. Obiettivo: L'output è il vettore binario $\Gamma$ (1 per attivo, 0 per inattivo).
5. Addestramento: Una ANN (utilizzando Keras/TensorFlow) viene addestrata tramite backpropagation per mappare il vettore delle statistiche t agli indicatori di inclusione reali. La rete impara la relazione complessa e non lineare tra i valori t e la significatività delle variabili attraverso condizioni diverse di rumore e dimensione campionaria.

B. Scalabilità tramite Padding

Per gestire numeri variabili di predittori senza riaddestramento, gli autori impiegano un meccanismo di padding:

• L'ANN è progettata per accettare una dimensione di input fissa di 100 predittori.
• Se un dataset ha $p < 100$ predittori, il vettore dei valori t viene riempito con zeri per raggiungere la lunghezza 100.
• L'output è analogamente un vettore binario di lunghezza 100, dove le prime $p$ voci corrispondono alle variabili effettive e il resto viene ignorato.
• Questo permette a un singolo modello pre-addestrato di gestire qualsiasi dataset con fino a 100 predittori.

3. Contributi Chiave

1. Selezione delle Variabili Guidata dall'IA: Introduce un nuovo framework in cui una ANN funge da selezionatore universale, imparando a distinguere il segnale dal rumore basandosi sulle statistiche t OLS, bypassando la necessità di euristiche stepwise o regolazione manuale.
2. Robustezza alla Sovrapposizione: Addestrando su scenari diversi in cui le distribuzioni t attive e inattive si sovrappongono, l'ANN sviluppa una regola decisionale flessibile superiore alle soglie fisse.
3. Scalabilità: La tecnica di padding consente a un singolo modello di gestire numeri variabili di predittori (fino a 100), risolvendo una limitazione comune nelle reti neurali ad architettura fissa.
4. Open Source: Gli autori forniscono un modello ANN pre-addestrato, il codice di simulazione e il dataset OMS utilizzato per la validazione.

4. Risultati

A. Studio di Simulazione (Metriche di Prestazione)

Il metodo è stato confrontato con LASSO, Selezione Avanti, Eliminazione Indietro, AIC e BIC attraverso dimensioni campionarie ($n=50, 250, 1000$) e varianze ($\sigma^2 = 0.01, 0.1, 0.5$).

• Falsi Positivi (FP): L'ANN ha dimostrato tassi di Falsi Positivi eccezionalmente bassi (alto tasso di Corretti Negativi). Ad esempio, a $n=50, \sigma^2=0.5$, l'ANN ha avuto un tasso FP di 0.011, mentre LASSO ha avuto 0.882.
• Vero Positivi (TP): L'ANN ha mostrato tassi di Vero Positivo (Corretto Positivo) più bassi in scenari ad alto rumore e piccoli campioni rispetto a LASSO. Ad esempio, a $n=50, \sigma^2=0.5$, il CP dell'ANN era 0.391 contro 0.949 di LASSO.
• Compromesso: L'ANN è conservativa. Priorizza l'evitare inclusioni false (errori di Tipo I) rispetto alla cattura di ogni segnale debole (errori di Tipo II). All'aumentare della dimensione campionaria, il divario di prestazione tra i metodi diminuisce.
• Efficienza Computazionale:
  • LASSO: Più veloce (< 0.001s).
  • ANN: Molto veloce (0.067s), significativamente più veloce di AIC/BIC (1.0s) che richiedono una ricerca esaustiva dei modelli.
  • Stepwise: Velocità moderata.

B. Applicazione nel Mondo Reale (Dataset OMS)

Il metodo è stato applicato ai dati dell'Organizzazione Mondiale della Sanità (141 paesi, anni 2000 e 2015) per prevedere l'Aspettativa di Vita.

• Coerenza: L'ANN ha selezionato un sottoinsieme di variabili più piccolo e più parsimonioso rispetto ad altri metodi.
  • Dati 2000: L'ANN ha selezionato solo HIV/AIDS e ICR. LASSO ha selezionato quasi tutte le variabili; i metodi Stepwise ne hanno selezionate 5.
  • Dati 2015: L'ANN ha selezionato Mortalità Adulta, HIV/AIDS, Magrezza 1-19 e ICR.
• Interpretazione: La selezione conservativa dell'ANN suggerisce che filtra le variabili che potrebbero essere statisticamente significative nei test stepwise ma mancano di potere predittivo robusto in presenza di multicollinearità.

5. Significato e Conclusione

• Strumento Complementare: Questo approccio non sostituisce la statistica classica ma offre un'alternativa potente e guidata dai dati per situazioni in cui i metodi tradizionali producono risultati instabili o conflittuali.
• Stabilità: L'ANN fornisce una regola di selezione stabile che è meno sensibile all'ordine specifico delle variabili o a piccole perturbazioni dei dati rispetto alla regressione stepwise.
• Direzioni Future: Gli autori suggeriscono di estendere questo framework per gestire dati mancanti, variabili categoriche, regressione non lineare e modelli di serie temporali. Propongono inoltre di esplorare meccanismi di attenzione per casi ad alta dimensionalità ($n < p$).

In sintesi, il documento dimostra che una ANN addestrata su modelli lineari sintetici può imparare efficacemente la "forma" della significatività delle variabili, offrendo un metodo rapido, scalabile e altamente conservativo per la selezione delle variabili che minimizza i falsi positivi in contesti di regressione complessi.