Degrees of Freedom in Penalized Regression: Model Selection with Adaptive Penalties

1. Il Problema

La selezione del modello nella regressione penalizzata dipende criticamente da una valutazione accurata della complessità del modello, quantificata attraverso i gradi di libertà effettivi (effective degrees of freedom, df).

• Contesto: Nel Lasso standard (Tibshirani, 1996), i gradi di libertà ammettono una stima semplice e non distorta (unbiased), data dalla dimensione dell'insieme attivo (numero di coefficienti non nulli).
• La Limitazione: Questa proprietà non si estende ai metodi di penalizzazione adattiva (come l'Adaptive Lasso e l'Adaptive Group Lasso) né al Group Lasso standard in contesti generali.
• La Pratica Errata: Nonostante ciò, è diffusa la pratica ingiustificata di utilizzare la dimensione dell'insieme attivo come proxy per i gradi di libertà anche in questi metodi avanzati. Questo approccio porta a una sottostima o sovrastima della complessità del modello, distorcendo la selezione del modello (es. tramite AIC/BIC) e l'inferenza statistica.

2. Metodologia

Gli autori derivano nuovi stimatori non distorti dei gradi di libertà all'interno del quadro teorico della Stima del Rischio di Stein (Stein's Unbiased Risk Estimation - SURE).

• Definizione di base: I gradi di libertà sono definiti come $df(\hat{y}) = \frac{1}{\sigma^2} \sum_{i=1}^n \text{Cov}(y_i, \hat{y}_i)$ o, equivalentemente tramite il Lemma di Stein, come il valore atteso della traccia della divergenza: $E[\text{trace}(\frac{\partial \hat{y}}{\partial y})]$.
• Approccio Analitico:
  • Si analizza la dipendenza dei coefficienti stimati ($\hat{\beta}$) e delle pesi adattivi ($w$) rispetto al vettore di risposta $y$.
  • Si calcola la matrice Jacobiana $\frac{\partial \hat{y}}{\partial y}$ tenendo conto del fatto che, nei metodi adattivi, i pesi $w$ non sono fissi ma dipendono dai dati (spesso attraverso stime preliminari ai minimi quadrati $\hat{\beta}_{LS}$).
  • Si distinguono i casi di progettazione ortonormale ($X^\top X = I_p$) e non ortonormale (design generale), fornendo espressioni chiuse per entrambi.

3. Contributi Chiave e Risultati Teorici

A. Adaptive Lasso

Il paper deriva il primo stimatore non distorto per l'Adaptive Lasso.

• Risultato: I gradi di libertà non sono semplicemente la dimensione dell'insieme attivo $|A|$, ma includono un termine aggiuntivo che dipende dai pesi adattivi e dal parametro di regolarizzazione $\gamma$.
  • Per design ortonormale: $\widehat{df}_\gamma = |A| - \gamma \sum_{j \in A} \frac{\partial w_j}{\partial z}$.
  • Per design generale: La formula include termini aggiuntivi legati ai segni dei coefficienti e agli elementi diagonali della matrice di precisione dell'insieme attivo.
• Implicazione: Con pesi standard (decrescenti rispetto ai coefficienti LS), il termine aggiuntivo è positivo. Di conseguenza, i gradi di libertà reali sono maggiori della dimensione dell'insieme attivo. L'uso della sola dimensione dell'insieme attivo sottostima sistematicamente la complessità.
• Comportamento lungo il percorso: A differenza del Lasso (dove i df sono costanti a tratti), i df dell'Adaptive Lasso variano in modo lineare a tratti all'interno degli intervalli definiti dai punti di transizione, mostrando pendenze positive che diminuiscono all'aumentare di $\gamma$.

B. Group Lasso

Gli autori riesaminano il Group Lasso, fornendo una derivazione alternativa e più generale rispetto alla letteratura esistente.

• Risultato: I gradi di libertà sono dati dalla traccia di una matrice specifica che dipende dal design e dai coefficienti stimati, non dalla semplice proiezione sull'insieme attivo.
• Confronto: I df stimati sono minori della dimensione dell'insieme attivo dei coefficienti ($|A_p|$) e compresi tra il numero di gruppi attivi ($|A_G|$) e $|A_p|$. L'uso della norma $\ell_2$ sui gruppi induce un effetto di "contrazione" che riduce la complessità effettiva rispetto alla selezione di variabili singole.
• Monotonicità: Viene dimostrato che la monotonicità dei df rispetto a $\gamma$ non è garantita in generale per design non ortonormali, a differenza di quanto spesso assunto in letteratura per casi semplificati.

C. Adaptive Group Lasso

Si estendono i risultati al caso combinato (Adaptive Group Lasso).

• Risultato: La formula dei df incorpora due effetti competitivi:
  1. Un effetto di inflazione dovuto all'uso dei pesi adattivi (come nell'Adaptive Lasso).
  2. Un effetto di contrazione dovuto alla norma $\ell_2$ sui gruppi (come nel Group Lasso).
• Conclusione: Il bilancio netto dipende dai dati specifici, rendendo impossibile una caratterizzazione generale semplice senza il calcolo esplicito della traccia fornita dagli autori.

4. Validazione Empirica

Gli autori validano i risultati teorici attraverso:

1. Dati Sintetici: Simulazioni su larga scala ($B=10.000$ repliche) confermano che gli stimatori teorici proposti sono non distorti (la media empirica coincide con la definizione di covarianza di Stein).
   • Risultato sulla selezione: L'Adaptive Lasso e l'Adaptive Group Lasso selezionano correttamente il numero di variabili (9 su 30) nella maggior parte dei casi, mentre il Group Lasso standard tende a includere più rumore a causa della mancanza di adattività.
2. Dati Reali (Diabetes Dataset):
   • L'uso dei nuovi stimatori di df nel criterio BIC porta alla selezione di un parametro di regolarizzazione $\gamma$ ottimale più vicino a quello ottenuto con la cross-validazione rispetto all'uso della dimensione dell'insieme attivo.
   • L'uso errato della dimensione dell'insieme attivo porta a una sottostima della complessità (Adaptive Lasso) o sovrastima (Group Lasso), selezionando modelli eccessivamente regolarizzati o sottostimati.

5. Significato e Implicazioni

• Correzione di una Pratica Comune: Il paper smaschera l'errore sistematico nell'uso della dimensione dell'insieme attivo come proxy per i df in regressioni adattive.
• Selezione del Modello Robusta: Fornisce la base teorica per l'uso corretto di criteri di informazione (AIC, BIC) in contesti adattivi, migliorando l'affidabilità della selezione delle variabili.
• Complessità del Modello: Dimostra che la complessità di un modello non è solo una questione di "quante variabili sono incluse", ma dipende anche da come i pesi adattivi interagiscono con i dati e la struttura di regolarizzazione.
• Estendibilità: Sebbene il lavoro si concentri sul caso $n > p$, gli autori accennano a un'analisi preliminare nel regime $n < p$ (alta dimensionalità), suggerendo che i loro stimatori rimangono più accurati delle approssimazioni attuali anche in assenza di stime ai minimi quadrati standard (usando ridge come surrogato).

In sintesi, questo lavoro colma un vuoto teorico fondamentale, fornendo strumenti rigorosi per quantificare la complessità nei moderni metodi di regressione penalizzata adattiva, con dirette ricadute sulla qualità dell'inferenza statistica e della previsione.