Degrees of Freedom in Penalized Regression: Model Selection with Adaptive Penalties

Titel: Vrijheidsgraden in Gestraffe Regression: Modelselectie met Adaptieve Straftermen

Auteurs: Mauro Bernardi, Antonio Canale, en Marco Stefanucci.

1. Probleemstelling

Bij gestrafte regressie (penalized regression) is modelselectie cruciaal en hangt deze sterk af van een accurate schatting van de modelcomplexiteit. Deze complexiteit wordt doorgaans gekwantificeerd via de effectieve vrijheidsgraden (effective degrees of freedom, df).

• Huidige praktijk: Voor de standaard Lasso (Tibshirani, 1996) is er een eenvoudige, onbevooroordeelde schatter voor de vrijheidsgraden: het aantal niet-nul coëfficiënten (de grootte van de "active set").
• Het probleem: Deze eigenschap wordt ten onrechte veralgemeend naar meer geavanceerde methoden zoals de Adaptive Lasso en de Group Lasso. Hoewel deze methoden data-gedreven gewichten gebruiken om schattingsbias te verminderen en "oracle"-eigenschappen te bereiken, verandert de data-afhankelijkheid van de straffing fundamenteel de relatie tussen modelfit en complexiteit.
• Gevolg: Het gebruik van de grootte van de active set als proxy voor de vrijheidsgraden in adaptieve methoden leidt tot vertekende risicoschattingen en onbetrouwbare modelselectie (bijvoorbeeld via AIC of BIC). De auteurs tonen aan dat deze vereenvoudiging systematisch de ware complexiteit onderschat bij de Adaptive Lasso en overschat bij de Group Lasso.

2. Methodologie

De auteurs gebruiken het raamwerk van Stein's onbevooroordeelde risicoschatting (Stein's Unbiased Risk Estimation - SURE) om nieuwe, wiskundig onderbouwde schatters voor de vrijheidsgraden af te leiden.

• Definitie: De vrijheidsgraden worden gedefinieerd als de verwachte divergentie van de voorspellingen ten opzichte van de responsvariabele:
  $$df(\hat{y}) = E\left[ \text{trace}\left( \frac{\partial \hat{y}}{\partial y} \right) \right]$$
• Aanpak:
  1. Adaptive Lasso: De auteurs analyseren de afgeleide van de voorspellingen ten opzichte van de respons, waarbij ze expliciet rekening houden met de afgeleide van de data-afhankelijke gewichten ($w_j$) ten opzichte van de least-squares schatters.
  2. Group Lasso: Ze herleiden de vrijheidsgraden voor de Group Lasso, waarbij ze de structuur van de groepen en de $\ell_2$-norm binnen groepen in aanmerking nemen. Ze onderzoeken het gedrag langs het regularisatiepad, zowel voor orthogonale als niet-orthogonale ontwerpen.
  3. Adaptive Group Lasso: Ze combineren de bovenstaande inzichten om een schatter af te leiden die zowel de inflatie door adaptieve gewichten als de contractie door de $\ell_2$-norm binnen groepen in beschouwing neemt.
  4. Ontwerpcondities: De afleidingen gelden voor zowel orthonormale ontwerpen ($X^\top X = I$) als algemene, niet-orthogonale ontwerpen, wat een significant vooruitgang is ten opzichte van eerdere literatuur die vaak beperkt bleef tot orthogonale gevallen.

3. Belangrijkste Bijdragen en Resultaten

A. Adaptive Lasso

• Nieuwe Schatter: De auteurs leiden een onbevooroordeelde schatter af voor de vrijheidsgraden die bestaat uit de grootte van de active set ($|A|$) plus een correctieterm die afhangt van de afgeleide van de gewichten en de regularisatieparameter $\gamma$.
  • Voor een orthonormaal ontwerp met gewichten $w_j = 1/|\hat{\beta}^{LS}_j|$:
    $$\widehat{df}_\gamma = |A| + \gamma \sum_{j \in A} \frac{1}{(\hat{\beta}^{LS}_j)^2}$$
• Inzicht: De vrijheidsgraden zijn niet constant per interval van $\gamma$ (zoals bij de standaard Lasso), maar vertonen een stuksgewijs lineair gedrag met een positieve helling.
• Conclusie: De gebruikelijke praktijk om $|A|$ te gebruiken, onderschat systematisch de ware complexiteit. Interessant genoeg kan de geschatte complexiteit toenemen terwijl het aantal actieve variabelen afneemt, vanwege de interactie tussen de adaptieve gewichten en de data.

B. Group Lasso

• Nieuwe Schatter: Voor de Group Lasso wordt de vrijheidsgraden geschat via de spoor (trace) van een matrix die afhangt van het ontwerp en de geschatte coëfficiënten.
  $$\widehat{df}_\gamma = \text{trace}\left[ (I_n + \gamma B)^{-1} A \right]$$
• Gedrag: In tegenstelling tot de Lasso, is de schatter voor de Group Lasso een continu, stuksgewijs functioneel gedrag (niet constant).
• Grens: De geschatte vrijheidsgraden liggen strikt tussen het aantal actieve groepen ($|A_G|$) en het aantal actieve variabelen ($|A_p|$).
  $$|A_G| \leq \widehat{df}_\gamma \leq |A_p|$$
• Conclusie: Het gebruik van de grootte van de active set overschat hier de complexiteit. De $\ell_2$-straf binnen groepen leidt tot een zuinigere gebruik van de informatie in de data.
• Monotonie: De auteurs tonen aan dat de monotonie van de vrijheidsgraden (afname bij toenemende $\gamma$) niet gegarandeerd is voor niet-orthogonale ontwerpen, in tegenstelling tot wat vaak wordt aangenomen.

C. Adaptive Group Lasso

• Interactie: De schatter combineert twee tegenstrijdige effecten: een inflatie-effect door de adaptieve gewichten (zoals bij Adaptive Lasso) en een contractie-effect door de $\ell_2$-norm (zoals bij Group Lasso).
• Resultaat: De uiteindelijke schatter is de som van deze effecten. Onder bepaalde voorwaarden is de complexiteit van de Adaptive Group Lasso hoger dan die van de standaard Group Lasso, maar lager dan de som van de individuele effecten zou suggereren.

4. Empirische Validatie

De auteurs valideren hun theorie via twee experimenten:

1. Synthetische Data: Met 10.000 replicaties wordt aangetoond dat de gemiddelde waarde van de nieuwe schatters overeenkomt met de theoretische vrijheidsgraden (berekend via de covariantieformule), terwijl de "active set" proxy significant afwijkt.
   • Bij Adaptive Lasso selecteert de correcte BIC (met nieuwe df) het juiste aantal variabelen (9), terwijl de Group Lasso (zonder adaptiviteit) vaak te veel ruisvariabelen behoudt.
2. Diabetes Dataset:
   • Bij toepassing op de Diabetes-data wordt duidelijk dat het gebruik van de active set als df leidt tot een suboptimale keuze van de regularisatieparameter $\gamma$ via BIC.
   • De correcte schatter resulteert in een $\gamma$ die beter overeenkomt met cross-validatie en leidt tot minder over-regularisatie (in het geval van Adaptive Lasso).

5. Significatie en Conclusie

Dit artikel biedt een fundamentele correctie op een veelvoorkomende misvatting in de statistische leerliteratuur en praktijk.

• Theoretische Impact: Het biedt de eerste onbevooroordeelde schatters voor de vrijheidsgraden van adaptieve gestrafte regressiemethoden binnen het Stein-raamwerk, geldend voor algemene ontwerpen.
• Praktische Implicatie: Het gebruik van de grootte van de active set als proxy voor vrijheidsgraden is onjuist voor adaptieve methoden. Dit leidt tot:
  • Onnauwkeurige risicoschattingen.
  • Suboptimale modelselectie (via AIC/BIC).
  • Foutieve inferentie over modelcomplexiteit.
• Toekomst: De auteurs merken op dat de regime $n < p$ (hoogdimensionaal) nog verdere theoretisch onderzoek vereist, aangezien de standaard definitie van adaptieve gewichten (gebaseerd op least-squares) hier niet direct toepasbaar is, hoewel numerieke experimenten met ridge-regressie als vervanger veelbelovend zijn.

Kortom, dit werk legt een rigoureuze theoretische basis voor het begrijpen van modelcomplexiteit in adaptieve gestrafte regressie en stelt onderzoekers en practitioners in staat om betrouwbaardere modellen te selecteren.