Degrees of Freedom in Penalized Regression: Model Selection with Adaptive Penalties

Titel

Freiheitsgrade in der penalisierten Regression: Modellauswahl mit adaptiven Straftermen
(Degrees of Freedom in Penalized Regression: Model Selection with Adaptive Penalties)

Autoren: Mauro Bernardi, Antonio Canale, Marco Stefanucci
Institutionen: Universität Padua, Universität Rom Tor Vergata

1. Problemstellung

Die Modellauswahl in der penalisierten Regression hängt entscheidend von einer genauen Schätzung der Modellkomplexität ab, die üblicherweise durch die effektiven Freiheitsgrade (Degrees of Freedom, df) quantifiziert wird.

• Der Status Quo beim Lasso: Beim klassischen Lasso (Tibshirani, 1996) existiert ein einfacher, unverzerrter Schätzer für die Freiheitsgrade: die Größe der aktiven Menge (Anzahl der nicht-null Koeffizienten). Dies hat zu einer weit verbreiteten Praxis geführt, diese Größe auch bei anderen penalisierten Methoden als Proxy für die Freiheitsgrade zu verwenden.
• Das Problem bei adaptiven Methoden: Diese Vereinfachung gilt jedoch nicht für Methoden mit adaptiven Straftermen, wie dem Adaptive Lasso (Zou, 2006) oder dem Adaptive Group Lasso. Diese Methoden verwenden datenabhängige Gewichte, um Verzerrungen zu reduzieren und "Oracle"-Eigenschaften zu erreichen.
• Die Konsequenz: Die datenabhängige Gewichtung verändert die Beziehung zwischen Modellanpassung und Komplexität fundamental. Die naive Verwendung der Größe der aktiven Menge als Freiheitsgrad-Schätzer führt bei adaptiven Methoden zu verzerrten Risikoschätzungen und unzuverlässiger Modellauswahl (z. B. durch AIC oder BIC). Bisher fehlte ein theoretisch fundierter, unverzerrter Schätzer für diese komplexeren Fälle, insbesondere unter allgemeinen Design-Matrizen (nicht-orthogonal).

2. Methodik

Die Autoren leiten neue Schätzer für die effektiven Freiheitsgrade innerhalb des Rahmens der unverzerrten Risikoschätzung nach Stein (Stein's Unbiased Risk Estimation - SURE) ab.

• Grundlage: Die Definition der Freiheitsgrade basiert auf der Kovarianz zwischen den beobachteten Werten und den Vorhersagen (Efron, 1986) bzw. auf Stein's Lemma, das die Freiheitsgrade als Erwartungswert der Divergenz (Trace der Jacobi-Matrix der Vorhersagen nach den Daten) ausdrückt:
  $$\text{df}(\hat{y}) = E\left[\text{trace}\left(\frac{\partial \hat{y}}{\partial y}\right)\right]$$
• Analyseansatz:
  1. Adaptive Lasso: Die Autoren analysieren die Ableitung der Vorhersagen nach den Daten unter Berücksichtigung der Abhängigkeit der adaptiven Gewichte $w_j$ von den OLS-Schätzungen ($\hat{\beta}_{LS}$). Dies führt zu zusätzlichen Termen im Vergleich zum klassischen Lasso.
  2. Group Lasso: Sie revisitieren den Group Lasso und leiten eine geschlossene Formel her, die über den orthonormalen Design-Fall hinausgeht.
  3. Adaptive Group Lasso: Durch Kombination der oben genannten Ansätze wird ein Schätzer für die adaptive Variante des Group Lasso entwickelt.
• Design-Matrizen: Die Herleitungen gelten sowohl für orthonormale Designs ($X^T X = I$) als auch für allgemeine (nicht-orthonormale) Designs, was einen wesentlichen theoretischen Fortschritt darstellt, da viele frühere Arbeiten nur den orthonormalen Fall betrachteten.

3. Wichtige Beiträge und Ergebnisse

A. Adaptive Lasso

• Neuer Schätzer: Es wird ein unverzerrter Schätzer für die Freiheitsgrade hergeleitet (Theorem 1). Im Gegensatz zum Lasso ($\text{df} = |A|$) enthält dieser Schätzer einen zusätzlichen Term, der von der Ableitung der Gewichte nach den Daten abhängt.
• Formel (für $w_j = 1/|\hat{\beta}_{LS,j}|$):
  $$\widehat{\text{df}}_\gamma = |A| + \gamma \sum_{j \in A} \frac{1}{(\hat{\beta}_{LS,j})^2} \quad (\text{orthonormal})$$
  Für nicht-orthonormale Designs kommen Signe der Koeffizienten und Diagonalelemente der Inversen der Design-Matrix hinzu.
• Erkenntnis: Die Freiheitsgrade sind eine stückweise lineare Funktion des Regularisierungsparameters $\gamma$ (im Gegensatz zur stückweise konstanten Funktion beim Lasso). Unter Standardbedingungen (abnehmende Gewichte) sind die korrekten Freiheitsgrade stets größer als die Größe der aktiven Menge ($\text{df} > |A|$). Die Praxis, nur $|A|$ zu verwenden, unterschätzt die Komplexität systematisch.

B. Group Lasso

• Neue Charakterisierung: Die Autoren zeigen, dass die Freiheitsgrade beim Group Lasso nicht einfach der Anzahl der aktiven Variablen entsprechen, sondern durch den Trace einer komplexeren Matrix gegeben sind (Theorem 2 & 3).
• Verhalten: Die Freiheitsgrade liegen stets zwischen der Anzahl der aktiven Gruppen und der Anzahl der aktiven Variablen ($|A_G| \le \text{df} \le |A_P|$).
• Monotonie: Im Gegensatz zum Lasso ist die Monotonie der Freiheitsgrade entlang des Regularisierungspfades nicht garantiert. Unter allgemeinen Design-Matrizen kann die Matrix, die die Ableitung bestimmt, indefinit sein, was zu nicht-monotonem Verhalten führt. Dies steht im Kontrast zu früheren Annahmen, die oft nur für orthonormale Designs galten.

C. Adaptive Group Lasso

• Kombinierte Effekte: Der Schätzer (Theorem 6) vereint zwei gegenläufige Effekte:
  1. Inflation: Durch die adaptiven Gewichte (ähnlich wie beim Adaptive Lasso).
  2. Kontraktion: Durch die $\ell_2$-Norm innerhalb der Gruppen (ähnlich wie beim Group Lasso).
• Ergebnis: Es kann nicht allgemein gesagt werden, ob die Freiheitsgrade höher oder niedriger als beim nicht-adaptiven Group Lasso sind; dies hängt von der relativen Stärke der beiden Effekte ab.

4. Empirische Validierung

Die theoretischen Ergebnisse wurden durch zwei Experimente validiert:

1. Synthetische Daten:

   • Über 10.000 Simulationen zeigten eine starke Übereinstimmung zwischen den theoretisch abgeleiteten Schätzern und den empirischen Freiheitsgraden (berechnet über die Kovarianzformel).
   • Die Verwendung der korrekten Freiheitsgrade im BIC führte zu einer deutlich besseren Variablenselektion (näher an der wahren Anzahl von 9 Variablen) im Vergleich zur Verwendung der aktiven Menge als Proxy. Der Group Lasso neigte ohne Anpassung dazu, zu viele Variablen zu behalten.

2. Diabetes-Datensatz (Real-World Data):

   • Analyse mit Lasso/Adaptive Lasso und Group/Adaptive Group Lasso.
   • Visualisierung: Die Kurven der korrekten Freiheitsgrade weichen signifikant von der Größe der aktiven Menge ab.
   • Modellauswahl: Die Wahl des optimalen Regularisierungsparameters $\gamma$ mittels BIC unter Verwendung der korrekten Freiheitsgrade führte zu Ergebnissen, die der Kreuzvalidierung sehr nahe kamen. Die naive Verwendung der aktiven Menge führte zu einer systematischen Unterschätzung der Komplexität und damit zur Auswahl überregularisierter Modelle (zu große $\gamma$).

5. Bedeutung und Schlussfolgerung

Dieses Paper schließt eine kritische Lücke in der Theorie der penalisierten Regression:

• Theoretische Korrektur: Es widerlegt die weit verbreitete Annahme, dass die Größe der aktiven Menge ein gültiger Proxy für die Freiheitsgrade bei adaptiven Methoden ist.
• Praktische Relevanz: Die vorgeschlagenen Schätzer ermöglichen eine zuverlässigere Risikoschätzung und Modellauswahl (via AIC/BIC) für adaptive Verfahren. Dies verhindert, dass Modelle aufgrund falscher Komplexitätsmaße über- oder unterregularisiert werden.
• Allgemeingültigkeit: Die Ergebnisse gelten für allgemeine Design-Matrizen und gehen damit weit über die in der Literatur üblichen Annahmen orthonormaler Designs hinaus.
• Zukunftsausblick: Die Autoren weisen darauf hin, dass der Fall $n < p$ (hochdimensional) eine separate theoretische Untersuchung erfordert, da dort die OLS-Schätzer (als Basis für adaptive Gewichte) nicht existieren. Erste empirische Tests deuten jedoch darauf hin, dass der Ansatz auch dort robuster ist als die naive Methode.

Zusammenfassend bietet das Paper einen rigorosen mathematischen Fundament für das Verständnis der Modellkomplexität in adaptiven penalisierten Regressionen und liefert die notwendigen Werkzeuge für eine korrekte statistische Inferenz.