Degrees of Freedom in Penalized Regression: Model Selection with Adaptive Penalties

Título: Graus de Liberdade em Regressão Penalizada: Seleção de Modelos com Penalizações Adaptativas

Autores: Mauro Bernardi, Antonio Canale e Marco Stefanucci.

---

1. Problema e Motivação

A seleção de modelos em regressão penalizada depende criticamente de uma avaliação precisa da complexidade do modelo, quantificada através dos graus de liberdade efetivos (effective degrees of freedom - df).

• O Caso do Lasso Clássico: Para o Lasso (Tibshirani, 1996), existe uma estimativa não viciada simples e amplamente aceita: o tamanho do conjunto ativo (número de coeficientes não nulos).
• A Limitação Atual: Esta propriedade não se estende a métodos de penalização adaptativa, como o Adaptive Lasso e o Adaptive Group Lasso. Apesar disso, a prática comum continua a usar o tamanho do conjunto ativo como um proxy (substituto) para os graus de liberdade nestes métodos mais gerais.
• O Conflito: Métodos adaptativos introduzem pesos dependentes dos dados para reduzir o viés de contração. Isso altera fundamentalmente a relação entre o ajuste do modelo e sua complexidade. O uso ingênuo do tamanho do conjunto ativo leva a uma avaliação distorcida da complexidade, resultando em critérios de informação (como AIC e BIC) enviesados e seleção de modelos não confiável.

O objetivo do artigo é preencher essa lacuna teórica derivando estimadores não viciados dos graus de liberdade para o Adaptive Lasso, Group Lasso e Adaptive Group Lasso, sob o arcabouço da Estimação de Risco Não Viciado de Stein (SURE).

---

2. Metodologia

Os autores utilizam a definição geral de graus de liberdade proposta por Efron (1986) e Stein (1981), baseada na covariância entre os valores observados e os valores ajustados, ou equivalentemente, através do traço da matriz de divergência (derivada dos valores ajustados em relação aos dados):

$$\text{df}(\hat{y}) = \mathbb{E}\left[ \text{trace}\left( \frac{\partial \hat{y}}{\partial y} \right) \right]$$

A abordagem metodológica envolve:

1. Derivação Analítica: Cálculo explícito da derivada $\frac{\partial \hat{y}}{\partial y}$ para cada estimador, considerando que os pesos de penalização dependem dos dados (via estimadores de mínimos quadrados preliminares).
2. Tratamento de Projetos de Dados: As fórmulas são derivadas tanto para o caso de design ortonormal ($X^\top X = I_p$) quanto para o caso geral de design não ortonormal.
3. Análise do Caminho de Regularização: Estudo do comportamento dos graus de liberdade à medida que o parâmetro de regularização $\gamma$ varia, identificando pontos de transição onde o conjunto ativo muda.

---

3. Principais Contribuições e Resultados Teóricos

A. Adaptive Lasso

O artigo deriva o primeiro estimador não viciado para o Adaptive Lasso.

• Resultado Chave: Os graus de liberdade não são apenas o tamanho do conjunto ativo ($|A|$). Eles incluem um termo adicional que depende da derivada dos pesos em relação aos dados.
• Fórmula (Design Não Ortonormal):
  $$\widehat{\text{df}}_\gamma = |A| - \gamma \sum_{j \in A} s(\hat{\beta}_j)s(\hat{\beta}^{LS}_j) \frac{\partial w_j(z)}{\partial z}\bigg|_{z=\hat{\beta}^{LS}_j} [(X_A^\top X_A)^{-1}]_{\pi(j),\pi(j)}$$
• Implicação: Sob pesos padrão (decrescentes), o termo adicional é positivo. Isso significa que os graus de liberdade reais são maiores que o tamanho do conjunto ativo. O uso do tamanho do conjunto ativo subestima sistematicamente a complexidade do modelo.
• Comportamento: Diferente do Lasso (onde df é constante entre pontos de transição), no Adaptive Lasso, os graus de liberdade exibem uma estrutura linear por partes com inclinação positiva dentro dos intervalos de $\gamma$. Curiosamente, um aumento em $\gamma$ (mais regularização) pode, paradoxalmente, aumentar os graus de liberdade efetivos devido à interação não linear dos pesos adaptativos.

B. Group Lasso

Os autores revisitam o Group Lasso, fornecendo uma derivação alternativa e mais geral.

• Resultado Chave: Os graus de liberdade são dados pelo traço de uma matriz específica que envolve a matriz de projeção e a matriz de sensibilidade dos grupos.
• Comportamento: Ao contrário do Adaptive Lasso, o Group Lasso exibe um efeito de contração. Os graus de liberdade estimados são estritamente menores que o número de variáveis ativas ($|A_p|$), mas maiores que o número de grupos ativos ($|A_G|$).
• Monotonicidade: O artigo demonstra que a monotonicidade dos graus de liberdade em relação a $\gamma$ não é garantida em designs não ortonormais, desafiando intuições baseadas apenas em casos ortonormais. A monotonicidade depende da semidefinição positiva de uma matriz específica envolvendo a derivada dos pesos de grupo.

C. Adaptive Group Lasso

Combina os efeitos dos dois métodos anteriores.

• Resultado Chave: Existem dois efeitos competindo:
  1. Inflação: Causada pelos pesos adaptativos (tendendo a aumentar os df).
  2. Contração: Causada pela norma $\ell_2$ dos grupos (tendendo a diminuir os df).
• Conclusão: O resultado líquido depende da estrutura dos dados e dos pesos. Sob certas condições, os graus de liberdade do Adaptive Group Lasso são limitados inferiormente pelos do Group Lasso padrão.

---

4. Validação Empírica

Os autores realizaram dois experimentos para validar as descobertas:

1. Dados Sintéticos:

   • Simulações com $n=100$ e $p=30$.
   • Comparação entre a média empírica dos estimadores derivados e o valor teórico calculado via fórmula de covariância (que serve como benchmark mas é impraticável na realidade).
   • Resultado: Alta concordância, confirmando que os novos estimadores são não viciados.
   • Seleção de Modelo: Ao usar o BIC com os graus de liberdade corretos, o Adaptive Lasso e o Adaptive Group Lasso selecionaram o número correto de variáveis (9) na maioria das replicações, enquanto o Group Lasso padrão tendeu a incluir variáveis de ruído.

2. Dados Reais (Diabetes Dataset):

   • Análise do conjunto de dados clássico de diabetes ($n=442$).
   • Lasso vs. Adaptive Lasso: Mostrou que a curva de graus de liberdade correta (sólida) é estritamente maior que o tamanho do conjunto ativo (tracejado). O uso do tamanho do conjunto ativo levaria à seleção de um $\gamma$ maior (modelo mais regularizado) do que o ideal.
   • Group Lasso vs. Adaptive Group Lasso: Confirmou que o df do Group Lasso é menor que o tamanho do conjunto ativo. A seleção baseada no BIC corrigido alinhou-se melhor com a validação cruzada do que a seleção baseada na aproximação ingênua.

---

5. Significado e Implicações

• Correção de Práticas Comuns: O trabalho desmistifica o uso do tamanho do conjunto ativo como uma medida universal de complexidade. Ele prova que essa prática é enviesada tanto para métodos adaptativos (subestimação) quanto para Group Lasso (superestimação).
• Seleção de Modelos Robusta: Ao fornecer estimadores não viciados, o artigo permite o uso rigoroso de critérios de informação (AIC, BIC) em regressões penalizadas adaptativas, melhorando a precisão na seleção de variáveis e na inferência estatística.
• Avanço Teórico: A caracterização do comportamento dos graus de liberdade ao longo do caminho de regularização sob designs gerais (não ortonormais) oferece uma nova compreensão teórica sobre como a dependência dos dados nos pesos de penalização afeta a flexibilidade do modelo.
• Extensão para Alta Dimensionalidade: Embora o foco teórico seja $n > p$, os autores exploram empiricamente o regime $n < p$ usando estimadores de Ridge como base para os pesos, sugerindo que seus estimadores permanecem superiores à prática comum mesmo em cenários de alta dimensionalidade.

Em suma, este artigo fornece a fundação teórica necessária para uma avaliação precisa da complexidade em modelos de regressão penalizada modernos, corrigindo erros sistemáticos na seleção de modelos que afetam a literatura e a prática estatística atual.