Resumo Técnico: Seleção de Modelos para Modelos SLOPE: Uma Perspectiva Bayesiana

Declaração do Problema

Modelos de Estimativa Penalizada por $\ell_1$ Ordenada (SLOPE), incluindo suas extensões baseadas em grupos (Group SLOPE ou gSLOPE, e Sparse-group SLOPE ou SGS), oferecem um arcabouço poderoso para seleção de variáveis e de grupos com controle teórico da Taxa de Descobertas Falsas (FDR): No entanto, essas garantias teóricas são estritamente limitadas a matrizes de design ortogonais com níveis de ruído conhecidos. Em aplicações práticas, os designs raramente são ortogonais e o ruído é desconhecido.

As estratégias atuais de seleção de modelos para SLOPE dependem fortemente de validação cruzada (CV) ou técnicas de estimativa de ruído. A CV otimiza o desempenho preditivo em vez do controle de FDR, frequentemente levando ao sobreajuste (overfitting) e a níveis inflados de FDR. Outras abordagens frequentistas, como Knockoffs ou seleção de estabilidade, têm dificuldade em manter o controle de FDR sob estruturas de correlação gerais ou incorrem em altos custos computacionais. Existe uma lacuna metodológica crítica na seleção de parâmetros de ajuste para modelos SLOPE que garanta simultaneamente o controle de FDR, alto poder estatístico e precisão preditiva em cenários gerais e não ortogonais.

Metodologia

Os autores propõem um arcabouço Bayesiano para abordar essas limitações, incorporando normas SLOPE em uma estrutura de prior spike-and-slab. Esta abordagem permite a estimativa conjunta dos coeficientes de regressão ($\beta$) e do ruído ($\sigma^2$), permitindo adaptar-se à estrutura de esparsidade subjacente sem a necessidade de ajuste explícito do parâmetro de penalização $\lambda$.

1. Modelos Bayesianos Propostos

O artigo introduz dois modelos primários:

• Bayesian Group SLOPE (BGSLOPE): Um modelo hierárquico que estende o arcabouço de Adaptive Bayesian SLOPE (ABSOLPE) para estruturas de grupo. Utiliza uma prior spike-and-slab contínua onde a inclusão do grupo é governada por um vetor binário $\gamma$ e uma proporção de mistura $\theta$. A prior penaliza menos os grupos ativos do que os inativos via um parâmetro de razão de força do sinal $c$.
• Bayesian Sparse-group SLOPE (BSGS): Um novo arcabouço spike-and-slab contínuo para modelos de sparse-group. Introduz um mecanismo de seleção de dois níveis com vetores de inclusão binários tanto para grupos ($\gamma$) quanto para variáveis individuais ($\delta$). Isso permite uma seleção de nível duplo onde as variáveis podem estar ativas apenas se o seu grupo pai estiver ativo. O BSGS é a primeira estrutura spike-and-slab contínua projetada especificamente para modelos de sparse-group.

Ambos os modelos utilizam algoritmos de Aproximação Estocástica Expectativa-Maximização (SAEM) para inferência. O algoritmo SAEM substitui o passo de Expectativa intratável do EM padrão por um passo de simulação (amostragem de Gibbs de variáveis latentes) seguido por um passo de aproximação estocástica. Para acelerar a computação, os autores também propõem variantes SLOBE (GSLOBE e SGSLOBE), que aproximam as distribuições das variáveis latentes usando suas expectativas condicionais em vez de amostragem.

2. Dois Passos Ortogonais (TSO)

Como uma alternativa frequentista, o artigo propõe o procedimento de Dois Passos Ortogonais (TSO). Este método transforma um cenário geral em um cenário ortogonal para recuperar as propriedades de FDR do SLOPE:

1. Selecionar um conjunto inicial de variáveis usando Lasso com validação cruzada.
2. Ortogonalizar a matriz de design selecionada usando Gram-Schmidt.
3. Ajustar um modelo SLOPE na matriz ortogonalizada usando uma sequência de penalização específica (sequência Gaussiana para cenários de baixa dimensão).

Principais Contribuições

1. Novos Arcabouços Bayesianos: O desenvolvimento de BGSLOPE e BSGS, que estendem o arcabouço spike-and-slab para modelos SLOPE baseados em grupos. O BSGS fornece especificamente a primeira formulação spike-and-slab contínua para seleção de sparse-group.
2. Controle de FDR em Cenários Gerais: Ao aprender o nível de ruído conjuntamente com os coeficientes, os modelos Bayesianos evitam o desalinhamento entre a otimização preditiva (CV) e o controle de FDR, demonstrando controle robusto de FDR mesmo sob designs correlacionados onde métodos frequentistas falham.
3. Implementação Algorítmica: A derivação de atualizações SAEM para estas normas complexas e não separáveis, incluindo passos específicos de amostragem de Gibbs para indicadores de inclusão e razões de força de sinal.
4. Proposta TSO: A introdução de um procedimento de dois passos que utiliza a ortogonalização para permitir o controle de FDR em cenários gerais, servindo como uma alternativa frequentista computacionalmente eficiente.
5. Avaliação Abrangente: Uma comparação extensa destes métodos contra abordagens de estado da arte (CV, Knockoffs, Regressão Escalada, Seleção de Estabilidade) através de conjuntos de dados sintéticos e do mundo real.

Resultados Experimentais

Estudos Sintéticos

Os autores conduziram simulações extensas variando esparsidade, força do sinal, dimensionalidade, ruído e estruturas de correlação.

• Controle de FDR: Os modelos Bayesianos propostos (BGSLOPE e BSGS) controlaram consistentemente o FDR no nível alvo (0.1) em quase todos os cenários, incluindo alta correlação. Em contraste, a CV e outros métodos frequentistas frequentemente excederam o alvo de FDR, particularmente sob correlação moderada a forte. O TSO também manteve o controle de FDR, mas com poder reduzido.
• Poder e Seleção: Entre os métodos que controlaram o FDR, as abordagens Bayesianas alcançaram o maior poder estatístico e pontuações F1. O BSGS demonstrou superioridade na precisão de seleção ao nível de variável.
• Predição: Os modelos Bayesianos alcançaram o menor erro de predição fora da amostra (OOS) e o menor Erro Quadrático Médio (MSE) para os coeficientes, superando a CV e Knockoffs.
• Estimativa de Ruído: Embora os modelos Bayesianos tenham fornecido estimativas de ruído razoáveis, métodos como o AS-SGS (Adaptively Scaled SGS) mostraram maior precisão na estimativa de ruído, mas falharam em controlar o FDR, destacando um compromisso entre precisão de estimativa e validade de seleção.

Aplicações em Dados Reais

Os métodos foram aplicados a sete conjuntos de dados reais (incluindo Cancer, Colitis, BRCA1 e Trust-experts).

• Desempenho Preditivo: Os modelos Bayesianos entregaram consistentemente o melhor desempenho preditivo (menor MSE Normalizado) na maioria dos conjuntos de dados e tipos de modelos (SLOPE, gSLOPE, SGS).
• Robustez: A abordagem Bayesiana provou ser robusta a diferentes características dos dados, enquanto o TSO mostrou desempenho insatisfatório em conjuntos de dados específicos (ex: Colitis) quando combinado com certos tipos de modelos.

Significância e Alegações

O artigo conclui que, sob cenários gerais, os modelos SLOPE são melhor aplicados dentro do arcabouço Bayesiano proposto. Os autores afirmam que esta abordagem restaura efetivamente as propriedades teóricas de controle de FDR do SLOPE em cenários práticos não ortogonais.

Principais asserções incluem:

• Superioridade da Seleção Bayesiana: A metodologia Bayesiana elimina a necessidade de ajuste manual de $\lambda$ ao aprendê-lo via o parâmetro de ruído, oferecendo uma alternativa fundamentada à validação cruzada que alinha os objetivos de seleção com o controle de FDR.
• Flexibilidade: O arcabouço permite que praticantes incorporem conhecimento de domínio através de hiperparâmetros de prior para ajustar o equilíbrio entre poder e controle de FDR.
• Impacto Prático: Os resultados empíricos demonstram que estes modelos não apenas controlam descobertas falsas, mas também fornecem estimativas menos enviesadas e maior precisão preditiva em comparação com métodos frequentistas concorrentes.

Os autores mantêm um tom modesto em relação ao custo computacional, reconhecendo que os métodos Bayesianos são mais caros que os seus equivalentes frequentistas, mas escalam bem com a dimensionalidade. Eles enfatizam que os modelos propostos oferecem uma solução robusta para regressão de alta dimensão onde o controle de FDR é um objetivo primário.