Post-selection inference in generalized linear models via parametric programming

Resumo Técnico: Inferência Pós-Seleção em Modelos Lineares Generalizados via Programação Paramétrica

1. O Problema

Em contextos de regressão, é comum que os praticantes explorem os dados para selecionar um subconjunto de variáveis (covariáveis) antes de ajustar o modelo e realizar inferências estatísticas sobre os coeficientes. No entanto, essa estratégia permite que os dados ditem quais hipóteses serão testadas, o que viola a premissa tradicional de que as hipóteses devem ser formuladas antes da observação dos dados.

O uso de métodos de inferência padrão (como intervalos de confiança Wald) após a seleção de variáveis (por exemplo, via Lasso) ignora o evento de seleção. Isso resulta em:

• Taxas de erro do Tipo I infladas (falsos positivos).
• Intervalos de confiança com cobertura inferior ao nível nominal.
• Viés nas estimativas dos coeficientes.

Embora existam métodos de inferência pós-seleção para modelos lineares gaussianos (como o método poliedral de Lee et al., 2016), a extensão desses métodos para Modelos Lineares Generalizados (GLMs) com respostas não gaussianas (como binária, contagem ou proporções) é desafiadora. A distribuição condicional exata necessária para a inferência válida em GLMs não é tratável analiticamente. Além disso, métodos existentes baseados em poliedros frequentemente sofrem de "super-condicionamento" (condicionar também aos sinais dos coeficientes selecionados), o que reduz a eficiência estatística e produz intervalos de confiança excessivamente largos.

2. Metodologia Proposta

Os autores propõem uma estrutura unificada que combina linearização do modelo com programação paramétrica (PP). O método consiste em dois passos principais:

Passo 1: Linearização do Modelo (Transformação em Dados Pseudo-Gaussianos)

• Inspirados na atualização de Newton-Raphson (NR) para a Estimativa de Máxima Verossimilhança (MLE) em GLMs, os autores "linearizam" o problema de regressão não gaussiana.
• Eles constroem um vetor de resposta pseudo-observado ($\hat{z}_0$) e uma matriz de design pseudo-observada ($\hat{U}_0$) baseados nos dados brutos e nas estimativas iniciais dos parâmetros.
• O estimador de coeficientes do GLM é tratado como um estimador de mínimos quadrados em um modelo linear com resposta $\hat{z}_0$ e design $\hat{U}_0$.
• Teoremas assintóticos (Teorema 1 e Corolário 1) demonstram que, sob condições de regularidade, a distribuição condicional baseada nestes dados pseudo-observáveis é assintoticamente equivalente àquela baseada em dados idealizados (que dependem dos parâmetros verdadeiros desconhecidos).

Passo 2: Aplicação da Programação Paramétrica (PP)

• Uma vez linearizado o modelo, aplica-se a estratégia de Programação Paramétrica desenvolvida por Le Duy e Takeuchi (2021) para modelos lineares gaussianos.
• Seleção de Modelo: Um modelo é selecionado via penalização L1 (Lasso) sobre os dados pseudo-observados ($\hat{z}_0, \hat{U}_0$).
• Inferência Condicional: Em vez de condicionar a um poliedro complexo definido por desigualdades lineares (como no método poliedral), a PP "parametriza" o espaço de resposta. O evento de seleção é mapeado para um conjunto de intervalos em uma dimensão escalar ($\tau$).
• Isso permite derivar a distribuição condicional exata do estimador de interesse dado o evento de seleção, sem a necessidade de condicionar aos sinais dos coeficientes (evitando a perda de eficiência).
• O método também acomoda a seleção de dados do parâmetro de penalidade ($\lambda$) através de validação cruzada, incorporando essa seleção adicional no evento condicional.

3. Principais Contribuições

1. Unificação para GLMs: Adaptação da estratégia de programação paramétrica para Modelos Lineares Generalizados (Logística, Poisson) e modelos fora da família GLM padrão (Regressão Beta), permitindo inferência pós-seleção válida para respostas não gaussianas.
2. Eficiência Superior: Ao evitar o condicionamento aos sinais dos coeficientes (necessário no método poliedral clássico), o método proposto produz intervalos de confiança mais estreitos e maior poder estatístico, especialmente para coeficientes nulos ou próximos de zero.
3. Flexibilidade na Seleção de $\lambda$: O método lida naturalmente com a seleção de dados do parâmetro de regularização $\lambda$, uma limitação comum em métodos de inferência pós-seleção rígidos.
4. Validação Empírica e Teórica: Prova de consistência assintótica entre a seleção de modelos baseada nos dados reais e nos dados idealizados, garantindo a validade da abordagem de dois passos.

4. Resultados

Os autores validaram o método através de simulações e estudos de caso reais:

• Simulações (Logística, Poisson, Beta):

  • O método proposto (PPL) manteve as taxas de erro do Tipo I próximas do nível nominal (0.05) em todos os cenários, enquanto o método ingênuo (que ignora a seleção) apresentou taxas de erro drasticamente infladas (até 0.35 em alguns casos).
  • Comparado ao método poliedral, o PPL produziu intervalos de confiança significativamente mais estreitos para coeficientes nulos (variáveis não importantes), mantendo a cobertura nominal. Isso demonstra a recuperação de eficiência estatística.
  • O método mostrou robustez mesmo quando o parâmetro $\lambda$ foi selecionado via divisão de dados (treino/validação).

• Estudos de Caso Reais:

  • Spambase (Logística): O método PPL identificou 13 variáveis significativas, enquanto a inferência ingênua identificou 19. O PPL eliminou falsos positivos (como "word_freq_all" e "word_freq_email") que não são consistentes com a literatura, fornecendo intervalos de confiança mais conservadores e realistas.
  • Medicaid (Poisson): A inferência ingênua considerou todas as 4 variáveis selecionadas como significativas. O PPL reduziu isso para 3, indicando que o efeito de "school" não era estatisticamente significativo após o ajuste para a seleção.
  • Desempenho de Estudantes (Beta): O PPL identificou 10 variáveis significativas contra 13 do método ingênuo. Variáveis como "goout" e "health" foram consideradas insignificantes pelo PPL, alinhando-se melhor com o consenso da literatura sobre fatores que realmente influenciam as notas finais.

5. Significância e Conclusão

Este trabalho preenche uma lacuna crítica na estatística moderna, permitindo que a inferência pós-seleção válida seja aplicada a uma vasta gama de problemas práticos envolvendo dados não gaussianos (contagens, proporções, binários).

A principal vantagem do método é o equilíbrio entre validade estatística (controle rigoroso do erro Tipo I) e eficiência (intervalos de confiança mais curtos e maior poder de detecção). Ao superar as limitações de "super-condicionamento" dos métodos poliedrais e oferecer uma solução tratável para GLMs, a abordagem proposta torna-se uma ferramenta essencial para pesquisadores que utilizam seleção de variáveis automatizada em dados complexos do mundo real.