Post-reduction inference for confidence sets of models

Resumo Técnico: Inferência Pós-Redução para Conjuntos de Confiança de Modelos

Autores: Heather Battey, Daniel García Rasines e Yanbo Tang.

1. O Problema

Em contextos de regressão com muitas variáveis explicativas potenciais (alta dimensionalidade, como em genômica), é comum que múltiplas combinações de baixo dimensão de variáveis sejam compatíveis com os dados. A prática padrão de relatar um único modelo selecionado por algoritmos (como o Lasso) é enganosa para a compreensão científica, pois diferentes modelos implicam diferentes explicações. A abordagem proposta por Cox e Battey (2017) sugere relatar um conjunto de confiança de modelos (todos os modelos compatíveis com os dados num nível de significância $\alpha$).

No entanto, um obstáculo crítico surge na prática:

1. Redução Preliminar: Com $p$ variáveis (milhares) e $n$ observações (dezenas ou centenas), é impossível testar todos os subconjuntos. É necessário primeiro reduzir o espaço de variáveis para um modelo abrangente $\hat{E}$ de tamanho gerenciável.
2. Viés de Seleção (Miscalibração): Se o mesmo conjunto de dados for usado para selecionar $\hat{E}$ e, em seguida, para testar submodelos $E_m \subset \hat{E}$ contra $\hat{E}$ usando testes de razão de verossimilhança (ou testes F), o teste tende a rejeitar excessivamente o modelo nulo. Isso ocorre porque $\hat{E}$ foi escolhido para se ajustar bem aos dados, inflando artificialmente o ajuste. Como resultado, a probabilidade de cobertura do conjunto de confiança é inferior ao nível nominal.

O objetivo do artigo é desenvolver métodos de inferência que evitem essa miscalibração sem depender de sample splitting (divisão da amostra), que desperdiça informações valiosas.

2. Metodologia e Abordagem Teórica

Os autores propõem uma solução baseada na separação inferencial fundamental à abordagem condicional de Fisher, especificamente utilizando:

• Separação Suficiência/Co-suficiência: Isola a informação relevante para a estimação de parâmetros (suficiência) da informação restante (co-suficiência), que é usada para verificar a adequação do modelo.
• Separação Ancilar/Co-ancilar: Utiliza estatísticas ancilares (cuja distribuição não depende dos parâmetros de interesse) para verificação do modelo.

O Conceito de Variedade Co-suficiente:
Para um modelo postulado, a estatística suficiente $S$ fixa uma "variedade co-suficiente" $Q(s_0)$ no espaço amostral. Sob o modelo correto, a projeção dos dados nessa variedade deve seguir uma distribuição uniforme (no caso Gaussiano). Testar a adequação do modelo equivale a verificar se os dados observados são extremos em relação a essa distribuição condicional, sem precisar comparar com um modelo maior dependente dos dados.

Implementação Prática (Modelo Linear Gaussiano):
Para operacionalizar essa ideia sem rejeitar dados (como no sample splitting), os autores desenvolvem uma estratégia de particionamento de informação via randomização:

1. Geração de Réplicas Pseudo: A partir dos dados observados $Y$, geram-se $k$ réplicas pseudo-independentes $\tilde{Y}^{(1)}, \dots, \tilde{Y}^{(k)}$ que mantêm a mesma distribuição condicional sob o modelo nulo.
2. Estimativa de Variância: Utiliza-se uma versão modificada do estimador de validação cruzada refitida (de Fan et al., 2012), calculado em uma subamostra (ex: 60% dos dados), para estimar a variância do erro $\sigma^2$ de forma consistente e minimizar a dependência com os estatísticos de teste.
3. Teste de Uniformidade: As réplicas geradas são projetadas na variedade co-suficiente. Sob o modelo correto, essas projeções devem ser uniformemente distribuídas na esfera unitária. Os autores utilizam o Teste de Rayleigh de alta dimensão para verificar a uniformidade dessas projeções.
4. Componente Ancilar: Alternativamente, utiliza-se a estatística ancilar (soma dos quadrados dos resíduos) para testar a adequação do modelo, comparando-a com sua distribuição teórica (Chi-quadrado), ajustada pela estimativa de variância.

3. Contribuições Principais

• Formulação Explícita: Torna explícitas as separações inferenciais (suficiência/co-suficiência e ancilar) para modelos de regressão, fornecendo insights geométricos sobre o problema de inferência pós-redução.
• Generalização de Estratégias Aleatórias: Adapta e estende a estratégia de inferência aleatorizada de Rasines e Young (2023) para o contexto de conjuntos de confiança de modelos, permitindo o uso de todos os dados tanto para redução quanto para avaliação.
• Novo Estimador: Introduz uma versão modificada do estimador de validação cruzada refitida (Fan et al., 2012) com teoria de distribuição tratável no sentido condicional apropriado.
• Análise Comparativa: Demonstra teoricamente e via simulação que, em cenários onde a redução de variáveis é difícil (pouco sinal, alta dimensionalidade), os métodos baseados em separação inferencial superam o sample splitting, que perde poder estatístico ao descartar dados.

4. Resultados (Simulações)

Os autores realizaram simulações extensivas no modelo de regressão linear Gaussiano, comparando:

• Teste F clássico (sem ajuste, viésado).
• Sample splitting (divisão 60/40).
• Métodos baseados em Co-suficiência (com $k$ réplicas).
• Métodos baseados em Componente Ancilar.

Principais achados:

• Viés do Teste F: O teste F padrão, aplicado após redução de dados, falha dramaticamente na cobertura (ex: cobertura de 0% a 40% quando o nominal é 95%).
• Eficácia do Sample Splitting: Restaura a cobertura correta, mas produz conjuntos de confiança muito menores (menos modelos retidos) e perde poder em cenários de baixa informação (pequeno $n$, sinal fraco), pois descarta dados críticos na fase de redução.
• Desempenho dos Métodos Propostos:
  • Os métodos baseados em co-suficiência e componente ancilar mantêm a cobertura correta (ou ligeiramente conservadora em amostras pequenas devido à estimação de variância).
  • Eles geram conjuntos de confiança maiores e mais honestos sobre a incerteza do modelo, especialmente quando o sinal é fraco ou a correlação é alta.
  • Em cenários de "alta informação" (grande $n$, sinal forte), o sample splitting com teste F torna-se competitivo ou superior devido à exatidão do teste F Gaussiano, mas os métodos propostos ainda oferecem vantagens em cenários mais complexos (não-Gaussianos).
• Redução vs. Avaliação: O método de redução (Cox vs. Lasso) impacta o tamanho do conjunto final. A redução de Cox tende a reter variáveis que cobrem um espaço maior, tornando mais difícil para submodelos passarem no teste, resultando em conjuntos de confiança menores para a mesma cobertura.

5. Significância e Conclusão

O artigo oferece uma solução teórica e prática robusta para o problema de inferência pós-redução, que é distinto, mas relacionado, ao problema de inferência pós-seleção.

• Significância Teórica: Demonstra que é possível realizar inferência válida sem descartar dados, explorando a geometria do espaço amostral (variedades co-suficientes) e a independência de estatísticas ancilares.
• Aplicabilidade: Embora focado inicialmente no modelo linear Gaussiano, os princípios estendem-se a famílias exponenciais canônicas e modelos de vida acelerada (como o log-normal).
• Implicação Prática: A análise sugere que relatar um único modelo é frequentemente inadequado quando a incerteza do modelo é alta. Os conjuntos de confiança de modelos, construídos via estes métodos, fornecem uma representação mais honesta da evidência nos dados, permitindo que especialistas do domínio tomem decisões informadas sobre quais variáveis são realmente robustas (presentes na maioria dos modelos compatíveis) em vez de depender de um único algoritmo de seleção.

Em suma, o trabalho substitui a abordagem ingênua de "selecionar e testar" (que leva a falsos positivos) por uma abordagem condicional rigorosa que separa a informação de redução da informação de avaliação, preservando a integridade estatística mesmo em cenários de alta dimensionalidade.