Model Checking for Regressions Based on Weighted Residual Processes with Diverging Number of Predictors

Título: Verificação de Modelos para Regressões Baseada em Processos de Resíduos Ponderados com Número Divergente de Preditores

Autores: Yue Hu, Haiqi Li e Xintao Xia.
Instituições: Universidade de Zhejiang e Universidade de Hunan.

---

1. Problema e Motivação

O artigo aborda o desafio crítico da verificação de especificação de modelos de regressão em cenários de alta dimensão, onde o número de preditores ($d$) e o número de parâmetros ($p$) divergem (crescem) com o tamanho da amostra ($n$).

• Contexto: Modelos paramétricos são amplamente utilizados, mas sua validade depende da correta especificação da função de média condicional. Se o modelo estiver mal especificado, as inferências estatísticas tornam-se inválidas.
• Limitação dos Métodos Clássicos: O teste clássico de Momentos Condicionais Integrados (ICM), proposto por Bierens (1982), é eficaz em dimensões fixas. No entanto, em alta dimensão:
  1. A estatística do teste ICM sofre degenerescência: tanto a distribuição limite sob a hipótese nula quanto sob a alternativa degeneram para constantes fixas, tornando impossível distinguir entre elas.
  2. O bootstrap selvagem (wild bootstrap), comumente usado para aproximar a distribuição nula do ICM, falha em altas dimensões, levando a distorções no tamanho do teste (erro Tipo I) e perda substancial de poder (erro Tipo II).
• Causa Raiz: A degenerescência ocorre porque a representação da estatística ICM envolve somas de pares ponderados por kernels que dependem de distâncias euclidianas ($\|X_j - X_k\|^2$). Em altas dimensões, as distâncias entre pontos tendem a concentrar-se, e os pesos do kernel decaem exponencialmente, eliminando a variabilidade estocástica necessária para o teste.

2. Metodologia Proposta

Os autores propõem um novo teste de especificação baseado em processos de resíduos ponderados que evita a maldição da dimensionalidade.

2.1. Construção da Estatística do Teste

Ao contrário do ICM clássico, que integra sobre um espaço de dimensão $d$ (usando funções de peso como $e^{it^\top X}$), o novo método utiliza uma função de peso escalar unidimensional $g(X)$.

• Hipóteses:
  • $H_0$: O modelo é corretamente especificado ($m(X) = m(X, \beta_0)$).
  • $H_1$: O modelo está mal especificado.
• Processo de Resíduos: Define-se o processo empírico de resíduos:
  $$\hat{U}_n(t) = \frac{1}{\sqrt{n}} \sum_{i=1}^n \{g(X_i) - \bar{g}\} [\cos(t\hat{\varepsilon}_i) + \sin(t\hat{\varepsilon}_i)]$$
  onde $\hat{\varepsilon}_i$ são os resíduos ajustados e $g(X)$ é uma função de peso escolhida adequadamente.
• Estatística Final: A estatística do teste ($WICM_n$) é a integral ponderada do quadrado do processo:
  $$WICM_n = \int_{\mathbb{R}} |\hat{U}_n(t)|^2 \phi(t) dt$$
  Com uma escolha adequada de $\phi(t)$ (ex: densidade normal padrão), a integral pode ser calculada em forma fechada, resultando em uma soma de pares que depende apenas da diferença unidimensional dos resíduos ($\hat{\varepsilon}_j - \hat{\varepsilon}_k$), e não da distância multidimensional dos preditores. Isso evita a maldição da dimensionalidade.

2.2. Aproximação via Bootstrap de Resíduos Suavizados

Como a distribuição limite sob $H_0$ não é livre de distribuição (depende da distribuição desconhecida dos erros e da estrutura dos dados), os autores propõem um Bootstrap de Resíduos Suavizados (Smooth Residual Bootstrap):

1. Geram-se erros bootstrap $\varepsilon^*_{i,j}$ adicionando ruído suavizado aos resíduos centrados.
2. Reconstroem-se as respostas $Y^*$ e reestimam-se os parâmetros.
3. Calcula-se a estatística bootstrap $WICM^*_n$.
4. Repete-se o processo $B$ vezes para construir a distribuição empírica e obter valores críticos.

2.3. Escolha da Função de Peso $g(\cdot)$

Para maximizar o poder contra alternativas locais, a função de peso ideal seria proporcional à diferença entre a verdadeira função de regressão e o modelo paramétrico. Como isso é desconhecido, propõem-se duas estratégias de estimação:

• Alternativas Direcionais: Assume-se que a verdadeira função pertence a uma classe paramétrica alternativa conhecida.
• Alternativas Não Paramétricas: Utiliza-se uma expansão de Fourier truncada ou redução de dimensão suficiente (SDR) para estimar a função de regressão não paramétrica e construir $g(X)$.

3. Resultados Teóricos Principais

Sob condições de regularidade padrão e assumindo que $p^3 \log(n) / n \to 0$:

1. Distribuição Limite (Hipótese Nula): A estatística $WICM_n$ converge para uma distribuição não degenerada (integral de um processo gaussiano), permitindo a construção de testes válidos mesmo quando $d, p \to \infty$.
2. Consistência (Hipótese Alternativa):
   • O teste é consistente contra alternativas globais fixas.
   • O teste consegue detectar alternativas locais que se afastam da hipótese nula na taxa paramétrica $1/\sqrt{n}$.
3. Validade do Bootstrap: O bootstrap de resíduos suavizados aproxima consistentemente a distribuição limite sob $H_0$ e sob alternativas locais, garantindo que o teste mantenha o nível de significância nominal e tenha poder assintótico igual a 1.

4. Resultados Numéricos e Aplicação Real

4.1. Estudos de Simulação

Foram realizados estudos comparando o método proposto ($WICM^{(1)}_n$ e $WICM^{(2)}_n$) com o teste ICM clássico e o teste PCvM (Escanciano, 2006).

• Controle de Tamanho: O teste ICM clássico falha drasticamente em altas dimensões (tamanho do teste próximo de zero), enquanto os métodos propostos mantêm o nível nominal (0.05) corretamente.
• Poder: Os testes propostos superam significativamente o ICM e o PCvM em cenários de alta dimensão, especialmente quando a estrutura de dimensão reduzida não está presente ou é complexa.
• Robustez: O método funciona bem tanto em modelos de índice único quanto em modelos sem estrutura de redução de dimensão.

4.2. Exemplo com Dados Reais

Aplicação ao conjunto de dados "Geographical Origin of Music" (origem geográfica de músicas), com 1.059 observações e 68 preditores (características de áudio).

• Objetivo: Verificar se uma regressão linear é adequada para prever a latitude com base nas características do áudio.
• Resultado: O teste rejeitou fortemente a hipótese nula ($p$-valor $\approx 0$), indicando que o modelo linear é inadequado. Gráficos de dispersão confirmaram a não linearidade, sugerindo a necessidade de modelos mais flexíveis.

5. Significado e Contribuições

Este trabalho é significativo por:

1. Resolver a Degenerescência: Oferece uma solução teórica e prática para o colapso dos testes de especificação clássicos em alta dimensão.
2. Inovação Metodológica: Introduz o uso de processos de resíduos ponderados unidimensionais combinados com bootstrap suavizado, contornando a necessidade de integração multidimensional.
3. Validade Assintótica: Estabelece rigorosamente a consistência e a taxa de detecção de alternativas locais ($1/\sqrt{n}$) em regimes onde $d$ e $p$ crescem com $n$.
4. Aplicabilidade Prática: Demonstra através de simulações e dados reais que o método é robusto, mantendo o controle de erro Tipo I e oferecendo alto poder de detecção, preenchendo uma lacuna importante na estatística moderna de alta dimensão.

Em suma, o artigo fornece uma ferramenta essencial para a validação de modelos de regressão em eras de big data, onde o número de variáveis frequentemente excede ou compete com o número de observações.