High-Dimensional Single-Index Models: Link Estimation and Marginal Inference

Resumo Técnico: Modelos de Índice Único de Alta Dimensão: Estimativa de Ligação e Inferência Marginal

Definição do Problema
Este estudo aborda os desafios estatísticos de estimativa e teste de hipóteses em modelos de índice único (SIMs) de alta dimensão, onde o tamanho da amostra $n$ e a dimensão do vetor de coeficientes $p$ são grandes e comparáveis ($p/n \to \kappa$). O modelo é definido como $E[y_i | X_i = x] = g(\beta^\top x)$, onde $X_i \sim N_p(0, \Sigma)$, $\beta$ é um vetor de coeficientes desconhecido e $g(\cdot)$ é uma função de ligação desconhecida.

Embora os modelos de índice único ofereçam vantagens sobre a regressão não paramétrica ao mitigar a maldição da dimensionalidade e evitar a má especificação do modelo quanto à forma funcional, a literatura de alta dimensão existente enfrenta dois lacunas primárias neste regime:

1. Estimativa da Função de Ligação: Abordagens anteriores frequentemente negligenciam a estimativa consistente da função de ligação desconhecida $g(\cdot)$, ou assumem que ela é conhecida (como nos Modelos Lineares Generalizados).
2. Inferência Marginal: Há uma falta de métodos rigorosos para estabelecer a normalidade assintótica marginal das coordenadas individuais de $\beta$ quando $g(\cdot)$ é desconhecida, o que é necessário para construir intervalos de confiança e p-valores válidos para seleção de variáveis.

Metodologia
Os autores propõem um novo procedimento de estimativa de três etapas combinado com uma quarta etapa para estimativa de parâmetros de inferência. Para gerenciar as complexas estruturas de dependência decorrentes do reuso de dados, o conjunto de dados é teoricamente dividido em dois subconjuntos disjuntos, $I_1$ e $I_2$, embora os autores notem que, na prática, recomenda-se o uso de todos os dados em cada etapa.

1. Estimativa do Índice (Etapa Piloto): Usando o primeiro subconjunto $(X^{(1)}, y^{(1)})$, um estimador piloto $\tilde{\beta}$ (por exemplo, regressão ridge, mínimos quadrados ou MLE, dependendo do tipo de resposta) é construído. Um estimador de índice $W_i$ para o índice verdadeiro $\beta^\top X_i$ é então derivado usando técnicas de ajuste observável (Bellec, 2022). Este estimador corrige viés e variância, resultando em $W_i \approx \beta^\top X_i + \mathcal{N}(0, \tilde{\sigma}^2/\tilde{\mu}^2)$.
2. Estimativa da Função de Ligação: Usando os pares $(y^{(1)}_i, W_i)$, os autores estimam $g(\cdot)$. Como $W_i$ contém ruído Gaussiano em relação ao índice verdadeiro, isso constitui um problema de "erros nas variáveis" (errors-in-variables). Os autores empregam uma técnica de deconvolução de kernel (Stefanski e Carroll, 1990) combinada com um estimador de Nadaraya-Watson para remover assintoticamente o viés de atenuação. Um operador de monotonização (por exemplo, operador de rearranjo) é aplicado para garantir que a função de ligação estimada $\hat{g}(\cdot)$ seja monotônica, consistente com as suposições do modelo.
3. Estimativa de Coeficientes: Usando o segundo subconjunto $(X^{(2)}, y^{(2)})$ e a ligação estimada $\hat{g}(\cdot)$, os autores minimizam uma função de perda substituta $\ell(b; x, y, \bar{g}) = \bar{G}(x^\top b) - y x^\top b$ (onde $\bar{G}' = \bar{g}$). Isso gera o estimador final de coeficiente $\hat{\beta}(\hat{g})$.
4. Estimativa de Parâmetros de Inferência: Para facilitar a inferência estatística, estimadores para o viés assintótico $\mu^*$ e a variância $\sigma^2_*$ são construídos usando ajustes observáveis baseados na função de ligação estimada, seguindo o framework de Bellec (2022).

Principais Contribuições

• Estimativa Consistente da Ligação: O artigo fornece um estimador consistente para a função de ligação desconhecida $g(\cdot)$ no regime proporcional de alta dimensão, abordando o problema de erros nas variáveis via deconvolução.
• Normalidade Assintótica Marginal: Os autores estabelecem rigorosamente a normalidade assintótica marginal para qualquer subconjunto finito das coordenadas do estimador de coeficiente $\hat{\beta}(\hat{g})$. Este resultado mantém-se mesmo quando a razão $\kappa = p/n > 1$, um regime onde resultados anteriores de normalidade marginal para SIMs eram limitados.
• Melhoria de Eficiência: Ao utilizar a função de ligação consistentemente estimada, mostra-se que o proposto estimador é mais eficiente do que estimadores que dependem de funções de ligação potencialmente mal especificadas ou que ignoram totalmente a estrutura de ligação.
• Extensão Técnica: A estratégia de prova estende os argumentos de Zhao et al. (2022) da regressão logística (MLE) para uma classe mais ampla de estimadores M não regularizados e incorpora a função de ligação estimada.

Resultados Teóricos e Empíricos

• Garantias Teóricas:
  • Teorema 1: Estabelece a consistência uniforme do estimador de ligação $\hat{g}(\cdot)$ com uma taxa de convergência de $O_p((\log n)^{-m/2})$, que é mostrada como um limite inferior.
  • Teoremas 2 & 4: Provam que para qualquer coordenada $j$, o estatístico $T_j = \frac{\sqrt{p}(\hat{\beta}_j - \mu^*\beta_j)}{\sigma^*/\tau_j}$ converge em distribuição para uma normal padrão $N(0, 1)$. Isso se aplica tanto para configurações regularizadas ($p > n$) quanto não regularizadas ($p < n$).
  • Corolário 3: Demonstra que os intervalos de confiança construídos usando esses resultados de normalidade assintótica alcançam a probabilidade de cobertura correta assintoticamente.
• Experimentos Numéricos:
  • Simulações em vários modelos (Logit, Poisson, Cúbico, Segmentado) confirmam que o estimador de índice segue a distribuição Gaussiana prevista.
  • O estimador da função de ligação mostra perda quadrática decrescente conforme o tamanho da amostra aumenta.
  • A distribuição marginal do estimador de coeficiente aproxima-se da densidade normal padrão, validando a normalidade assintótica teórica.
  • Comparações de eficiência indicam que o método proposto supera os estimadores padrão (como Mínimos Quadrados ou MLE com ligações fixas) na maioria dos cenários, particularmente quando a verdadeira ligação é desconhecida ou complexa.
• Aplicação em Dados Reais: O método foi aplicado a dois conjuntos de dados UCI (DARWIN e dados de fala) relacionados à doença de Alzheimer. O estimador proposto demonstrou consistentemente uma variância assintótica efetiva estimada menor em comparação com a regressão logística padrão.

Significância e Alegações
O artigo afirma fornecer o primeiro framework rigoroso para a estimativa simultânea da função de ligação e inferência estatística marginal em modelos de índice único de alta dimensão onde $n$ e $p$ são comparáveis. Ao estabelecer a normalidade assintótica marginal, os autores permitem testes de hipótese válidos ($H_0: \beta_j = 0$) e a construção de intervalos de confiança para características individuais, o que era anteriormente não resolvido para SIMs com ligações desconhecidas neste regime. A metodologia aproveita ajustes observáveis e técnicas de deconvolução para lidar com o viés introduzido pela estimativa do índice e da função de ligação, oferecendo uma ferramenta robusta para a econometria de alta dimensão e aprendizado estatístico. Os autores observam que trabalhos futuros poderiam estender esses resultados para covariáveis não Gaussianas e modelos de múltiplos índices.