Principal Component Based Estimation of Finite Population Mean under Multicollinearity

1. Declaração do Problema

Na amostragem por inquérito, o uso de informação auxiliar (variáveis correlacionadas com a variável de estudo) é uma técnica padrão para melhorar a precisão dos estimadores da média populacional. No entanto, quando múltiplas variáveis auxiliares são utilizadas simultaneamente, elas frequentemente exibem alta intercorrelação, um fenômeno conhecido como multicolinearidade.

• Consequências: A multicolinearidade infla a variância dos estimadores convencionais (como estimadores de razão, produto e regressão), levando a estimativas instáveis, grandes erros padrão e desempenho deficiente.
• Lacuna: Embora a Análise de Componentes Principais (PCA) seja uma ferramenta estatística conhecida para lidar com multicolinearidade em regressão, sua aplicação na construção de estimadores específicos para médias de população finita sob Amostragem Aleatória Simples sem Reposição (AASsR) requer maior desenvolvimento, particularmente quando as variáveis auxiliares exibem assimetria ou flutuações extremas.

2. Metodologia

Os autores propõem um novo quadro de estimação que integra Análise de Componentes Principais (PCA) com uma transformação do tipo logarítmico para abordar a multicolinearidade.

A. Quadro Teórico

• Desenho de Amostragem: Amostragem Aleatória Simples sem Reposição (AASsR).
• Variáveis:
  • $Y$: Variável de estudo.
  • $X, Z$: Duas variáveis auxiliares (altamente correlacionadas).
• Transformação PCA:
  • As variáveis auxiliares correlacionadas ($X, Z$) são padronizadas e transformadas em componentes principais ortogonais.
  • A matriz de covariância das variáveis auxiliares é decomposta em autovalores e autovetores.
  • O primeiro componente principal ($W$), que captura a maioria da variância, é retido para substituir as variáveis correlacionadas originais, removendo efetivamente a multicolinearidade.

B. Estimadores Propostos

O estudo introduz dois estimadores específicos:

1. Estimador do Tipo Log ($t^*$): Um estimador generalizado que incorpora parâmetros conhecidos das variáveis auxiliares ($X, Z$) usando funções logarítmicas para estabilizar razões e lidar com assimetria.
   $$t^* = y + K \log\left(\frac{X + \psi_1}{x + \psi_1}\right) + (1-K) \log\left(\frac{z + \psi_2}{Z + \psi_2}\right)$$
2. Estimador Baseado em PCA ($t_{PCA}$): Este estimador utiliza o componente principal transformado e não correlacionado ($W$) dentro de uma estrutura similar do tipo log:
   $$t_{PCA} = y + \alpha \log\left(\frac{W + \psi}{w + \psi}\right)$$
   • Aqui, $\alpha$ é uma constante otimizada para minimizar o Erro Quadrático Médio (EQM).

C. Derivação de Propriedades

• Viés e EQM: Os autores derivaram o Viés e o Erro Quadrático Médio (EQM) para ambos os estimadores propostos até a primeira ordem de aproximação usando termos de erro ($e_0, e_1, e_2$).
• Otimização: As constantes ($K$ e $\alpha$) são determinadas minimizando as expressões de EQM, resultando em valores ótimos ($K_{opt}$ e $\alpha_{opt}$) e fórmulas de EQM mínimo.

3. Contribuições Principais

1. Integração Inovadora: O artigo preenche com sucesso a lacuna entre a PCA (uma técnica de redução de dimensionalidade) e a estimação em amostragem por inquérito, abordando especificamente o problema da multicolinearidade na estimação da média de população finita.
2. Transformação do Tipo Log: Ao incorporar funções logarítmicas, os estimadores propostos são projetados para serem mais robustos contra assimetria e variações extremas em dados auxiliares, que frequentemente afetam estimadores de razão convencionais.
3. Avaliação Abrangente: O estudo fornece uma derivação matemática rigorosa de viés e EQM, seguida por validação através de análise de dados do mundo real e estudos de simulação extensivos.
4. Rigor Diagnóstico: O estudo quantifica explicitamente a multicolinearidade usando Fatores de Inflação de Variância (VIF), Índices de Condicionamento (CI) e autovalores para justificar a necessidade da abordagem PCA.

4. Resultados e Avaliação

O desempenho dos estimadores propostos ($t^*$ e $t_{PCA}$) foi comparado aos estimadores convencionais ($t_0$ a $t_5$) usando Erro Quadrático Médio (EQM) e Eficiência Relativa Percentual (PRE).

A. Análise de Conjunto de Dados Real

• Fonte de Dados: Conjunto de dados de Maddala e Lahiri (1959) envolvendo Importações ($Y$), PIB ($X$) e Consumo ($Z$).
• Verificação de Multicolinearidade: A correlação entre $X$ e $Z$ foi extremamente alta ($\rho_{xz} = 0,9989$), com um VIF de 468,83, indicando multicolinearidade severa.
• Desempenho:
  • O estimador baseado em PCA ($t_{PCA}$) alcançou o EQM mais baixo (0,1974) e a maior PRE (3310,96%).
  • O estimador do tipo log proposto ($t^*$) também superou todos os estimadores convencionais (PRE: 3296,60%).
  • Estimadores convencionais como o produto-acumulado-produto ($t_3$) apresentaram desempenho deficiente devido à estrutura de correlação positiva.

B. Estudo de Simulação

• Configuração: Uma distribuição normal trivariada foi simulada ($N=1000$) com níveis de correlação variáveis ($\rho_{xz}$ de 0,3 a 0,9) e tamanhos de amostra ($n=50, 100, 150$).
• Descobertas:
  • À medida que $\rho_{xz}$ aumentou, o VIF e o Índice de Condicionamento aumentaram, confirmando o agravamento da multicolinearidade.
  • Em todos os níveis de correlação e tamanhos de amostra, o estimador baseado em PCA ($t_{PCA}$) consistentemente produziu o EQM mais baixo.
  • A lacuna de eficiência alargou-se à medida que a multicolinearidade se tornava mais severa, demonstrando a robustez da abordagem PCA.

5. Significado e Conclusão

O estudo conclui que a presença de multicolinearidade degrada significativamente o desempenho dos estimadores tradicionais que dependem de múltiplas variáveis auxiliares. O estimador do tipo log baseado em PCA proposto oferece uma solução robusta ao:

1. Eliminar Redundância: Transformando variáveis correlacionadas em componentes ortogonais.
2. Estabilizar Estimativas: Usando transformações logarítmicas para lidar com não-normalidade e valores extremos.
3. Maximizar Eficiência: Superando consistentemente os métodos existentes em termos de EQM e PRE.

Direções Futuras: Os autores sugerem estender esta metodologia para cenários de alta dimensionalidade, outros parâmetros populacionais (variância, mediana), desenhos de amostragem alternativos (estratificada, por conglomerados) e cenários envolvendo não-resposta ou erros de medição.

Em resumo, este artigo fornece uma metodologia estatisticamente sólida e praticamente eficaz para profissionais de inquéritos lidando com dados auxiliares altamente correlacionados, garantindo estimativas de média populacional mais precisas e estáveis.