The effect of collinearity and sample size on linear regression results: a simulation study

Resumo Técnico: O Efeito da Colinearidade e do Tamanho da Amostra nos Resultados da Regressão Linear

Definição do Problema
A multicolinearidade na regressão de mínimos quadrados ordinários (OLS) infla a variância das estimativas dos coeficientes, alargando os intervalos de confiança e potencialmente reduzindo a confiabilidade da inferência estatística. Apesar das preocupações persistentes em relação a regras de bolso simplistas, a pesquisa aplicada frequentemente recorre a limiares fixos de Fator de Inflação da Variância (VIF) (ex: 4 ou 10) para diagnosticar colinearidade "problemática". Essa prática é frequentemente aplicada uniformemente em estudos com tamanhos de amostra vastamente diferentes, desde menos de 50 observações até conjuntos de dados contendo milhões de pontos. O problema central abordado é que as consequências práticas da colinearidade são fenômenos de amostra finita. Há uma carência de orientação quantitativa sobre quando a inflação da variância torna-se grande o suficiente para comprometer significativamente a precisão da estimativa, a cobertura e as conclusões inferenciais, particularmente na presença de especificação incorreta do modelo. Estudos de simulação existentes têm sido limitados por tamanhos de amostra pequenos (tipicamente $\le$ 1.000) e faixas estreitas de valores de VIF, falhando em capturar a interação entre colinearidade e conjuntos de dados de larga escala, comuns na epidemiologia moderna e na ciência de dados biomédica.

Metodologia
Os autores conduziram um estudo de simulação abrangente para investigar sistematicamente a influência conjunta da colinearidade e do tamanho da amostra nos resultados da regressão linear.

• Design: O estudo variou os tamanhos de amostra ($N$) de 100 a 100.000 e os níveis de colinearidade (VIF) de 1 (nenhuma) a 50 (extrema).
• Geração de Dados: Para cada cenário, 1.000 conjuntos de dados foram gerados. Os preditores foram extraídos de uma distribuição normal padrão e transformados usando um fator de Cholesky derivado de uma matriz de correlação especificada para atingir os VIFs alvo. A variável de desfecho foi gerada usando um modelo linear com seis preditores, incluindo um preditor principal de interesse ($\beta_{main} = 2$).
• Cenários: As simulações cobriram modelos corretamente especificados e modelos mal especificados (onde um preditor relevante foi omitido para induzir viés).
• Métricas: O estudo avaliou quatro resultados principais para o coeficiente principal:
  1. Cobertura: A proporção de intervalos de confiança (ICs) de 95% que contêm o valor real.
  2. Erro e Viés: Erro Absoluto Médio (MAE) e viés sistemático.
  3. Poder Tradicional: A proporção de ICs que excluem o zero.
  4. Garantia de Precisão: Uma métrica de probabilidade de precisão definida como a probabilidade de o IC de 95% situar-se inteiramente dentro de uma margem prática pré-especificada ($\beta_{main} \pm c_{powval}$) em torno do efeito real. Esta métrica foi calibrada para produzir 80% de poder em $N=1.000$ com nenhuma colinearidade.

Principais Resultados

• Modelos Corretamente Especificados:
  • Cobertura: A colinearidade não afetou materialmente a cobertura nominal; os ICs de 95% capturaram de forma confiável o coeficiente real em todos os tamanhos de amostra e níveis de VIF.
  • Viés: Nenhum viés sistemático foi introduzido pela colinearidade isoladamente. Pequenos desvios observados em amostras pequenas ($N=100$) foram atribuídos à variabilidade de amostra finita e ao erro de Monte Carlo, em vez de viés de OLS.
  • Precisão e Poder: A colinearidade reduziu substancialmente a precisão e o poder, mas a magnitude deste efeito dependeu fortemente do tamanho da amostra.
    • Em tamanhos de amostra pequenos ($N \approx 100$), mesmo uma colinearidade leve (VIF < 2) inflou significativamente os erros e reduziu tanto a garantia de precisão quanto o poder tradicional.
    • Em tamanhos de amostra grandes ($N \ge 50.000$), as estimativas permaneceram robustas mesmo sob colinearidade extrema (VIF = 50), mantendo alta garantia de precisão.
• Modelos Mal Especificados (Viés de Variável Omitida):
  • Quando um preditor relevante foi omitido, a colinearidade amplificou fortemente o viés resultante.
  • Em cenários enviesados, mesmo uma colinearidade mínima (VIF $\approx$ 1,1) causou perdas dramáticas na garantia de precisão e reduziu a cobertura, conforme o viés deslocou as estimativas para longe do valor real enquanto alargava os ICs.
• Tamanho do Efeito e Contagem de Preditores: O número de preditores correlacionados e o número total de preditores tiveram efeitos negligenciáveis nos resultados em comparação com o tamanho da amostra. O tamanho do efeito influenciou o poder tradicional (robustez contra a inclusão do zero), mas não alterou a garantia de precisão, a cobertura ou o MAE.

Significância e Implicações Práticas
O estudo desafia a aplicação mecânica de limiares fixos de VIF. Os autores concluem que a colinearidade deve ser interpretada em relação ao tamanho da amostra e às potenciais fontes de viés:

1. Limiares Dependentes de Contexto: Em estudos pequenos, VIFs modestos podem ser consequentes, enquanto em estudos muito grandes, Vifics extremos podem ser praticamente negligenciáveis.
2. Risco de Exclusão de Variáveis: A exclusão de preditores visando apenas reduzir o VIF é desencorajada. Na presença de especificação incorreta do modelo, remover variáveis para eliminar a colinearidade pode piorar a inferência ao introduzir ou exacerbar o viés de variável omitida, o qual a colinearidade então amplifica.
3. Ferramenta de Orientação: Os autores fornecem mapas de calor (ex: Figura 5) como uma referência prática para pesquisadores anteciparem o impacto da colinearidade na garantia de precisão através de diferentes tamanhos de estudo e pressupostos de modelagem. Essas ferramentas facilitam avaliações empiricamente fundamentadas que vão além de cortes rígidos, incorporando explicitamente o tamanho da amostra e a estrutura do modelo na tomada de decisão.

O artigo enfatiza que, embora a colinearidade influe a variância, ela não introduz inerentemente viés nas estimativas em modelos corretamente especificados; no entanto, sua interação com o viés em modelos mal especificados cria riscos inferenciais severos que os limiares fixos não conseguem capturar.