The effect of collinearity and sample size on linear regression results: a simulation study

Resumen Técnico: El efecto de la colinealidad y el tamaño de la muestra en los resultados de la regresión lineal

Planteamiento del problema
La multicolinealidad en la regresión de mínimos cuadrados ordinarios (OLS) infla la varianza de las estimaciones de los coeficientes, ampliando los intervalos de confianza y reduciendo potencialmente la fiabilidad de la inferencia estadística. A pesar de las persistentes preocupaciones respecto a las reglas empíricas simplistas, la investigación aplicada recurre frecuentemente a umbrales fijos de Factor de Inflación de la Varianza (VIF) (por ejemplo, 4 o 10) para diagnosticar una colinealidad "problemática". Esta práctica se aplica de manera uniforme en estudios con tamaños de muestra muy distintos, desde menos de 50 observaciones hasta conjuntos de datos que contienen millones de puntos. El problema central abordado es que las consecuencias prácticas de la colinealidad son fenómenos de muestras finitas. Existe una falta de orientación cuantitativa sobre cuándo la inflación de la varianza es lo suficientemente grande como para comprometer significativamente la precisión de la estimación, la cobertura y las conclusiones inferenciales, particularmente en presencia de una especificación errónea del modelo. Los estudios de simulación existentes se han visto limitados por tamaños de muestra pequeños (típicamente $\le$ 1,000) y rangos estrechos de valores de VIF, sin lograr capturar la interacción entre la colinealidad y los conjuntos de datos a gran escala, comunes en la epidemiología moderna y la ciencia de datos biomédicos.

Metodología
Los autores llevaron a cabo un estudio de simulación exhaustivo para investigar sistemáticamente la influencia conjunta de la colinealidad y el tamaño de la muestra en los resultados de la regresión lineal.

• Diseño: El estudio varió los tamaños de muestra ($N$) de 100 a 100,000 y los niveles de colinealidad (VIF) de 1 (ninguna) a 50 (extrema).
• Generación de datos: Para cada escenario, se generaron 1,000 conjuntos de datos. Los predictores se extrajeron de una distribución normal estándar y se transformaron utilizando un factor de Cholesky derivado de una matriz de correlación específica para alcanzar los VIF objetivo. La variable de resultado se generó mediante un modelo lineal con seis predictores, incluyendo un predictor "principal" de interés ($\beta_{main} = 2$).
• Escenarios: Las simulaciones cubrieron modelos correctamente especificados y modelos mal especificados (donde se omitió un predictor relevante para inducir sesgo).
• Métricas: El estudio evaluó cuatro resultados clave para el coeficiente principal:
  1. Cobertura: La proporción de intervalos de confianza (IC) del 95% que contienen el valor real.
  2. Error y Sesgo: Error Absoluto Medio (MAE) y sesgo sistemático.
  3. Potencia Tradicional: La proporción de IC que excluyen el cero.
  4. Garantía de Precisión: Una métrica de probabilidad de precisión definida como la probabilidad de que el IC del 95% se encuentre enteramente dentro de un margen práctico preespecificado ($\beta_{main} \pm c_{powval}$) alrededor del efecto real. Esta métrica se calibró para obtener un 80% de potencia con $N=1,000$ y sin colinealidad.

Resultados Clave

• Modelos Correctamente Especificados:
  • Cobertura: La colinealidad no afectó materialmente la cobertura nominal; los IC del 95% capturaron de manera fiable el coeficiente real en todos los tamaños de muestra y niveles de VIF.
  • Sesgo: No se introdujo un sesgo sistemático por la colinealidad por sí sola. Las desviaciones menores observadas en muestras pequeñas ($N=100$) se atribuyeron a la variabilidad de la muestra finita y al error de Monte Carlo, más que a un sesgo de OLS.
  • Precisión y Potencia: La colinealidad redujo sustancialmente la precisión y la potencia, pero la magnitud de este efecto dependió fuertemente del tamaño de la muestra.
    • En tamaños de muestra pequeños ($N \approx 100$), incluso una colinealidad leve (VIF < 2) infló significativamente los errores y redujo tanto la garantía de precisión como la potencia tradicional.
    • En tamaños de muestra grandes ($N \ge 50,000$), las estimaciones se mantuvieron robustas incluso bajo una colinealidad extrema (VIF = 50), manteniendo una alta garantía de precisión.
• Modelos Mal Especificados (Sesgo por Variable Omitida):
  • Cuando se omitió un predictor relevante, la colinealidad amplificó fuertemente el sesgo resultante.
  • En escenarios con sesgo, incluso una colinealidad mínima (VIF $\approx$ 1.1) causó pérdidas dramáticas en la garantía de precisión y redujo la cobertura, ya que el sesgo desplazó las estimaciones lejos del valor real mientras ampliaba los IC.
• Tamaño del Efecto y Cantidad de Predictores: El número de predictores correlacionados y el número total de predictores tuvieron efectos insignificantes en los resultados en comparación con el tamaño de la muestra. El tamaño del efecto influyó en la potencia tradicional (robustez contra la inclusión del cero), pero no alteró la garantía de precisión, la cobertura o el MAE.

Significancia e Implicaciones Prácticas
El estudio cuestiona la aplicación mecánica de umbrales fijos de VIF. Los autores concluyen que la colinealidad debe interpretarse en relación con el tamaño de la muestra y las posibles fuentes de sesgo:

1. Umbrales Dependientes del Contexto: En estudios pequeños, los VIF moderados pueden ser consecuentes, mientras que en estudios muy grandes, los VIF extremos pueden ser prácticamente insignificantes.
2. Riesgo de Exclusión de Variables: Se desaconseja excluir predictores únicamente para reducir el VIF. En presencia de una especificación errónea del modelo, eliminar variables para eliminar la colinealidad puede empeorar la inferencia al introducir o exacerbar el sesgo por variable omitida, el cual la colinealidad luego amplifica.
3. Herramienta de Orientación: Los autores proporcionan mapas de calor (por ejemplo, la Figura 5) como una referencia práctica para que los investigadores anticipen el impacto de la colinealidad en la garantía de precisión a través de diferentes tamaños de estudio y supuestos de modelado. Estas herramientas facilitan evaluaciones con base empírica que van más allá de los cortes rígidos, incorporando explícitamente el tamaño de la muestra y la estructura del modelo en la toma de decisiones.

El artículo enfatiza que, si bien la colinealidad infla la varianza, no introduce inherentemente sesgo en los modelos correctamente especificados; sin embargo, su interacción con el sesgo en modelos mal especificados crea riesgos inferenciales severos que los umbrales fijos no logran capturar.