📊 statistics

The effect of collinearity and sample size on linear regression results: a simulation study

这项模拟研究表明，虽然在模型设定正确的情况下，共线性主要是在小样本中降低精确度而不导致偏差，但在模型设定错误时，它会显著放大偏差并恶化推断，从而论证了不应在不考虑样本量和潜在遗漏变量偏差的情况下机械地应用固定的方差膨胀因子（VIF）阈值。

原作者： Stephanie CC van der Lubbe, Jose M Valderas, Evangelos Kontopantelis

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Stephanie CC van der Lubbe, Jose M Valderas, Evangelos Kontopantelis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗易懂版解释，采用了日常生活的类比。

核心问题：什么时候“过度相似”会成为问题？

想象一下，你正试图弄清楚某种特定成分（比如盐）对汤的味道有多大影响。你的食谱里有很多种成分：盐、胡椒、大蒜、洋葱和胡萝卜。

在统计学中，这被称为线性回归。你想知道盐的真实作用。

然而，有时食材之间会非常相似。例如，如果你总是按固定的比例添加盐和胡椒（只要加一撮盐，就一定会加一撮胡椒），那么很难分辨出到底是哪一个让汤变咸了。在统计学中，这被称为共线性（collinearity）。

为了衡量这种“相似度”，研究人员使用了一个名为 VIF（方差膨胀因子）的分数：

VIF = 1： 食材完全独特（没有相似性）。
VIF = 10 或更高： 食材非常相似（高共线性）。

旧规则： 长期以来，科学家们一直遵循一个死板的经验法则：“如果 VIF 高于 4 或 10，立即把其中一种食材从食谱中剔除。” 无论他们的“锅”有多大，他们都这样做。

这项新研究： 本文提出了疑问：这个规则真的合理吗？我们是在煮一小杯汤，还是在煮一个巨大的工业化汤桶，这真的有区别吗？

实验：用不同大小的锅进行烹饪

研究人员运行了一个大规模计算机模拟（一个“数字厨房”）来测试这一点。他们烹饪了成千上万批次的汤，主要有两个变量：

锅的大小（样本量）： 从一小杯汤（100 份）到巨大的工业化汤桶（100,000 份）。
相似度（共线性）： 从完全独特的食材（VIF=1）到几乎是双胞胎般的食材（VIF=50）。

然后，他们检查了四项指标：

准确性（Accuracy）： 他们得到的是正确答案吗？
置信度（Confidence）： 他们对那个答案有多确定？
精确度（Precision）： 答案是紧凑且具体的，还是一个宽泛、模糊的猜测？
偏差（Bias）： 他们是否不小心漏掉了一个改变风味的关键词成分？

令人惊讶的发现

以下是他们发现的结果，按“锅的大小”分类：

1. 小锅（小样本量：约 100 人）

问题所在： 在小锅里，即使食材之间只有一点点相似，也会引发混乱。

类比： 想象一下，你要在一小茶匙汤里猜出盐的精确含量。如果盐和胡椒稍微混在一起，你的猜测就会天差地别。
结果： 即使是较低的相似度分数（VIF < 2），也会导致结果不可靠。其“置信区间”（可能答案的范围）变得如此之宽，以至于研究失去了效力。
教训： 在小型研究中，你不能忽视哪怕轻微的相似性。

2. 巨型汤桶（大样本量：约 50,000+ 人）

好消息： 在大锅里，规则完全改变了。

类比： 想象一下，你要在一泳池那么大的汤里猜盐的含量。即使盐和胡椒完美地混合在一起，由于汤的总量巨大，平均味道也会变得极其清晰。相似性带来的“噪音”会被海量的数据所淹没。
结果： 即使存在极端的相似性（VIF = 50），结果依然保持准确和精确。置信区间依然保持紧凑。
教训： 在海量数据集中，你通常可以忽略高 VIF 分数。它们不会损害你的结果。

3. “缺失成分”陷阱（偏差）

这是论文中最关键的警告。

场景： 如果你决定通过扔掉一个成分（比如胡椒）来解决“相似性问题”，从而让数学计算更容易，会发生什么？
结果： 如果那个成分实际上很重要（即使它与盐很相似），移除它就会产生偏差。
类比： 如果你因为胡椒和盐太像而把它扔了，但胡椒其实增加了辛辣感，那么你的汤味道就会出错。食材越相似，当你移除其中一个时，味道就变得越糟糕。
教训： 仅仅为了降低 VIF 分数而移除变量，可能会让你的结果变得更错，而不是更好。

总结：停止使用死板的规则

论文得出结论：旧的“如果 VIF > 10，就删除变量”的规则是失效的。

不要做机器人： 你不能把同样的规则同时应用在小型研究和大型研究中。
语境才是关键：
- 如果是小型研究，即使是微小的相似性也是危险的。
- 如果是大型研究，即使是极端的相似性通常也是无害的。
不要乱扔东西： 如果你仅仅为了修复 VIF 分数而移除变量，你可能会引入一个新的、更大的问题（偏差），从而毁掉你的结论。

底线： 研究人员不应盲目遵循图表上的数字，而应该观察他们的样本量。如果他们拥有大量数据，他们很可能可以保留所有变量，即使这些变量很相似。如果数据很少，他们需要非常小心，但即便如此，也不应该在不考虑后果的情况下直接删除变量。

技术摘要：共线性与样本量对线性回归结果的影响

问题陈述
普通最小二乘（OLS）回归中的多重共线性会使系数估计的方差膨胀，从而扩大置信区间，并可能降低统计推断的可靠性。尽管长期以来人们对简单的经验法则持有疑虑，但应用研究仍频繁依赖固定的方差膨胀因子（VIF）阈值（例如 4 或 10）来诊断“有问题”的共线性。这种做法通常被统一应用于样本量差异巨大的研究中，从少于 50 个观测值的研究到包含数百万个数据点的数据库。其核心问题在于，共线性的实际后果是有限样本现象。目前缺乏定量的指导，说明方差膨胀何时会大到足以实质性地损害估计精度、覆盖率和推断结论，特别是在存在模型设定错误的情况下。现有的模拟研究受限于较小的样本量（通常 $\le 1,000$ ）和较窄的 VIF 取值范围，未能捕捉到在现代流行病学和生物医学数据科学中常见的共线性与大规模数据集之间的相互作用。

方法论
作者进行了一项全面的模拟研究，以系统地调查共线性与样本量对线性回归结果的共同影响。

设计： 研究将样本量 ( $N$ ) 从 100 变化至 100,000，并将共线性水平 (VIF) 从 1（无）变化至 50（极端）。
数据生成： 对于每种情景，生成了 1,000 个数据集。预测变量取自标准正态分布，并通过使用由指定相关矩阵导出的 Cholesky 分解因子进行转换，以达到目标 VIF。因变量通过一个线性模型生成，该模型包含六个预测变量，其中包括一个“主要”感兴趣的预测变量 ( $\beta_{main} = 2$ )。
情景： 模拟涵盖了正确设定的模型和设定错误的模型（其中省略了一个相关的预测变量以诱导偏差）。
指标： 研究评估了关于主要系数的四个关键结果：
1. 覆盖率 (Coverage)： 包含真实值的 95% 置信区间 (CI) 的比例。
2. 误差与偏差 (Error and Bias)： 平均绝对误差 (MAE) 和系统性偏差。
3. 传统功效 (Traditional Power)： 不包含零的置信区间比例。
4. 精度保证 (Precision Assurance)： 一个精度概率度量，定义为 95% 置信区间完全落在真实效应周围预设的实际范围内 ( $\beta_{main} \pm c_{powval}$ ) 的概率。该指标经过校准，在 $N=1,000$ 且无共线性时产生 80% 的功效。

关键结果

正确设定的模型：
- 覆盖率： 共线性不会实质性地影响名义覆盖率；在所有样本量和 VIF 水平下，95% 的置信区间都能可靠地捕捉到真实系数。
- 偏差： 共线性本身不会引入系统性偏差。在小样本 ( $N=100$ ) 中观察到的轻微偏差归因于有限样本变异性和蒙特卡洛误差，而非 OLS 偏差。
- 精度与功效： 共线性显著降低了精度和功效，但这种影响的大小高度依赖于样本量。
  - 在小样本量 ( $N \approx 100$ ) 时，即使是轻微的共线性 (VIF < 2) 也会显著增加误差，并降低精度保证和传统功效。
  - 在大样本量 ( $N \ge 50,000$ ) 时，即使在极端共线性 (VIF = 50) 下，估计值依然保持稳健，并维持较高的精度保证。
设定错误的模型（遗漏变量偏差）：
- 当省略一个相关的预测变量时，共线性会强烈放大由此产生的偏差。
- 在存在偏差的情景中，即使是极小的共线性 (VIF $\approx$ 1.1) 也会导致精度保证的大幅损失并降低覆盖率，因为偏差将估计值移离了真实值，同时加宽了置信区间。
效应量与预测变量数量： 与样本量相比，相关预测变量的数量和总预测变量的数量对结果的影响可以忽略不计。效应量影响传统功效（针对包含零的稳健性），但不会改变精度保证、覆盖率或 MAE。

意义与实际应用
本研究挑战了机械化应用固定 VIF 阈值的做法。作者得出结论，必须结合样本量和潜在的偏差来源来解释共线性：

上下文相关的阈值： 在小规模研究中，适度的 VIF 可能具有后果；而在超大规模研究中，极端的 VIF 可能在实际中可以忽略不计。
变量排除的风险： 不鼓励仅仅为了降低 VIF 而排除预测变量。在存在模型设定错误的情况下，为了消除共线性而移除变量可能会通过引入或加剧遗漏变量偏差，从而使推断情况恶化，而共线性会放大这种偏差。
指导工具： 作者提供了热图（例如图 5）作为实用的参考工具，帮助研究人员预测不同研究规模和建模假设下共线性对精度保证的影响。这些工具促进了基于经验的评估，使其超越了僵化的切分点，明确地将样本量和模型结构纳入决策过程。

论文强调，虽然共线性会使方差膨胀，但它本身并不会在正确设定的模型中导致偏差；然而，它与设定错误模型中偏差的相互作用会产生严重的推断风险，而固定的阈值无法捕捉到这一点。