When does validation design change the answer? A simulation study and two empirical applications in clustered longitudinal health data
本研究表明，虽然簇内相关性是行级验证泄漏的必要条件，但簇规模是现实世界数据中的约束限制，这表明研究人员应当优先考虑时间验证，并利用建模前诊断来确定何时才真正需要更严格的验证设计。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在医学预测领域，科学家们构建计算机模型来猜测可能发生的事情：患者是否会再次入院，或者新的疾病爆发是否会蔓延。为了知道这些猜测是否可靠，研究人员必须对它们进行测试。标准的做法是将一堆数据分为两堆：一堆用于教导模型，另一堆用于测试它。但现实世界的健康数据是杂乱无章的。它们通常是成簇出现的，这意味着许多记录来自同一个来源，比如来自同一名患者的多次就诊，或者关于同一次疾病事件的多份报告。如果模型在教学堆和测试堆中都看到了同一名患者，它就会产生过拟合。它并没有学习疾病，而只是记住了患者。这会产生一种虚假的信心，使模型看起来非常出色，而实际上它只是擅长识别熟悉的面孔。多年来，经验法则一直是：无论如何，在测试期间都要始终保持这些簇的独立。
一项新研究挑战了这一僵化的规则。来自韩国国防部的研究人员和首尔大学的研究人员提出了一个简单但至关重要的问题：这种分离规则在每种数据集中都真的重要吗？还是说我们在某些情况下是在浪费精力？他们想确切知道，何时选择如何划分数据会改变最终结果，以及改变的程度有多少。他们观察了两种截然不同的现实世界情况：一个庞大的全球疾病爆发报告档案，以及一个大型糖尿病患者住院记录集。通过运行受控模拟，然后将这些测试应用于这些真实档案，他们发现旧的规则并不总是必要的。事实上，对于他们研究的这两个数据集，严格的分离对最终得分几乎没有影响。他们发现，真正的危险不在于聚类本身，而在于时间的流逝。
团队首先在计算机上创建了数千个虚拟数据集，以了解问题的机制。他们可以调高或调低三个特定的成分：组内特征的相似程度、组内每个人结果的一致性程度，以及游戏规则随时间变化的程度。他们发现，当数据是静态且组规模较小时，过拟合非常轻微。但当组规模很大且组内所有人的结果完全一致时，过拟合会变得非常严重，使模型的得分虚高二十多分。然而，他们还发现了第四个经常被忽视的因素：组的大小。即使组内的数据完全相同，如果一个组只有一两个条目，那么模型就没有可以过拟合的对象。
带着这种理解，研究人员转向了第一个现实世界的测试：一个包含二十四年历史的世界卫生组织疾病爆发报告档案。在这个数据集中，一份报告可能会产生多个国家的数据行。研究人员正在测试一个模型，以预测一份报告是否提到了特定类别的危险生物制剂。这里的数据在理论上非常容易发生过拟合：报告中的每一行结果都是相同的，且特征高度相关。按照旧有的规则，这本该是一个灾难性的测试。然而，当他们计算数据时，标准测试与严格测试之间的差异微乎其微，不到一个百分点。原因很简单：档案中的大多数报告都是单条记录。没有重复的行来泄露信息。模型没有机会记住这个组，因为这些组几乎都是孤立存在的。
随后，他们测试了第二个数据集，这次是观察糖尿病患者的医院再入院情况。在这里，自然的“组”是个体患者，许多人曾多次入院。在这种情况下，患者的特征可能有些相似，但结果却不一致。一名患者在一个月后是否再入院，并不能强烈预示她下个月是否会再入院。这个数据集处于光谱的另一端：组内是重复的，但结果不是共享的。同样，严格的分离规则对最终得分几乎没有影响。模型无法过拟通过识别患者来预测结果。
最令人震惊的发现出现在研究人员观察时间的时候。在疾病爆发档案中，他们比较了模型在过去数据上的表现与在未来数据上的表现。虽然对组的严格分离几乎没有改变得分，但按时间分离数据却改变了一切。一个在内部测试中看起来完美的模型，在接受后期数据测试时表现大幅下降。得分从高达 0.96 跌至 0.62，这一巨大的差距表明，该模型未能适应多年来疾病报告方式的变化。研究人员发现，时间漂移对模型可靠性的破坏程度是由于未能分离组而导致的破坏程度的四十倍。
该研究得出结论，自动、盲目地应用严格的组分离并不是总是正确的做法。它是一个应当仅在满足三个特定条件时才使用的工具：数据必须有组内的重复条目，特征必须携带组的身份标识，且结果必须在组内共享。如果缺少其中任何一项，分离组所付出的努力几乎没有任何收益。相反，研究人员认为，真正的重点应该是时间验证。当数据来自一个不断变化的世界时，最重要的测试是看模型是否能在未来的数据上发挥作用，而不仅仅是测试那些经过随机打乱的过去数据。通过在构建模型之前检查组的大小和结果的一致性，科学家可以决定是将精力花在分离组上，还是花在测试时间上。在研究的这两个案例中，答案很明确：时间测试很重要，而组测试并不重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。