Interpolated Supervision Can Change What Regression Benchmarks Reward
本文表明，通过插值法从稀疏的时间观测值中构建稠密回归标签，会从根本上改变基准测试排名和模型选择，且这种改变往往并不反映真实的临床疗效或预测架构的改进。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在医疗监测和数据科学领域，研究人员通常依赖一个简单的假设：如果你想预测患者每一天的感受，你就需要每一天的测量数据。但在现实中，医生无法每天见到患者。他们可能每月见一次，或者每隔几周见一次，然后必须对中间发生的情况进行推测。为了填补这些空白，数据科学家经常使用一种叫做“插值法”（interpolation）的技术。想象一下在图表上的两个点之间画一条直线；这条线代表了中间日期的估计值。几十年来，这种方法一直被视为一种无害的方法，用于从稀疏的数据集中创建完整的数据集。它允许计算机在只有每周或每月真实观测值的情况下，也能针对“每日”数据进行训练。然而，一项新的研究表明，这种便利性可能隐藏着一个严重的问题。我们构建这些每日估计值的方式，可能会从根本上改变哪些计算机模型看起来是最优秀的，从而可能导致研究人员选择了错误的工具。
这项研究背后的研究人员旨在调查一个具体的问题：用于填补缺失日期的这种方法，是否真的会改变在一场竞赛中胜出的预测模型？他们并没有寻找新的医学发现，也没有提出更好的治疗方案。相反，他们扮演了审计者的角色，检查了用于评判这些模型的规则本身。他们专注于一个关于帕金森病（Park than Parkinson's disease）的知名数据集，在该数据集中，患者每天记录自己的声音，但其症状严重程度仅由医生在特定的几天进行评估。提供给公众的数据集已经包含了这些“每日”评分，但研究人员知道这些并不是独立的观测值；它们是连接少数几次真实医生就诊的数学化线条。该团队想要观察，如果使用这些绘制出的线条作为训练和测试模型的“目标值”（target），与使用仅有的真实观测点相比，结果是否会有所不同。
为了回答这个问题，该团队进行了一系列受控实验，不仅使用了帕金森病数据，还使用了空气质量和家庭能源消耗的数据。在这些其他数据集中，他们知道真实的连续测量值，因为这些数据来自每时每刻都在记录数据的传感器。这使他们能够创建一个完美的对照组。他们使用了相同的计算机模型和相同的输入数据，但改变了他们试图预测的目标。在一种情景中，模型是根据真实的、密集的传感器数据进行评判的。在另一种情景中，模型是根据一个经过修改的版本进行评判的，即保留了真实的点，但用直线填补了间隙，就像帕金森病数据集中的做法一样。输入数据——无论是语音录音还是天气状况——都保持完全一致。唯一改变的是“正确答案”的定义。
结果令人震惊。当研究人员将目标从真实的传感器数据改为插值的、画线的数据时，模型的排名发生了翻转。在空气质量实验中，当真实数据点之间的间隙较大时，模型的排名顺序发生了剧烈变化。例如，在一种特定的设置下，近一半的模型对交换了位置；一个在面对真实数据时表现明显更优的模型，在面对绘制出的线条时突然显得较差，反之亦然。尽管模型本身没有改变，且用于预测的数据也是完全相同的，但这种情况依然发生了。研究发现，构建目标标签的方法不仅仅是一个微小的细节，它是一种强大的力量，可以逆转科学比较的结果。
研究人员还测试了当模型实际上是在这些绘制出的线条上进行训练，而不仅仅是针对它们进行测试时会发生什么。他们发现，在平滑的、插值的数据上进行训练会使模型的行为发生变化，通常使它们彼此之间变得更加相似，并且对现实生活中发生的细微、快速的波动变得不那么敏感。在另一组旨在模拟症状呈规律周期性上升和下降的患者的模拟实验中，团队展示了如果用于绘制线条的“锚点”恰好错过了该周期的峰值和谷值，那么生成的模型将会系统性地无法识别这些模式。模型会学习那条平滑的线，而不是那条锯齿状的现实。这证实了，一个在插值数据上训练的模型可能非常擅长预测那条平滑的线，但在预测它本应监测的疾病的实际、混乱的变化方面却表现很差。
至关重要的是，这项研究并未声称插值法总是错误的，或者说它永远不应该被使用。作者指出，有时一条平滑的轨迹正是所需要的。问题在于，当研究人员使用这些平滑后的目标来对真实的、未被观察到的每日波动做出结论时，问题就出现了。研究表明，你不能利用模型在平滑目标上的成功来证明它擅长检测每日变化，因为目标本身已经抹去了这些变化。在帕金森病数据集中，由于不存在独立的每日评分，研究人员无法得知真实的每日症状严重程度。因此，他们无法断定哪种模型在预测每日症状方面真正最优秀。他们只能说，模型的选择完全取决于研究人员是关心那条平滑的线，还是关心那条锯齿状的现实。
这项工作的最终结论是对如何准备数据提出了透明度方面的呼吁。研究表明，“机器学习竞赛”的获胜者往往是由目标标签是如何构建的，而不是由算法的复杂程度决定的。如果一个数据集是通过用直线连接点来构建的，那么胜出的模型将是那些最擅长画直线的模型。如果目标是理解疾病复杂且波动的本质，那么依赖于一个被平滑处理过的目标会导致误导性的结果。研究人员提供了一个数学检查工具，以帮助他人判断他们的排名是否稳定，但他们发现，在许多情况下，这些排名并不稳定。这项工作提醒我们，在科学领域，你得到的结果往往是你所提问方式的反映；如果问题是建立在一条人工线条之上，那么答案也将是一个人工的真相。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。