Doubly robust nearest neighbors in factor models

在现代数据的广袤景观中，信息往往是不完整的。无论是追踪患者数月间的健康状况、预测客户下一步可能购买什么，还是了解某种产品在不同地区的表现，研究人员经常面临一个存在大量空白的数字矩阵。一些条目缺失是因为传感器故障、用户跳过了调查，或是某种治疗措施未被应用。挑战在于如何以足够的准确性填补这些空白，从而做出可靠的决策。为此，统计学家通常依赖于这样一个观点：世界是由隐藏的模式所支配的。他们假设我们看到的数据是由少数潜在力量塑造的——例如用户的普遍偏好或特定的时间点——这些力量在数据集中不断重复。如果我们能找到这些隐藏的模式，我们就能推测出缺失的数字应该是多少。

几十年来，一种常用的进行此类推测的方法是寻找“邻居”。如果你想知道某个特定用户会对某件产品给出怎样的评价，你会观察与其他用户非常相似的人，看看那些“邻居”喜欢什么。这就是最近邻算法的逻辑。然而，这种方法有一个致命缺陷：它只有在你确实能找到一个好的邻居时才有效。如果该用户很独特，或者时间段很特殊，该方法就会失效，因为没有人足够相似可以供其模仿。Raaz Dwivedi 及其同事的新工作通过创造一种更聪明的方式来结合两种不同类型的邻居搜索，解决了这一脆弱性。该方法不再仅仅依赖于一种类型的相似性，而是通过名为“双重稳健最近邻”（Doubly Robust Nearest Neighbors）的新方法，只要存在相似的用户或相似的时间段，它就能成功。如果两者皆备，该方法会变得更加精确，提供一种此前难以企及的准确度。

研究人员处理的是一个被称为“矩阵补全”（matrix completion）的特定数学难题，其目标是从零散的观测点中重建一个完整的网格。他们专注于这样一种场景：数据是由一个混合了两种因素的隐藏函数生成的——其中一组因素代表“单元”（如人或产品），另一组代表“时间”（如天或小时）。在这种设定下，任何特定交汇处的值都由单元的隐藏特征与时间的隐藏特征如何相互作用来决定。标准方法涉及两种独立的策略。第一种被称为“单元最近邻”，它寻找数据中与目标行相似的其他行。第二种被称为“时间最近邻”，它寻找与目标列相似的其他列。这两种策略在数据具有密集相似模式时运作良好，但在数据稀疏或目标点是离群值时则会陷入困境。

团队意识到，这两种策略并非互斥的，而是可以结合起来以弥补彼此的弱点。他们开发了一种新的估计量，该估计量实际上同时询问两个问题：“我是否有相似的用户？”以及“我是否有相似的时间？”如果其中一个问题的答案为“是”，新方法就能产生可靠的估计。这就是他们所说的“双重稳健”。它对第一种策略的失效具有稳健性，只要第二种策略有效即可，反之亦然。研究人员在数学上证明，如果两种策略都能找到好的邻居，新方法不仅仅是取它们的平均值，而是乘上了它们的优势。这导致了准确性的显著提升，其误差率的降低程度远超任何单一方法所能达到的水平。从技术层面讲，这种提升转化为近乎平方级的误差缩减，这意味着估计值会变得更加精准，且仅需极少的额外数据。

为了验证他们的理论，研究人员使用模拟现实场景（包括简单的线性关系和更复杂的非线性关系）的合成数据进行了广泛的模拟实验。他们将新方法与传统的单元最近邻、时间最近邻以及其他标准的矩阵补全算法进行了对比。结果显而易见：新方法始终优于其他方法。在数据由简单线性规则生成的情况下，新方法减少误差的比例随数据集规模增长，远超旧方法的表现。即使在因素间关系更为复杂的非线性场景中，这种新方法依然保持着显著优势，通常能匹配甚至超越传统方法的最佳表现，同时避免了它们最坏的情况。

团队还将该方法应用于来自名为 HeartSteps 的移动健康临床试验的真实数据集。在这项研究中，参与者佩戴活动追踪器，并随机接收通知以鼓励体育活动。研究的目标是估算参与者在收到通知与未收到通知的情况下，每小时会走多少步，甚至是针对那些并未实际观察到该条件的时刻进行估算。由于通知是随机发送的，数据自然呈现稀疏状态。当研究人员使用这种新的“双重稳向最近邻”方法来填补这些空白时，其产生的估计值比标准方法更准确。误差分布更紧凑，这意味着预测值始终更接近真实值。这证明了该方法不仅在理论或计算机生成的数字上有效，在面对缺失信息成为常态的混乱、真实的现实数据时同样有效。

该研究的一个关键洞察涉及数据处理中的权衡。为了证明其数学保证，研究人员最初将数据分为不同的块以避免特定类型的统计偏差。然而，在实际实验中，他们发现使用整个数据集而不进行拆分实际上会产生更好的结果。虽然拆分数据有助于理论证明，但它减少了用于寻找邻居的信息量，从而增加了估计中的噪声。在实践中，拥有更多数据来寻找相似性的收益超过了理论上的偏差风险，这表明在实际应用中，使用所有可用信息通常是更优的选择。

这项工作的意义不仅限于填补缺失的数字。即使在数据稀疏或异质化的情况下也能做出可靠估计的能力，对于个性化医疗和精准广告等领域至关重要。在这些领域，决策往往针对的是独特的个体或尚未经历过的场景。如果一个方法因为无法找到完美匹配而失效，其后果可能是错误的建议或无效的治疗。通过确保即使在一种相似性缺失时估计过程依然稳健，这种新方法提供了一个决策的安全网。它允许系统从已有的数据中学习，而不是因为数据结构不完美而失败。

研究人员还指出，他们的方法可以扩展到更复杂的数据结构，例如三维张量，其中可能涉及单元、时间以及第三个因素（如特定的干预措施或位置）。结合多种来源的相似性以创建稳健估计的逻辑也可以应用于那里，从而可能产生“三重稳健”的方法。这表明统计推断存在一个更广泛的前进方向，即重点从寻找单一完美匹配转向智能地结合多个不完美的各种信息源。这项工作证明，通过重新思考如何结合像“寻找邻居”这样简单直观的想法，我们可以构建出比其部分之和更具韧性和准确性的工具。

最终，这篇论文为解决一个常见问题提供了实用的方案：如何理解不完整的信息。它表明，我们不需要等待完美的数据或完美的匹配来做出好的推测。通过承认不同类型的相似性确实存在，并学会如何将它们结合使用，我们可以建立起在面对不确定性时更加可靠的模型。该方法的逻辑简单，执行力却极强，为我们在一个日益由大规模、复杂数据集驱动的世界中如何处理缺失数据树立了新的标准。