Quantum probability for statisticians; some new ideas

在过去一个世纪的大部分时间里，统计学这门科学一直依赖于一个单一且僵化的框架来理解偶然性和不确定性。这个被称为经典概率的框架将世界视为一个巨大的可能性图书馆，其中每一个问题都有一个等待被发现的、单一且固定的答案。它在统计投票、预测天气或分析医学试验时表现得非常出色，其假设研究的参数只是集合中的数字，没有任何隐藏结构。然而，量子物理学作为一个独立的科学分支，长期以来一直遵循着一套不同的规则。在量子世界中，提问的行为本身会改变答案，而且关于同一个系统的两个不同问题可能会如此紧密地联系在一起，以至于知道其中一个问题的答案会使另一个问题变得根本上无法确定。长期以来，统计学家一直将这些量子规则视为仅限于原子和粒子等微观世界的奇特工具，认为它们在人类数据和决策决策的宏观世界中没有地位。

这种分离造成了我们理解上的鸿antai。虽然量子物理学彻底改变了我们对宇宙的看法，但其数学语言在很大程度上仍与统计学家日常的工作相隔离。然而，最近的发展表明，量子粒子的奇异行为可能不仅仅是微观世界的特质，而是反映了我们作为观察者如何收集和处理信息。如果控制电子自旋的规则实际上是关于我们能知道什么的规则，那么这些规则同样可能适用于我们如何分析医学、经济学或人工智能领域的数据。问题不再是量子力学是否真实存在，而是其逻辑是否能帮助我们更好地理解定义现代世界的复杂且多噪声的数据。

在一篇新论文中，来自奥斯陆大学的英格·S·赫兰德（Inge S. Helland）提出了连接这两个世界的宏伟桥梁。他认为，量子概率不仅仅适用于原子；它们可以作为统计学家的一种强大的新工具。赫兰德建立在其对量子理论的新颖基础上，这一基础剥离了“幽灵般”物理学的神秘色彩，取而代之的是一个基于观察者实际可测量性的清晰逻辑结构。他指出，宇宙中充满了“理论变量”——即存在于模型中但并非同时对我们开放的量。其中一些变量是“可及的”，意味着我们可以高精度地测量它们，而另一些则是“不可及的”，即从直接观察中隐藏起来。他的核心论点是，当我们试图测量两个紧密相连的不同可及变量时，它们的行为可以用经典统计学无法解释的方式呈现，而量子概率则能自然地处理这种情况。

为了使这一观点具体化，赫兰德描述了一个涉及四种不同皮疹治疗方法的医学试验思想实验。想象一名患者背部左侧接受一种治疗，右侧接受其他三种治疗的混合物。目标是观察哪一侧改善更多。在经典视角下，我们可能会假设可以根据四种疗法的隐藏强度计算出其中一方获胜的确切概率。然而，赫兰德展示了如果我们将这种情况视为一个量子问题，即我们提出的“问题”（哪一侧更好）取决于之前的“问题”（疗法是如何混合的），那么答案就会发生变化。他计算出，在特定的对称性条件下，某种结果的概率从经典估计的约43%转变为量子估计的恰好33%。这不仅仅是一个数学技巧；它表明当我们的数据受限或参数复杂时，量子方法为我们在看到结果之前设定初始信念（或称“先验”）提供了一种更稳健的方式。

该论文进一步展示了这些想法如何简化复杂的数据问题，特别是在机器学习领域。在现代人工智能中，计算机在面对成千上万个变量但只有少量数据点时经常会遇到困难，这种情况被称为“维度之咒”。赫兰德证明，用于解决量子物理中这一问题的数学技术——特别是被称为“模型归约”的方法——可以应用于统计模型。通过将神经网络的隐藏层视为量子系统，他展示了我们可以在不丢失重要信息的情况下，减少需要追踪的变量数量。这种方法与一种称为偏最小二乘回归的统计技术密切相关，它允许研究人员通过专注于携带最多信息的“极大”变量来寻找数据集中的最本质模式，从而有效地过滤掉噪声。

该论文最重要的发现之一是对“波恩定则”（Born rule）的推导，这是物理学家用来计算量子事件概率的著名公式。通常，这个定则被视为自然界的一个基本假设，即它仅仅是客观存在的。然而，赫兰德是从关于观察者能知道什么的逻辑原则中推导出它的。他认为，如果我们接受我们的知识受限于所能测量的东西，并且我们的测量受到某些对称性的约束，那么波恩定则就会作为分配概率的唯一逻辑方式自然浮现。这使得量子理论的视角从对世界“是什么”的描述，转向了对我们能对世界“知道什么”的描述。在这种观点下，量子力学的奇异概率不是粒子本身的属性，而是我们探究结构的反映。

这对统计学的影响是深远的。赫兰德建议，通过采用这些受量子启发的算法，统计学家可以处理传统方法失效的情况，例如数据稀缺或变量高度互联的情况。他列出了一系列潜在的应用场景，从提高机器学习算法的准确性到完善临床试验的解读。该论文并未声称整个世界都是一台量子计算机，也没有暗示经典统计学已经过时。相反，它提供了一个看待数据的全新视角，这个视角承认了人类知识的局限性，并利用量子理论的数学工具来应对这些局限。

最终，这项工作是对我们如何从数据中学习的基础进行重新思考的邀请。正如过去引入新的数学结构扩展了物理学的视野一样，赫兰德认为，将量子概率引入统计学可以丰富这一领域，为那些长期以来看似难以解决的问题提供方案。论文的结论描绘了一个愿景：统计学与量子物理学的文化不再是分离的，而是成为理解我们如何观察、测量以及理解周围世界的统一理解的一部分。通过将观察者视为不仅是事实的被动记录者，更是塑造答案的主动参与者，我们可能会找到一种更准确、更强大的方式，来理解驱动我们社会的复杂数据。