Prior laundering: learned priors with inherited, undetectable overconfidence

隐形地图之谜

想象你是一名试图破解犯罪案的侦探，但你手里只有一张模糊、残缺的现场照片。你知道物理定律（光是如何弯曲的，声音是如何传播的），但照片缺失了巨大的信息量。为了填补这些空白，你需要一个“先验”（prior）——即关于缺失部分通常长什么样的合理推测。在科学领域，这被称为逆问题（inverse problem）：从混乱的结果反向推导原始的原因。

几十年来，科学家使用手工设计的规则来进行这些推测，比如“假设图像是平滑的”或“假设物体是简单的”。但最近，他们开始利用人工智能（AI）来学习这些规则。AI 观察成千上 thousands 个过去的解决方案，并学习什么是“合理的”答案，从而创建一个生成式先验（generative prior）。这是一个强大的工具，但它有一个陷阱：为了训练 AI，你需要知道“真实答案”（即“地面真值”，ground truth）。在地震学（观察地球内部）或医学成像（观察人体内部）等领域，真实答案几乎永远无法获得。你无法在不进行侵入性手术的情况下，看到地下精确的岩层或患者体内健康的组织。

那么，科学家们是怎么做的呢？他们稍微“作弊”了一下，或者说他们自以为是这样。他们把前人方法的旧推测视为“真相”，并基于这些推测来训练新的 AI。这篇论文将这个过程称为**“先验洗白”**（prior laundering）。这就像是将一位前任艺术家绘制的素描放入机器中，将其洗涤成看起来像照片的样子，然后声称这张照片是基于真实数据的。核心问题在于：这种戏法真的奏效吗？还是它隐藏了一个危险的秘密？

洗涤循环：一个“干净”的 AI 如何变脏

这篇题为**《先验洗白：带有继承性的、不可检测的过度自信的学习先验》（Prior Laundering: learned priors with inherited, undetectable overconfidence）的论文，深入调查了当你使用这些“遗产”重建图像而非真实真相来训练强大的 AI 时，究竟会发生什么。作者 Ali Siahkoahi 和 Sina Alemohammad 发现了一个令人不安的现象：AI 不仅仅是从数据中学习，它还继承了它所训练的旧方法的盲点和虚假自信**。

以下是问题的核心，通过一个简单的类比来解释：

想象你正试图猜测一个密封盒子里装了什么。你可以摇晃它，听到一些碰撞声（这就是测量值）。

1. 已解析的方向： 如果盒子里有一枚松动的硬币，你能清晰地听到它。数据会明确告诉你硬币的位置。
2. 盲区方向： 但盒子里还有一个沉重且无声的铅块，它完全不会发出碰撞声。无论你如何摇晃盒子，数据都无法告诉你关于这个铅块的任何信息。

在一个完美的世界里，当数据保持沉默时，你应该说：“我不知道这个铅块长什么样；它可能是任何样子。”但“洗白”就在这里发生了。

科学家们在旧的推测档案上训练了他们的 AI。在那些旧的推测中，制作这些推测的人使用了一条规则（一种正则化项），该规则假设那个沉默的铅块总是完美的、光滑的正方体。因为数据无法反驳这一点（因为铅块是无声的），所以旧的推测总是显示出一个光滑的正方体。

当新的 AI 在这些旧推测上进行训练时，它学到了一个非常具体的教训：“当数据沉默时，答案就是一个光滑的正方体。” AI 并不是从摇晃的盒子（数据）中学到这一点的，而是从旧的素描（档案）中学到的。

确定性的危险幻觉

研究发现，这会导致不可检测的过度自信。

当 AI 被部署去解决新问题时，它观察数据的沉默部分，并自信地报告：“我有 99% 的把握认为这个铅块是一个光滑的正方体！”它在自己的猜测周围画了一个非常窄、非常紧密的圈。在统计学中，这被称为置信区间（credible interval）。如果区间过窄，AI 就是“过度自信”的。

可怕之处在于，没有人能发现 AI 在撒谎。

• 数据检查失效： 如果你根据摇晃的盒子来检查 AI 的答案，它是通过的。AI 的猜测完美符合声音，因为声音并不关心那个铅块。
• 自我检查失效： 科学家经常使用一种称为基于模拟的校准（simulation-based calibration）的测试，来看 AI 是否诚实。他们让 AI 进行预测，然后检查真实情况是否落在 AI 的置信圈内。但因为 AI 是基于旧的“光滑正方体”规则训练的，它与自己的训练完全一致。它每次都能通过测试，尽管它对沉默的部分是自信地错误。

论文在数学上证明了，在这些“盲区方向”上，AI 的不确定性是冻结的。它与它所接受训练的旧手工规则完全相同。如果旧规则太窄（太自信），新的 AI 也会太窄。如果旧规则错了，新的 AI 也是错的。数据无法修正这一点，因为数据从未“看到”过那些部分。

“单一最佳”陷阱

情况随着一种被称为**“单一最佳策展”**（single-best curation）的常见做法而变得更加糟糕。通常，档案库并不存储一系列的可能性（一个“云团”式的猜测），而只是存储一个最好的猜测（即“最大后验概率”或 MAP 估计）。

论文表明，如果训练 AI 使用这些单一的、看起来完美的图像，AI 在盲区上的置信度会坍缩至零宽度。它会变得绝对确定。它会说：“我 100% 确定这个铅块是一个光滑的正方体。”
实际上，这个铅块可能是一个球体、一个金字塔或一块嶙峋的岩石。但因为档案中只展示过立方体，AI 认为立方体是唯一的可能性。论文证明，这会导致零覆盖率（zero coverage）：如果你运行测试，真实答案几乎永远不会落在 AI 那微小且自信的圈内。

实验结果显示了什么

为了证明这不仅仅是纸面上的数学理论，作者在两个现实场景中进行了模拟实验：

1. 地震成像： 观察地下岩层。他们在旧的“迁移”图像上训练了 AI。结果如何？对于图像中光线（数据）较弱的深暗部分，AI 表现出了惊人的自信。它画出了过于狭窄、紧凑的不确定性带。而“真相”（他们为测试构建的真实情况）经常落在这些带之外。
2. 地下水流： 绘制地下水图。他们使用了另一种类型的 AI（归一化流，normalizing flow），并在旧的“最佳猜测”地图上进行训练。同样，AI 在盲区处表现出过度自信，在应该存在巨大不确定性的地方报告了零不确定性。

在这两种情况下，在“真相”上训练的 AI（对照组）要诚实得多。它承认自己不知道，展现出宽阔、模糊的不确定性带。然而，“洗白”后的 AI 看起来更锐利、更自信，但这仅仅是一种确定性的幻觉。

总结：不要相信最清晰的图像

论文得出结论：先验洗白创造了一个结构性的缺陷，这种缺陷通过标准检查是无法察觉的。AI 继承了旧方法的“盲目信仰”。

作者提出了一个简单且实用的解决方法：报告数据实际看到的内容。
在信任 AI 的不确定性之前，科学家应该计算图像的哪些部分是数据可以实际解析的（“已解析子空间”），以及哪些部分是盲区。他们应该将盲区部分的置信度报告为“继承自流水线”，而不是“由数据支持”。

如果你正在观察一张地下地图或一份患者扫描图，而 AI 说：“我对这个黑暗、模糊的角落有 100% 的把握，”你应该保持怀疑。这种信心并非来自数据；它来自“洗白”。数据是沉默的，而 AI 只是用一层崭新的油漆重新涂抹了旧的猜测。

这篇论文并不是说我们应该停止使用 AI。它是在说，我们必须停止假装在那些沉默的角落里，通过在旧猜测上进行训练就能使 AI 具备“数据驱动”的能力。数据是有极限的，当数据停止说话时，AI 的信心仅仅是过去的幽灵。