Benign interpolation and Occam's razor
本文认为，近期试图通过诉诸奥卡姆剃刀来解释插值深度学习模型泛化成功的尝试，由于将单个模型未经证实的属性与经典学习理论中模型类复杂度与泛化能力之间经过定理支撑的严谨联系相混淆，从而造成了阐释上的鸿沟。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个机器人识别猫和狗的照片。你给它看成千上万张照片，它学会了如何分辨它们的区别。在旧时代的计算机科学中，有一个被称为“奥卡姆剃刀”的金科玉律。它基本上是在说：“保持简单。”如果两个理论都能解释数据，那就选择更简单的那个。为什么呢？因为如果一个模型变得过于复杂，它就会开始像鹦鹉学舌一样死记硬背训练照片，而不是真正学习猫长什么样。这被称为“过拟合”，而这是一种灾难。如果机器人看到一张新照片，它就会失败，因为它太忙于背诵旧的照片了。
几十年来，科学家们一直利用这条规则来构建安全、可靠的人工智能。他们认为，要制造出一个聪明的机器人，你必须限制它的脑力，以免它产生混乱。但随后，奇怪的事情发生了。现代人工智能，特别是“深度学习”，开始打破所有的规则。这些新机器人的大脑如此庞大，以至于它们甚至可以完美地记住每一张训练照片，即使你把标签打乱，并告诉它们猫是一个烤面包机也无所谓。按照旧有的所有规则，它们在预测新图片时应该表现得很糟糕。然而，它们却表现得非常出色。它们完美地拟合了杂乱的数据，却依然能正确预测未来。这种奇特的现象被称为“良性插值”（benign interpolation），它让科学家们抓耳挠腮，疑惑为什么一个机器人可以既是完美的记忆者，又是出色的预测者。
这篇由 Tom F. Sterkenburg、Daniel A. Herrmann 和 Jan-Willem Romeijn 撰写的论文，深入探讨了这个谜团，旨在观察这些关于这一奇迹的新解释是否站得住脚。作者们本质上是在扮演侦探的角色，调查一个为了解释为什么这些庞大的 AI 模型运作得如此之好而出现的新兴流行理论。
这个新理论认为，尽管这些 AI 模型规模巨大且复杂，但它们的学习方式（使用一种称为“随机梯度下降”的方法）实际上在暗中将它们推向所有完美拟合解中最“简单”的一个。这就像一个徒步旅行者，面前有一百万条路径可以到达顶峰；该理论声称，徒步者的靴子会自然地引导他们走向最平坦、最直接的小径，而忽略那些崎岖不平、布满岩石的小径。这一理念的支持者称之为“简洁偏好”（simplicity bias），并表示这是奥卡姆剃刀在现代拯救局面的一个版本。他们认为，AI 选择了最符合数据的简单模型，这就是它之所以能很好进行泛化的原因。
然而，本文的作者指出，这个解释存在一个巨大的漏洞。他们指出，旧的“奥卡姆剃刀”是一个关于模型类别（model classes）的数学证明规则。它证明了如果你选择一个规模较小、较简单的模型组，你就能保证表现良好。但新理论讨论的是单个模型。它说：“这个特定的模型很简洁，因为它具有较低的‘范数’（一种衡量大小的数学度量）或者是‘平滑’的。”
作者解释说，问题在于目前还没有数学证明能够将单个模型的简洁性与其预测未来的能力联系起来。在过去，数学保证了简单的模型组能发挥作用。而在新的故事里，作者声称，科学家们只是在称呼这些特定的模型为“简单”，并寄希望于“奥卡M剃刀”这个名字能发挥作用。这就像是在说：“这块石头是一块魔石，因为我把它叫做魔石，”而没有任何证据证明魔石确实存在。
论文表明，虽然这些新想法很有趣，但它们留下了一个缺口。它们并没有真正证明为什么选择一个“简单的”单个模型会导致良好的预测。作者认为，新理论本质上是在做一个巨大的、未经证实的假设：即世界充满了这些 AI 模型恰好能找到的简单模式。他们并没有说这个假设是错误的，但他们坚持认为，目前的解释仅仅是在猜测。他们是在利用一个著名原则（奥卡姆剃刀）的名字，让一个大胆的假设看起来像是坚实的科学事实。
那么，结论是什么？这篇论文并不是说新的 AI 有问题；而是说我们还不完全理解它为什么有效。作者们认为，答案可能不是一个关于简洁性的普遍规则，而是与我们收集的数据或我们要求 AI 执行的具体任务相关的特定规则。在有人能证明“简单的单个模型”与“良好的预测”之间的联系之前，良性插值的谜团仍然只是一个——谜团。这个新理论是一个充满希望的线索，但它还不是最终答案。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。