From Global to Local: A Scalable Benchmark for Local Posterior Sampling
本文通过引入一个用于局部后验采样的可扩展基准，解决了现有随机梯度 MCMC 算法在退化神经网络景观中全局收敛保证的局限性，并从经验上证明了经由 RMSProp 预处理的 SGLD 能有效捕捉参数量高达 1 亿的模型中的局部后验几何结构。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图在茫茫大雾缭绕的山脉中寻找一个搭建营地的最佳地点。在人工智能的世界里，这座“山脉”被称为损失函数景观（loss landscape），而那个“最佳地点”则是神经网络学习的完美配置。长期以来，科学家们认为这些山脉只有少数几个明显的峰值和谷底，就像一个简单的游戏棋盘。但实际上，特别是对于我们今天使用的巨型人工智能模型而言，其景观是一个奇异、平坦且纠缠不清的混乱体。它充满了“退化”（degenerate）区域——即广袤平坦的平原，在那里你可以向任何方向移动帐篷，而景观的质量也不会发生变化。
为了理解这些复杂的模型，科学家们使用了一种特殊的工具：随机梯度马尔科夫链蒙特卡洛法（SGMCMC）。你可以把它想象成一个非常聪明、却又有点醉醺醺的徒步旅行者，他在山间漫步，通过随机迈步来绘制地形图。其目标是采样“后验分布”（posterior），这只是一个高级说法，意指“所有好地方的地图”。核心问题一直在于：这位徒步旅行者能否成功探索整座山脉（全局采样）？本文指出，对于这些混乱且平坦的景观，旧有的规则说“不，这是不可能的”，但这些徒步旅行者似乎仍在做一些有用的事情。作者建议，我们应该停止纠结于绘制整个世界，转而关注徒步旅行者是否能准确地描述他当前所处的那个特定且奇特的谷底。这种转变至关重要，因为理解这些局部谷底有助于我们解释人工智能究竟是如何思考和做出决策的。
论文引入了一个全新的、可扩展的“测试赛道”，用以观察这些徒步旅行者在困于这些平坦、退化的谷底时表现如何。研究人员构建了一种特定类型的模型，称为深度线性网络（DLN）。你可以将 DLN 视为一种简化的、数学化的神经网络版本，在其中我们确切知道地形“应该”是什么样子。在这些网络中，谷底的“平坦度”可以通过一个被称为“局部学习系数”（LLC）的数值来衡量。如果你把这个谷底想象成一个房间，那么 LLC 就会告诉你，当你靠近中心时，这个房间的体积是如何增长的。在正常的、非平坦的谷底中，这种增长是可预测的。但在深度学习的退化谷底中，几何结构非常诡异，而 LLC 正是捕捉到了这种诡异之处。
作者利用这些 DLN 创建了一个我们已知“真实”LLC 值的基准测试。随后，他们派出了五种不同类型的“徒步旅行者”（算法）进入这些谷底，观察哪一个能最准确地测量房间的体积。这些徒步旅行者包括标准方法，如 SGLD，以及更先进的自适应版本，如 RMSProp 预处理的 SGLD 和 AdamSGLD。结果非常明确：标准的徒步旅行者表现挣扎，他们经常被平坦性搞糊涂，或者步伐迈得太大，导致结果变得混乱。然而，自适应型的徒步旅行者，特别是使用 RMSProp 的那一个，在导航退化地形方面表现得好得多。它们能够忠实地呈现局部几何结构，即使是在拥有高达 1 亿个参数的模型中也是如此。
至关重要的是，论文指出，虽然我们仍然没有数学证明这些徒步旅行者最终会绘制出“整座山”（全局收敛），但在经验层面上，它们在描述其所在的特定邻域方面表现得非常出色。作者发现，RMSProp 预处理的 SGLD 在捕捉这些局部特征方面最为有效。它对步长的大小不太敏感，并且与其他方法相比，能提供更稳定、更准确的局部几何测量。即使在真实的语言模型（在大型数据集上训练的 Transformer）上进行测试，RMSProp 方法也能产生一致的结果，而标准方法则会变得不稳定。
论文最后强调了我们理解中的一个空白：我们知道这些算法在实践中局部运作良好，但我们缺乏一个理论解释，来解释为什么它们在旧规则判定其应当失败的情况下依然取得了成功。作者建议，该领域的未来在于将重心从尝试证明“全局收敛”（对于这些混乱的景观来说这可能是不可能的）转向开发更好的“局部采样保证”。通过使用他们这个新的基准测试，研究人员现在可以测试并改进这些算法，以确保它们能够准确地探索现代人工智能所栖身的那些复杂且退化的谷底，从而为我们理解并信任这些强大的模型提供更好的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。