Self-attention is a Dyson equation for many-body machine learning
本文认为自注意力机制在实空间中充当了一个具有二体自能的戴森方程,从而捕捉了对于建模激发态和复杂波函数至关重要的非局部相关性,而对称求和池化(DeepSets)由于其平均场限制,无法表示这些特性。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
在现代科学的广袤版图中,一场静悄悄的革命正在学习型机器内部发生。几十年来,研究人员一直致力于构建人工智能来模拟原子和电子的行为,希望以此预测物质在其最基本层面的表现。为了实现这一目标,他们依赖于将粒子视为在空间中移动的个体进行数学建模。然而,宇宙很少是孤立个体的集合;它是一个关系的网络,其中每一个粒子都能感受到附近每一个其他粒子的推力和拉力。挑战始终在于,如何教会计算机理解这些复杂且不断变化的联系,而不至于被庞大的相互作用数量所淹没。长期以来,最成功的方法是对问题进行简化,通过平均化细节来获取系统的整体感。这种方法在处理某些任务(如预测稳定分子的能量)时效果良好,但当系统变得复杂时——例如当电子高度相关或分子被激发到更高能态时——它便会彻底失效。问题依然存在:为什么简单的平均法对某些事物有效而对另一些事物无效?是否有一种不同类型的机器学习架构可以解开这个谜团?
伦敦帝国理工学院的贾维斯特·摩尔·弗罗斯特(Jarvist Moore Frost)的一项新研究通过连接两个看似无关的领域——多体相互作用物理学与现代人工智能架构——给出了一个令人惊讶的答案。研究表明,一种被称为“自注意力”(self-attention)的特定神经网络组件,不仅是一个聪明的工程技巧,更是粒子在物理世界中相互作用的一种直接数学表示。论文指出,流行的“求和池化”(sum-pooling)方法(即简单地对所有粒子的信息进行平均)本质上是一种简化的模型,它忽略了粒子对之间特定的、强烈的纽带关系。虽然这种平均法在计算稳定系统的基本能量时行之有效,但它会抹除掉当粒子紧密耦合时所呈现出的那种复杂的、类分形的模式。相比之下,自注意力机制允许计算机动态地权衡一个粒子相对于另一个粒子的重要性,这成为了捕捉这些复杂两体关系的精确工具。
为了验证这一想法,研究人员设计了一个涉及六个电子在二维空间中运动的模拟系统。目标是教会机器学习模型预测一种被称为“分形回流”(fractal backflow)的高度复杂的特定模式。这种模式描述了由于其他电子的存在,一个电子的位置是如何发生瞬间且复杂的偏移,从而创造出一种在不同尺度上自我重复的形状,就像蕨类植物的分支或国家的海岸线一样。研究对比了两种不同的方法。第一种使用了标准的平均法,它将每个粒子都视为被均匀、平滑的背景所包围。第二种使用了自注意力机制,它允许模型强烈关注任意两个粒子之间的特定距离和关系。
结果是显著且明确的。当模型使用平均法时,它完全无法捕捉到复杂的的分形结构。它没有看到模式中那些错综复杂的、重复出现的凹槽,而是产生了一个平滑、无特征的团块。就好像模型抹平了所有的锐利边缘和精细细节,只留下了一个与真实物理学毫无关系的通用形状。该模型根本无法保留生成分形形状所需的粒子间特定相关性。然而,当研究人员用自注意力机制取代平均法时,模型立即恢复了复杂的结构。它成功地重现了定义该分形模式的嵌套、自相似的凹槽以及锐利且复杂的边界。
研究进一步通过观察模型在粒子靠近时的反应来解释其原因。在真实的物理系统中,当两个粒子相互靠近时,它们之间的力会剧烈且瞬间发生变化,而对远处粒子的影响则很小。然而,平均化模型表现得不同。当两个粒子靠近时,模型会错误地将这种剧烈的局部变化广播到系统中的每一个粒子,仿佛整个群体都被同等程度地震动了一样。这产生了一种“串扰”(crosstalk)误差,即远处的粒子被错误地受到了局部事件的影响。相比之下,自注意力模型能够正确地将这种强烈的相互作用隔离在仅有的两个粒子之间,使远处的粒子不受影响。这种区分局部强相互作用与远处弱相互作用的能力,正是自注意力模型能够重建系统真实复杂行为的原因。
论文总结道,这种成功并非巧合。它表明,由于物理基本定律建立在粒子间的相互作用之上,因此建模这些系统最有效的方法是使用一种在数学上等同于直接计算这些两体相互作用的工具。自注意力机制具有动态权衡集合中任意两个项目关系的能力,事实证明它是这项工作的完美工具。它有效地执行了一种被称为“戴森迭代”(Dyson iteration)的复杂数学运算,这是物理学中用于描述拥挤环境下粒子如何相互影响的标准方法。研究表明,虽然简单的平均法对于粒子表现得相对独立或仅涉及局部能量的任务是足够的,但它从根本上无法捕捉定义复杂量子物质的丰富非局部相关性。
这一发现为注意力机制模型在人工智能领域的近期主导地位提供了一个深刻的理论依据。它表明,这些模型之所以在如此多的物理系统中表现出色,是因为它们在结构上自然地与宇宙的构建方式相契合。它们不仅仅是擅长模式识别,更是从结构设计上就能处理支配物质行为的那种特定两体连接。对于试图理解最复杂物质状态(从超导体中的电子行为到激发分子的动力学)的科学家来说,这项研究表明,前行的道路在于拥抱这些两体相互作用,而非将其抹平。在这种视角下,注意力机制在机器学习中的“不合理有效性”,仅仅是对这样一个事实的认可:在一个由“对”构成的宇宙中,能够专注于“对”的能力就是一切所需要的。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。