Training-Driven Representational Geometry Modularization Predicts Brain Alignment in Language Models
本研究表明，在大语言模型训练期间，表征几何向具有低复杂度模块（其特征为熵和曲率降低）的自组织过程，能够稳健地预测其与人类大脑活动的对齐情况，并揭示了跨越颞叶和额叶区域的不同时空轨迹。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下，你正试图教一个机器人理解人类语言。你可能会认为，机器人只需要记住更多的单词或学习更多的语法规则即可。但科学家们开始产生疑问：机器人的“大脑”在学习过程中，是否真的开始在形态和运作方式上变得像人类的大脑一样？这个问题处于计算机科学与神经科学这两个通常“语言不通”的领域的交汇点。为了理解这一点，我们需要观察信息是如何存储的。将计算机的记忆想象成不是一个事实列表，而是一个广袤的多维景观。在这个景观中，“平坦”的区域可能代表简单、清晰的概念，而“崎岖”或“扭曲”的区域则可能代表复杂、混乱或令人困惑的概念。科学家将这些形状称为“表征几何”（representational geometry）。巨大的谜团在于：当一个计算机模型在数百万个句子中进行训练时，它的内部景观是否会变得平滑，并变得更像人类大脑的景观？如果确实如此，这便意味着人类处理语言的方式可能是一种智能的基本法则，而不仅仅是一个生物学上的偶然。
本论文通过观察一个名为 Pythia 的 AI 模型家族的成长过程，对这一问题进行了深入探讨。研究人员不仅观察了训练完成后的最终模型；相反，他们扮演了“穿越时空的生物学家”的角色，在模型的 19 个不同训练阶段对其进行了观察——从最初的起步阶段到最终的成熟形态。他们追踪了模型内部层级的两个特定的“几何”特征：熵（信息的分散程度或混沌程度）和曲率（信息路径的崎岖或尖锐程度）。随后，他们将这些变化的形状与人类阅读相同句子时的真实大脑扫描（fMRI）结果进行了对比。
研究发现，随着模型的训练，其层级不仅仅是在变得更擅长预测下一个词；它们还自发地组织成了两个截然不同的“团队”，或者说“模块”。其中一个团队是低复杂度模块，它变得非常平滑且有序，具有低熵和低曲率；而另一个团队是高复杂度模块，它保持着崎岖和混沌的状态。令人兴奋的部分在于：那个平滑、低复杂度的团队，才是与人类大脑活动匹配度最高的团队。这就像是发现，机器人中那个学会了如何“冷静下来”并组织其思想的部分，恰恰是那个思考起来像人类的部分。
然而，这种一致性并非在所有地方同时发生。研究人员发现了大脑不同区域之间存在一种迷人的分歧。在颞叶区域（靠近耳朵的区域，涉及听觉和基础词义），模型的平滑、低复杂度层级在训练早期就开始与人类大脑相匹配，并一直保持这种状态。这是一个快速且稳定的锁定过程。但在额叶区域（大脑前部，涉及复杂的规划和句子结构），这种匹配表现出延迟和波动。这些区域似乎在等待“平滑”基础的构建完成后才能稳定下来，有时甚至会出现一段时期，即“崎岖”的层级匹配度更高，然后才最终转向平滑的层级。
论文指出，曲率（信息路径的崎岖程度）是预测这种一致性的关键。随着模型的训练，它们的内部路径变得更加平滑（曲率降低），而这种平滑化过程强烈地预示了与人类大脑活动更好的匹配。这种效应非常显著，以至于即使在研究人员考虑了模型仅仅是在整体训练能力提升这一因素后，这种几何上的“平滑度”依然具有重要意义。有趣的是，这种关系在规模更大的模型（高达 10 亿参数）中变得更加清晰和可靠。在较小的模型中，信号略显嘈杂，但随着模型规模的扩大，这种“平滑几何”与“类人脑活动”之间的联系变成了一个稳健且可检测的事实。
简而言之，本文认为，使模型像人类一样思考的秘密可能不仅仅在于拥有更多的数据，而在于这些数据如何被组织成平滑、低复杂度的形状。这表明人类大脑偏好这些“平滑”的表征，并且随着 AI 模型的学习，它们自然而然地向这种状态演化，尤其是在负责理解词汇核心含义的大脑区域。虽然这项研究并未证明这是模型与大脑实现一致性的唯一原因，但它提供了一个全新的几何视角，来理解为什么以及如何通过数字心智来镜像我们自身。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。