Task-Dependent Intrinsic Dimensionality Across Transformer Layers: An Exploratory Study of Qwen2.5-1.5B
这项针对 Qwen2.5-1.5B 的探索性研究表明，其内部表示的内在维度在不同任务类别和 Transformer 层之间呈现非均匀变化，其中推理任务在中层展现出比事实检索更低的维度，但在最终层趋于相似的水平。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代人工智能的数字大脑内部，存在着一个广阔而无形的景观，信息在那里被存储和转换。这些被称为“Transformer”的系统通过将词汇转换为长串数字来处理语言，从而创造出一个拥有数千个坐标的高维空间。然而，尽管拥有如此巨大的容量，解决特定问题所需的实际信息往往只存在于该空间中一个更小、更集中的区域。科学家称之为“内在维度”（intrinsic dimension），这是一个衡量在任何给定时刻，描述数据究竟需要多少个方向的度量。了解这种内部空间是随着任务类型（例如回忆事实与解决逻辑谜题）而扩张还是收缩，为我们观察这些机器是如何思考提供了一个窗口。如果这些内部表示的几何结构会根据任务而改变，则表明模型并非将所有知识视为一个单一、统一的整体，而是根据问题重新塑造了其内部世界。
最近的一项研究旨在绘制一个名为 Qwen2.5-1.5B 的特定小型人工智能模型内部不断变化的景观。研究人员并非试图教导模型新知识或检查它能否正确回答问题。相反，他们扮演着制图师的角色，观察模型的内部状态在处理不同类型的提示词时是如何变化的。他们收集了 200 个不同的请求，并将其分为四类：事实回忆（专门针对化学领域）、算术计算、逻辑推理以及预测短代码的输出。对于每一个请求，他们都捕捉了模型在处理过程中的每一个步骤的内部“思维”，从接收输入的最初层到准备答案的最终层。这使得他们能够追踪模型的思维模式如何随着向网络深处移动而演变。
为了衡量这些内部状态的复杂性，研究人员使用了几种类似于高维空间“标尺”的工具。他们观察了数据能量在众多坐标上的分布情况。如果数据分布均匀，则认为该空间是高维的；如果数据被压缩到仅有的几个方向，则该空间是低维的。他们将这些测量方法应用于模型对四种任务类型的响应。结果揭示了一个令人惊讶且动态的模式。在处理过程的早期和中期，逻辑推理任务的内部表示占据的空间比简单的事实回忆略大、更复杂。然而，当模型进入其最终层时，这种关系发生了反转。在网络的深层部分，事实回忆的表示变得显著更加复杂和分散，而推理任务的空间实际上缩小并变得更加集中。
这种反转是这项工作的最显著发现。在处理链接近末端的某个特定点，事实回忆的复杂度测量值是推理任务的两倍多。这表明模型并不只是随着处理过程的深入而变得更“聪明”或更复杂；相反，它会根据其试图完成的任务来重新组织其内部几何结构。对于化学事实，模型似乎在最后阶段将其注意力分散到许多方向上；而对于逻辑谜题，它则将注意力收紧到一个更窄、更高效的路径中。研究人员指出，这是一个针对特定提示词集的描述性观察，并不证明一种任务本质上比另一种更难或更好。它仅仅表明，模型的思维形状会随着其工作过程而改变。
该研究还强调了试图从如此小的样本中得出广泛结论的局性。研究人员在主要分析中每个类别仅使用了十几个提示词，对于做出关于模型如何运作的确定性主张来说，这个数量非常小。他们发现，提示词的长度和问题的具体写法可能会影响结果，并且他们无法在所有类别之间完美地匹配这些因素。因此，他们无法确定观察到的差异完全是由任务类型引起的，还是由问题本身的结构引起的。此外，该研究并未测试这些几何变化是否实际上帮助模型得到了正确答案，或者它们是否仅仅是模型构建方式的一种副作用。
最终，这项工作提供了一个关于语言模型内部世界并非静态的详细快照。它是一个流动的环境，会根据任务进行拉伸和压缩。关于推理和事实回忆在网络最终层遵循不同路径的发现，挑战了这些模型以相同方式处理所有信息的观点。虽然这项研究并未提供一份完整的领土地图，但它确立了网络深度具有重要意义，且不同类型任务之间的关系并非固定不变。研究人员已公开了其数据和方法，以便他人验证这些观察结果，同时也承认，要理解这些数字大脑如何组织其知识的完整范围，仍需进行大量的工作。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。