Technical Manual for a Toolkit for Measuring Contextual Individuation in Transformer Language Models

在现代人工智能的世界里，计算机通过学习海量的人类文本来掌握阅读与写作。长期以来，这些机器理解单词的方式就像字典一样：将其视为具有单一、固定含义的静态条目。如果计算机看到“bank”这个词，无论句子是在讨论河流还是金融机构，它都会为其分配一个特定的身份。这种方法在处理基础任务时表现尚可，但它忽略了人类语言的一个基本事实：意义是流动的。我们理解一个词，不仅在于它本身是什么，还在于它出现在哪里。新一代的 AI 模型（被称为 Transformer 语言模型）正是基于捕捉这种流动性的理念而构建的。它们被设计为能够根据单词在句子中所处的“伴随环境”来改变对该词的理解。尽管人们普遍认为这些模型擅长此道，但要清晰地证明这一点却一直很困难。大多数证据来自于观察模型在特定测试中的表现，这只能告诉我们它们很有用，却无法告诉我们它们在自己的“大脑”内部是如何组织这些单词的。

来自巴西卡皮纳斯大学的一组研究人员构建了一套专门的工具包，旨在直接观察这些机器内部是如何处理多义词的。他们并没有要求计算机去猜测定义或解决谜题，而是创建了一个受控实验，通过观察机器对一个词的内部表示如何随着语境的变化而发生偏移。他们的工作并不声称已经解决了 AI 如何理解语言的奥秘，也没有报告关于某个特定模型行为的具体发现。相反，它提供了一个严谨、可重复的仪器——一套工具和方法——允许其他科学家以精确的方式提出这个问题。研究人员设计了一种方法，通过固定单词本身并仅改变其出现的“世界”，从而创造出一种方式，用以隔离出机器区分不同含义的精确时刻（如果这种分离确实存在的话）。

他们方法的核心依赖于一个被称为“桥接形式”（bridge form）的概念。想象一个单词，比如“current”，它可以指电流、金融账户或洋流。在标准字典中，这是三个不同的定义。在研究人员的实验中，他们将“current”视为一个在三种不同世界中穿梭的单一且不变的对象。他们从关于物理学、经济学和地理学的维基百科文章中收集了数千个包含“current”一词的句子。因为在每个句子中该单词的拼写完全相同，所以计算机对它的初始理解是完全一致的。随后，研究人员将这些句子输入 AI 模型，并观察信息在机器各层深处传递时发生了什么。

关键的洞察在于：如果模型真正理解语境，那么当“current”被围绕在有关金钱的词汇中，与被围绕在有关河流的词汇中时，模型内部的“current”图像理应看起来不同。在模型的最初几层中，这个词保持不变，正如它在字典中那样。但随着信息向更深层移动，研究人员观察这个“current”的版本是否在模型的内部空间中逐渐偏离了“money”版本。为了衡量这种偏移，他们使用了一种统计工具，计算不同点群之间的距离。如果代表物理学句子的点紧密聚集在一起，并且远离代表经济学句子的点，那就证明模型已成功根据语境分离了不同的含义。

研究人员在设计其工具包时，力求避免以往研究中容易误导人的陷阱。一个主要的误区是观察模型处理过程的最终结果，并假设那是意义存在的唯一场所。一些早期的研究表明，模型可能会在中间层分离含义，然后在最后阶段又将其合并。为了捕捉到这一点，这个新工具包会检查模型的每一个层级，而不仅仅是最后一层。另一个潜在错误是试图同时比较过多的含义。如果研究人员试图同时测量三四个不同含义之间的分离程度，数学计算就会变得扭曲，导致无关的组别看起来比实际更近或更远。研究人员通过每次仅比较两种含义来解决这个问题，从而确保测量过程既干净又直接。

他们还解决了计算机如何看待单词的问题。现代 AI 并不将单词作为整体来阅读，而是将它们分解成更小的碎片。有时，同一个单词会根据它在句子中的位置而被拆分得不同。为了确保测量的是正确的内容，研究人员使用了一种精确的方法来定位单词中感兴趣的特定部分，并将其与原始文本进行逐字符匹配。这保证了他们在追踪同一个单词实例跨越所有不同语境时的准确性，而不会受到机器拆分文本方式的影响而产生混淆。

该工具包生成两类视觉证据，以帮助研究人员理解结果。首先，它会绘制出单词在模型思维起始处和结束处的空间位置图。通过使用共享的参考框架，研究人员可以观察单词是移动了还是保持原位。其次，它会生成一张图表，展示含义之间的分离程度如何随着信息在模型层级间的移动而变化。这张图表就像是单词含义的“心电图”，展示了模型在何时开始区分不同的语义。

这项工作之所以重要，是因为它提供了一种测试 AI 内部机制的方法，而不依赖于模型的最终输出。研究人员不再问：“模型是否得到了正确答案？”，而是问：“模型是否正确地组织了它的思想？”该工具包旨在供任何想要研究不同类型 AI 如何处理语言的人使用。它适用于各种模型架构，无论是双向阅读文本的模型，还是仅从左向右阅读的模型。通过提供一种衡量这一现象的标准方式，研究人员希望能够推动新一波的研究，使人们可以公平地比较模型，并理解它们语言能力的极限。

作者谨慎地指出，他们的工具包是一个测量设备，而非最终答案的来源。他们并不声称其特定的测试已经揭示了关于所有 AI 模型运作方式的普遍真理，也不呈现或解释运行该工具包所得出的任何具体模型或单词集的经验结果。运行此工具包的结果取决于所测试的具体模型以及所选的特定单词。研究人员提供的是一种可靠的方法来提出问题。他们在抽象的“语境理解”概念与具体的、可衡量的现实之间架起了一座桥梁。通过保持单词恒定并改变其周围的世界，他们为观察这些复杂机器如何学会区分“河流”与“银行”创造了一个清晰的窗口。该工具包记录的是一种仪器，而非一项发现；它是一种仪器，而非一项主张。