技术摘要：一个共享子电路让 LLM 能够跨任务进行倒计时

问题陈述

大型语言模型（LLMs）经常执行需要追踪相对于目标长度的 token 计数任务，例如编写特定长度的句子、格式化 ASCII 表格或在正确的密码子处结束 DNA 序列。虽然 LLMs 在这些任务中表现出了熟练程度，但使它们能够追踪直到目标长度的“剩余时间”的内部机制尚未被完全理解。具体而言，目前尚不清楚模型是否拥有一种能够在不同上下文（显式 vs 隐式目标）中通用的倒计时机制，以及这种机制是否在不同模型之间是共享的。

研究方法

作者采用了一种自底向上的机械解释性方法，重点研究了 Llama-3.1-70B-Instruct 模型。研究方法分为三个阶段：

1. 通过补丁实验进行因果定位 (Causal Localization via Patching)：

   • 任务： 模型被赋予一个“句子规划”提示词：编写一个指定长度 ($N$) 且以特定单词结尾的句子。
   • 技术： 作者进行了残差流补丁实验（residual stream patching）。他们构建了“源”提示词（目标长度为 $n_{src}$）和“目标”提示词（目标长度为 $n_{dst}$，其中 $n_{dst} > n_{src}$）。将源提示词中的目标长度 token 和长度单位 token 的激活值补丁到不同层级的目标提示词中。
   • 目标： 识别出哪些层和哪些 token 的长度信息在因果上足以决定输出长度。

2. 识别注意力头 (Identification of Attention Heads)：

   • 一旦确定了关键层，作者便分析了该层注意力头的输出范数（output norms），特别观察了信息从长度单位 token 流向下游 token 的过程。
   • 他们检查了这些头所使用的表示几何结构（键 K 和查询 Q），以确定它们是如何将当前位置与目标长度进行比较的。

3. 无监督探测与泛化 (Unsupervised Probing and Generalization)：

   • 隐式长度： 作者研究了目标长度未在提示词中明确给出，而是从上下文中推断出的场景（例如 Base64 中长度相同的重复字符串或 DNA 序列）。他们使用补丁实验验证了这些字符串中的结束分隔符是否因果性地存储了长度信息。
   • 几何分析： 他们使用主成分分析 (PCA) 和余弦相似度，将 Llama-3.1-70B 中识别出的该子电路与之前在 Claude 3.5 Haiku 中识别出的“换行 (line-wrapping)”子电路进行了对比。
   • 无监督发现： 利用识别出的“倒计时头”的输出激活值，他们构建了线性探测器。这些探测器在大型无标签语料库（The Pile 和 LMSYS-1M 聊天数据集）上运行，以寻找各种多样化的高激活示例，在这些示例中模型正在进行隐式计数。

核心贡献与结果

1. 识别倒计时子电路

本研究成功分离出了 Llama-3.1-70B-Instruct 中负责追踪剩余 token 的特定子电路：

• 定位： 长度信息大约从第 4 层开始转移到“长度单位 token”，并一直因果性地使用到第 18 层。
• 特定注意力头： 研究确定了第 18 层的三个注意力头（L18H24, L18H28, L18H30）为“倒计时头”。
• 机制： 这些头表现出重叠感受野的模式。L18H28 在早期激活，L18H24 在中期激活，而 L18H30 在接近结束时激活。它们的组合输出范数在目标长度前立即达到峰值，表明这是一种连续的倒计时机制，而非在目标点处的突然爆发。

2. 隐式长度存储与普遍性

作者证明，即使目标长度未在提示词中明确提供，该子电路仍能发挥作用：

• 隐式存储： 在“重复字符串”设置中（例如多个长度相同的 Base64 字符串），模型会从上下文中推断目标长度。补丁实验证实，这些字符串的结束分隔符因果性地存储了隐式目标长度信息。
• 表示相似性： 余弦相似度分析显示，用于隐式长度（在分隔符中）和显式长度（在提示词 token 中）的键（key）激活值位于相似的流形上。隐式长度与显式长度之间的关系具有高度线性（$0.93 \le r^2 \le 0.97$），这表明长度信息的表示是统一的。
• 跨模型基元： 倒计时子电路的几何结构（具有特定对齐属性的键和查询的弯曲流形）被发现与之前在 Claude 3.5 Haiku 中识别出的“换行”子电路是相同的。这表明该基元在不同模型和任务之间是共享的。

3. 多样化应用的无监督发现

通过使用倒计时头的输出进行无监督探测，作者识别出了该子电路活跃的多种任务，包括：

• 嵌入式推文： 预测嵌入在新闻文本中的 280 字符推文的结尾。
• DNA 序列： 根据之前的序列在正确的密码子处结束序列。
• SHA-256 哈希： 检测 64 位十六进制字符串的结尾。
• 俳句生成： 追踪音节计数和换行。
• ASCII 表格： 将单元格对齐到特定宽度。
• 硬币投掷与舍入： 追踪生成序列中的字符或数字计数。

意义与主张

本文声称，通过从单一、狭窄的任务（句子规划）中逆向工程出一个子电路，研究人员可以理解这些特定行为是如何泛化到广泛的任务领域，甚至是不同模型之中的。

• 泛化性： 该工作证明了同一个子电路被重复用于显式计数（提示词指定）和隐式计数（上下文推断）。
• 共享机制： 在 Llama-3.1 和 Claude 3.5 Haiku 中发现相同的几何基元，表明用于追踪时间/长度的某些计算基元是基础性的，并且在各前沿模型间是共享的。
• 方法论路径： 作者提出了一种“自底向上”的机械解释性工作流：在受控任务上隔离子电路，逆向工程其几何结构，然后使用无监督探测来绘制其在整个模型操作空间中的用法。他们建议这种方法可以被自动化，类似于特征字典分析，以系统地揭示 LLM 中的其他泛化行为。

作者保持了谦逊的态度，指出虽然他们已经识别出了一个共享的基元，但这项工作侧重于长度处理的因果干预和几何结构，而非声称已经解决了 LLM 规划或泛化的所有方面。