技术摘要：在 Token 层面比较 Transformer 与混合模型

问题陈述

混合语言模型（结合了注意力机制与循环序列层）在损失函数和下游基准测试中表现出了优于纯 Transformer 的经验优势。从理论上讲，这种优势源于两种架构互补的表达能力：注意力机制擅长从可见的前缀中检索信息（适用于复制和结构匹配），而循环层则擅长构建和更新用于有序状态追踪计算的隐状态。

然而，目前尚不清楚哪些特定的数据类型或预测能力驱动了这些经验收益，以及观察到的改进是否符合驱动混合架构的理论优势。本文旨在解决以下问题：哪些单个 token 的出现解释了混合模型相对于匹配的 Transformer 具有更低的平均损失，且这些 token 是否对应于循环与注意力机制的理论优势？

研究方法

作者对来自同一配方家族的两个匹配的 7B 规模模型进行了细粒度的 token 级分析：Olmo 3 7B（纯 Transformer）和 Olmo Hybrid 7B（交错式注意力与循环层）。

核心指标

对于给定前缀 $x_{<i}$ 的目标 token $x_i$，作者计算了配对的 token 级损失差距：
$$\Delta_i = \ell^{Tr}_i - \ell^{Hyb}_i = \log p^{Hyb}(x_i | x_{<i}) - \log p^{Tr}(x_i | x_{<i})$$
正值的 $\Delta_i$ 表示混合模型为该 token 分配了更高的概率（更低的负对数似然 NLL）。

分析框架

本研究在散文、代码和标记（markup）领域采用了三种互补的分析方法：

1. 观测标签分层分析：

   • 将目标 token 与表面标签进行对齐（例如，散文中的词性标签；代码/标记中的标识符、字符串、分隔符）。
   • 原始摘要： 计算每个标签类别的平均 $\Delta_i$，以确定绝对的混合模型优势。
   • 回归稳健性： 通过控制混杂变量（难度、频率、位置、子词状态和局部复用）进行线性回归拟合，以确定标签层面的模式在考虑这些因素后是否依然存在。

2. 受控合成探针：

   • 为了隔离特定的计算需求，作者在三个具有固定模板且具有不同依赖距离（$d \in \{32, \dots, 1024\}$）的合成任务上评估了模型：
     • 代词记忆（Pronoun Memory）： 需要维持角色绑定状态以选择正确的代词。
     • 实体追踪（Entity Tracking）： 需要维持实体-属性绑定以回答查询。
     • 结构闭合（Structural Closure）： 需要根据可见的开启符预测闭合分隔符。

3. 过滤评估（概念验证）：

   • 应用于 1B 规模的预训练运行（Transformer、Hybrid、Pure RNN），以证明 token 级分解如何在训练期间锐化架构诊断。

关键结果

1. 非均匀的 Token 级增益

混合模型的优势在不同 token 之间是不均匀的。

• 开类实词（Open-Class Content Words）： 混合模型在开类实词类别（名词、动词、形容词、副词）上的损失降低最为显著。在散文中，实词的原始差距大约是虚词的 61%。
• 闭类虚词（Closed-Class Function Words）： 对于闭类虚词（限定词、介词、代词），其优势较小且具有异质性。
• 与词表大小的相关性： 标签词表的大小（开放程度）与混合模型的优势呈正相关。较大的词表（开类）显示出更大的混合模型增益，而较小的闭类集合显示出的增益较小。

2. 结构分隔符：开启符 vs 闭合符

• 开启分隔符： 在所有领域（散文、Python、HTML、LaTeX），混合模型在开启括号和标签上明显更具优势。这些 token 通常启动一个新的作用域或状态更新。
• 闭合分隔符： 混合模型的优势在闭合分隔符上几乎消失或发生反转。Transformer 在此处表现得更具竞争力或更好，因为闭合 token 满足了由可见前缀已经建立的结构义务（这是一个检索/闭合任务）。

3. 重复 N-gram 与复制

• 混合模型的优势在重复的 n-gram 上崩溃。随着重复跨度长度（$n=1$ 到 $16$）的增加，原始损失差距迅速向零收缩。
• 回归分析证实，重复特征使差距向 Transformer 偏移。这表明当目标可以通过可见前缀的复制来预测时，注意力机制已足够，循环状态并无额外收益。

4. 合成探针发现

• 状态条件任务（代词记忆、实体追踪）： 混合模型始终优于 Transformer，即使在 Transformer 跌破随机水平的长距离情况下，仍能保持高于随机水平的准确率。
• 结构闭合： 无论距离如何，Transformer 在闭合任务上均优于混合模型。
• 结论： 关键区别不仅在于依赖长度，而是在于计算类型：状态条件读取（state-conditioned readout）有利于循环，而可见前缀检索/闭合（visible-prefix retrieval/closure）则有利于注意力。

5. 过滤评估的效用

在 1B 规模的训练运行中，聚合验证损失显示出架构之间极小的分离度。然而，过滤后的损失揭示了截然不同的机制：

• 状态导向过滤器（前 10 名开类，无复制）： 放大了差距，显示出 Hybrid 模型显著优于 Pure Transformer 和 Pure RNN。
• 复制过滤器（重复 5-gram）： 揭示了 Pure RNN 在检索任务上显著落后于基于注意力的模型，这种弱点被聚合损失所掩盖。

意义与主张

本文声称，混合模型的经验成功是由特定的、在理论上一致的机制驱动的，而非在所有任务上具有通用的“更好”表现。

1. 验证表达能力理论： 结果符合表达能力理论。循环层改善了利用文档语义状态（如追踪实体、角色或程序变量）进行预测的任务，而注意力机制在依赖可见前缀检索（复制）或结构闭合（匹配开启符）的任务中仍然更具优势。
2. 完善状态追踪基准： 作者认为，现有的封闭世界状态追踪基准（如 $A_5$ 单词问题）不足以区分未来的循环层，因为这些问题可以由结构化线性 RNN 解决。他们提出了**话语状态追踪（discourse-state tracking）**作为一种更具挑战性的目标，其中状态随新的实体和关系动态增长，更好地反映了自然语言和代码的需求。
3. 作为架构搜索的诊断工具： 本文提出，过滤后的 token 损失可作为预训练期间的高信号诊断工具。通过将聚合损失分解为“状态条件”和“复制/检索”组件，研究人员可以识别架构变化是提升了状态表示能力还是检索能力，而不是仅仅依赖于一个可能掩盖权衡关系的单一聚合困惑度数值。

作者总结道，token 级的分解可以锐化预训练诊断，暴露被聚合指标所掩盖的能力权衡，并指导未来混合架构的设计。