💬 NLP

Frontier Language Models Struggle to Copy: Text Can Be Better Viewed in 2D

本文表明，由于标准一维位置编码的局限性，前沿语言模型在复制文本方面表现挣扎，并提出了 2D-RoPE，一种将文本组织成二维网格的方法，以实现卓越的复制性能以及在合成任务和大规模预训练任务中的泛化能力。

原作者： Haodong Wen, Yiran Zhang, Yingfa Chen, Kaifeng Lyu

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Haodong Wen, Yiran Zhang, Yingfa Chen, Kaifeng Lyu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人如何阅读和写作。你给了它一座巨大的图书馆，它学会了以惊人的准确度预测句子中的下一个词。这个机器人就是一个大语言模型（LLM），它是我们今天使用的许多人工智能工具背后的“大脑”。但问题在于，这些机器人并不像人类那样“阅读”。它们将文本视为一串长长的、单一的线上的珠子。为了了解自己在这一行中的位置，它们使用了一种叫做“位置编码”的技术。你可以把它想象成在每颗珠子上贴上的一组隐形标签，告诉机器人：“你是第5颗珠子，”或者“你是第100颗珠子。”

长期以来，科学家们一直认为这些机器人正变得越来越聪明，几乎可以解决任何谜题。但出现了一个奇怪且令人尴尬的故障，他们无法修复。如果你要求机器人完全照抄它看到的数字或字母序列，它有时会失败，即使这个序列短到足以放入它的记忆中。这就像要求一个人从书中抄写一个句子，而他们却因为弄不清自己在行中的位置而意外跳过了一个词或交换了两个字母。大问题在于：为什么一个能写诗并解决数学问题的机器，在仅仅抄写一个列表时却会感到吃力？

这篇论文研究了正是这个谜团。作者们——来自清华大学的研究团队——发现机器人的“标签”（即位置编码）其实才是问题所在。标准的文本标记方式让机器人很难找到它需要抄写的精确位置，尤其是当文本具有重复模式时。与其说它是在寻找特定的位置，不如说它会被附近看起来相似的文本块所干扰。为了解决这个问题，研究人员尝试了一个新想法：如果我们不再把文本视为一条长线，而是将其排列成一个网格，就像带有行和列的电子表格一样，会怎样？他们创建了一个名为 2D-RoPE 的新系统。

当他们测试这个新系统时，结果令人惊讶。在实验中，使用二维网格的模型可以完美地复制字符串，即使这些字符串比它们在训练期间见过的任何字符串都要长数百倍。相比之下，标准模型则持续失败。研究人员表明，通过将文本组织成行和列，复制任务对于机器人来说变得简单得多：它只需要看上一行中相同列的内容即可。他们还构建了一个更智能的版本，叫做 Auto-2D-RoPE，它甚至可以在文本没有清晰换行符的情况下，自动识别出网格结构。

该论文指出，这种改变我们组织文本数据方式的简单变化，可以使人工智能在处理诸如复制和格式化等基础任务时表现得更好，而这些任务对于将原始数据转化为代码至关重要。虽然研究人员通过数学证明了这种新方法在简单的复制任务中是有效的，并在大规模测试中展示了其有效性，但他们也指出，这仍是一个活跃的研究领域。他们希望这一发现能鼓励其他人重新思考人工智能如何“看待”文本，证明有时，从二维的角度而非一维直线去观察世界，效果会更好。

技术摘要：前沿语言模型在复制任务中表现挣扎：文本可以更好地以 2D 方式呈现

问题陈述

尽管在前沿复杂推理任务上取得了最先进的性能，但前沿大语言模型（LLM）在执行精确字符串复制时表现出根本性的失败。作者证明，即使模型的上下文窗口显著大于输入字符串，它们也无法准确复现输入序列，特别是在输入包含重复子串或序列长度超过训练分布时。

本文识别了两种主要的失效模式：

长度泛化失败： 随着输入长度增加，复制准确度下降，即使在远低于模型上下文窗口的长度下，准确率也经常跌至 50% 以下。
重复敏感性： 模型在处理包含重复模式（例如周期性信号或递归结构）的输入时表现得非常吃力，这表明它们依赖于局部上下文匹配，而非精确的位置检索。

作者假设这种失败源于标准位置编码（如 RoPE）的归纳偏置。模型似乎不是根据绝对或相对索引检索第 $k$ 个 token，而是使用一种“基于上下文”的捷径，在输入中搜索相似的局部子串。当存在重复子串时，这种机制会变得模糊，从而导致错误。

研究方法

1. 诊断分析

作者首先通过广泛的基准测试确立了问题的存在：

二进制复制： 模型被要求复制通过均匀、不平衡或递归翻转分布生成的二进制字符串。
Python 列表转换： 模型必须将逗号分隔的物理传感器数据转换为 Python 列表。
机械解释性： 注意力图分析显示，标准的 RoPE 模型并未学习到清晰的、基于位置的对齐。相反，它们表现出一种混合特征：
- 水平模式： 注意到固定的分隔符（例如 <\n>, <I:>），这是一种基于位置的捷径，在未见的长度上会失效。
- 对角线模式： 归纳头（induction-head）行为，通过匹配局部上下文，这在子串重复时会失效。

2. 提议的解决方案：2D-RoPE

受“将输入字符串 $x_1, \dots, x_n$ 复制到输出 $y_1, \dots, y_n$ 在结构上是一个 2D 操作（两行）”这一观察的启发，作者提出了 2D-RoPE。

概念： 文本被组织成一个 2D 网格而非 1D 序列。换行符 <\n> 作为行分隔符。
位置 ID： 每个 token 被分配一对坐标 $(r_i, c_i)$ ，其中 $r_i$ 是该行内的行索引， $c_i$ 是列索引。
机制： RoPE 注意力分别应用于行坐标和列坐标。在复制任务中，源 token $x_k$ 和目标 token $y_k$ 共享相同的列索引。因此，复制简化为从前一行的相同列中检索 token，这是一个固定的偏移操作，对于单个注意力层来说，其几何复杂度比依赖长度的 1D 偏移更低。

3. 自适应变体：Auto-2D-RoPE

考虑到自然语言并不总是包含显式的换行符来定义行，作者引入了 Auto-2D-RoPE。

该变体不再依赖固定的分隔符 token，而是学习一种数据驱动的变换。
在每一层，模型根据 token 的隐藏状态预测更新系数，以确定 2D 坐标如何演进（是增加列索引，还是重置列索引并增加行索引）。
这使得模型能够自适应地推断 2D 结构，即使在没有显式换行符的情况下也能保持长度泛化能力。

核心贡献

复制失败的实证证据： 本文提供了严谨的基准测试，证明前沿 LLM（包括 GPT-5.5、Gemini 3.1 Pro 和 DeepSeek V4 Pro）在精确复制任务上存在失败，特别是在长序列或重复序列上，这与“基础算法能力已被大型模型掌握”的假设相矛盾。
理论与机械诊断：
- 表达能力理论： 作者证明，具有平移不变位置编码的单层 Transformer 无法解决短序列（ $n \le 5$ ）的二进制复制，而两层 RoPE 模型可以。这表明失败并非由于表达能力限制，而是由于训练的归纳偏置。
- 注意力分析： 他们证明了训练后的模型依赖于一种脆弱的、基于位置和基于上下文的启发式混合机制，而非稳健的算法。
2D-RoPE 架构： 引入了 2D-RoPE，它将文本重新表述为 2D 网格，为位置检索提供了强大的归纳偏置。
理论保证：
- 表达能力： 证明了单层 2D-RoPE Transformer 可以用有界参数表示二进制复制任务。
- 泛化性： 在 $\ell_\infty$ 正则化约束下（模拟 AdamW 优化），在长度 $L$ 上训练的 2D-RoPE 的全局最小值可以证明能泛化到与 $L$ 成多项式关系的长度。
大规模验证： 通过在 DCLM 数据集上从头开始预训练（350M 到 1.4B 参数）验证了该方法。2D-RoPE 模型在复制任务上实现了近乎完美的长度泛化，同时保持了与常识推理基准相当的性能。

结果

合成实验：
- 1 层模型： 2D-RoPE 实现了高达 1000 $\times$ 的长度泛化（在长度 100 上训练，在长度 100,000 上测试），而标准编码则立即失效。
- 12 层模型： 2D-RoPE 保持了高达 100 $\times$ 的完美性能。
大规模 LLM 预训练：
- 在 DCLM 上预训练并在复制任务上微调的模型显示，2D-RoPE 在领域内（不平衡分布）和领域外（递归翻转分布）复制任务上的表现均显著优于标准 RoPE 和混合 RoPE (H-RoPE)。
- 例如，一个 1.4B 参数的 2D-RoPE 模型在 8K 长度的递归翻转字符串上达到了 100% 的准确率，而标准 RoPE 基准则降至 0%。
- 常识推理性能与 RoPE 基准相当，表明学习复制任务不会降低通用的语言建模能力。
Auto-2D-RoPE： 即使将换行分隔符替换为通用字符，Auto-2D-RoPE 也能成功在复制任务上保持长度泛化，展示了在没有显式格式提示的情况下学习 2D 结构的能力。

意义与主张

本文声称，位置信息的表示方式从根本上塑造了语言模型的算法行为。当前 LLM 无法进行复制并非因为缺乏智能，而是 1D 位置编码引入的归纳偏置所致，这种偏置更倾向于上下文匹配而非精确的位置检索。

通过将文本视为 2D 结构，作者认为复制任务在几何上变得简单（固定列检索），从而使模型能够学习稳健的、具备长度泛化能力的算法。这项工作表明，未来的研究应探索 2D 位置编码，以更好地捕捉文本的潜在结构，并提高 LLM 在算法推理方面的可靠性。作者保持了谦逊的态度，指出为什么多层 RoPE Transformer 无法进行复制的理论理解，以及 Auto-2D-RoPE 向更实际场景扩展的问题，仍是未来研究的方向。