🤖 machine learning

Shortcut Solutions Learned by Transformers Impair Continual Compositional Reasoning

本文利用扩展的 LEGO 框架研究 Transformer 中的持续组合推理，揭示前馈 BERT 模型因固守捷径方案而失效，而循环 ALBERT 模型通过学习算法“循环”策略展现出更优性能，且该策略可通过跨经验训练进一步增强。

原作者： William T. Redman, Erik C. Johnson, Brian Robinson

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： William T. Redman, Erik C. Johnson, Brian Robinson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人解决一系列谜题。这些谜题并非随机排列，而是基于同一底层逻辑的变体。例如，一个谜题可能要求你旋转一个三角形，下一个要求翻转它，再下一个则要求同时执行这两项操作。目标是观察机器人能否学会第一个谜题的逻辑，并立即将其用于解决第二个和第三个谜题，同时不忘记如何完成第一个谜题。

本文探讨了两类流行的 AI“大脑”（称为BERT和ALBERT）如何处理这种学习方式。研究人员发现，尽管这些 AI 模型极其聪明，但它们常采取“思维捷径”，导致它们在后续学习新事物时表现不佳。

以下是他们研究发现的简要解析，辅以简单的类比：

1. 两种类型的学习者

研究人员测试了两个模型：

BERT：将其想象为一位摄影师。它一次性审视整张图片，试图 memorize（记忆）该单张图像的具体细节。它速度很快，擅长即时识别模式，但并不真正理解图像是如何生成的过程。
ALBERT：将其想象为一位程序员。它不仅仅是 memorize 图片，而是学习一套指令（类似于计算机代码中的循环），可重复执行以解决问题。它理解谜题背后的机制。

2. “捷径”陷阱

当模型被教授第一个谜题（我们称之为“谜题 A"）时，两者表现都不错。然而，当研究人员引入“谜题 B"（非常相似但略有不同）时，问题出现了。

BERT（摄影师）：它学会了一个捷径。它意识到：“嘿，如果我只看谜题中的第一个线索，我就能猜出这类特定谜题的答案。”它并没有学会真正的逻辑，只是 memorize 了一个对谜题 A 有效的技巧。
- 结果：当面对谜题 B 时，BERT 感到困惑。因为它依赖的是针对谜题 A 的特定技巧，所以无法适应。此外，一旦开始学习谜题 B，它就完全忘记了如何完成谜题 A。这被称为灾难性遗忘。
ALBERT（程序员）：它学会了算法。它推断出：“哦，我需要获取当前状态，应用规则，然后进入下一步。”这就像学习一个"For 循环”（一种重复执行操作的计算机指令）。
- 结果：因为 ALBERT 学习的是方法而非特定技巧，它能将这种方法更快地应用到谜题 B 上。它展现了正向迁移，意味着它利用从谜题 A 中学到的内容加速了谜题 B 的学习。

3. 规模很重要（但并非你想象的那样）

研究人员尝试扩大模型规模（增加更多层，就像给房子增加更多房间）。

对于 ALBERT：越大越好。更多的“房间”意味着它可以优化其算法，在知识迁移方面表现得更好。
对于 BERT：变大反而使情况恶化或变得不稳定。因为 BERT 依赖捷径，使模型更复杂只是给了它更多陷入坏习惯的途径。它无法将其学习成果泛化到新谜题上。

4. “记忆重放”修复方案

两个模型都遭受了灾难性遗忘的困扰——当它们学习新谜题时，完全抹去了旧谜题的记忆。

为了解决这个问题，研究人员使用了重放缓冲区（Replay Buffer）。想象一个学生，在为新的数学考试复习时，会在桌上保留几张旧考试的闪卡，偶尔瞥一眼。

结果：这效果显著。通过在模型学习新数据时，向其展示极少量（仅 1%）的旧数据，它们就不再遗忘了。BERT 和 ALBERT 都能在记忆旧谜题的同时学习新谜题。

5. 最终障碍：组合谜题

“组合推理”的终极测试是 AI 能否混合搭配不同谜题的规则，以解决一个全新的、复杂的、融合了所有这些规则的谜题。

问题：即使有“重放缓冲区”帮助它们记忆，两个模型在组合规则方面仍 struggles（挣扎）。它们可以分别记住谜题 A 和谜题 B，但无法轻易将它们编织在一起以解决混合谜题。
差异：研究人员找到了一种帮助ALBERT在此方面成功的方法。如果他们在训练期间采用一种策略，将旧谜题和新谜题缓慢地缝合在一起（而不是保持分离），ALBERT 就能学会将它们组合起来。
局限：这种“缝合”策略对 BERT 无效。因为 BERT 在初始训练期间已经固守其“捷径”思维方式，无法在后期被教导去组合规则。它太固步自封了。

结论

该论文得出结论：虽然像 BERT 和 ALBERT 这样的 AI 模型功能强大，但它们存在一个隐藏缺陷：它们倾向于学习“作弊”（捷径），而非深层逻辑。

ALBERT 更擅长学习深层逻辑（即"For 循环”），这有助于它更快地学习新的相关任务。
BERT 则陷入表面技巧的泥潭，这使其难以适应新情境，并导致其遗忘旧知识。

这项研究表明，若要使 AI 真正具备持续学习（永不遗忘地持续学习）的能力，我们需要摒弃依赖捷径的模型，转而采用旨在理解世界底层“算法”的架构。

技术摘要：Transformer 习得的捷径解决方案损害了持续组合推理能力

问题陈述

本文旨在解决 Transformer 神经网络在组合推理背景下执行**持续学习（CL）**能力理解上的关键空白。尽管 Transformer 已在识别特定输入关系及在静态数据集上执行组合任务方面展现出成功，但其利用已习得的表征来获取新的、相关的经验而不发生灾难性遗忘的能力仍未得到充分研究。具体而言，作者调查了这些模型是否能够发展出通用的计算策略（类似于人类的类比推理），还是依赖于不可泛化的“捷径”解决方案，从而阻碍了其在序列任务间迁移知识的能力。

方法论

作者将合成的学习等式与群运算（LEGO）框架（Zhang 等人，2022）扩展至持续 LEGO设置中。

任务设计：LEGO 任务涉及在群结构（具体为对称群 $D_3$ ）内解决一系列群运算（ $a_t = a_{t-1} * x_t$ ）。该任务被视为有向图遍历。
持续设置： $D_3$ 群被分解为三个不同的“翻转 - 翻转经验”，每个经验由特定的子群定义（例如 $\{x_1, x_4\}$ 、 $\{x_1, x_5\}$ 、 $\{x_1, x_6\}$ ）。模型按顺序在这些经验上进行训练。关键在于，一旦模型进入新的经验，它不再接收来自先前经验的输入，以此测试正向迁移（更快学习新任务）和性能保持（避免灾难性遗忘）。
模型：本研究比较了BERT（典型的自前馈 Transformer）和ALBERT（具有跨层权重共享的循环变体）。
架构分析：作者系统地改变模型超参数（隐藏层数量和注意力头数量），以识别能够解决该任务的最小架构。他们分析自注意力模式，以确定习得解决方案的机制性质（例如，算法循环与捷径）。
干预措施：本研究评估了回放缓冲区（保存 1% 的过去数据）和增量训练（将过去和当前经验数据拼接在一起）在减轻遗忘和实现跨经验组合方面的有效性。

主要贡献

持续 LEGO 框架：作者引入了一种受控的合成范式，用于系统地研究 Transformer 的持续学习能力，特别聚焦于组合推理。
架构分歧：研究揭示，架构选择（前馈与循环/权重共享）对泛化和正向迁移产生差异化影响。BERT 模型随着规模增大表现出性能不一致，而 ALBERT 模型则显示出容量与性能之间更清晰的关系。
失败/成功的机制解释：通过注意力模式分析，作者确定ALBERT学习了一种可泛化的、算法性的类 For 循环解决方案，而BERT则学习了捷径解决方案，这些方案无法泛化到更长的序列或新的经验。
回放的局限性：论文表明，虽然回放缓冲区可以减轻灾难性遗忘，但它们不足以在 BERT 模型中实现跨经验的组合推理。只有 ALBERT 模型受益于在增量组合数据上的训练，从而实现真正的跨经验组合。

结果

1. 持续 LEGO 上的性能

正向迁移：ALBERT 模型表现出强大的正向迁移，在更少的训练轮次下即可在新的翻转 - 翻转经验上达到高准确率。BERT 模型的正向迁移较弱，通常需要更多轮次才能达到渐近准确率，且无法泛化到比训练集更长的序列长度。
灾难性遗忘：在没有干预的情况下，当 BERT 和 ALBERT 模型在新区间上训练时，均表现出近乎完全的灾难性遗忘（在先前经验上的性能下降至约 0%）。
泛化能力：当在较短序列（如 $a_4$ ）上训练时，ALBERT 模型能很好地泛化到更长序列（如 $a_5, a_6$ ）。BERT 模型通常无法泛化到训练序列长度之外。

2. 机制分析（注意力模式）

ALBERT（通用解决方案）：最小 ALBERT 模型中的注意力模式显示出“类 For 循环”特征。给定子句中的标记主要关注前一个子句中的标记，系统地更新状态。这种模式在经验之间得以保持并增强。
BERT（捷径解决方案）：BERT 模型表现出捷径特征，其中自注意力将第一个子句中的单个共享输入标记隔离出来，供所有输出标记使用。这种解决方案在训练早期就已根深蒂固，即使引入新经验也会持续存在，阻碍模型学习必要的迭代组合。

3. 架构规模的影响

ALBERT：性能（任务准确率、泛化、正向迁移）随隐藏层数量增加而正向提升（成功至少需要 4 层）。
BERT：增加模型规模（例如增至 12 层）并不能保证更好的性能，甚至可能导致训练不稳定。对于 BERT，模型规模与正向迁移或泛化之间不存在清晰的关系。

4. 缓解策略

回放缓冲区：仅保存 1% 的过去数据即可成功缓解两种模型的灾难性遗忘，同时保持正向迁移。然而，朴素回放（保存独立样本）无法实现跨经验的组合。
增量/组合训练：在拼接了过去和当前经验的数据（“增量翻转 - 翻转”）上进行训练，挽救了ALBERT的性能，使其能够接近在全任务上训练的模型性能。该策略对BERT无效，因为在初始训练期间，捷径解决方案已根深蒂固，无法通过组合数据被遗忘或修正。

意义与主张

本文主张，循环 Transformer 的归纳偏置（特别是 ALBERT 的权重共享）比标准前馈架构（BERT）更适合持续组合推理。

捷径解决方案作为障碍：作者认为，BERT 习得的“捷径解决方案”不仅仅是性能问题，而是组合任务中持续学习的根本障碍。这些捷径变得根深蒂固，阻碍模型获取正向迁移和跨经验组合所需的通用算法策略。
循环优势：ALBERT 习得的“类 For 循环”计算提供了一种泛化和正向迁移的机制，表明循环结构（或权重共享机制）对于在神经网络中发展灵活的计算策略可能至关重要。
训练策略的局限性：研究强调，虽然简单的回放可以解决遗忘问题，但它无法解决跨经验的组合问题。CL 中的真正组合推理可能需要明确跨经验组合数据的训练策略，这一发现表明生成式回放方法可能是未来研究的富有成效的方向，特别是对于像 ALBERT 这样的模型。

作者得出结论：虽然 Transformer 可以在复杂的静态任务上取得成功，但其持续学习并在新经验间进行组合的能力，受到其收敛的具体计算策略（捷径与算法）的严重损害，而这些策略深受架构选择的影响。