💬 NLP

Language models struggle with compartmentalization

本文表明，大型语言模型往往无法将同一潜在概念的不同表现形式（例如不同语言或编程范式）统一为共享的内部表示，从而导致冗余学习、样本效率降低，以及基于概念表现形式数量的干预效果相变。

原作者： Thomas Vincent Howe, David Wingate

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas Vincent Howe, David Wingate

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对这篇论文的解读。

核心思想：“平行宇宙”问题

想象你有一个极其聪明的学生，但他有一个非常奇怪的习惯：无论事实如何表述，他都将其视为两个完全无关的秘密。

如果你用英语告诉他“天空是蓝色的”，他会将其记在“英语笔记本”里。
如果你用斯瓦希里语告诉他“天空是蓝色的”，他会将其记在另一本独立的“斯瓦希里语笔记本”里。
他从未意识到这两本笔记本在谈论同一件事。他不交叉引用它们，也不会说：“哦，我已经知道这个了！”

这篇论文将这种行为称为**“隔离”（Compartmentalization）**。

作者认为，大型语言模型（LLMs）经常这样做。它们没有构建一个巨大的、高效的、理解“天空是蓝色”这一概念的大脑，而是为它们遇到的每一种语言、编程代码或写作风格构建了独立的、冗余的大脑。这浪费了它们的脑力（容量），并使其学习速度变慢（样本效率低下）。

实验：“魔法词汇”技巧

为了证明这种现象确实发生，研究人员设计了一个受控实验。他们不仅使用了不同的语言，还使用了一种“魔法技巧”，迫使模型将相同的数据视为完全不同的内容。

类比：
想象一个图书馆，里面的每本书都用同一种语言写成，但图书管理员有一条规则：

如果书在左边的书架上，单词"Apple"就写成"Apple"。
如果书在右边的书架上，单词"Apple"就写成"Banana"（尽管它们的意思相同）。

研究人员创建了一个模型，其中“左边的书架”和“右边的书架”拥有完全不同的词典。他们向模型输入完全相同的故事，只是根据书架的不同交换了单词。

结果：
模型未能将线索联系起来。它学习了左边书架的故事，也学习了右边书架的故事，但它将这两者视为两个完全独立的任务。

代价： 因为它重复学习了同一件事，所以需要更多的数据才能达到熟练程度（样本效率低下）。
瓶颈： 因为它存储了两份相同的知识，所以更快地耗尽了“大脑空间”（容量成本）。

“翻译”陷阱

研究人员尝试了一种常见的修复方法：他们给模型提供了“翻译对”。他们向模型展示：“这是左边书架上的'Apple'，这是右边书架上的'Banana'。”

令人惊讶的是：
模型几乎瞬间就学会了翻译规则。它可以完美地将"Apple"翻译成"Banana"。然而，这并没有帮助它停止隔离。它仍然将这两个概念保存在独立的精神盒子中。这就像一个学生可以完美地翻译一个句子，但仍然不理解其背后的含义是相同的。

他们发现，只有当给模型提供海量的翻译数据，或者使用一种称为“权重衰减”（weight decay）的特定训练技术（这就像轻轻推一把以简化模型的思维）时，这种方法才开始奏效。

“相变”

这篇论文发现了一种奇怪的现象，称为**“相变”（Phase Transition）**。
把它想象成一个电灯开关。

如果你有 2 个隔间（左/右书架），模型会固执己见，不共享知识。
如果你有 8 个隔间，突然间，只要有足够的翻译数据，模型就会“ snapping”（突变），开始在所有隔间之间共享知识。

似乎只有当问题变得太复杂而无法分开处理时，模型才会意识到应该统一其大脑。

现实世界的例子

研究人员在现实世界的场景中测试了这一点，以观察这种现象是否发生在他们的“魔法图书馆”之外：

多语言学习： 他们在英语和中文上训练了小型模型。他们发现，对于小型模型而言，英语和中文的知识并没有真正融合。模型本质上是“隔离”的，将它们视为独立的任务，而不是统一的理解。
传记与问答： 他们以两种格式向模型提供了关于人物的事实：
- 格式 A：传记段落（“约翰是一位住在纽约的医生”）。
- 格式 B：问答对（“约翰是谁？一位住在纽约的医生”）。
- 灾难： 当模型试图同时学习这两种格式时，它们相互冲突。模型变得困惑，表现比只学习一种格式时更差。这就像试图用一只手举起两个重物；它们相互抵消了。

好消息：这是可修复的

最重要的发现是，这并非人工智能工作原理的根本缺陷；这只是模型养成的一种坏习惯。

研究人员表明，如果你在开始时（或训练后）手动将知识从一个隔间复制到另一个隔间，模型的表现就会完美。这证明模型有能力共享知识，但标准的训练过程（SGD）只是没有自然地找出如何高效地做到这一点。

总结

问题： AI 模型通常将以不同方式呈现的同一事实（不同的语言、不同的格式）视为完全无关的任务。
后果： 这浪费了它们的内存，并使它们的学习速度变慢。
“翻译”的失败： 仅仅向模型展示如何在格式之间进行翻译不足以解决这一问题；它们需要更多的数据或特定的训练推动，才能意识到这些概念是相同的。
启示： AI 模型目前是“隔离”的。它们的大脑为事实的每一种表述方式都设有独立的房间，而不是将所有事实共同生活在一个大房间里。这篇论文表明，我们需要更好的训练方法来帮助它们合并这些房间。

技术摘要：语言模型在隔离性方面存在困难

问题陈述

大型语言模型（LLM）的训练数据中包含以多种不同方式呈现的相同潜在概念（例如，英语和斯瓦希里语中的事实、Python 和 Haskell 中的函数，或形式语言与自然语言中的命题）。虽然理想情况下模型应能识别这些关联并共享统计强度，但前沿模型往往无法做到这一点。

本文将**隔离性（compartmentalization）**定义为一种现象，即模型将统一潜在数据生成过程的 $c$ 种不同呈现方式视为部分或完全独立的任务。在最坏的情况下，模型为每种呈现方式学习并行的内部表示，而不在它们之间摊销信息。这导致两种主要低效：

样本低效：每种呈现方式仅从其自身的数据份额中受益。如果某种呈现方式占数据的比例为 $\epsilon$ ，与统一呈现方式相比，模型可能需要 $1/\epsilon$ 倍更多的样本来学习结构。
容量竞争：冗余表示消耗了有限的模型容量。隔离性模型可能比 cohesive（整体性）模型更早达到饱和，即使数据增加，验证损失也会停留在较高水平。

方法论

为了隔离并研究隔离性，作者提出了一种“最坏情况”的实验构建，移除了通常鼓励表示共享的自然结构线索（如子词重叠或句法规律性）。

分词技巧

作者通过修改分词器，创建了 $c$ 种统计上相同数据的不同呈现方式：

基础词汇表大小 $V$ 增加 $c$ 倍，形成包含 $cV$ 个 token 的联合词汇表。
为了以第 $j$ 种呈现方式编码数据，token ID 偏移 $jV$。
这确保了相同的底层文本在不同隔离区中由完全不相交的 token 集合表示，迫使模型学习 $c$ 个独立的映射，除非它发现了共享结构。

实验设置

模型：在约 1310 亿个 FineWeb token 上训练的 GPT 风格解码器。
规模：实验涵盖六种模型规模，参数范围从 110 万到约 10 亿。
训练：模型训练至收敛（相对于 Chinchilla 最优过训练），以观察容量限制。
基线：比较单隔离区模型（ $c=1$ ）与隔离化模型（ $c \in \{2, \dots, 8\}$ ）。

主要贡献与结果

1. 量化隔离性的成本

作者证明，隔离性带来的显著成本随隔离区数量（ $c$ ）的增加而扩大：

样本效率放缓：随着 $c$ 增加，达到特定验证损失所需的训练步数线性增加。例如，在 $c=8$ 时，模型需要比 $c=1$ 基线显著更多的步数才能达到相同的损失。
容量成本：随着 $c$ 增加，最终验证损失在更高值处达到平台期，表明当被迫维持不相交表示时，模型无法高效地表示数据。

2. 统一解的存在性

本文证明，无法共享强度并非架构或数据的根本限制，而是优化过程（SGD）未能找到特定参数设置的结果：

初始化复制：如果模型通过将所有 $c$ 个隔离区的基础词汇嵌入复制来初始化（而不是随机初始化），其样本效率可与 $c=1$ 基线相匹配。
事后参数复制：可以将训练好的 $c=1$ 模型通过复制其学习到的嵌入转换为 $c$ 隔离区模型。在短暂的初始损失激增后，模型会在原始性能平台期恢复训练，且无容量开销。
推论：统一解存在且可达，但标准的随机初始化训练未能发现它们。

3. 标准干预措施的局限性

作者测试了鼓励表示共享的常见策略，发现它们往往不足或表现出相变：

配对“翻译”数据：引入同一文本在两个隔离区中出现的数据（配对翻译任务），并未减少小 $c$ $c$ 值下的隔离性。模型将翻译任务（根据一个隔离区预测另一个隔离区的 token）学习至接近零损失，但隔离区仍继续竞争容量。
- 相变：仅当跨越 $c$ 相关的阈值（例如，在高翻译比例下 $c=8$ ）后，隔离性才会减少（打破损失平台期）。
- 权重衰减：激进的权重衰减加速了这一相变，将阈值移至较低的 $c$ 值（例如，从 $c=8$ 降至 $c=6$ ）。
对比对齐（InfoNCE）：一个辅助目标用于对齐跨隔离区的同一文本中间层表示，表现出类似行为。对于 $c=2$ 无 measurable 收益， $c=4$ 有适度收益，而在 $c=6$ 和 $c=8$ 时显著恢复了“隔离性税”。

4. 自然数据的案例研究

作者将框架应用于现实场景以验证该概念：

多语言训练：在英语和中文维基百科数据上训练显示，小模型（<10 亿参数）表现出高度隔离性。共享分词器的多语言模型性能紧密跟随“隔离化”基线（使用不相交分词器），表明早期训练阶段跨呈现方式的信息共享较低。
合成传记与问答：一项合成任务将事实呈现为传记段落或问答对，揭示了破坏性容量竞争。当使用共享分词器联合训练时，模型在两种格式上的表现均差于单一格式训练。然而，当格式被隔离化（不相交分词器）时，传记格式的性能显著提高，表明联合训练的失败是由于共享参数中的干扰，而非缺乏容量。

意义与主张

本文认为，语言建模目标可能仅在不同呈现方式的同一概念之间不一致地统一表示。关键要点如下：

隔离性是真实现象：LLM 经常无法在不同呈现方式（语言、格式、代码）之间共享统计强度，导致冗余学习和容量浪费。
优化失败：未能统一表示并非由于架构能力不足；统一解存在且可通过特定初始化实现，但标准 SGD 训练未能发现它们。
学习中的相变：翻译数据或对比损失等干预措施不会线性提升性能。相反，它们表现出相变，即仅在达到一定数据比例或模型复杂度（ $c$ ）阈值后，有效性才会显现。
对效率的影响：研究结果表明，当前训练范式在处理多面数据时可能 inherently 存在样本低效和容量低效，因为模型“相互学习”的程度可能远低于假设。

作者保持谦逊，指出其发现基于小规模模型，隔离性可能在更大规模下减弱，但现有前沿模型证据表明该现象依然存在。他们提出基于分词器的构建作为未来研究中衡量表示共享的基线。