💬 NLP

Leviathan: Decoupling Input and Output Representations in Language Models

本文介绍了 Leviathan，这是一种 Transformer 架构，它通过将标准共享嵌入矩阵替换为可学习的嵌入向量化（LEV）来解耦输入和输出表示，从而以极小的参数开销在语言建模性能和下游基准测试中实现了显著提升。

原作者： Reza T. Batley, Sourav Saha

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Reza T. Batley, Sourav Saha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于"Leviathan"论文的解读，已用通俗易懂的语言并辅以生动的类比进行翻译。

问题： “一刀切”的字典

想象一下，你正在教一个机器人说话。为此，机器人需要一本字典来同时完成两项截然不同的任务：

阅读：查找单词以理解其含义（输入）。
写作：查找单词以预测下一个词（输出）。

在大多数现代人工智能模型中，机器人使用同一本巨大的实体字典来完成这两项任务。这被称为“权重绑定”。论文认为，这就像强迫一把瑞士军刀既充当精密的外科手术刀，又充当重型锤子。它试图兼顾两者，但由于要求不同，导致它在两方面都表现不佳。

阅读需要平滑性：含义相似的单词（如“猫”和“小猫”）在机器人的思维中应该彼此靠近。
写作需要锐度：机器人需要清晰地区分字典中的每一个单词，哪怕是那些生僻的单词。

当你强迫一个工具同时承担这两项任务时，机器人不得不做出妥协。结果就是它在两方面都“还行”，但在任何一方面都算不上“出色”。

失败的修复方案：买两本字典

显而易见的解决方案似乎是：“给机器人两本独立的字典——一本用于阅读，一本用于写作。”
研究人员尝试了这种方法。他们给机器人配备了一本巨大的、完全独立的阅读字典。但这并没有奏效。机器人变得困惑，学习速度变慢，实际表现甚至不如使用单本字典的版本，尽管它拥有多出 50% 的内存（参数）可供使用。这就像给学生两本教科书却没有提供学习指南；额外的信息反而变成了干扰噪音。

解决方案：Leviathan（“智能生成器”）

这篇论文介绍了Leviathan，一种构建机器人大脑的新方法。Leviathan 不再使用用于阅读的巨型实体字典，而是采用智能、紧凑的生成器。

类比：食谱书 vs. 杂货店

旧方法（绑定嵌入）：想象一家巨大的杂货店，每个物品（每个单词）都有自己特定的货架。如果你想要“苹果”，就去 A 货架；如果你想要“杏”，就去 B 货架。如果你想要一种像“榴莲”这样的稀有水果，你必须找到它那个特定的、微小的货架。如果商店很大，找到那个稀有货架就很困难，机器人经常忘记它在哪里。
Leviathan 方法（LEV）：Leviathan 没有为每个单词设置货架，而是拥有一本食谱书。
- 要制作一个“苹果”，机器人不是去查货架，而是遵循食谱：取 1 份“水果”，加 2 份“红色”，混合“甜味”。
- 要制作一个“榴莲”（一个生僻词），它遵循类似的食谱：取 1 份“水果”，加 2 份“带刺”，混合“强烈气味”。

因为机器人使用的是食谱（数学函数） 而不是货架，它可以即时创造出完美的“苹果”或“榴莲”。

魔力所在：如果机器人学会了“苹果”的味道，它自动就会更好地理解“梨”，因为这些食谱共享成分。这被称为平滑性。
效率：与巨大的杂货店相比，这本食谱书非常小。这意味着机器人可以保持其“写作字典”（输出头）巨大且独立，而无需额外的内存。它兼得两者之长：一个微小、智能的阅读系统，以及一个庞大、强大的写作系统。

实验中发生了什么？

研究人员将这种新的"Leviathan"机器人与旧的“单本字典”机器人在三种不同规模（小、中、大）下进行了测试。

学习更快：Leviathan 机器人达到相同的技能水平，所使用的训练单词数量比旧机器人少了 2.1 倍。
变得更聪明：在最大规模下，Leviathan 机器人在预测下一个单词方面（称为困惑度指标）提高了 9%。
“生僻词”超能力：最大的惊喜在于改进发生的位置。
- 对于常见词（如“的”或“和”），两个机器人的表现大致相同。
- 对于生僻词（机器人每百万次中仅见一次的词），Leviathan 机器人的表现提高了 81%。
- 为什么？ 在旧系统中，如果一个词很生僻，机器人几乎没有机会学习它的“货架位置”，因此会遗忘它。而在 Leviathan 中，因为该词是由共享部分的食谱构建的，即使机器人只见过一次，它仍然能够推断出来。

核心结论

这篇论文证明，连接人工智能“阅读”和“写作”部分的方式至关重要。你不需要仅仅通过堆砌更多内存来解决这个问题。相反，通过将巨大的查找表切换为紧凑、平滑的食谱生成器，你可以让人工智能模型变得更聪明、更快速，并且在理解生僻和困难词汇方面表现更好，同时几乎使用相同数量的计算资源。

简而言之：Leviathan 阻止了人工智能去死记硬背一本巨大的电话簿，而是让它学习单词是如何构建的语法，使其成为一个更高效、更有能力的学习者。

技术摘要：Leviathan——解耦语言模型中的输入与输出表示

1. 问题陈述

现代大型语言模型（LLM）通常采用权重共享（tied-weight）架构，其中单个嵌入矩阵 $E \in \mathbb{R}^{V \times D}$ 承担双重角色：将输入令牌映射到连续表示，并将隐藏状态投影回词汇空间以进行输出预测。这种耦合迫使单个矩阵必须同时满足两个截然不同的目标：

输入表示：需要平滑性，即语义相关的令牌在表示空间中占据邻近区域。
输出分类：需要判别性，有效地将词汇中的所有令牌区分开来。

作者假设这种耦合构成了架构上的限制。虽然完全解耦（untied）的模型（学习独立的输入和输出矩阵）在理论上能够解耦这些目标，但在实践中被证明是无效的。实验表明，完全解耦的模型尽管参数量增加了约 50%，但其表现仍低于权重共享的基线模型。这表明由于优化困难以及离散嵌入（尤其是罕见令牌）的训练信号不足，额外的参数未能得到有效利用。

2. 方法论：Leviathan 架构

Leviathan 引入了一种 Transformer 架构，在不产生完全解耦嵌入所导致的过高参数成本的情况下，将输入表示与输出预测解耦。

2.1 学习嵌入向量化（LEV）

核心创新是LEV 层，它用一个学习到的连续函数 $G: \{0, \dots, V-1\} \to \mathbb{R}^D$ 替换了稠密的输入嵌入矩阵。该函数通过紧凑的参数共享机制将令牌索引映射为嵌入：

组合索引：词汇表通过 $b$ 进制分解被因子化为 $k$ 个分量，将令牌索引 $i$ 转换为元组 $(i_1, \dots, i_k)$ 。
共享码本：这些索引映射到共享码本 $C_1, \dots, C_k$ ，生成种子表示 $z(i)$ 。这使得罕见令牌能够从通过结构相似令牌使用的共享条目传递的梯度信号中受益。
连续投影：种子经过投影和归一化，转换为有界潜在坐标 $\tilde{z}_\ell \in [0, 1]^{d_{seed}}$ 。
样条展开：每个维度由具有 $\kappa$ 个节点的单变量二次B 样条基展开建模。
张量积：各维度通过秩为 $r$ 的张量积进行组合。
多头求和：最终嵌入是 $h$ 个并行头在经过线性投影后的输出之和。

2.2 架构与解耦

解耦输出头：LEV 层允许输出投影头保持完全解耦（即一个独立于输入的稠密矩阵）。
参数效率：由于 LEV 层远小于稠密嵌入表，解耦输出头的开销微乎其微。在 12 亿参数规模下，总参数增加仅为0.2%。
归纳偏置：该架构在令牌空间上施加了平滑归纳偏置，这与标准查找表的离散、各向异性几何结构形成对比。

3. 实验设置

模型：实验在三个规模的仅解码器 Transformer 上进行：2 亿、4 亿和 12 亿参数。
基线：
- TIED：标准权重共享基线。
- UNTIED：完全解耦模型（在 4 亿规模下为 6.11 亿参数）。
- ALBERT：输入参数匹配的因子化（线性压缩）配合解耦输出头。
- 消融实验：参数匹配的扁平 MLP 和因子化 MLP，以隔离非线性和组合结构的贡献。
训练：所有模型均在The Pile（无版权）上训练，使用相同的超参数、种子和令牌预算（12 亿参数模型最高达 241 亿令牌）。
评估：The Pile 保留验证集上的语言建模性能，Wikitext-103上的零样本泛化能力，以及下游基准测试（HellaSwag, ARC, PIQA, WinoGrande, LAMBADA）。

4. 关键结果

4.1 语言建模性能

Leviathan 在所有规模上均一致优于权重共享基线，且随着训练进展和模型规模增大，性能差距进一步扩大。

12 亿规模：与权重共享基线相比，Leviathan 将验证困惑度降低了9.2%（0.087 nats）。
样本效率：在 12 亿规模下，Leviathan 达到权重共享基线最终损失所需的训练令牌数量减少了2.1 倍。
训练动态：在较小规模（2 亿）下，Leviathan 起初表现低于基线，随后超越基线；而在 12 亿规模下，它在整个训练过程中均优于基线。

4.2 与替代方案的比较

对比完全解耦：完全解耦模型（UNTIED）在整个训练过程中表现均低于权重共享基线，证实了在没有高效参数化的情况下进行朴素解耦并非最优。
对比线性因子化：ALBERT 风格的因子化基线也表现低于权重共享基线，表明仅靠线性压缩无法恢复权重共享几何结构的表示优势。
对比 Leviathan：Leviathan 的表现优于 UNTIED 和 ALBERT，证明了在符合 Chinchilla 最优计算预算下，非线性连续生成优于朴素解耦和线性因子化。

4.3 下游任务与泛化

下游任务：在 12 亿规模下，Leviathan 在所有六个评估的下游基准测试中均提升了性能。值得注意的是，它在 LAMBADA 上的困惑度降低了30%。
零样本迁移：在 Wikitext-103（不同分布）上，Leviathan 表现出随规模增加的困惑度提升（2 亿规模下为 2.4%，12 亿规模下为 12.3%），表明其连续表示在不同数据分布间具有更有效的迁移能力。

4.4 频率分层分析

性能提升高度集中在令牌分布的长尾部分：

罕见令牌：对于出现频率低于千万分之一（1-in-10 million）的令牌，Leviathan 在 12 亿规模下将困惑度降低了81%。
常见令牌：对于出现频率高于万分之一（1-in-10 thousand）的令牌，提升幅度降至接近零（对于最常见令牌甚至略为负值），因为当训练信号强劲时，离散嵌入已足够。
机制：连续参数化在结构相似的令牌之间共享梯度，在离散查找因数据稀疏而失效的地方提供了鲁棒的信号。

4.5 鲁棒性

词汇表大小：结果在 5 万、10 万和 20 万的词汇表大小下保持一致，整体相对提升约为 2%。
消融实验：增益被分解为：连续表示（+1.13%）、组合结构（+0.37%）以及可分离的样条平滑性（+0.62%）。

5. 意义与主张

本文主张，权重共享的标准做法施加了一种架构限制，而简单地解耦权重并不能解决这一问题。相反，最优解决方案涉及解耦输入和输出表示，同时通过连续参数化强制平滑性。

架构洞察：输入嵌入的表示几何结构至关重要。连续参数化是一种提高该几何结构的数据和计算高效手段，特别是在离散嵌入表现挣扎的罕见令牌方面。
效率：Leviathan 以极小的参数开销（12 亿规模下为 0.2%）实现了这些增益，使其成为现代语言模型的实用升级方案。
可扩展性：LEV 层的益处随规模和数据的增加而累积，表明随着模型增长，平滑连续输入表示相对于离散查找的优势将变得更加显著。

作者总结道，虽然频率依赖性的提升模式具有相关性，但在规模、词汇表和架构变体上的一致性提供了强有力的证据，表明连续参数化有效地缓解了学习罕见令牌离散嵌入所伴随的优化困难。