💬 NLP

MultiHashFormer: Hash-based Generative Language Models

MultiHashFormer 引入了一种新颖的基于哈希的自回归框架，该框架将标记（tokens）表示为唯一的哈希 ID 序列，以实现具有恒定词表占用的参数高效型语言建模，并在多种规模和多语言场景下展示出优于标准 Transformer 的性能。

原作者： Huiyin Xue, Atsuki Yamaguchi, Nikolaos Aletras

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Huiyin Xue, Atsuki Yamaguchi, Nikolaos Aletras

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人说一种新的语言。当前机器人（语言模型）面临的最大问题在于它们的“字典”。

问题所在：沉重的背包

在标准的 AI 模型中，每一个单词或单词的一部分（比如“cat”、“map”或“physics”）都会得到一个属于它自己的、独特的、沉重的背包。如果你想让机器人学习 10 万个单词，你就需要 10 万个沉重的背包。这使得机器人变得臃肿、运行成本高昂且难以更新。如果你以后想增加一种新语言或罕见词汇，你必须构建一套全新的背包系统，这就像是在不改变地基的情况下试图为房子加盖一个新侧翼。

之前的尝试使用了一种“哈希（hashing）”技巧：不再给每个单词一个专属背包，而是让许多单词共用同一个背包。

缺陷： 想象一下把“cat”、“map”和“physics”全部放在“背包 #40”里。如果机器人预测出“背包 #40”，它根本不知道自己到底指的是哪个词。这变成了一场猜谜游戏。这种方法在阅读（编码器）方面可行，但在写作（生成器）方面失败了，因为机器人无法决定下一个该说哪个词。

解决方案：MultiHashFormer（身份证系统）

该论文的作者提出了一种名为 MultiHashFormer 的新系统。它不再给每个单词一个背包，而是给每个单词一张由一串短数字组成的独特身份证。

把它想象成音乐节的安检系统：

旧方式： 你只有一张门票。如果 100 个人都持有相同的门票号码，保安就无法分辨谁是谁。
MultiHashFormer 方式： 每位观众都会获得一张带有四个不同数字的独特身份证（例如：[12, 40, 56, 99]）。即使两个人的其中一个数字相同，他们也不会拥有整个序列。
- “Cat”可能是：[12, 40, 56, 99]
- “Map”可能是：[99, 40, 3, 12]
- “Physics”可能是：[5, 40, 88, 2]

因为数字的组合是唯一的，所以即使数字本身有重叠，机器人也总能准确识别出是指哪个单词。

它是如何工作的（流水线）

论文描述了一个三步过程：

编码器（翻译员）： 当机器人看到一个单词时，它不会去查找沉重的背包。相反，它会将这个单词通过四个不同的“哈希机器”运行，从而生成其独特的 4 位数身份证。然后，它将这张身份证压缩成一个高效的“思想向量（thought vector）”传递给大脑。
大脑（Transformer）： 机器人的大脑处理这些思想，就像普通的 AI 一样，理解句子的上下文。
解码器（预测器）： 当机器人需要猜测下一个词时，它并不直接猜测单词，而是逐一猜测下一个词身份证的四个数字。
- 首先，它猜测第一个数字。
- 然后，利用这个数字作为线索，猜测第二个数字。
- 它持续这个过程，直到获得完整的 4 位数序列。
- 最后，它查找匹配该精确序列的单词并将其说出来。

为什么这意义重大

该论文声称取得了三个主要的胜利：

它写得更好： 通过使用这种身份证系统，机器人的写作能力甚至优于同等规模的标准机器人。他们测试了拥有 1 亿、10 亿和 30 亿个“参数”（大脑细胞）的模型，发现 MultiHashFormer 在逻辑、阅读理解和语言任务方面的得分始终更高。
它更了解罕见词汇： 因为该系统迫使罕见词汇以一种聪明的方式共享“存储空间”（就像一个通过多种标签进行组织的拥挤图书馆），所以机器人比标准模型更能理解晦涩或罕见的词汇。
“神奇”的扩展性： 这是最酷的部分。如果你想教机器人一种新语言或增加 15,000 个新单词，你不需要增加任何新的内存，也不需要让机器人变得更庞大。
- 在普通的机器人中，增加单词会让它变得更重。
- 在 MultiHashFormer 中，你只需要在系统中注册新的身份证组合即可。机器人的体积保持不变，但它的词汇量瞬间增长。论文展示了他们如何在不增加单个参数的情况下，将词汇量从 32,000 扩展到 48,000，且机器人的表现依然保持出色。

总结

MultiHashFormer 就像是将机器人的字典从一堆沉重的、一次性的书籍升级到了轻量级的数字身份证系统。它让机器人能够在不增加重量的同时，学会说更多语言并掌握更多单词，同时还能变得更聪明。

技术摘要：MultiHashFormer

问题陈述

标准语言模型（LM）依赖于随词表大小线性缩放的学习嵌入矩阵，这造成了“词表瓶颈”。这种线性缩放将模型锁定在固定的标记容量中，阻碍了其在不显著增加参数的情况下适应新领域或新语言的能力。虽然先前的研究探索了通过标记哈希（token hashing）来约束参数足迹，但现有的基于哈希的模型（例如 Proformer、HashFormer）采用了多对一的映射方式。在这些系统中，多个标记共享同一个哈希索引。虽然这种方法具有参数效率，但会导致标记冲突，从而无法在自回归生成过程中实现确定性的标记恢复。因此，以往的基于哈希的方法被限制在仅编码器（encoder-only）架构和判别式训练中，使其无法应用于因果（仅解码器）生成式语言模型。

方法论

作者提出了 MultiHashFormer，这是一个旨在通过消除标记冲突来实现基于哈希的自回归的框架。该架构由三个主要模块组成：

哈希编码器 (Hash Encoder)：
- 多哈希索引 (Multi-Hash Indexing)： 不同于将一个标记映射到单个哈希 ID，每个标记被转换为一个由 $H$ 个独立哈希函数（使用 MurmurHash3 算法）生成的离散哈希 ID 短序列组成的唯一“哈希签名”。例如，一个标记可能表示为 $[12, 40, 56]$ 。这种多 ID 映射在保持严格亚线性参数足迹的同时，理论上支持极大的词表容量（例如 $B^H$ 个唯一签名）。
- 门控组合嵌入 (Gated Compositional Embedding)： 为了处理哈希桶（hash buckets）全局共享（可能导致语义无关的标记之间发生冲突）的问题，模型采用了一个上下文感知的组合门控。该模块将单个哈希嵌入压缩为一个统一的稠密潜向量。它使用带有 Softmax 归一化的前馈瓶颈网络来确定每个桶的贡献度，随后使用线性适配器将组合后的表示投影到骨干网络的潜空间中。
序列处理骨干网络 (Sequence Processing Backbone)：
- 压缩后的潜向量通过标准的 Transformer 解码器层堆栈（基于 Qwen3 架构）来生成上下文相关的表示。
哈希解码器 (Hash Decoder)：
- 级联预测器 (Cascaded Predictor)： 为了重建下一个标记，模型并不预测单个标记 ID。相反，它会自回归地重建下一个标记的多 ID 签名。这是通过一个结构化的、迭代的纠错系统实现的。
- 解码器利用骨干网络的最终隐藏状态初始化预测循环。然后，它按顺序迭代地预测哈希签名的每个坐标（ $H_1, H_2, \dots, H_H$ ）。
- 软嵌入检索 (Soft Embedding Retrieval)： 为了在级联过程中保持可微性，模型计算“软桶嵌入”（即由 Logit 概率加权的嵌入矩阵期望值），而不是在中间步骤使用硬离散索引。
- 状态更新 (State Update)： 一个递归级联混合器通过将当前状态与检索到的软嵌入进行拼接，将联合表示路由通过一个瓶颈层，以指导后续哈希坐标的预测。
概率建模 (Probability Modeling)：
- 训练： 模型优化独立坐标概率的乘积（ $\prod P(H_i(w) | \cdot)$ ），允许对可能无法映射到实际词表条目的坐标组合进行预测，以简化优化过程。
- 推理： 为了确保有效的生成，模型在推理过程中显式排除未分配的签名，严格在真实的词表（ $V_{actl}$ ）上重新归一化概率分布。

核心贡献

首个基于哈希的因果语言模型： MultiHashFormer 是第一个通过生成多 ID 签名来防止标记冲突，从而支持因果语言建模的框架。
参数效率与性能： 在 100M、1B 和 3B 参数规模下，MultiHashFormer 在 10 个基准测试中持续优于标准的 Transformer 语言模型。它证明了将词表与参数矩阵解耦比单纯向标准模型添加层更为有效。
无参数的词表扩展： 该框架实现了无缝的词表扩展（例如从 32K 扩展到 48K 个标记），且无需增加参数量或进行结构性修改。模型通过注册新的唯一虚拟签名来处理多语言扩展。
改进的稀有词表示： 共享桶机制改善了稀有词的表示，这体现在与 Card-660 数据集上的人类注释相比，其与标准基线相比具有更高的相关性。

结果

核心能力： 在 1B 和 3B 规模下，MultiHashFormer（特别是 H4B16K 配置）在 11 项任务中的 9 项上优于标准基线，包括在 LAMBADA（语言建模）和 HellaSwag（叙事逻辑）方面的显著提升。
参数匹配： 当与具有等效参数量（甚至是在增加层数以匹配总参数量的情况下）的基线进行对比时，MultiHashFormer 变体在大多数任务上均取得了更优的表现。
词表扩展： 在将词表从 32K 扩展到 48K（添加阿拉伯语、中文和印地语标记）的持续预训练实验中，MultiHashFormer 在维持或提高多语言任务性能的同时，无需像标准基线那样增加约 3100 万个额外参数。
稀有词： 与标准模型相比，在分析倒数第二层解码器的隐藏状态时，MultiHashFormer 在处理稀有词对时显示出更高的 Pearson 和 Spearman 相关性。

重要性与主张

论文声称 MultiHashFormer 成功绕过了基于解码器的语言模型的传统词表瓶颈。通过使用模块化哈希接口取代线性嵌入矩阵，该模型实现了严格的亚线性参数足迹，同时将词表容量扩展到理论极限（如数千万亿个签名）。作者认为，这种方法解决了生成式设置中的标记冲突歧义问题，而这一限制此前将哈希技术局限于仅编码器模型。此外，该框架为多语言适配提供了一个实用的解决方案，允许模型在集成新语言和新标记时，无需承担与扩展嵌入矩阵相关的计算和内存成本。结果表明，哈希编码器和解码器提供的归纳偏置是鲁棒的，且源于架构本身，而非随机采样方差。