🤖 machine learning

Generalized Holographic Reduced Representations

本文介绍了广义全息降维表示（GHRR），这是一种超维计算的 novel 扩展，它采用灵活的非交换绑定操作以更优地编码复杂组合结构并实现注意力机制，最终在语言建模任务中展现出优于标准 Transformer 的性能。

原作者： Calvin Yeung, Zhuowen Zou, SungHeon Jeong, Wenjun Huang, Nathaniel D Bastian, Mohsen Imani

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Calvin Yeung, Zhuowen Zou, SungHeon Jeong, Wenjun Huang, Nathaniel D Bastian, Mohsen Imani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《广义全息降维表示》（GHRR）的解释。

宏观图景：构建更优质的乐高套装

想象你正试图用乐高积木搭建复杂的结构。在人工智能（AI）的世界里，主要有两种搭建方式：

符号 AI：就像遵循一份严格的说明书。它精确但僵化。
深度学习（神经网络）：就像面对堆积如山的积木，通过观察数百万张建筑图片来学习如何搭建。它灵活，但需要海量的数据和能量。

超维计算（HDC） 是一个巧妙的折中方案。它试图结合两者的优点。它利用巨大的高维向量（将其想象为“超级积木”）来表示概念。你可以将这些积木拼接在一起形成复杂的概念，而且该系统非常稳健（即使丢失了几块积木，概念依然可识别）。

然而，论文指出，当前版本的这些“超级积木”（称为 FHRR）存在一个重大缺陷：它们太“礼貌”了。

问题所在：“礼貌”的积木

在现有系统中，当你将两块积木拼接在一起（这种操作称为绑定）时，顺序并不重要。

积木 A + 积木 B 看起来与 积木 B + 积木 A 完全一样。

在现实生活中，顺序至关重要。“狗咬人”与“人咬狗”截然不同。为了在旧系统中解决这个问题，工程师不得不添加额外且复杂的技巧（例如旋转积木），以强制系统记住顺序。这种方法笨拙且限制了结构能达到的复杂程度。

解决方案：GHRR（“智能”积木）

作者提出了一种名为**广义全息降维表示（GHRR）**的新系统。

GHRR 不再使用简单的平面积木（标量），而是使用多维旋转块（矩阵）。

类比：想象旧积木是只能堆叠的平面瓷砖。而新的 GHRR 积木则像三维齿轮。当你将两个齿轮拼接在一起时，齿牙必须以特定方式啮合。如果你试图按错误的顺序拼接，它们就无法正确咬合。
结果：这使得“绑定”操作具有非交换性。系统自然地理解"A 然后 B"与"B 然后 A"是不同的，无需额外的技巧。

新系统的关键特性

1. 灵活的绑定（“注意力”机制）
论文声称，这种新的积木拼接方式如此强大，以至于实际上可以模仿一种著名的 AI 工具，即注意力机制（Attention）。

类比：在标准 AI 中，“注意力”就像一盏聚光灯，决定句子中哪些部分最重要。作者表明，他们新的 GHRR“齿轮”仅通过拼接方式，就能自动聚焦于数据的正确部分。
证明：他们将标准 AI 模型（Transformer）中的“聚光灯”（注意力机制）替换为他们的 GHRR 齿轮。当在语言任务（预测句子中的下一个词）上进行测试时，GHRR 版本的性能优于标准版本。

2. 对复杂结构的更好记忆
由于新积木具有更强的表达能力，该系统能够更好地记忆复杂结构（如树状结构或嵌套列表）。

类比：如果你试图用旧系统记忆一个长而复杂的句子，单词开始变得模糊不清。而使用 GHRR，即使句子变得更深奥复杂，系统也能在更长时间内保持句子的具体结构。

3. 效率
尽管在数学上更为复杂，但该系统并未失去“超级积木”的优势。它仍然：

稳健：即使丢失部分数据，含义依然存续。
透明：你仍然可以看到各部分是如何拼接在一起的（不同于某些“黑盒”深度学习模型）。
高效：它不需要现代深度学习通常所需的庞大数据和能量。

他们实际做了什么（实验）

作者不仅构建了理论，还进行了测试：

数学验证：他们证明了新的“齿轮”行为正确，在拼接时不会产生混淆。
顺序测试：他们展示了新系统能正确区分"A-B"和"B-A"，而旧系统则会将它们混淆。
深度测试：他们构建了日益复杂的数据“树”。新系统能在比旧系统深得多的深度上正确解码信息。
语言测试：他们将语言模型中的注意力机制替换为 GHRR 版本。新模型在预测句子中的下一个词时，比标准模型更准确。

总结

这篇论文介绍了 GHRR，一种在 AI 中表示数据的新方法。它将当前的“平面”构建块升级为能自然理解顺序和关系的“三维齿轮”。这使得 AI 能够更轻松地处理复杂结构，更好地记忆事物，甚至在语言任务上表现更佳，同时保持高效和可解释性。

技术摘要：广义全息降维表示（GHRR）

1. 问题陈述

超维计算（HDC），也称为向量符号架构（VSA），作为一种神经符号范式，弥合了连接主义与符号人工智能之间的鸿沟。它利用高维超向量来表示数据，具备鲁棒性、抗噪性和固定宽度组合等特性。然而，标准的 HDC 实现，特别是傅里叶全息降维表示（FHRR），在编码复杂组合结构方面存在显著局限性：

结合的交换性：FHRR 中的标准结合操作（标量相位的逐元素乘法）具有交换性。这限制了编码非对称结构（如序列、树）的能力，除非依赖置换或位置编码等外部技术，而这会使得表示变得复杂。
表达能力有限：FHRR 中的结合操作充当低容量全息投影（实际上是对张量积取对角线）。这限制了保留复杂交互所需信息的能力，例如深度学习中的注意力机制所需的交互。
可扩展性与效率的权衡：虽然深度学习通过海量数据和计算实现泛化，但 HDC 提供了一种更高效的替代方案，但目前缺乏处理复杂结构推理所需的表达能力，除非牺牲其 desirable 属性（透明性、鲁棒性、固定宽度）。

2. 方法论：广义全息降维表示（GHRR）

作者提出了广义全息降维表示（GHRR），这是对 FHRR 的扩展，通过泛化底层代数结构来解决上述局限性。

核心数学框架

元素的泛化：FHRR 超向量由单位群 $U(1)$ 中的元素（单位模长的复标量）组成，而 GHRR 将这些元素泛化为 $m \geq 1$ 时单位群 $U(m)$ 中的单位矩阵。
超向量结构：GHRR 超向量 $H$ 是一个 $D \times m \times m$ 维的张量，表示为 $H = [A^{(1)}, \dots, A^{(D)}]^\top$ ，其中每个 $A^{(j)} \in U(m)$ 。
操作：
- 捆绑（+）：逐元素矩阵加法。
- 结合（ $*$ ）：逐元素矩阵乘法。对于 $m > 1$ ，这本质上是非交换的，从而能够自然地编码顺序和非对称关系。
- 相似度：定义为 $\delta(H_1, H_2) = \frac{1}{mD} \text{Re} \left( \text{tr} \left( \sum_{j=1}^D A^{(j)} (B^{(j)})^\dagger \right) \right)$ 。

理论性质

本文确立了 GHRR 满足 HDC 的基本要求：

准正交性：随机采样的基础超向量是准正交的（当维度 $D \to \infty$ 时，相似度 $\to 0$ ）。
结合不变性：结合操作的结果与其操作数准正交，确保复合结构与其组成部分区分开来。
相似度保持：两个概念之间的相似度在与第三个概念结合时得以保持。
核连接：GHRR 保持了与随机傅里叶特征（RFF）的联系。GHRR 编码之间的相似度逼近一个平移不变核。分解 $A = Q\Lambda$ 中的矩阵分量 $Q$ 允许自适应核，其中核的形状可以通过输入或矩阵结构进行调制。

结合作为注意力

一个关键的理论见解是，GHRR 结合可以实现注意力机制。

在标准 Transformer 中，注意力计算为 $\text{softmax}(QK^\top)V$ 。
在 GHRR 中，结合操作（矩阵乘法）与相似度函数（乘积的迹）在数学上镜像了注意力机制。
通过将矩阵分量 $Q$ 视为可学习或固定的基，将 $\Lambda$ 视为数据编码，GHRR 结合有效地基于查询 - 键相似度对值进行加权求和，但这发生在超维代数内部。

3. 主要贡献

框架引入：提出 GHRR 作为 FHRR 的灵活、非交换扩展，并给出了使用单位矩阵 $U(m)$ 的具体实现。
理论证明：形式化证明 GHRR 满足 HDC 属性（准正交性、相似度保持），并证明当 $m=1$ 时其等价于 FHRR。
核与结合分析：将 GHRR 结合解释为 FHRR 结合（对角线投影）与张量积表示（完整张量积）之间的插值。本文证明了 GHRR 中的结合可以实现注意力机制。
实证验证：
- 非交换性：证明了 GHRR 可以在不使用置换操作的情况下编码嵌套字典和树，而交换性的 FHRR 则无法做到。
- 解码精度：表明与 FHRR 相比，增大 $m$ （矩阵大小）可以提高深层组合结构（树）的解码精度。
- 容量：验证了 GHRR 在提供非交换能力的同时，保持了 FHRR 的内存容量。
- 语言建模：用基于 GHRR 的等价物替换了 Transformer 中的标准注意力机制。该模型在 Wikitext-2 和 Penn Treebank 数据集上进行了测试。

4. 实验结果

非交换性：在字典检索任务中，交换性的 FHRR 无法区分键被置换的值，而 GHRR（ $m=3$ ）成功检索到了正确的值。
解码深度：对于树形结构数据，具有较大 $m$ 的 GHRR 在更深的深度下保持了较高的解码精度，优于 FHRR。有趣的是，虽然基于置换的 FHRR 最初在较长时间内保持了 100% 的精度，但它经历了急剧下降，而 GHRR 的衰减则更为平缓。
容量：GHRR 显示出与 FHRR 相当的捆绑容量。关键在于，在区分绑定超向量的置换时，GHRR（ $m > 1$ ）显著优于 FHRR（ $m=1$ ），后者无法区分置换。
语言建模：用 GHRR 结合替换 Transformer 注意力机制，在语言建模任务上提高了困惑度（PPL）：
- Wikitext-2：平均提高了 5.47%。
- Penn Treebank：平均提高了 2.75%。
- 最佳配置为查询、键和值矩阵使用了不同的位置编码。

5. 意义与主张

本文声称，GHRR 提供了一种灵活的非交换结合操作，弥合了 HDC 的简单性与复杂符号推理和深度学习所需的表达能力之间的差距。

表达能力：GHRR 结合比其他 HDC 变体更具表现力，能够通过矩阵乘法直接实现注意力机制，这是标准 VSA 结合所不具备的特性。
效率与鲁棒性：通过保留 HDC 的固定宽度、全息和鲁棒特性，GHRR 为构建高效、可解释的 AI 系统提供了一条途径，这些系统不依赖标准深度学习所需的巨大计算资源。
神经符号集成：该框架支持透明的神经符号集成，允许显式指定结构，同时保持连接主义模型的学习能力。
实用价值：成功用 GHRR 结合替换 Transformer 注意力，证明了超维计算可以直接增强最先进的深度学习架构，在提高语言建模任务性能的同时，可能降低结构化表示学习的计算和数据需求。

作者得出结论，GHRR 通过实现对复杂组合结构的准确编码和解码，同时不牺牲传统 HDC 的 desirable 属性，为高效、可解释的 AI 开辟了新的途径。