🤖 machine learning

Recursive Binding on a Budget: Subspace Carving in Order-p Tensor Memories

本文介绍了正交子空间雕刻（Orthogonal Subspace Carving, OSC），这是一种通过将填充物投影到角色基底的零空间以强制执行几何正交性，从而在恒定内存占用内实现深度递归绑定，进而克服张量积表示（Tensor Product Representations）的维度限制以及向量符号架构（Vector Symbolic Architectures）保真度问题的内存架构。

原作者： Travis Pence, Daisuke Yamada, Vikas Singh

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Travis Pence, Daisuke Yamada, Vikas Singh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

论文解析：预算有限情况下的递归绑定：阶数为 p 的张量记忆中的子空间雕刻

核心问题：将图书馆装进鞋盒

想象一下，你正在尝试构建一个能够理解复杂句子的数字大脑，比如“那只狗追逐着那只正在追逐老鼠的猫”。为了实现这一点，大脑需要记住谁对谁做了什么，以及这些动作是如何嵌套在一起的。

在人工智能领域，有两种主要的方法来尝试存储这类信息：

“完美但庞大”的方法 (TPR)： 这就像是为每一个单独的句子结构都建造一间巨大的独立房间。如果你有一个简单的句子，你需要一个小房间。如果你有一个具有许多层级（就像俄罗斯套娃）的复杂句子，你需要一个呈指数级增长的巨大房间。最终，你会耗尽宇宙中所有的空间来建造这些房间。它很完美，但成本太高了。
“小巧但嘈杂”的方法 (VSAs)： 这就像是试图把所有的书都塞进一个单鞋盒里。你直接把它们全部堆叠在一起。这样确实能装下！但当你试图从中取出一本书时，其他书的页面会与它混杂在一起。你添加的书越多，就越难在没有被其他书籍产生的“噪声”覆盖的情况下找到正确的那一本。

论文的目标： 作者 Travis Pence、Daisuke Yamada 和 Vikas Singh 想要创造一种既能装进小鞋盒（低内存成本），又不会在添加过多书籍时变得混乱和嘈杂的系统。

解决方案：“正交子空间雕刻” (OSC)

作者提出了一种名为正交子空间雕刻 (Orthogonal Subspace Carving, OSC) 的新方法。以下是其工作原理的几种类比：

1. “禁区”类比

想象你正在一面巨大的墙上（记忆）绘画。

旧方法： 你尝试在墙上每一个全新的、空白的角落画出新的图画。如果你有太多图画，墙就会用完空间。
OSka 方法： 与其寻找一个新的空白角落，不如规定墙上的某些部分对于特定类型的图画是**“禁区”**。
- 如果你要画一个“主语”（比如“那只狗”），你就宣布墙上的“谓语”区域是禁止进入的。
- 然后你只在剩余的空白空间里画“那只狗”。
- 如果稍后你要画一个“谓语”（比如“追逐”），你就宣布“主语”区域是禁止进入的，并只在剩下的空间里绘画。

因为“那只狗”和“追逐”被画在不同的、互不重叠的区域，所以即使它们在同一面墙上，也不会互相涂抹混淆。

2. “筛子”类比

把记忆想象成一个巨大的筛子（过滤器）。

当你想将一段信息（“填充物/filler”）与特定的角色（“上下文/context”）结合存储时，你首先会让它通过一个挡住“禁区”方向的筛子。
这个过程被称为**“雕刻” (Carving)**。它字面上就是切掉那些会导致混乱的数据部分。
剩下的就是一个干净、清晰的数据片段，能完美地契合在剩余的空间中。

3. “识别”与“召回”的转变

论文提出了一个聪明的观察，关于我们如何提问。

召回 (Recall)： “这个盒子里有什么？”（很难，因为盒子很乱）。
识别 (Recognition)： “‘那只狗’在这个盒子里吗？”（更容易）。

作者意识到，在许多 AI 任务中，我们并不需要完美地重建一个模糊的图像。我们只需要检查一个已知的列表（如词汇表），看看哪一个最匹配。OSC 的设计初衷就是擅长**“识别”**。它使得即使记忆中挤满了成千上千种其他事物，也能很容易地说：“是的，这匹配‘那只狗’。”

为什么这很重要（研究结果）

论文声称 OSC 是一个“预算友好型”的天才之举：

极小的足迹： 你可以使用极少的计算机内存来存储数以千计的复杂、嵌套的思想（如深层句子）。
无噪声积累： 在旧有的“小巧但嘈杂”的方法中，添加更多项目会使一切变得混乱。在 OSC 中，添加更多项目不会让信号变差，因为“禁区”保持了它们的隔离。
高效性： 作者将其与 14 种流行的其他方法进行了对比测试。他们发现，为了达到相同的准确度，旧方法所需的内存是 OSC 的数百倍甚至数千倍。
- 类比： 如果旧方法需要一个仓库来存储 1,000 件物品，OSC 则可以用一个背包完成。

他们测试了什么

研究人员不仅停留在理论层面；他们构建并测试了它：

合成测试： 他们创建了带有数千个项目的模拟记忆任务，以观察该系统在变得混乱之前能承载多少内容。OSC 表现稳健，而其他方法则纷纷失败。
现实世界任务： 他们将其用于一项名为“极端多标签分类 (Extreme Multi-label Classification)”的任务。想象一个系统必须从 100,000 个可能的标签列表中，为一篇新闻文章打上正确的标签，但该文章只有大约 10 个正确的标签。OSC 的表现与现有的最佳系统一样出色，但使用的内存仅为后者的一小部分。

总结

这篇论文介绍了一种组织数字记忆的新方法。与其为每一个新想法建造更大的房间（这太昂贵了），或者仅仅把所有东西堆在一起（这会变得混乱），不如使用一种“雕刻”技术。他们通过为不同类型的信息雕刻出特定的“禁止进入”区域，确保每样东西都保持清晰且独特。这使得计算机能够使用极少的内存来理解复杂的、深层的结构，从而大大提高了效率。

注：本论文严格关注记忆的架构及其在标准 AI 基准测试中的表现。它并不声称解决了特定的医疗问题或预测未来的社会变化，而是提供了一个更高效的构建 AI 系统的工具。

技术摘要：预算有限下的递归绑定：阶数为 $p$ 的张量记忆中的子空间雕刻

1. 问题陈述

本文探讨了神经符号记忆系统中结构保真度（structural fidelity）与存储效率（memory efficiency）之间的根本矛盾。

张量积表示（TPRs）（Smolensky, 1990）通过外积将“填充物”（fillers，内容）与“角色”（roles，结构）进行数学上严谨的绑定，确保了完美的正交性和无损检索；然而，它们面临着指数级的维度增长问题：深度为 $k$ 的结构需要 $d^k$ 阶的张量空间，这使得即使是中等维度的深层递归绑定也变得难以实现。
向量符号架构（VSAs）（Kanerva, 2009）通过将绑定压缩回原始向量空间（例如通过循环卷积）来保持恒定维度。虽然这种方式效率很高，但这种压缩会引入噪声。随着叠加绑定数量的增加，信噪比（SNR）会下降，导致干扰和在高容量机制下的检索不可靠。

现有的 TPR 稀疏近似方法虽然缓解了扩展性问题，但在处理深层结构时会出现显著的性能退化。核心挑战在于如何在保持恒定内存足迹的同时，支持深层递归结构和高叠加性，且不牺牲检索精度。

2. 方法论：正交子空间雕刻 (OSC)

作者提出了正交子空间雕刻（Orthogonal Subspace Carving, OSC），这是一种通过强制执行几何正交性（而非显式的坐标分配）来实现投影而非维度扩张的记忆架构，从而将张量阶数与结构深度解耦。

核心原理

几何排除（Geometric Exclusion）： OSC 不再将角色分配给特定的维度，而是将上下文（contexts）定义为“禁止”子空间。绑定被放置在这些上下文的正交补空间（null space）中。
填充物表示： 与标准 VSA 使用单向量不同，OSC 的填充物是结构化对象：即 $p$ 个向量组成的有序元组 $f = (v_1, \dots, v_p) \in (\mathbb{R}^d)^p$ 。
上下文定义： 上下文 $C$ 与由 $k$ 个相互正交方向构成的子空间 $S_C$ 相关联。不同的上下文在几何上不需要相互关联，这允许在特定上下文中实现局部精确性，并在不同上下文之间实现全局独立性。

绑定机制

雕刻（投影）： 为了将填充物绑定到上下文，雕刻算子 $P^\perp_C = I - B_C^T B_C$ 将每个分量向量 $v_i$ 投影到上下文基底 $B_C$ 的零空间中。这移除了任何与上下文子空间的重叠。
归一化与融合： 投影后的分量经过归一化，并通过 $p$ 阶张量积进行融合：
$T_{bound} = \bigotimes_{i=1}^p \left( \frac{P^\perp_C v_i}{\|P^\perp_C v_i\|} \right)$
由此产生的 $p$ 阶张量完全位于该上下文的正交补空间内。
叠加： 记忆 $M$ 通过对这些绑定张量进行简单的加法（叠加）来形成。由于每个绑定都与其特定的上下文正交，且上下文定义了不相交的子空间，因此这些绑定在记忆空间中自然分离，不会产生干扰。

查询方式：识别

OSC 将检索范式从代数解绑定（重建一个向量）转向了判别式识别。

机制： 在查询时，使用相同的雕刻机制构建一个候选绑定。检索得分是记忆张量与候选张量之间的 Frobenius 内积。
词汇搜索： 系统通过选择具有最高相似度的候选对象来识别存储的项目。这种方法与 VSAs 中使用的标准“清理记忆”（cleanup memory）码本兼容。
理论保证： 定理 4.6 确立了对于 $N$ 个独立的绑定，干扰噪声的缩放比例为 $\sqrt{(N-1)/d^p}$ 。通过增加张量阶数 $p$ 或维度 $d$ ，可以抑制噪声，从而在实现高叠加的同时实现鲁棒检索。

理论联系

Clifford 代数： 本文证明了 TPR 是 Clifford 代数绑定的一种特例。OSC 被公式化为一种自然的扩展，其中角色和填充物是正交子空间而非不相交的基向量，这使得在满足特定正交约束的情况下，将记忆空间从 $d^{|C|+1}$ 压缩至 $\binom{d}{|C|+1}$ ，同时保持精确恢复特性。
程序化生成： 上下文可以通过将角色标签哈希处理以生成基向量的随机种子来进行程序化生成。这使可表示的上下文数量与内存限制解耦，避免了 TPR 的指数级存储成本。

3. 主要贡献

OSC 架构： 一种新型记忆架构，利用基于投影的绑定，将分量向量的维度与记忆容量解耦。
亚线性缩放： 大幅降低了高叠加任务中的内存足迹。作者展示了分量向量可以比记忆张量小几个数量级，同时保持鲁棒的检索能力。
近无损检索： 通过利用亚线性填充物缩放，能够在较小的总足迹内实现高叠加空间，从而达到近无损的精度。
Clifford 公式化： 证明了 TPR 是 Clifford 代数绑定的一个特例，并为 OSC 提供了 Clifford 公式化表达。

4. 实验结果

作者在合成基准测试和极端多标签分类（XML）任务上，将 OSC 与 14 种现有的 VSA（包括 HRR, VTB, MAP, HLB）以及 TPR 进行了对比评估。

可扩展性与效率：
- 在包含 1,000 个捆绑包（bundles）的合成测试中，OSC（ $d=200, p=2$ ）实现了 99.77% 的检索准确率，优于在 $d=4096$ 时仅有 13.18% 准确率的最佳 VSA，以及在 $d=8100$ 时为 35.88% 的 VSA。
- 在 10,000 个捆绑包的情况下，OSC（ $d=80, p=3$ ）保持了 99.85% 的准确率。为了达到这一水平，表现最好的 VSA (HLB) 需要 $d=343,000$ ，其参数足迹比 OSC 大出 1,178 倍。
- OSC 表现出与 VSA 类似的、随码本大小呈对数增长的有利特性，但由于填充物维度的亚线性增长，其总内存需求显著更低。
与 TPR 的比较： 对于角色深度为 1 的情况，一旦叠加水平超过某个微小阈值，OSC 在参数量少于 TPR 的情况下即可实现 99% 的准确率。随着捆绑包数量的增加，压缩比越来越有利于 OSC。
下游应用 (XML)： OSC 被集成到一个用于极端多标签分类的神经符号模型中。它在 8 个数据集的 43.75% 指标案例中排名第一，表现出与 VTB、MAP 和 HLB 相当的竞争力，证实了其在基于梯度的系统中的可学习性。
推理速度： 虽然 OSC 的单元素操作比简单的逐元素 VSA 操作更复杂，但 OSC 在规模扩大时会变得更快，因为瓶颈从计算转向了内存带宽。OSC 更小的内存足迹减少了数据传输时间，从而在高叠加场景下缩短了实际运行时的检索时间。

5. 意义与主张

本文声称 OSC 通过提供一种既计算可行又内存高效的深层递归绑定机制，解决了“神经符号差距”。

范式转变： 通过从重建转向识别，并利用几何排除（雕刻）而非显式的维度扩张，OSC 避免了 TPR 的指数级扩展和 VSAs 的噪声累积。
实用性： 程序化生成上下文的能力以及填充物维度的亚线性缩放，使得 OSC 适用于需要大规模词汇表和深层结构且无需承受过高内存成本的应用。
局限性： 作者谦虚地指出，OSC 在不遍历词本的情况下不支持精确的代数解绑定（即任意向量的重建），但他们认为对于依赖码本搜索的符号推理系统来说，这并非问题。他们还承认，虽然 OSC 在总内存效率方面优于 VSAs，但如果约束严格限定在叠加记忆的大小（而非总存储空间）上，VSAs 可能仍具有微弱优势。

这项工作被视为迈向可扩展、结构化记忆系统的一步，该系统与现代基于梯度的优化方法兼容，并通过广泛的经验验证得到了有力支持。