🤖 AI

FactorHD: A Hyperdimensional Computing Model for Multi-Object Multi-Class Representation and Factorization

本文介绍了 FactorHD，一种新型的高维计算模型，该模型利用带有记忆子句的符号编码和一种高效的分解算法，来有效地表示和分解复杂的多对象类-子类关系，从而在克服诸如叠加态灾难等局限性的同时，实现了显著的加速和高准确率。

原作者： Yifei Zhou, Xuchu Huang, Chenyu Ni, Min Zhou, Zheyu Yan, Xunzhao Yin, Cheng Zhuo

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifei Zhou, Xuchu Huang, Chenyu Ni, Min Zhou, Zheyu Yan, Xunzhao Yin, Cheng Zhuo

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机不再仅仅是进行数值计算，而是能像人类一样真正“思考”的世界——将我们大脑强大的模式识别能力与数学家的逻辑严密性结合在一起。这就是**神经符号人工智能（Neuro-symbolic AI）的领域，该领域正致力于构建能够对世界进行推理，而不仅仅是记忆世界的机器。在这项努力的核心，是一个被称为超维计算（Hyperdimensional Computing, HDC）**的概念。可以将 HDC 想象成一个巨大的、多维的档案柜，其中的每一条信息都是一个巨大的、独特的向量（一长串数字）。在这个系统中，你可以将两个项目“绑定”在一起（比如“狗”和“红色”），从而创建一个新的、独特的签名；或者将它们“捆绑”在一起（比如“狗”和“猫”），将它们存储在一起的堆栈中。它速度极快，且擅长处理噪声，就像我们的大脑即使在照片模糊的情况下也能认出朋友的面孔一样。然而，这里有一个问题：当你试图存储复杂的家族树或层级结构时——例如“菲多是一只小型犬，属于犬类，属于动物”——旧的归档系统会变得非常混乱。它们难以从堆栈中提取出单个项目而不丢失其他所有信息的关联，这个问题被称为“叠加态灾难（superposition catastrophe）”。

于是，由浙江大学研究人员提出的新模型 FactorHD 登场了，它扮演着这些超维文件“首席图书管理员”的角色。论文指出，FactorHD 解决了组织具有复杂多级关系的多个对象时的混乱问题。FactorHD 不仅仅是将所有东西扔进一个堆栈，它使用了一种巧妙的新型编码方法，在其中加入了一个“记忆子句（memory clause）”。想象一下，你要在一座图书馆里寻找一本特定的书，而所有的书都被粘在一起形成了一个巨大的球体。旧的方法会要求你拉动每一根线来查看里面有什么，结果往往会缠成一团。然而，FactorHD 在将书“粘合”之前，会为每本书贴上一个特殊的、唯一的标签。当你想要寻找一本特定的书时，你只需寻找那个标签，就能瞬间将你想找的书从其余部分中分离出来，而无需解开整个球体。研究人员发现，这种方法不仅理顺了混乱，而且速度极快。在测试中，当与标准神经网络结合使用时，FactorHD 在处理海量数据时比之前的模型快了高达 5,667 倍，同时保持了极高的准确率（在 Cifar-10 数据集上约为 92.48%）。这表明，通过改变我们为数据编写“标签”的方式，我们可以让人工智能更好地理解复杂的现实世界层级结构，而不至于迷失在噪声之中。

技术摘要：FactorHD

问题陈述
神经符号人工智能（neuro-symbolic AI）依赖超维计算（Hyperdimensional Computing, HDC）来进行逻辑分析与推理。虽然现有的 HDC 模型能够有效地利用绑定-捆绑（binding-bundling）结构来表示简单的类-实例（class-instance）或类-类（class-class）关系，但它们在处理更复杂的类-子类（class-subclass）关系时表现不佳，即多个对象关联于不同层级的类与子类（例如：动物 $\to$ 犬科 $\to$ 猎犬 $\to$ 菲多）。

目前的模型在该领域面临三个主要挑战：

叠加灾难（Superposition Catastrophe）： 当表示多个对象时，子类项会发生混合且变得无法区分。
“2”的问题（The Problem of 2）： 同时表示多个相同的对象会导致信息丢失。
分解效率低下（Inefficiency in Factorization）： 随着层级规模（类与子类的数量）的扩大，现有模型需要进行详尽的迭代解绑操作和相似度测量。这导致了高昂的计算成本和时间复杂度（通常超过 $O(N^2M)$ ），使其不适用于大规模场景。此外，当前的模型即使在仅对部分感兴趣的子类进行处理时，也往往需要对对象进行完整的分解。

方法论：FactorHD
作者提出了 FactorHD，一种旨在高效表示和分解复杂类-子类层级的创新 HDC 模型。该方法由两个核心部分组成：

符号编码（捆绑-绑定-捆绑）：
- FactorHD 引入了一种符号编码方法，通过嵌入一个额外的记忆子句（一个冗余的类标签，记作 LABEL）来连接各项。
- 其结构遵循捆绑-绑定-捆绑的形式：
  - 属于同一类的子类层级通过捆绑（加法）进行组合。
  - 不同类之间通过绑定（乘法）进行链接。
  - 不同对象之间通过捆绑进行连接。
- 至关重要的是，即使某个特定的类项未与对象相关联，模型也会保留其类标签并将其与全局 NULL 高维向量（HV）进行捆绑。这消除了以往模型中需要预先知晓对象中存在哪些类的要求。
高效分解算法：
- 该算法通过选择性地消除冗余类来避免穷举搜索。它解绑未被选中的类标签，并计算所得向量与目标类之子类项之间的相似度。
- 单对象： 选择相似度最高的项，并针对后续的子类层级重复此过程。
- 多对象： 算法识别特定层级中所有超过预定义**阈值相似度（TH）**的子类项。随后，它将这些候选项选择性地进行绑定以形成组合。如果某个组合与目标高维向量的相似度超过 TH，则确认该对象。
- 阈值选择： 最优 TH 值（ $TH^*$ ）根据高维向量维度 ( $D$ )、对象数量 ( $N$ ) 和因子数量 ( $F$ ) 确定。论文提供了一个拟合公式： $TH^* = 0.001(10^4 + 2N - 15F - 0.001D - \log(M))$ 。

核心贡献

新颖的表示法： FactorHD 支持表示具有多级子类层级的多个对象，且不会遭受叠加灾难或“2”的问题，它利用冗余类标签来保留信息。
高效算法： 所提出的分解算法将计算复杂度显著降低至约 $O(NM) $**（其中$ N $是对象数量，$ M$ 是每类的子类项数量），而此前方法的复杂度为指数级或平方级。它实现了部分分解**，允许系统在不处理整个层级的情况下提取感兴趣的特定子类。
可扩展性与准确性： 即使在问题规模扩大时，该模型仍能保持极高的分解准确度，克服了现有 C-C（类-类）和 C-I（类-实例）模型的局限性。

实验结果
评估在合成表示（Rep 1, 2, 3）以及结合了 ResNet-18 神经网络进行特征提取的实际数据集（RAVEN, Cifar-10, Cifar-100）上进行。

加速比： 在表示规模为 $10^9$ 时，与现有 HDC 模型（如 resonator network 和 IMC factorizer）相比，FactorHD 实现了 5667倍的加速。在规模为 $10^6$ 时，加速比约为 18.5 倍。
合成数据上的准确率： 即使在较低的高维向量维度下，FactorHD 也能保持 99% 以上的分解准确度，而基准模型（如 resonator network）随着问题规模的增加而失效。
真实世界数据集：
- 在 Cifar-10 数据集上，集成 ResNet-18 的 FactorHD 实现了 92.48% 的分解准确度。
- 在 Cifar-100 上，该模型表现出极高的准确度，与标准神经分类任务相比损失极小（对于 Cifar-10 损失 < 3%）。
- 在 RAVEN 数据集上，当 $D=1000$ 时，该模型对大多数模式的准确率超过 90%。

意义
论文声称 FactorHD 克服了神经符号人工智能中“叠加灾难”和“2”问题的根本限制。通过实现高效的部分分解并处理复杂的层级结构，FactorHD 扩展了 HDC 在涉及多对象推理的更广泛场景中的适用性。该模型证明了神经符号系统可以在不依赖于阻碍以往 HDC 设计的详尽迭代过程的情况下，实现高计算效率和高准确度。

技术摘要：FactorHD

类似论文