🤖 machine learning

Disentanglement with Holographic Reduced Representations

本文提出了一种利用全息还原表示（Holographic Reduced Representations, HRR）进行无监督学习的算法，通过将潜在因子视为符号结构来实现神经解耦，证明了 HRR 解绑定操作在分离因子方面提供了归纳偏置，同时与传统的基于连续自动编码器的方法相比，展现出了更优越的噪声鲁棒性和理论容量界限。

原作者： Jhonny J. Velasquez Olivera, Christo K. Thomas, Walid Saad

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jhonny J. Velasquez Olivera, Christo K. Thomas, Walid Saad

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在观察一幅复杂的画作。对于计算机而言，它仅仅是数百万个彩色点（像素）组成的网格。然而，对于人类来说，我们能瞬间理解其中的故事：“那里有一只狗（物体），它是棕色的（颜色），并且正在坐着（动作）。”

长期以来，机器学习一直难以教会计算机像人类这样观察世界。通常，当计算机学习时，它会将这些细节混合在一起，形成一个混乱、纠缠的结。如果你试图只改变颜色，那只狗可能会意外地改变形状甚至消失。这就是所谓的“解耦”（disentanglement）问题：即将场景中的不同因素分离，以便能够单独理解和改变它们。

以往大多数尝试解决此问题的方法都像是一种“奶昔搅拌机”。它们将所有的原料（数据）全部搅拌成一种单一的、连续的液体。如果你想改变其中一种原料，很难在不影响整杯饮料的情况下做到这一点。

本论文提出了一种完全不同的方法。作者建议不是制作奶昔，而是搭建一套乐高积木。

核心理念：全息乐高

作者使用了名为**全息缩减表示（Holographic Reduced Representations, HRR）**的数学工具。可以将 HRR 想象成一种构建高维乐高积木的特殊方式。

插槽（底板）： 想象你有一个板上固定数量的空插槽。假设你有 8 个插槽。
角色（标签）： 每个插槽都有特定的职责。插槽 1 用于“物体”，插槽 2 用于“颜色”，插槽 3 用于“动作”，依此类推。
数值（积木）： 在每个插槽内部，你放置一个特定的积木。插槽 1 放入一个“狗”积木。插槽 2 放入一个“棕色”积木。

HRR 的魔力在于，它允许计算机将一个“角色”与一个“数值”进行绑定（粘合），并将它们全部捆绑（堆叠）成一个单一且紧凑的整体包。这就像是将你的乐高积木粘入各自的插槽中，然后将整个板堆叠成一个整齐的立方体。

他们是如何教导计算机的

研究人员构建了一个神经网络（一种 AI 大脑），并给了它一个简单的规则：“观察图像，将其分解为这些乐高插槽，然后完美地重建图像。”

他们并没有告诉计算机什么是“狗”或“棕色”。他们只是让 AI 自己去发现，为了最好地重建图像，它必须将“狗”的部分与“棕色”的部分分开，并将它们放入各自专属的插槽中。

为什么这意义重大

该论文声称这种方法取得了三大胜利：

1. 它是噪声的“魔力橡皮擦”
想象你正在发送一条写在纸上的秘密信息。如果你用马克笔在上面涂鸦（噪声），普通的信息可能会变得无法阅读。
然而，由于 HRR 方法使用了这些独特的“插槽”，它具有极强的鲁棒性。即使你在“乐高立方体”（数据）上进行了大量的涂鸦，计算机仍然可以查看“狗”插槽和“棕色”插槽，并弄清楚它们原本是什么，即使信号非常混乱。论文表明，这种方法处理“噪声”的能力远优于以往的方法，即使在数据被损坏的情况下也能保持含义完整。

2. 它是模块化的（“交换”测试）
研究人员通过提取两张不同图像（例如一辆红色的车和一辆蓝色的卡车）并交换它们的“插槽”来测试这一点。

他们从红车的“颜色”插槽中提取内容，并将其放入蓝卡车的结构中。
结果： 卡车变成了红色，但它依然是一辆卡车。它的轮子、形状和大小都没有改变。
对比： 其他方法经常会导致一种“故障”，即改变颜色时会意外改变物体的形状或朝向。HRR 方法保持了变化的纯净与隔离，证明了各因素是真正分离的。

3. 它拥有理论上的“速度极限”
作者不仅是猜测这行得通，他们还进行了数学计算。他们计算了该系统的“容量极限”。他们证明了系统中插槽的数量与系统能处理的噪声量之间存在特定的平衡关系。如果你拥有过多的插槽而数据量不足，插槽之间就会产生“串扰”（cross-talk）并产生混乱。他们的数学模型精确地展示了如何调整系统以避免这种混乱。

总结

简而言之，这篇论文介绍了一种新的 AI 学习方式。它不再是将一切都混合成一种平滑、连续的汤，而是教会 AI 将信息组织成截然不同的、带有标签的“插槽”（就像一套乐高积木）。

问题： 旧的 AI 会将“是什么”与“什么颜色”混为一谈。
解决方案： 使用 HRR 来强制 AI 将这些概念放在各自独立的、带标签的盒子中。
结果： AI 可以完美地分离各种因素，可以在不破坏图像的情况下进行交换，并且即使在数据充满噪声或损坏时仍能理解图像。

作者得出结论，这种“符号化”（使用不同插槽）的方法是让 AI 像人类一样理解世界，同时对现实世界的混乱更具韧性的一个充满前景的新路径。

技术摘要：基于全息缩减表示（Holographic Reduced Representations）的解离学习

问题陈述

解离表示学习旨在分离数据集中的潜在生成变化因子。虽然先前的解决方案主要依赖于使用变分自编码器（VAE）和生成对抗网络（GAN）并结合特定归纳偏置（如 $\beta$ -VAE、TC-VAE）的连续表示，但这些方法往往难以捕捉数据的组合特性。尽管最近的研究探索了离散表示，但如何在没有监督的情况下直接从数据中学习结构化符号表示仍然是一个重大挑战。现有的学习向量符号架构（VSA）的方法通常需要精心构建的数据对或标签监督，这限制了它们在无监督场景下的适用性。此外，目前缺乏关于为什么特定的符号结构（如全息缩频表示，HRRs）本质上能促进解离的理论理解。

方法论

作者提出了一种利用全息缩减表示（HRRs）来诱导解离的无监督学习算法。其核心假设是 HRRs 固有的“解绑”（unbinding）操作为分离因子提供了合适的归纳偏置。

模型架构

所提出的模型是一个基于卷积神经网络（CNN）的自编码器，具有专门的潜空间结构：

潜结构： 潜表示 $z$ $z$ 被定义为绑定符号-值对之和： $z = \sum_{i=1}^m (s_i \otimes v_i)$ $z = \sum_{i = 1}^{m} (s_{i} \otimes v_{i})$ ，其中 $\otimes$ $\otimes$ 表示循环卷积（绑定）， $\oplus$ $\oplus$ 表示加法（捆绑）。
- 符号向量 ( $S$ )： 一组 $m$ 个固定的、随机初始化的向量，作为“线索”或角色标识符。
- 值向量 ( $C$ )： 一个可学习的代码本，包含 $k$ 个向量（ $k \gg m$ ），作为“填充物”或特定的因子值。
编码过程：
- 编码器将输入数据 $x$ 映射到潜向量 $z$ 。
- 解绑： 为了检索每个符号关联的值，模型执行近似解绑操作： $\tilde{v}_i = s_i^\dagger \otimes z$ 。这会产生值向量的噪声估计。
- 去噪： 一个小型前馈网络处理这些噪声估计。
- 向量量化： 去噪后的向量被映射到代码本 $C$ 中最近的邻居（使用直通估计器以保证可微性）。
- 重构： 量化后的值被重新与对应的符号进行绑定，并进行捆绑以形成 $\hat{z}$ ，随后解码器利用 $\hat{z}$ 重构输入 $x$ 。
优化： 模型使用结合了以下内容的无监督目标进行训练：
- 重构损失（二元交叉熵）。
- 向量量化（VQ）和承诺损失（源自 VQ-VAE）。
- 结构正则项： 三个特定的正则项用于强制要求潜、值和代码本矩阵满足 HRR 向量的统计特性（零均值、目标每行平方范数以及目标每项方差）。

理论分析

论文提供了关于 HRR 解绑通道的信息论分析：

槽位独立性： 作者证明了在高维假设下，解绑操作诱导了检索到的符号-值对（槽位）之间的近似独立性。随着向量维度 $d$ 的增加，来自其他槽位的串扰噪声会逐渐消失。
容量界限： 推导出了互信息 $I(x; \hat{z})$ 的理论上界。该界限取决于槽位数 $m$ 、向量维度 $d$ 和代码本大小 $k$ 。它量化了可以编码的因子数量与每个槽位的信噪比（SNR）之间的权衡，表明当 $m$ 超过一定程度时，由于串扰会导致性能下降。

核心贡献

无监督 HRR 学习： 第一个无需监督或精心构建的数据对，直接从数据中训练神经网络生成 HRR 结构化潜表示的方法。
理论证明： 推导了每个槽位的容量界限，并证明了近似槽位独立性，为为什么 HRR 结构作为一种归纳偏置促进了解离提供了定量解释。
经验性能： 在四个数据集（Shapes3D, Falcor3D, Isaac3D, MPI3D-C）上，通过 InfoMEC 和 DCI 指标证明了所提模型取得了与强基准模型（ $\beta$ -VAE, TC-VAE, VQ-VAE, QLAE）相比具有竞争力的或更优的解离得分。
噪声鲁棒性： 证据表明，与连续解离方法相比，基于 HRR 的表示对潜空间中的加性高斯噪声具有显著的鲁棒性，即使在低信噪比（SNR）下也能保持语义内容。

实验结果

解离指标： 在四个数据集的六个标准解离指标（InfoMEC 和 DCI）中，HRR 模型在五个指标上取得了最佳综合得分。与次优基准相比，其核心指标提升了约 5–10%。
潜空间遍历与交换： 通过潜成分交换进行的定性分析表明，HRR 模型仅修改目标生成因子，而保持其他因子不变。这与 QLAE 等基准模型形成对比，后者有时会在无关因子中引入伪影。
噪声鲁棒性： 在不同水平的高斯噪声（从 +20 dB 到 -20 dB SNR）下，HRR 模型和 VQ-VAE 在重构 PSNR 方面明显优于其他基准模型。HRR 模型比连续模型更好地保持了语义完整性，后者在噪声增加时性能下降更快。

意义与主张

论文声称，向量符号架构（VSA），特别是 HRRs，为表示学习提供了一种极具前景的替代范式。其意义在于：

连接符号与神经： 证明了神经网络可以直接从原始数据中学习符号化的、具有组合性的结构，而无需人工特征工程。
归纳偏置： 确立了 HRRs 的代数属性（特别是解绑操作）自然地诱导了生成因子的分离，为 VAEs 中使用的正则化约束提供了一种原则性的替代方案。
鲁棒性： 强调了符号表示可能具有内在的噪声鲁棒性，这是对于物理 AI 和现实世界部署（其中传感器和传输噪声普遍存在）至关重要的特性。

作者总结道，虽然这项工作提供了一个基础，但未来的研究应探索更紧密的理论常数、与可识别性的联系，以及在未见过的因子组合上的组合泛化能力。