🤖 machine learning

Learning Compositional Latent Structure with Vector Networks

本文介绍了向量网络（VN），这是一种分层循环架构，它用可复用的秩 1 权重原子库取代固定的权重矩阵，以实现稀疏的、输入特定的权重组合，从而在组合任务上相比标准深度网络实现了显著改善的分布外泛化能力。

原作者： Niclas Pokel, Benjamin F. Grewe

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Niclas Pokel, Benjamin F. Grewe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《使用向量网络学习组合潜在结构》的解释。

核心问题：“瑞士军刀”与“工具箱”

想象你有一把瑞士军刀（标准的深度神经网络）。它有一个手柄，里面折叠着许多工具：刀片、螺丝刀、开瓶器和牙签。它非常强大，几乎能做任何事情。然而，所有这些工具都融合在一块金属中。

如果你想用开瓶器开瓶子，你必须把整个手柄拉出来。如果你想用刀片切奶酪，你必须再次把整个手柄拉出来。问题在于，“如何成为开瓶器”和“如何成为刀片”的“知识”混合在同一块金属中。如果你试图教这把刀一个新技巧，比如打开罐子，你可能会不小心弄弯刀片或磨钝开瓶器，因为它们都是连在一起的。

作者将这种现象称为**“权重纠缠”**。在标准人工智能中，不同的技能纠缠在同一个记忆空间里，使得很难在不搞乱其他技能的情况下，在一种新情境中重用某项特定技能。

解决方案：“向量网络”（VN）

作者提出了一种名为向量网络（VN）的新架构。与其说是瑞士军刀，不如想象一个巨大且有条理的工具箱。

工具（权重原子）： 工具箱里有许多独立的、可重复使用的工具。有些只是“螺丝刀”，有些只是“锤子”，有些只是“扳手”。在论文中，这些被称为秩 1 权重原子。它们是简单、独特的构建模块。
选择过程（推理）： 当你面对一项新工作（新输入）时，向量网络不会直接抓起整个工具箱。它会快速查看这项工作，并只挑选所需的特定工具。
- 示例： 如果你需要挂一幅画，它会挑选一把锤子和一颗钉子。它不会挑选开瓶器。
- 示例： 如果你需要开一瓶酒，它会挑选开瓶器。

工作原理：“快思考者”与“慢学习者”

向量网络在两个截然不同的阶段运行，这是其成功的关键：

1. 快速推理（“快思考者”）
当新的图像或信号进来时，向量网络会进行快速的内部搜索。它会问：“我现有的哪些工具组合可以为这个特定问题构建解决方案？”

它通过组合几个选定的工具，为这一刻创建一个临时的、定制的权重矩阵。
它通过最小化“能量”（一种数学误差度量）来实现这一点。它会不断调整其选择，直到工具完美契合工作需求。
关键点： 这发生在网络学习任何新事物之前。它利用已有的知识找出解决方案。

2. 慢速学习（“慢学习者”）
一旦网络利用其选定的工具找到了解决方案，它就会从错误中学习。

关键区别： 在标准人工智能中，学习会一次性更新所有内容。而在向量网络中，学习只更新那些被使用的特定工具。
如果网络使用了锤子和钉子，它只会微调锤子和钉子的形状。角落里放着的开瓶器保持原样，不受影响。
这防止了“纠缠”问题。网络学会了更好地使用其工具，而不会破坏其他工具。

“食谱书”的类比

将标准人工智能想象成一位厨师，他背诵了一本巨大的、1000 页的食谱书。如果你要求做“辣味巧克力蛋糕”，厨师会试图将“辣味”食谱和“巧克力”食谱混合在一起，但因为这本书太乱了，味道会混淆，蛋糕尝起来会很奇怪。

向量网络则像是一位拥有完美单食材食谱库的厨师：

食谱 A：如何制作完美的巧克力。
食谱 B：如何制作完美的香料。
食谱 C：如何烘焙蛋糕。

当你要求做“辣味巧克力蛋糕”时，厨师不会猜测。他会查看食谱库，找到食谱 A 和食谱 B，并将它们组合起来制作新菜肴。因为食材是分离且干净的，这种组合效果完美。

如果厨师犯了错，他只会更新“香料”食谱，而不会更新“巧克力”食谱。这使得厨师能够不断精进食材组合的技巧，而不会忘记如何制作基础食材。

为什么这很重要（结果）

该论文在四个不同的挑战上测试了这一理念：

空间： 在网格上放置一个点，位置是人工智能从未见过的。
函数： 以新的方式组合数学波（正弦和余弦）。
物理： 预测当多个力（重力、阻力、弹簧）同时作用于行星时，行星如何运动。
图像： 组合手写数字（例如在视觉上添加两个数字）。

结果：
在人工智能必须以新的、未见过的方式（分布外）组合熟悉部分的情况下，向量网络的表现比 Transformer 或标准神经网络等标准人工智能模型好 10 倍（一个数量级）。

当面对新的组合时，标准模型会感到困惑并犯下巨大错误，而向量网络则简单地从工具箱中挑选正确的“工具”并正确地组装它们。

总结

向量网络改变了人工智能的学习方式。它不是将所有知识塞进一个混乱、纠缠的记忆块中，而是建立了一个可重复使用的、独特的组件库。它学会了为新的工作选择正确的组件，并且只更新那些特定的组件。这使得人工智能在将其所知应用于从未见过的新的、复杂的情境时，表现要出色得多。

技术摘要：利用向量网络学习组合潜在结构

问题陈述

现代深度网络通常依赖共享的密集参数基质来实现多样化的计算。通过误差反向传播，不同的特征、技能和行为被编码在同一权重矩阵的重叠方向上，作者将这种现象称为权重纠缠。在这种机制下，针对一种行为的改进往往会无意中影响其他行为，因为梯度在输出端聚合并通过所有层传播。因此，标准网络在权重空间中缺乏“可寻址的责任”：它们无法自然地将学习到的组件存储为持久、可复用的对象，以便独立隔离、重组或更新。虽然事后解释方法有时能够识别功能电路，但架构本身并未强制分解为可复用单元。这一局限性阻碍了组合泛化，即系统必须在不重新训练的情况下，将熟悉的因素重新组合成新颖的配置。现有的方法，如专家混合（Mixture-of-Experts）或以对象为中心的模型，引入了路由或模块化，但通常通过在密集模块上进行前向路由来操作，或者未在权重空间本身中明确每个样本的责任。

方法论：向量网络（VN）

向量网络（VN）架构通过用可复用的秩 1 权重原子库替换固定的密集权重矩阵来解决这些局限性。其核心机制涉及两个阶段的过程：用于组合特定于输入的变换的快速推理，以及用于更新底层字典的慢速学习。

1. 架构与秩 1 原子

VN 中的每一层 $l$ 不是由单个矩阵 $W$ 参数化，而是由 $K_l$ 个秩 1 权重原子的字典参数化。每个原子 $i$ 由一对学习到的代码向量定义：输入向量 $s_{l,i}$ 和输出向量 $u_{l,i}$ 。它们共同构成一个秩 1 算子：
$A^{(l,i)} = u_{l,i} s_{l,i}^\top$
对于任何给定的输入 $x_l$ ，网络推断出一组稀疏系数 $g_l$ （其中 $g_{l,i}$ 缩放原子 $i$ 的贡献）。有效的、特定于输入的权重矩阵 $W^*_l(x_l)$ 被合成为这些原子的线性组合：
$W^*_l(x_l) = \sum_{i=1}^{K_l} g^*_{l,i}(x_l) A^{(l,i)}$
这使得网络能够使用共享字典的一小部分子集，为每个样本组合出定制的变换，而不是应用单一的固定矩阵。

2. 通过能量最小化进行快速推理

对于每个样本，VN 执行快速推理以确定稀疏系数 $g_l$ 。这是通过最小化层局部能量函数 $E_l$ 来实现的，该函数平衡了三个项：

输入重建：最小化输入 $x_l$ 与重建 $S_l g_l$ 之间的误差（其中 $S_l$ 包含输入侧代码向量）。
自顶向下一致性：最小化自顶向下目标 $h_{l,target}$ （由上一层提供）与接口消息 $U_l g_l$ 之间的误差（其中 $U_l$ 包含输出侧代码向量）。
稀疏性： $\ell_1$ 惩罚项 $\lambda_l \|g_l\|_1$ 以强制稀疏激活集。

推理过程通过迭代向上和向下扫描（类似于编码器 - 解码器的收敛过程）进行，使用近端梯度步骤（ISTA/FISTA 风格）。该过程收敛到一个稀疏固定点，其中只有少数原子被激活。顶层可能额外强制执行硬性的 top- $k$ 约束。

3. 慢速学习：原子 - 赫布更新

一旦快速推理收敛，慢速学习就会更新权重原子。关键在于，更新仅应用于具有非零系数的原子（ $g^*_{l,i} \neq 0$ ）。更新规则称为原子 - 赫布（Atomic-Hebb），是一种由推断出的责任缩放的局部残差更新：
$S_l \leftarrow S_l + \rho^S_l r^x_l (g^*_l)^\top$
$U_l \leftarrow U_l + \rho^U_l r^h_l (g^*_l)^\top$
其中 $r^x_l$ 和 $r^h_l$ 分别是重建残差和自顶向下残差。理论分析（通过 Danskin 定理）证明，尽管推理过程被视为黑盒，但这些局部更新恰好等价于全局自由能的隐式梯度。这确保了信用分配局限于对当前解释负责的具体权重原子，从而防止了标准反向传播中看到的扩散性权重纠缠。

主要贡献

作为构建块的秩 1 权重原子：作者提出了一种分层递归架构，其中层由可复用的秩 1 原子组成，使网络功能可寻址、可检查和可组合。
推理定义的有效权重：样本的有效权重矩阵不是固定的，而是通过对稀疏系数进行能量最小化推断出来的。这将组件的快速选择与字典的慢速学习分离开来。
原子 - 赫布学习规则：一种学习规则，利用由推断系数缩放的局部残差信号，仅更新所选的权重原子。这限制了不相关更新之间的重叠，并保留了学习组件的可复用性。
权重更新重叠的结构局限性：通过将更新限制在稀疏激活集上，该架构在结构上限制了权重纠缠，确保学习一种行为不一定会降低其他行为。

实验结果

作者在四个基准测试中评估了 VN，涵盖 1D 信号、2D 空间解码、N 体动力学和组合 MNIST。在所有情况下，模型都在分布内（ID）进行训练，并在涉及熟悉因素新颖组合的分布外（OOD）案例上进行测试。

空间组合：在需要重建未见位置的高斯凸起的任务中，标准 CNN 和 VAE 显示出显著的 OOD 误差。VN 在整个空间域内保持了均匀的低位误差，优于密集基线和手工分解的解码器。
函数组合：在涉及正弦、余弦、多项式和高斯函数的求和及嵌套组合的 1D 信号重建和掩码预测任务中，VN 表现出卓越的稳定性。虽然强大的序列模型（Transformer、Mamba）在 ID 和简单 OOD 重建上表现良好，但在需要恢复可复用结构的掩码预测任务中，它们的性能显著下降。VN 在这些更严格的测试中取得了最明显的优势。
N 体动力学：在涉及混合力场（重力、阻力、洛伦兹力、弹簧）和不同物体数量的物理基准测试中，VN 在复杂的 OOD 偏移（多种力、减少的物体数量）下保持了低误差。MLP、GNN 和 Transformer 等基线在力被组合或物体数量改变时显示出巨大的误差增加，而 VN 则保持稳健。
图像组合：在 MNIST 数字重建和动态变换（旋转/平移/缩放）任务中，VN 在涉及加法混合、最大投影和复杂变换组合的 OOD 设置中显著优于自编码器。在最强的 OOD 条件下，优势大约是一个数量级。

在所有基准测试中，VN 在 ID 性能上与强大的基线相当，但在需要将熟悉因素以新颖方式重新组合时，实现了显著更低的 OOD 误差（通常是一个数量级）。

意义与主张

本文认为，向量网络使组合泛化成为架构和推理过程的结构属性，而不是将多种行为拟合到共享密集基质中的脆弱副产品。

明确的权重空间责任：与责任隐含且纠缠的标准网络不同，VN 在更新之前明确推断哪些权重原子对样本负责。这种“快速重组/慢速存储”的划分将可塑性局部化。
机制层面的组合：结果表明，VN 学习可复用的机制级组件（例如特定的力定律或空间因素），这些组件可以重新组合以解释新颖的输入，而不仅仅是在训练分布内进行插值。
效率与可扩展性：作者建议，一旦学习了潜在因素库，新输入就可以通过重新组合来处理，这为改善数据效率提供了一条自然途径，特别是在未见组合的“长尾”部分。
局限性：论文承认，当前的实现依赖于递归稀疏推理，这比单次前向传递要慢。作者指出，这种推理在未来工作中可能通过学习的向前更新来近似，但当前形式优先考虑可解释性和模块化。

总之，向量网络提出了一种从状态路由（如 Transformer 中）向权重空间中的责任的转变，其中计算首先推断可复用权重组件上的稀疏责任，然后学习针对该推断结构选择性地采取行动。这种方法旨在解决权重纠缠问题，并实现对熟悉因素新颖组合的稳健泛化。