技术摘要：视觉 Transformer 中用于少样本学习的自适应 Hebbian 记忆路由

问题陈述

少样本图像识别要求模型能够利用极小的有标签支持集来适应新类别。标准的深度网络依赖于在推理过程中保持固定的“慢权重”（slow weights），这使得它们难以为每个新的 episode 构建特定任务的表示。虽然视觉 Transformer（ViT、DeiT、Swin）提供了强大的特征提取能力，但在推理期间它们在很大程度上是静态的。

Hebbian 快权重记忆提供了一种机制，用于存储源自支持集的临时、特定任务的关联。然而，先前的研究表明，固定的 Hebbian 记忆行为（恒定的激活、更新强度和保留率）在不同架构中表现不一致：它提升了 Swin Transformer 的性能，但在密集插入到 ViT 和 DeiT 时却降低了它们的性能。此外，目前尚不清楚单一的、固定的记忆行为是否对每个少样本 episode 都是最优的，或者记忆路径是否应该根据特定的支持集来调整其激活和塑性。

方法论

作者提出了自适应 Hebbian 路由（Adaptive Hebbian Routing），这是一种轻量级的方法，使 Hebbian 记忆路径实现“episode 条件化”。该方法并非应用固定的 Hebbian 规则，而是采用一个轻量级的多层感知机（MLP）路由器，根据当前支持集的特征动态控制记忆机制的三个方面。

核心组件

1. Hebbian 快权重模块：

   • 接收 Token 表示 $X$，并将其投影为键（$K$）、值（$V$）和查询（$Q$）。
   • 通过 $K$ 和 $V$ 的外积形成关联更新 $A$。
   • 使用衰减因子 $\lambda$ 和塑性率 $\eta$ 更新快权重记忆矩阵 $M$：$M \leftarrow \lambda M + \eta A$。
   • 通过查询表示读取记忆，并通过残差连接将其添加到骨干网络特征中。
   • 记忆矩阵在每个 episode 开始时重置，以确保它仅存储临时关联。

2. 自适应 MLP 路由器：

   • 一个独立的轻量级路由器被附加到选定的骨干网络位置。
   • 它摄取来自特定层的均值池化后的支持 Token 特征（$z_l$）。
   • 路由器为该 episode 预测三个控制值：
     • 外部激活门（Outer Activation Gate, $g_l$）： 控制记忆输出对当前表示的贡献程度。
     • 塑性率（Plasticity Rate, $\eta_l$）： 控制写入新支持集关联的强度。
     • 记忆衰减（Memory Decay, $\lambda_l$）： 控制在 episode 期间对先前记忆的保留程度。

研究的自适应变体

论文评估了三种特定的配置，以隔离这些控制变量的影响：

• 自适应放置（Adaptive Placement）： 仅学习外部激活门（$g_l$）；塑性和衰减保持为标准的学习参数。
• 自适应塑性（Adaptive Plasticity）： 记忆路径完全激活，但路由器预测特定于 episode 的塑性率（$\eta_l$）和衰减率（$\lambda_l$）。
• 全自适应 Hebbian 路由（Fully Adaptive Hebbian Routing）： 路由器预测所有三个变量（$g_l, \eta_l, \lambda_l$），从而允许模型学习针对特定 episode 的贡献强度以及更新动态。

骨干网络集成

• ViT-Small & DeiT-Small： 自适应模块稀疏地插入在第 3、6、9 和 12 个 block 之后（与密集插入的固定基准相对）。
• Swin-Tiny： 进行直接比较，其中固定和自适应变体使用完全相同的记忆位置。这隔离了记忆位置变化对实验结果的影响，从而专注于自适应控制的效果。

核心贡献

1. 提出自适应 Hebelian 路由： 一种利用轻量级 MLP 根据支持集特征来控制记忆激活、塑性强度和保留率的方法。
2. 解耦分析： 研究分离了记忆激活（自适应放置）与 episode 特定记忆更新（自适应塑性）的影响。
3. 受控架构比较： 通过直接的 Swin 比较（固定与自适应变体共享相同记忆位置），证明了改进源于自适应控制而非位置变化。
4. 效率提升： 证明了自适应路由可以减少推理时间并降低参数量，同时提高准确率，特别是通过避免在 ViT/DeiT 中进行密集的固定插入。

实验结果

数据集与协议

实验在 Omniglot（从头开始训练）和 CIFAR-FS（使用 ImageNet 预训练骨干网络进行微调）上进行。评估包括 5-way 1-shot 任务、多样本（1–10）评估以及跨领域迁移（CIFAR-FS $\to$ Omniglot）。

性能发现

• Omniglot (ViT/DeiT)： 密集的固定 Hebbian 插入显著降低了性能（从约 95.4% 下降到 ~90%）。自适应变体恢复了这一损失，全自适应路由实现的准确率（95.48%）略高于基础模型。
• Omnigлот (Swin)： 在受控比较（相同位置）中，固定 Hebbian 将基础 Swin 从 96.14% 提升至 96.74%。自适应塑性进一步将其提升至 96.92%，而全自适应路由达到了最佳结果 96.94%。这证实了即使在记忆位置最优的情况下，自适应塑性和保留也是至关重要的。
• CIFAR-FS： 自适应变体在所有三种骨干网络中均优于基础模型和固定 Hebbian 基准。全自适应 ViT 比固定 Hebbian 提升了 16.01 个百分点（88.59% vs 72.58%）。
• 多样本（Multi-Shot）： 随着支持样本数从 1-shot 增加到 10-shot，自适应路由的优势持续存在。
• 跨领域迁移： 与固定基准相比，自适应 Swin 和 DeiT 在从 CIFAR-FS 到 Omniglot 的迁移中表现出改进的性能，尽管结果因骨干网络而异。

效率

• 参数量： 通过使用稀疏插入（4 个位置）而非密集插入，自适应 ViT/DeiT 模型将参数量从约 28.7M 减少到 ~24.0M。
• 推理时间： 自适应变体明显更快。在 Omniglot 上，全自适应 Swin 将推理时间从 16.51 ms（固定）缩短至 14.05 ms。在 CIFAR-FS 上，全自适应 ViT 将时间从 24.51 ms 缩减至 11.50 ms。

意义与主张

论文声称，Hebbian 记忆在少样本学习中的效用不仅取决于其插入位置，还显著取决于在 episode 期间如何对其进行控制。

• 自适应塑性是关键： 直接的 Swin 比较表明，即使拥有已知的最优记忆位置，固定的更新规则仍然是次优的。将塑性率和记忆衰减调整为特定于 episode 的模式可以带来可衡量的准确率增益。
• 跨架构的鲁棒性： 虽然密集的固定 Hebbian 记忆会损害扁平化的 Transformer 骨干网络（ViT/DeiT），但自适应路由恢复并超过了基准性能，这表明基于 episode 的记忆控制是一种比静态插入更鲁棒的策略。
• 效率： 该方法提供了一种选择性且高效的方式来利用临时关联记忆，通过减少计算开销实现了最先进的少样本结果，相比于密集的固定实现更具优势。

作者得出结论，自适应塑性和自适应记忆激活使得 Vision Transformer 能够比固定 Hebbian 行为更好地表示少样本任务，且无需承担全量骨干网络重训练的代价。