技術要約：Vision Transformerにおける少ショット学習のための適応型ヘブ学習メモリ・ルーティング

問題提起

少ショット画像認識は、少数のラベル付きサポートセットを用いて新しいクラスに適応することをモデルに要求します。標準的な深層ネットワークは、推論中に固定されたままとなる「スロー・ウェイト（遅い重み）」に依存しており、エピソードごとにタスク固有の表現を形成することが困難です。

ヘブ学習によるファスト・ウェイト・メモリは、サポートセットから派生した一時的かつタスク固有の連合を保存するメカニசம்を提供します。しかし、先行研究では、固定されたヘブ学習の挙動（一定の活性化、更新強度、および保持）は、アーキテクチャ間で一貫性のない結果をもたらすことが示されています。すなわち、Swin Transformerには効果的ですが、ViTやDeiTに高密度に挿入すると性能を低下させます。さらに、単一の固定されたメモリ挙動がすべての少ショット・エピソードに対して最適であるのか、あるいはメモリ・パスウェイが特定のサポートセットに基づいてその活性化と可塑性を適応させるべきなのかは、依然として不明確です。

手法

著者らは、ヘブ学習メモリ・パスウェイを「エピソード条件付き」にする軽量なアプローチである**適応型ヘブ・ルーティング（Adaptive Hebbian Routing）**を提案しています。固定されたヘブ学習ルールを適用する代わりに、この手法は軽量な多層パーセプトロン（MLP）ルーターを用いて、現在のサポートセットの特徴量に基づき、メモリ機構の3つの側面を動的に制御します。

コア構成要素

1. ヘブ・ファスト・ウェイト・モジュール:

   • トークン表現 $X$ を受け取り、それらをキー ($K$)、値 ($V$)、クエリ ($Q$) に投影します。
   • $K$ と $V$ の外積を通じて、連合更新 $A$ を形成します。
   • 減衰因子 $\lambda$ と可塑性率 $\eta$ を用いて、ファスト・ウェイト・メモリ行列 $M$ を更新します：$M \leftarrow \lambda M + \eta A$。
   • メモリはクエリ表現を介して読み取られ、残差接続を介してバックボーンの特徴量に加算されます。
   • メモリ行列はエピソードの開始時にリセットされ、一時的な連合のみを保存することを保証します。

2. 適応型MLPルーター:

   • 選択されたバックボーンの箇所に、独立した軽量ルーターが取り付けられます。
   • これは、特定の層からの平均プーリングされたサポート・トークン特徴量 ($z_l$) を入力として受け取ります。
   • ルーターは、エピソードに対して以下の3つの制御値を予測します：
     • 外部活性化ゲート ($g_l$): メモリ出力の現在の表現への寄与度を制御します。
     • 可塑性率 ($\eta_l$): 新しいサポートセットの連合を書き込む強さを制御します。
     • メモリ減衰 ($\lambda_l$): エピソード中の以前のメモリの保持を制御します。

研究された適応型バリアント

論文では、これらの制御の効果を分離するために、以下の3つの構成を評価しています：

• 適応型配置 (Adaptive Placement): 外部活性化ゲート ($g_l$) のみが学習され、可塑性と減衰は標準的な学習パラメータとして残されます。
• 適応型可塑性 (Adaptive Plasticity): メモリ・パスウェイは完全にアクティブですが、ルーターはエピソード固有の可塑性率 ($\eta_l$) と減衰 ($\lambda_l$) を予測します。
• 完全適応型ヘブ・ルーティング (Fully Adaptive Hebbian Routing): ルーターはこれら3つの変数 ($g_l, \eta_l, \lambda_l$) すべてを予測し、モデルが特定の量に対する寄与強度と更新ダイナミクスの両方を学習できるようにします。

バックボーンの統合

• ViT-Small & DeiT-Small: 適応型モジュールは、固定されたベースラインにおける高密度な挿入とは対照的に、ブロック3、6、9、および12の後に疎に挿入されます。
• Swin-Tiny: 固定版と適応版が全く同じメモリ位置を使用する直接比較が行われます。これにより、メモリの配置による効果と適応型制御の効果を分離します。

主な貢献

1. 適応型ヘブ・ルーティングの提案: サポートセットの特徴量に基づいて、メモリの活性化、可塑性の強さ、および保持を制御するために軽量なMLPを使用する方法。
2. 分離された分析: メモリの活性化（適応型配置）とエピソード固有のメモリ更新（適応型可塑性）の影響を分離。
3. 制御されたアーキテクチャ比較: 固定版と適応版が同じメモリ位置を共有する直接的なSwin比較により、改善が配置の変化ではなく適応型制御に起因することを証明。
4. 効率性の向上: 特に関数的なViT/Deitにおいて、高密度な固定挿入を避けることで、精度を向上させつつ推論時間とパラメータ数を削減できることを実証。

実験結果

データセットとプロトコル

実験は、Omniglot（ゼロからの学習）および CIFAR-FS（ImageNetで事前学習されたバックボーンのファインチューニング）を用いて行われました。評価には、5-way 1-shot タスク、マルチショット（1–10）評価、およびクロスドメイン転移（CIFAR-FS $\to$ Omniglot）が含まれます。

パフォーマンスの知見

• Omnigлот (ViT/DeiT): 高密度な固定ヘブ挿入は、性能を著しく低下させました（約95.4%から約90%へ）。適応型バリアントはこの損失を回復し、完全適応型ルーティングはベースモデルよりもわずかに高い精度（95.48%）を達成しました。
• Omniglot (Swin): 制御された比較（同一位置）において、固定ヘブはベースのSwinを96.14%から96.74%に向上させました。適応型可塑性はこれをさらに96.92%へと向上させ、完全適応型ルーティングは最高値の**96.94%**を達成しました。これは、メモリ位置が最適であっても、適応型可塑性と保持が極めて重要であることを裏付けています。
• CIFAR-FS: 適応型バリアントは、3つのバックボーンすべてにおいて、ベースモデルおよび固定ヘブ・ベースラインの両方を上回りました。完全適応型ViTは、固定ヘブに対して16.01パーセントポイントの向上（88.59% vs 72.58%）を示しました。
• マルチショット: 適応型ルーティングの恩恵は、サポート例の数が1-shotから10-shotに増加しても持続しました。
• クロスドメイン転移: 適応型SwinおよびDeiTは、固定ベースラインと比較して、CIFAR-FSからOmniglotへの転移性能の向上を示しましたが、結果はバックボーンによって異なりました。

効率性

• パラメータ数: 4箇所の疎な挿入を使用することで、適応型ViT/DeiTモデルは、高密度挿入のベースラインと比較してパラメータ数を約28.7Mから約24.0Mへと削減しました。
• 推論時間: 適応型バリアントは大幅に高速でした。Omniglotにおいて、完全適応型Swinは推論時間を16.51 ms（固定）から14.05 msに短縮しました。CIFAR-FSでは、完全適応型ViTは24.51 msから11.50 msへと時間を短縮しました。

意義と主張

本論文は、少ショット学習におけるヘブ学習メモリの有用性は、単にどこに挿入されるかによって決まるのではなく、エピソード中にどのように制御されるかによって大きく左右されると主張しています。

• 適応型可塑性が鍵: 直接的なSwin比較は、既知の最適なメモリ位置であっても、固定された更新ルールは最適ではないことを示しています。エピソードに合わせて可塑性とメモリ減衰を適応させることで、測定可能な精度の向上が得られます。
• アーキテクチャ間の堅牢性: 高密度な固定ヘブメモリは平坦なTransformerバックボーン（ViT/DeiT）に悪影響を与えますが、適応型ルーティングはベースラインの性能を回復し、それを上回ります。これは、エピソード条件付きのメモリ制御が、静的な挿入よりも堅牢な戦略であることを示唆しています。
• 効率性: 本手法は、一時的な連合メモリを利用するための選択的かつ効率的な方法を提供し、高密度な固定実装と比較して、計算オーバーヘッドを抑えつつ最先端の少ショット結果を達成しています。

著者らは、適応型の可塑性と適応型のメモリ活性化を用いることで、バックボーンの完全な再学習コストを負うことなく、Vision Transformerが固定されたヘブ学習の挙動よりも優れた少ショット・タスク表現を実現できると結論付けています。