技術的概要：ベクトルネットワークによる構成的潜在構造の学習

問題定義

現代の深層ネットワークは、通常、多様な計算を実装するために共有された密なパラメータ基盤に依存しています。誤差逆伝播を通じて、異なる特徴、スキル、振る舞いが、同じ重み行列の重なり合う方向に符号化されます。著者らはこの現象を**重みの絡み合い（weight entanglement）と名付けました。このレジームでは、ある振る舞いの改善が、勾配が出力で集約されすべての層を通じて伝播されるため、他の振る舞いに誤って影響を及ぼすことがよくあります。その結果、標準的なネットワークは重み空間において「アドレス可能な責任」を欠いています。つまり、学習されたコンポーネントを、独立して隔離、再結合、または更新可能な永続的で再利用可能なオブジェクトとして自然に格納することができません。事後の解釈可能性手法によって機能的回路を特定できる場合もありますが、アーキテクチャ自体が再利用可能な単位への分解を強制するわけではありません。この制限は、システムが再学習なしに既知の因子を新しい構成に再結合しなければならない構成的汎化（compositional generalization）**を妨げています。エキスパートの混合（Mixture-of-Experts）やオブジェクト中心モデルなどの既存のアプローチは、ルーティングやモジュール性を導入しますが、多くの場合、密なモジュール上でのフィードフォワードルーティングを通じて動作するか、重み空間自体においてサンプルごとの責任を明示的にしていません。

手法：ベクトルネットワーク（VN）

ベクトルネットワーク（VN）アーキテクチャは、固定された密な重み行列を再利用可能な**ランク 1 重み原子（rank-1 weight atoms）**のライブラリに置き換えることで、これらの制限に対処します。中核的なメカニズムは、入力固有の変換を構成するための高速推論と、基盤となる辞書の更新を行うための低速学習という 2 段階のプロセスを含みます。

1. アーキテクチャとランク 1 原子

VN の各層 $l$ は、単一の行列 $W$ ではなく、$K_l$ 個のランク 1 重み原子の辞書によってパラメータ化されます。各原子 $i$ は、学習されたコードベクトルのペア、すなわち入力ベクトル $s_{l,i}$ と出力ベクトル $u_{l,i}$ によって定義されます。これらは一緒にランク 1 演算子を形成します：
$$A^{(l,i)} = u_{l,i} s_{l,i}^\top$$
任意の入力 $x_l$ に対して、ネットワークはスパースな係数セット $g_l$（ここで $g_{l,i}$ は原子 $i$ の寄与をスケーリングする）を推論します。実効的な入力固有の重み行列 $W^*_l(x_l)$ は、これらの原子の線形結合として合成されます：
$$W^*_l(x_l) = \sum_{i=1}^{K_l} g^*_{l,i}(x_l) A^{(l,i)}$$
これにより、ネットワークは単一のモノリシックな固定行列を適用するのではなく、共有辞書の小さな部分集合を使用して、各サンプルに合わせた変換を構成することができます。

2. エネルギー最小化による高速推論

各サンプルに対して、VN はスパースな係数 $g_l$ を決定するために高速推論を実行します。これは、3 つの項のバランスを取る層局所的なエネルギー関数 $E_l$ を最小化することで達成されます：

1. 入力再構成： 入力 $x_l$ と再構成 $S_l g_l$（ここで $S_l$ には入力側のコードベクトルが含まれる）間の誤差を最小化します。
2. トップダウン整合性： 上位層から提供されるトップダウン目標 $h_{l,target}$ と、インターフェースメッセージ $U_l g_l$（ここで $U_l$ には出力側のコードベクトルが含まれる）間の誤差を最小化します。
3. スパース性： 疎なアクティブセットを強制するための $\ell_1$ ペナルティ $\lambda_l \|g_l\|_1$。

推論は、エンコーダ - デコーダの収束に似た反復的な上下スキャン（プロキシカル勾配ステップ、ISTA/FISTA スタイル）を介して進行します。このプロセスは、少数の原子のみがアクティブになるスパースな固定点に収束します。最上層は、追加的にハードなトップ-$k$ 制約を強制する場合があります。

3. 低速学習：原子ヘッブ更新

高速推論が収束すると、低速学習が重み原子を更新します。重要なのは、更新が係数が非ゼロの原子（$g^*_{l,i} \neq 0$）に対してのみ適用されることです。更新則、すなわち**原子ヘッブ（Atomic-Hebb）**は、推論された責任によってスケーリングされた局所残差更新です：
$$S_l \leftarrow S_l + \rho^S_l r^x_l (g^*_l)^\top$$
$$U_l \leftarrow U_l + \rho^U_l r^h_l (g^*_l)^\top$$
ここで、$r^x_l$ と $r^h_l$ はそれぞれ再構成残差とトップダウン残差です。理論的解析（Danskin の定理を介して）は、推論プロセスをブラックボックスとして扱ったにもかかわらず、これらの局所更新がグローバル自由エネルギーの暗黙的勾配と完全に等価であることを証明しています。これにより、クレジット割り当てが現在の説明を担当する特定の重み原子に局所化され、標準的な逆伝播で見られる拡散的な重みの絡み合いが防止されます。

主要な貢献

1. 構築ブロックとしてのランク 1 重み原子： 著者らは、層が再利用可能なランク 1 原子で構成される階層的再帰アーキテクチャを提案しており、これによりネットワーク機能はアドレス可能、検査可能、および構成可能になります。
2. 推論によって定義される実効重み： サンプルに対する実効重み行列は固定されておらず、スパースな係数に対するエネルギー最小化を通じて推論されます。これにより、コンポーネントの高速選択と辞書の低速学習が分離されます。
3. 原子ヘッブ学習則： 推論された係数によってスケーリングされた局所残差信号を使用して、選択された重み原子のみを更新する学習則です。これにより、無関係な更新間の重なりが制限され、学習されたコンポーネントの再利用性が維持されます。
4. 重み更新の重なりに対する構造的制限： スパースなアクティブセットに更新を制限することにより、アーキテクチャは構造的に重みの絡み合いを制限し、ある振る舞いの学習が他の振る舞いを必ずしも劣化させないことを保証します。

実験結果

著者らは、VN を 1 次元信号、2 次元空間デコーディング、N 体ダイナミクス、および構成的 MNIST にわたる 4 つのベンチマークで評価しました。すべてのケースにおいて、モデルは分布内（ID）で訓練され、既知の因子の新しい組み合わせを含む分布外（OOD）ケースでテストされました。

• 空間的構成： 未見の位置にあるガウスバンプの再構成を必要とするタスクにおいて、標準的な CNN や VAE は有意な OOD 誤差を示しました。VN は空間領域全体で一様に低い誤差を維持し、密なベースラインと手動因子分解デコーダの両方を上回りました。
• 関数構成： 正弦、余弦、多項式、ガウス関数の和およびネストされた構成を含む 1 次元信号再構成とマスク付き予測タスクにおいて、VN は優れた安定性を示しました。強力なシーケンスモデル（Transformer、Mamba）は ID と単純な OOD 再構成では良好なパフォーマンスを発揮しましたが、再利用可能な構造の回復を必要とするマスク付き予測タスクでは大幅に劣化しました。VN は、より厳格なテストにおいて最も明確な優位性を達成しました。
• N 体ダイナミクス： 重力、抗力、ローレンツ力、バネなどの混合力場と変化する物体数を含む物理学ベンチマークにおいて、VN は複雑な OOD シフト（複数の力、物体数の減少）下で低い誤差を維持しました。MLP、GNN、Transformer などのベースラインは、力が結合された場合や物体数が変化した場合に誤差が大幅に増加しましたが、VN は堅牢性を維持しました。
• 画像構成： MNIST 数字の再構成と動的変換（回転/並進/スケーリング）タスクにおいて、VN は、加法的混合、最大射影、複雑な変換構成を含む OOD 設定において、オートエンコーダを大幅に上回りました。最も強力な OOD 条件において、その優位性は約 1 桁でした。

すべてのベンチマークにおいて、VN は ID パフォーマンスにおいて強力なベースラインと同等の結果を示しましたが、既知の因子を新しい方法で再結合する必要がある場合、OOD 誤差は大幅に低く（多くの場合 1 桁程度）なりました。

意義と主張

本論文は、ベクトルネットワークが構成的汎化をアーキテクチャと推論プロセスの構造的性質にするものであり、共有された密な基盤に多くの振る舞いを適合させることによる脆い副産物ではないと主張しています。

• 明示的な重み空間の責任： 責任が暗黙的で絡み合っている標準的なネットワークとは異なり、VN は更新する前にどの重み原子がサンプルを担当しているかを明示的に推論します。この「高速再結合/低速格納」の分割により、可塑性が局所化されます。
• メカニズムレベルの構成： 結果は、VN が単に訓練分布内で補間するのではなく、新しい入力を説明するために再結合可能な再利用可能なメカニズムレベルのコンポーネント（特定の力法則や空間因子など）を学習することを示唆しています。
• 効率性とスケーラビリティ： 著者らは、潜在因子のライブラリが学習されれば、新しい入力は再構成によって処理でき、特に「ロングテール」の未見の組み合わせにおいてデータ効率の向上に向けた自然な道筋を提供すると示唆しています。
• 制限事項： 論文は、現在の実装が反復的なスパース推論に依存しており、単一のフィードフォワードパスよりも遅いことを認めています。著者らは、この推論は将来的に学習されたフィードフォワード更新によって近似される可能性があるとしていますが、現在の形式は解釈可能性とモジュール性を優先しています。

要約すると、ベクトルネットワークは、Transformer における状態ルーティングから重み空間における責任への転換を提案しています。ここでは、計算がまず再利用可能な重みコンポーネントに対するスパースな責任を推論し、学習がその推論された構造に対して選択的に作用します。このアプローチは、重みの絡み合いの問題を解決し、既知の因子の新しい構成への堅牢な汎化を可能にすることを目指しています。