Benchmarking local Hebbian learning rules for memory storage and prototype extraction

技術要約：メモリ格納とプロトタイプ抽出におけるローカル・ヘブ学習則のベンチマーク

問題提起
連合記憶（内容アドレス可能記憶）は、コンピュータ科学と認知脳科学の両方における基本的な機能であり、パターン完成、図と地の分節化、長期記憶といった操作の基礎となるものである。これらの機能をモデル化するために様々なニューラルネットワーク・アーキテクチャや学習則が提案されてきたが、異なるローカル・ヘブ学習則を統一された枠組みの中で体系的に定量比較した研究は不足していた。具体的には、本論文は、標準的なパターンの格納だけでなく、プロトタイプ抽出（生成されたプロトタイプ自体が明示的に格納されていない状態で、歪んだインスタンスから生成プロトタイプを想起する能力）という、これまであまり調査されてこなかった能力についても、これらの学習則をベンチマークする必要性に取り組んでいる。さらに、本研究では、これらの学習則がネットワークサイズに対してどのようにスケールするか、また訓練データの相関に対してどの程度の感受性を持つかを調査している。

手法
著者らは、単層の再帰結合型ニューラル連合メモリ（NAM）ネットワーク内において、7つの異なるローカル・ヘブ学習則を比較する広範なコンピュータ・シミュレーションを実施した。研究では以下の2つのネットワーク・アーキテクチャを利用した：

1. 非モジュール型ネットワーク： $N$ 個のユニットからなる単一レイヤー。
2. モジュール型ネットワーク： $H$ 個のハイパーカラム（hypercolumn）で構成され、各ハイパーカラムは $M$ 個のミニカラム（minicolumn/ユニット）を含む。「スモールワールド」のスケーリング・スキームに従い、$H = M = \sqrt{N}$ とする。

ネットワークは、中程度のスパース性を持つバイナリ・パターン（$\{0, 1\}$）で作動し、勝者総取り（WTA）ダイナミクス（非モジュール型ではk-winners-take-all、モジュール型ではローカルな単一勝者）を用いた。訓練は、ワンショットかつサンプルごとの形式で行われた。

比較された7つの学習則：

1. WILL： Willshaw (1969) に基づく、バイナリ重みを使用。
2. HEBB： オリジナルの加法的なヘブ則。
3. HOPF： バイナリ・ユニットに適応させたスパース・ホップフィールド則。
4. COV： 共分散学習 (Tsodyks & Feigelman, 1988)。独立して活性化するユニット間の重みをゼロにする項をHopfieldに追加したもの。
5. PRCOV： 前シナプス共分散学習 (Minai, 1997)。相関のあるパターンに対する容量を改善するために設計されたもの。
6. BOM： ベイズ最適学習 (Knoblauch, 2011)。ノイズ依存性を持たない確率論的考察から導出されたもの。
7. BCP： ベイズ信頼度伝播 (Lansner & Ekeberg, 1989)。独立した入力を仮定したベイズ則から導出されたもの。

評価指標
性能は、以下の4つの主要なベンチマークにわたって定量化された：

1. パターン格納容量 ($P_{90}$)： 歪んだテスト・パターンがエラーなしで90%想起される最大パターン数。
2. 重み情報容量 ($C$)： 総格納シャノン情報量（ビット）を訓練可能な重みの数で除したもの。サイズに依存しない指標である。
3. プロトタイプ抽出： 新しい歪んだインスタンスから生成プロトタイプを想起する能力。ここで、プロトタイプ自体はネットワークに提示されていない。
4. 相関耐性： パターン成分間の相関 ($f_p$) が増加するにつれて、格納容量が減少する度合い。

主な結果

• パターン格納容量： **ベイズ・ヘブ学習則（BCPおよびBOM）**は、ほぼすべての条件下で最高の格納容量を示し、他の学習則を大幅に上回った。HEBB則は一貫して最も低い容量を示した。HOPF、COV、PRCOVは中間的な性能を示した。WILL則は、特にプロトタイプ抽出タスクにおいて性能が悪かった。
• 重み情報容量： 学習則が観察した最大重み情報容量は約0.64 bits/weightであり、これは想起率50%の時に発生した。PRCOV則は、非対称な重み行列のため、より低い値を示した。一方、HEBB則は依然として最低であった。
• プロトタイプ抽出： このタスクは、個別のパターン格納よりも一般に困難であることが証明された。BCPおよびBOM則は優れた性能を維持した。特筆すべきは、PRCOVもプロトタイプを抽出できるが、多くのインスタンスで訓練された場合、ベイズ系ルールよりも早くプラトー（停滞）に達する一方で、少数のプロトタイプに対してはより迅速に抽出を行う点である。WILL則は、そのバイナリ重みの制約により、このタスクにおいて完全に失敗した。
• 相関感受性： 相関データ向けに特別に設計されたPRCOV則は、特にプロトタイプ抽出タスクにおいて、最も高い相関耐性を示し、高相関下では絶対的な容量においてベイズ系ルールを上回ることもあった。HEBBおよびWILL則は、最も相関に敏感であった。
• アーキテクチャのスケーリング： モジュール型ネットワークは一般に非モジュール型よりも多くのパターンを格納したが、重みあたりの情報量 ($C$) は同程度であった。ハイパーカラムとミニカラムの $\sqrt{N}$ スケーリングは、シミュレーションされたサイズにおいては効果的であったが、完全な皮質サイズへのスケーリングには制限がある可能性が指摘された。

意義と主張
本論文の主な貢献は、標準化された条件下でのヘブ学習則の厳密かつ定量的なベンチマークであり、普及しているHEBB則が、ベイズ・ヘブ的アプローチと比較して連合記憶タスクにおいて最適ではないことを明らかにしている点にある。

• 神経生物学的含意： これらの結果は、もし脳がモデル化されたものと同様の連合記憶メカニズムを利用しているならば、単純な加法的ヘブ可塑性よりも複雑な学習則、おそらくは固有の可塑性や（BCPに見られるような）ベイズ推論メカニズムを伴うものであることを示唆している。
• 工学的含意： 人工ニューラルシステムにとって、本研究はベイズ・ヘブ則が優れた容量と堅牢性を提供することを示している。さらに、バイナリのWILL則がプロトタイプ抽出に失敗したことは、ロバストな汎化には実数値の重み（より高い情報量、約5ビットを表現するもの）が必要であることを示唆しており、これは重みの精度に関するニューロモーフィック・ハードウェア設計への洞察を与える。
• プロトタイプ抽出： 本研究は、プロトタイプ抽出がNAMにおける重要かつ未調査の能力であることを強調しており、異なる学習則が異なる汎化挙動（例：プロトタイプの形成速度 vs スプリアス・アトラクタに対する安定性）を示すことを明らかにしている。

著者らは、BCPやBOMが一般的に優れているものの、「最良の」学習則の選択は、相関耐性の必要性（PRCOVを支持）か最大格納容量（BCP/BOMを支持）かといった、特定のタスクの要求に依存すると結論づけている。本論文は、これらのルールが決定的に人間の脳をモデルしていると主張するのではなく、シナプス可塑性と脳のようなAIを設計するための、より妥当で効率的なフレームワークを提供するものであるとしている。