技術要約：ローカル・フェロモン・ネットワーク（Local Pheromone Network）

問題提起

現代のニューラルネットワークは、グローバルなバックプロパゲーションを通じて訓練される、高密度で微分可能なモジュールに依存している。この手法は強力ではあるが、膨大なパラメータセット間で学習を結合させてしまうため、新しいタスクが古いタスクに不可欠なパラメータを上書きしてしまう「破滅的忘却（catastrophic forgetting）」を引き起こす。生物学的システムは、シナプスが局所的であり、可塑性が神経修飾信号によって調節され、記憶が時間をかけて定着するという代替的なパラダイムを提供している。しかし、既存の計算モデルの多くは、局所的、疎（スパース）、かつバックプロパゲーションに基づかない学習規則を厳密に遵守した統一的なエンジニアリング・プロトタイプを欠いている。

手法：ローカル・フェロモン・ネットワーク（LPN）

本論文では、疎で局所的な、手動更新型のニューラルネットワークの研究プロトタイプである「ローカル・フェロモン・ネットワーク（LPN）」を紹介する。このアーキテクチャは、自動微分を完全に回避し、カスタムの局所学習規則に依存している。

コア・アーキテクチャ

• 疎な局所結合（Sparse Local Connectivity）: 各出力ユニットは、固定された予算内の近傍入力ユニット（$K$ 個の隣接ユニット）にのみ接続される。結合は以下の制約を受ける：
  • 幾何学的距離: ユニットは1次元または2次元のグリッド上に配置される。
  • 分子タグ: 接続は、互いに互換性のある整数タグを持つユニット間（距離 $\Delta t$ 以内）でのみ許可される。
• 状態表現: 各シナプスは以下を保持する：
  • 学習可能な重み ($W$)。
  • 短期フェロモン・トレース ($s$) および 長期フェロモン・トレース ($p$)。
  • オプションの 定着状態 ($c$)。
• フォワードパス: 有効な重みは、短期的および長期的フェロモン質を正規化するフェロモン・ゲート ($g$) によって変調される。これにより、推論中にベースとなる重みを変更することなく、局所的な経路を動的に重み付けすることが可能になる。

学習規則

学習は、勾配降下法ではなく、**局所的な予算制約付きヘブ型更新（local, budgeted Hebbian-style update）**を通じて進行する：

1. 誤差信号: 局所的な誤差テンソルが計算される。隠れ層については、有効な局所重みと活性化関数の微分を通じて近似的なフィードバック信号が伝播される（これは工学的な近似であり、生物学的な正確さではない）。
2. 予算適応（Budget Adaptation）: 出力ユニットあたりの更新シナプス数 ($B$) は、損失の傾向に基づいてオンラインで適応する：
   • 搾取モード（Exploit Mode）: 損失が改善する場合、予算は縮小する。
   • 隣接追従モード（Neighbor-Follow Mode）: 損失が悪化する場合、局所的な探索を促進するために、最近活動していた近傍へと予算が拡大する。
3. シナプス選択: 局所信号の大きさ ($|q|$) と長期フェロモン ($p$) を組み合わせたスコアに基づいて、更新されるシナプスのサブセットが選択される。
4. 更新メカニズム: 選択された重みは、局所信号と、定着状態から導出される可塑性マルチプライヤー ($\rho$) を用いて更新される。
5. フェロモン動態:
   • 強化: 活動的な共活動と誤差信号が、短期的および長期的フェロモンを共に強化する。
     हुआ。
   • 蒸発: トレースは異なる速度（$\lambda_s, \lambda_p$）で減衰し、マルチスケールの記憶を生み出す。
6. 定着（Consolidation）: 特定の基準（低損失、正の強化、高い長期フェロモン）を満たすとき、シナプスは定着状態に入る。これにより、その可塑性 ($\rho$) が低下し、相反するタスクによる上書きから保護される。
7. 構造的可塑性とリプレイ:
   • 構造的可塑性: フェロモンが低く、選択されていないシナプスは、刈り取られ（pruning）、活動的な近傍にあるタグ互換の候補へと新しい接続として置き換えられる。
   • 局所リプレイ: 新しい更新が損失のスパイク（衝突の兆候）を引き起こした場合、以前の「搾限」または「定常」モードから保存された低損失の例が、同じ局所更新規則を用いてリプレイされる。これにより忘却を軽減する。

主な貢献

本論文の貢献は、主に記述的およびアーキテクチャ的なものであり、特定のクラスの局所学習システムを定式化することにある：

1. 疎な局所層の定式化: 接続が空間的な局所性とタグの互換性によって厳密に定義され、密なテンソルではなく疎行列として保持されるレイヤー。
2. フェロモン・ゲート型学習: 学習がマルチスケールのフェロモン・トレースによってゲート制御されるメカニズムであり、一過性の活動と安定した記憶を区別する。
3. 予算適応型シナプス選択: 性能に基づいて学習予算を縮小または拡大し、誤差が増加した際に局所的な探索を優先させる動的なメカニズム。
4. 定着駆動型の安定性: 成熟した接続の可塑性を低下させることで、安定性と可塑性のトレードオフを明示的に管理する、個別のシナプス単位の定着メカニズム。
5. 局所リプレイの統合: バックプロパゲーションを呼び出すことなく、保存された例に対して局所的な更新規則を再適用する衝突解決手法。

実験結果

著者らは、競争力のあるベンチマークではなく、合成タスクを用いた予備的な行動プローブを提示している：

• 局所回帰: ネットワークは単純な局所線形写像（12入力 $\to$ 3出力）を正常に学習し、MSEは1.17から0.008へと低下した。これは、幾何学がタスク構造と一致する場合における局所更新規則の有効性を裏付けている。
• 分割メモリ: 異なる出力領域とタグに割り当てられたタスクは、独立して保持された。
• 競合するメモリ: 2つのタスクが同じ局所シナプスを奪い合った場合、期待通り、ネットワークは破滅的忘却（損失比 ~92倍）を示した（定着なしの場合）。
• 定着された競合: 定着を有効にした場合、忘却は大幅に軽減された（損失比 ~49倍 vs ベースラインの ~1481倍）。ただし、新しい競合タスクの学習は遅くなった。これは、意図された安定性と可塑性のトレードオフを示している。
• 構造的可塑性とリプレイ: システムは、衝突が検出された際に局所的な近傍を調整し、リプレイ手順をトリガーすることに成功した。
• ハイブリッドメモリ: 合成されたロングコンテキスト・タスクにおいて、標準的な畳み込み予測器とLPNメモリ・ブランチを組み合わせたハイブリッドモデルは100%の精度を達成したが、畳み込みベース単体では失敗した（精度8%）。

意義と主張

本論文は、ローカル・フェロモン・ネットワークを、Transformerや標準的なディープラーニングの代替ではなく、控えめなエンジニアリング・プロトタイプとして位置づけている。

• これが実証していること:
  1. 疎でタグ制限のある局所層は、autogradなしで単純な局所関数を適合できる。
  2. 出力マスクとタグは、領域間でメモリを効果的に分離できる。
  3. 共有シナプスにおける直接的な衝突は忘却を引き起こすが、定着は可塑性を低下させることでこれを緩和できる。
  4. 局所リプレイと構造的可塑性は、単一の局所更新ループ内に統合できる。
• これが実証していないこと:
  • シーケンスモデリング・アーキテクチャ（Transformer、RNN）に対する競争力のある代替ではない。
  • 大規模なシーケンスモデリング問題を解決するものではない。
  • 隠れ層のフィードバック信号は工学的な近似であり、生物学的に正確な規則ではない。

著者らは、このアーキテクチャが局所的なメモリ、脳領域の分割、および安定性・可塑性ダイナミクスを調査するための具体的なテストベッドとして機能すると結論付けており、従来の学習器が密な特徴を提供し、LPNブランチが分割された長期的な連合を保存するという、ハイブリッドモデルにおける将来的な可能性を示唆している。