技術要約：共鳴的疎形態ネットワーク (Resonant Sparse Geometry Networks: RSGN)

問題提起

支配的なTransformerアーキテクチャは、高密度な自己注意（self-attention）メカニズムに依存しており、その結果、シーケンス長に対して二次的な計算複雑性 ($O(n^2)$) を招いている。このスケーリングの制限により、標準的なTransformerは長文脈アプリケーション（例：文書レベルの理解）において計算コストが極めて高くなり、リソース制約のある環境では非効率となる。既存の効率的なアテンションのバリアント（例：Sparse Transformer、Linformer）は複雑性を軽減しているものの、それらは通常、固定された疎性パターンや静的な投影を採用しており、生物学的神経系に見られる入力依存のルーティングを再現できていない。さらに、標準的なディープラーニングモデルは、人間の脳が驚異的なエネルギー効率で動作している際に見られるような、構造的可塑性や極端な活性化の疎性（1〜2%のニューロンのみが活動）を欠いている。

手法

著者らは、以下の4つの主要な生物学的原理を統合した、脳に着想を得たアーキテクチャである共鳴的疎形態ネットワーク (RSGN) を提案する：疎な活性化、入力依存のルーティング、ヘブ学習による自己組織化構造、および物理的幾何学に埋め込まれた階層的組織。

1. 双曲空間埋め込み

RSGNは、$N$ 個の計算ノードを、学習された $d$ 次元の双曲空間 ($H_d$)、具体的にはポアンカレ・ボール・モデル内に埋め込む。

• 幾何学: 双曲空間の指数関数的な体積増加により、ツリー状の階層構造を低歪度で埋め込むことが可能になる。
• 接続性: ノード間の結合強度 ($w_{ij}$) は、測地線距離に応じて指数関数的に減衰する。これにより、明示的なプルーニング（枝刈り）メカニズムを用いることなく、自然に局所性と疎性が強制される。
• 階層性: 原点に近いノードは抽象的な概念（根）を表し、境界に近いノードは具体的なインスタンス（葉）を表し、効率的な情報ルーティングを促進する。

2. 入力依存のイグニッションとダイナミクス

ネットワークは、各入力に対して2段階のプロセスで作動する：

• イグニッション（点火）: 入力トークンは、双曲埋め込み空間内の「スパークポイント」へとマッピングされる。これにより、近傍のノードのみが活性化され、疎な初期活性化パターンが生成される。
• 共鳴伝播: 活性化は、ネットワークを通じて反復的（$K$ ステップ）に伝播する。ダイナミクスには以下が含まれる：
  • 信号集約: 活性化したノードは、近傍からの信号を集約する。
  • ソフト閾値処理: 微分可能なソフト閾値関数 ($\sigma((x-\theta)/T)$) がノードの活性化を決定し、勾配ベースの学習を可能にする。
  • 局所抑制: 空間的な近傍内での分割正規化（divisive normalization）が「勝者総取り（winner-take-more）」の競争を強制し、活性化の爆発を防ぎ、疎な分散表現を促進する。

3. 二つのタイムスケールを持つ学習システム

RSGNは、神経ダイナミクスとシナプス可塑性の区別を反映するように、学習を高速（fast）と低速（slow）のタイムスケールに分離する：

• 高速学習 (勾配降下法): フォワードパスのタイムスケールでタスク性能を最適化する。これは、バックプロパゲーションを介して、入力埋め込み関数、変換行列、出力投影、および親和性因子を更新する。
• 低速学習 (ヘブ的構造可塑性): 学習バッチ全体にわたってネットワークのトポロジーを適応させる。
  • 親和性更新: 共活性化したノードは、グローバルな報酬信号（負の損失）によって変調された結合親和性を強化する ($\Delta a_{ij} \propto \bar{\alpha}_i \bar{\alpha}_j R$)。
  • 閾値適応: 閾値は、目標とする疎性を維持するように恒常的に調整される。
  • プルーニングと発芽: 弱い接続は定期的に削除され、一方で、高い相関があるが未接続のノード間には新しい接続が形成される。

主な貢献

1. 数学的枠組み: 距離に基づく接続性、ソフト閾値ダイナミクス、および局所抑制を定義する、空間埋め込み型ニューラル計算のための完全な定式化。
2. 微分可能な緩和: 動的で疎な構造を持つネットワークの勾配ベースの学習を可能にするスキームを提供し、離散的な生物学的計算と連続的な最適化の架け橋となる。
3. ハイブリッド学習則: 高速な重み更新のためのバックプロパゲーションと、低速なトポロジー適応のためのヘブ則を組み合わせた新しい手法であり、エンドツーエンドの構造学習に対する生物学的に妥当な代替案を提示する。
4. 理論的および実験的検証: 二次未満の計算複雑性 ($O(n \cdot k)$、ここで $k \ll n$) の証明、および大幅に削減されたパラメータ数での競争力のある性能の実証。

実験結果

著者らは、階層的特徴学習と長距離依存性の捕捉をテストするために設計された合成ベンチマークを用いて、RSGNを評価した。

• 階層的分類 (20クラス):
  • RSGNは、41,672個のパラメータを使用して23.8%の精度を達成した。
  • 標準的なTransformerは、403,348個のパラメータ（約10倍）を必要としたが、30.1%の精度を達成した。
  • RSGNは、固定疎性を持つSparse Transformer (15.9%) やMLP (16.0%) を有意に上回り、入力依存のルーティングの優位性を示した。
• 長距離依存性 (シーケンス長 128):
  • RSGNは、40,382個のパラメータを使用して96.5%の精度を達成した。
  • TransformerおよびLSTMは、100%の精度を達成したが、それぞれ約15倍のパラメータ（600,330および563,722）を必要とした。
• アブレーション研究: ヘブ学習が安定性と収束性に一貫した改善をもたらすことを確認した。このアーキテクチャはハイパーパラメータの変動に対して堅牢性を示し、ノード数や伝播ステップが異なっても性能は安定していた。

意義と主張

本論文は、RSGNがより効率的で生物学的に妥当なニューラルアーキテクチャへの有望な方向性を提供すると主張している。活性化ルーティング（高速）と構造適応（低速）を切り離し、階層的組織のために双曲幾何学を活用することで、RSGNは以下を実証している：

• パラメータ効率: 標準的なTransformerよりも桁違いに少ないパラメータで高い性能を実現できる。
• スケーラビリティ: 活性化ノード数に対して線形または二次未満のスケーリング ($O(n \cdot k)$) を達成し、高密度アテンションの二次的なボトルネックを回避する。
• 生物学的妥当性: 疎なコーディング、入力依存のルーティング、およびヘブ的可塑性の統合は、計算原理を観察された生物学的メカニズムと一致させており、将来のアーキテクチャが固定された高密度な計算グラフを超えて、自己組織化された動的な構造へと移行する可能性を示唆している。

著者らは、現在のベンチマークにおけるTransformerに対する絶対的な精度の差や、既存のGPUハードウェアへの疎で動的な計算のマッピングの課題などの限界も認めている。彼らは、今後の研究として、ニューロモーフィック・ハードウェアの実装や、標準的なNLPおよびビジョン・ベンチマークにおける数十億パラメータ規模へのスケーリングを探求すべきであると示唆している。