技術的概要：固定点を超えて：非対称ホップフィールドネットワークの超多項式容量

1. 問題定義

対称な重み行列を特徴とする古典的なホップフィールドネットワークは、そのダイナミクスが安定な固定点（同期更新下では周期 2 のリミットサイクル）への収束に制約されるため、静的なパターン認識に限定される。非対称な結合は、時間的シーケンスを符号化できるリミットサイクルを含む、より豊かなダイナミクスを可能にするが、古典的な同期非対称ネットワークにおいて「長い」シーケンスの大容量記憶を実現することは、依然として重大な課題であった。

既存のアプローチは、以下の特定の限界に直面している：

• 統計的結果: 先行研究（例：Bastolla and Parisi, 1997; Hwang et al., 2019）は、ランダムな非対称ネットワークがリミットサイクルを示すことを示したが、これらは往々にして、検索の堅牢性が保証されていない、あるいは保存されるシーケンス数に対する構成的な制御を欠く統計的現象であった。
• 最大軌道構成: Muscinelli et al. (2017) は、状態空間全体を覆う長さ $2^n$ の単一リミットサイクルを支持する構成を示した。しかし、これは高度に専門化されたケースバイケースの重み設計を必要とし、堅牢性に欠ける。もしダイナミクスが状態空間全体を横断する場合、ノイズ擾乱後にシステムが特定の引き寄せ領域（アトラクタ）へ確実に戻ることができない。
• 現代の修正: 最近の「モダン・ホップフィールド」ネットワーク（Krotov and Hopfield, 2021; Ramsauer et al., 2021）は、非線形相互作用や連続状態を導入することで高容量を達成する。しかし、これらは古典的な二値ニューロンモデルや同期更新則から逸脱している。

ここで扱われる中心的な問いは以下の通りである：古典的な同期非対称ホップフィールドの枠組み（二値ニューロン、同期更新、線形局所場）内で、ノイズに対して堅牢であり、かつ生物学的妥当性と整合するほど単純でありながら、超多項式個の長い時間的シーケンスを符号化するモデルを構築できるか？

2. 手法

著者らは、ブロック循環アーキテクチャに基づく新規構成を提案する。個々の重みを微調整するのではなく、この手法は粗いアーキテクチャ的モチーフに依存する。

2.1 ネットワークアーキテクチャ

ネットワークは、多数決則 $x_i(t+1) = \text{sign}(\sum_j w_{ij} x_j(t))$ によって同期更新される $n$ 個の二値ニューロン（$x \in \{-1, +1\}^n$）で構成される。

• ブロック: ニューロンはサイズ $d$ の互いに素なブロックに分割される。ブロック内には結合がない。
• ブロックサイクル: ネットワークは複数の互いに素な「ブロックサイクル」で構成される。長さ $\ell$ のブロックサイクルは、$\ell$ 個のブロック（$S_0, S_1, \dots, S_{\ell-1}$）からなり、ブロック $S_i$ のすべてのニューロンはブロック $S_{i+1}$ のすべてのニューロンに結合（重み $+1$）され、有向環 $S_0 \to S_1 \to \dots \to S_{\ell-1} \to S_0$ を形成する。
• 密 vs 疎:
  • 密構成 (BCA): 隣接するブロックは完全に結合されている（すべて対すべて）。
  • 疎構成 ($h$-sparse BCA): ブロック内の各ニューロンは、直前のブロックから $h$ 本の入力エッジを均一にランダムに（復元抽出で）受け取る。ここで $h$ は $3$ 以上の奇数である。
• 敵対的堅牢性: 構成は、各ブロックのニューロンの少数に敵対的な入力エッジを追加することでさらにテストされる。

2.2 理論的ツール

分析は、以下の 3 つの主要な数学的柱に依存している：

1. 組合せ論: 異なるリミットサイクルの数を決定するために、非周期的な二値シーケンス（ネックレス）を数える。
2. 数論: 引き寄せ領域の周期長を上限付けるために、整数のランダム集合の最小公倍数（LCM）の成長を分析する。
3. 意見ダイナミクス: 特に疎な設定と敵対的設定において、ノイズ堅牢性と収束特性を証明するために、ゴシップモデルにおける $h$-多数決合意に関する結果を利用する。

2.3 ダイナミクスとアトラクタ

核心的なメカニズムは、ブロック内のすべてのニューロンに一様な符号（単色状態）を割り当てることである。サイクルに沿ったブロック符号の系列が非周期的である場合、システムはこれらのブロック状態の回転ループとして進化する。ネットワークのグローバルな周期は、個々のブロックサイクルの長さの最小公倍数（LCM）である。

3. 主要な貢献と結果

3.1 超多項式容量と周期長

著者らは、$n$ 個のニューロンを持つ非対称ホップフィールドネットワークの存在を証明する。このネットワークは以下の特性を持つ：

• アトラクタの数: $\exp\left(\Omega\left(\frac{n}{(\log n)^2}\right)\right)$ 個の異なるリミットサイクル・アトラクタ。
• 周期長: 各アトラクタの周期は少なくとも $\exp\left(\Omega\left(\frac{\sqrt{n}}{\log n}\right)\right)$ である。

これは、保存されるシーケンスの数とその長さの両方において超多項式容量を意味し、古典モデルにおける以前の線形または定数長の上限に対する重要な改善である。

3.2 ノイズ堅牢性

構成されたリミットサイクルはランダムなノイズに対して堅牢である：

• 密の場合: 各ニューロンが確率 $p \le \frac{1}{2} - \Omega\left(\frac{1}{\sqrt{\log n}}\right)$ で独立に反転された場合でも、システムは正しいリミットサイクルを回復する。
• 疎の場合: ブロックサイズ $d = \omega(\log n)$ である限り、堅牢性は反転確率 $\frac{1}{2} - o(1)$ まで拡張される。
• メカニズム: ブロック構造により、ブロック内のニューロンの過半数が元の符号を保持する限り（指定されたノイズレベル下では高い確率で発生する）、ブロックの出力は次の同期更新で変化せず、ノイズを修正する。

3.3 生物学的妥当性と構造的緩和

本論文は、生物学的現実性を高める条件下でも結果が成立することを示している：

• 疎性: ブロック間のすべて対すべての結合は、容量と周期長をわずかに減少させるだけで、超多項式スケーリングを維持しつつ、疎なランダム結合（$h$-sparse, $h \ge 3$）に置き換えることができる。
• 敵対的擾乱: 少数のニューロン（$O(\sqrt{d}/\log d)$）が敵対的な入力エッジを受け取っても、システムは堅牢である。この場合、ネットワークは$(k, d)$-弱リミットサイクルへ収束し、状態は元のサイクルからの有界なブロック最大ハミング距離内に留まる。
• グローバル収束: 任意の初期構成に対して、ネットワークは、サイクル長に比例する回数（密の場合）または $O(\log d)$ 回（疎の場合、高確率で）以内にリミットサイクルへ決定論的（密の場合）または高確率で（疎の場合）収束する。

4. 意義と主張

本論文は、神経系における堅牢なシーケンス表現が、複雑な非線形性、連続状態、または微調整された重みを必要としないことを実証していると主張する。むしろ、古典的二値ホップフィールドの枠組み内における粗いアーキテクチャ的モチーフ（ブロック循環トポロジー）を通じて達成され得る。

• 理論的ブレイクスルー: 古典的な同期非対称ホップフィールドネットワークにおいて、保存されるシーケンスの数と長さの両方に対して超多項式容量を実証した最初の事例である。
• 生物学的関連性: 単純なブロック構造と多数決則への依存、ならびに疎性とノイズに対する堅牢性の組み合わせは、生物学的システムにおける中枢パターン発生器（CPG）および人工システムにおける堅牢なシーケンス記憶の妥当なメカニズムを示唆する。
• 限界: 著者らは、結果が構成的であり、規定されたトポロジーに依存することを指摘している。構造化されていない結合からこれらのトポロジーを形成する局所学習則は提供されていない。さらに、保証は同期更新に固有のものであり、これらの結果を非同期単一ニューロンダイナミクスへ拡張することは未解決の問題である。

この研究は、組合せ論、数論、意見ダイナミクスを橋渡しし、非対称ホップフィールドネットワークのダイナミカルなレパートリーが以前認識されていたよりもはるかに大きく、より堅牢であることを確立する。これは、生物学的および人工的ニューラルシステムの両方におけるシーケンス記憶に関する新たな視点を提供する。