Clustering and Degree Homogeneity Govern Reservoir Computing Performance

技術要約：クラスタリングと次数の均質性がリザーバコンピューティングの性能を支配する

問題提起
リザーバコンピューティング（RC）は、固定された再帰型ニューラルネットワークを計算基盤として利用し、線形出力層のみを学習させる手法である。生物学的脳は、疎でクラスター化されたスモールワールド的な結合特性を示すが、コネクトーム由来のリザーバが合成アーキテクチャに対して本質的に優れた計算能力を備えているかどうかは、依然として未解決の問いである。先行研究では、コネクトームに基づくネットワークがヌルモデル（スクランブルされたコネクトミウム）よりも優れた性能を示すことが示唆されていたが、これらの比較は、サイズ、密度、および次数の分布といった基本的なネットワーク統計量を制御できていないことが多い。本研究では、特定のトポロジー的特性、具体的にはクラスタリング、次数の不均一性、および経路長の相互作用が、制御された合成的なベースライン（スモールワールドおよびランダムネットワーク）に対してどのように作用するかを体系的に解明することを目的とする。本研究は、生物学的な起源（ヒトの構造的コネクトーム）を持つネットワークが、サイズと平均次数を一致させた場合に、合成的なスモールワールドおよびランダムネットワークに対して計算上の優位性を持つかどうかを検証する。

手法
著者らは、2つの標準的なタスク（6クラスのヒト活動分類およびMackey–Glassカオス時系列の一ステップ予測）を用いて、3つの系統のリザーバ・アーキテクチャをベンチマークした。

1. ネットワーク・アーキテクチャ:

   • コネクトーム: 拡散スペクトルイメージングに基づくヒトの構造的コネクトーム（66の皮質領域）に由来する。異なるサイズ（$N=66$から$N=400$）間での比較のため、著者らはモジュール構造とハブの優位性を維持しながら、粗粒度なコネクトームをニューロンレベルのネットワークへとマッピングする拡張およびスパース化手順（bio2artのアプローチに着想を得たもの）を採用した。
   • スモールワールド: リング格子から出発し、確率$p$でエッジを再配線するWatts–Strogatzモデルを用いて合成された。
   • ランダム: ノードペア間で接続を一様にランダムに配置することで生成された。
   • コントロール: すべてのリザーバはバイナリ（二値）かつ対称的であり、ノード数（$N$）と平均次数（$\langle k \rangle = 8$）が一致するように設計された。これにより、性能の差が接続数ではなく、接続の配置を反映するようにした。

2. 実験プロトコル:

   • タスク: ヒト活動分類（UCI HARデータセット）およびMackey–Glass予測（$\tau=17$）。
   • パラメータ: 再帰的重みは固定されており、リッジ回帰を通じて線形出力層のみが学習された。スペクトル半径とリーキングレートはタスクごとに固定された（分類：$\rho=0.9, a=0.2$；予測：$\rho=1.2, a=0.6$）。
   • 分析: スモールワールド・ファミリーについては、再配線確率$p$を$\{0.01, 0.1, 0.3, 0.5, 0.7\}$の範囲で変化させた。性能は、ネットワーク指標である平均クラスタリング係数（$C$）、次数の不均一性（次数分布の標準偏差）、および特性経路長（$L$）と相関させた。

主要な結果

1. 性能の階層: 分類および予測の両タスクにおいて、Watts–Strogatzのスモールワールド・リザーバが、ヒトのコネクトームおよびランダムネットワークを一貫して上回った。

   • 分類 ($N=400$): スモールワールドは69.24%の精度を達成し、コネクトーム（67.29%）およびランダム（66.28%）を上回った。
   • 予測 ($N=400$): スモールワールドは平均二乗誤差（MSE）$4.96 \times 10^{-8}$を達成し、これはコネクトーム（$1.57 \times 10^{-7}$）およびランダムネットワーク（$1.64 \times 10^{-7}$）の約3.2倍低い値であった。
   • 特筆すべきは、予測タスクにおいてコネクトームはランダムネットワークと統計的に区別がつかない性能であり、ランダムな配線に対して何の優位性も提供できなかった点である。

2. 最適な再配線: 性能は両タスクにおいて、再配線確率 $p = 0.1$ でピークに達した。スモールワールドの優位性は、最も不利なケース（$p=0.7$）を含むすべてのテストされた$p$値において持続しており、この結果が特定のパラメータ調整によるアーティファクトではないことを示している。

3. 支配的な構造特性:

   • クラスタリングと均質性: 性能は高いクラスタリングおよび低い次数の不均一性と強く相関した（ピアソンの相関係数は0.88から0.94）。
   • 経路長: 性能と特性経路長との間に有意な相関は見られなかった。
   • コネクトームの劣位性: ヒトのコネクトームは、低いクラスタリング（スモールワールドの最適値よりも1桁低い）および高い次数の不均一性（ハブの存在）という特徴を持つ。これらの特性により、コネクトームはスモールワールド・ネットワークが占める性能の最適値から外れた位置にある。

意義および主張
本論文は、検討されたタスクにおいては、リザーバの計算能力は生物学的な起源ではなく、主にジェネリックなネットワーク統計量、具体的にはクラスタリングと次数の均質性によって支配されると結論付けている。

• メカニズム: 著者らは、次数の不均一性（ハブ）が性能を低下させると示唆している。なぜなら、ハブは少数のノードにダイナミクスを集中させ、残りのノードを冗長なもの（ハブのスケールダウンまたは遅延コピー）にしてしまい、リザーバ状態の実効的な次元数を減少させるためである。逆に、高いクラスタリングは局所的な再帰ループを維持し、出力層に対してより長い時間的履歴を提供する。
• 設計への示唆: リザーバ設計において、これらの知見は、生物学的なコネクトームを複製する必要はなく、合成ジェネレータを用いて関連する特性（クラスタリングと均質性）を直接かつ安価に制御できることを示している。
• 神経科学の文脈: 本研究は、コネクトームのトポロジーが（次数の分布を保持するヌルモデルに対しては）有利である可能性があることを明確にしたが（先行研究による）、その優位性は、次数の均質なアーキテクチャと比較した場合、相殺される。著者らは、コネクトーム由来の結合は、特定の生物学的特徴（例：異なる入力ストリームの統合やマルチタスク）を必要とするタスクにおいては依然として有利である可能性があるとし、控えめに述べているが、標準的なメモリおよび分類のベンチマークにおいては、本質的に優れているわけではない。

限界事項
著者らは、本研究が単一のコネクトーム・パーセレーション（66領域）に限定されていること、バイナリネットワークであること（接続強度を破棄していること）、およびクラスタリングと不均一性が共変動する相関分析であることを認めている。また、スペクトル半径とリーキングレートが、アーキテクチャごとにチューニングされたものではなく固定されたものであることも指摘しているが、感度チェックにより、選択された値が最適に近いことが示唆されている。