Connectivity determines the capability of sparse neural network quantum states

技術要約：連結性が疎なニューラルネットワーク量子状態の能力を決定する

問題提起
本研究は、ニューラルネットワークを用いて量子多体系の基底状態を近似するという教師なし学習タスクに対して、ロトリー・チケット仮説（LTH）が適用可能かどうかを調査している。データが疎である一般的な機械学習タスク（画像認識など）とは異なり、量子多体系の波動関数は、通常、多くの桁にわたる振幅を持つ完全に高密度な表現である。著者らは、過剰にパラメータ化されたニューラルネットワークの中から、元の高密度モデルと同等の性能を持つ疎なサブネットワークを見つけ出すという課題に取り組んでいる。具体的には、この文脈における「勝利したチケット（winning ticket）」が、特定の初期重み値（オリジナルのLTHにおけるもの）に依存するのか、それとも疎なサブネットワークの連結構造のみに依存するのかを検証している。

手法
本研究では、疎なマスクを生成するために**重みの巻き戻しを伴う反復的大きさプルーニング（IMP-WR）**を採用している。プロセスは以下の通りである：

1. 事前学習： ランダムに初期化された高密度ニューラルネットワークを学習させる。
2. プルーニング： 最小の振幅を持つ重みを反復的に除去し、残った重みをプルーニングの開始時点の値へと巻き戻す。
3. 孤立学習： 得られた疎なサブネットワーク（「チケット」）に対して、3つの異なる初期化戦略をテストする：
   • $T(\theta_{init}, m_{imp})$：オリジナルのLTHテスト（元の重み ＋ 学習されたマスク）。
   • $T(\theta_{rand}, m_{imp})$：ランダムな重み ＋ 学習されたマスク。
   • $T(\theta_{init}, m_{rand})$：元の重み ＋ ランダムなマスク。

実験には、以下の2つの物理モデルを使用する：

• 横磁場イジング模型（TFIM）： 強磁性相と常磁性相の間の量子相転移を示す2次元系。
• トーリック・コード（TC）： 正確な基底状態解を持つトポロジカル秩序モデル。

テストされるニューラルネットワーク・アーキテクチャには、浅い順伝播型ニューラルネットワーク（FFNN）、浅い畳み込みニューラルネットワーク（CNN）、および残差CNN（ResCNN）が含まれる。学習には、変分エネルギーコスト関数を最小化するために自然勾配降下法（自然勾配法／ストカスティック・リコンフィギュレーション）が用いられる。

主要な貢献

1. 量子状態に対するLTHの再定式化： 著者らは、ニューラルネットワーク量子状態において、「勝利したチケット」は疎な連結構造のみによって定義されることを示している。重みの具体的な初期化は無視できる程度である。つまり、ランダムな初期化から学習された疎なサブネットワーク（$T(\theta_{rand}, m_{imp})$）は、元の初期化から学習されたもの（$T(\theta_{init}, m_{imp})$）と同等の性能を示す。これは、特定の初期パラメータ値が重要となるオリジナルのLTHとは対照的である。
2. 普遍的なスケーリング挙動： 著者らは、異なるネットワークサイズや物理モデル間で持続する、誤差対スパース性の曲線における普遍的なスケーリング領域を特定した。これらの領域には以下が含まれる：
   • 高パラメータ密度における低誤差プラトー（LEP）。
   • **近似冪乗則（APL）**領域。
   • 低パラメータ密度における高誤差プラトー（HEP）。
     これらの領域の境界は、ハミルトニアンの基礎となる物理によって決定される。
3. スパース性誘起相転移： スピンあたりのパラメータ数（$\rho$）を、物理的な場に類似した制御パラメータとして扱うことで、著者らは浅いネットワークにおける一次量子相転移を特定した。この転移は、APLとHEPの境界で発生し、エネルギーの微分の不連続性と、隣接するプルーニング状態間の急激な忠実度（fidelity）の低下を特徴とする。
4. プルーニングによる解釈性： プルーニングのプロセスは、疎なサブネットワークの構造がハミルトニアンの物理を直接的に符号化していることを明らかにしている。トーリック・コードに対しては、プルーニングによって、基底状態のプラケット条件を強制する「奇パリティ・フィルタ」で構成される漸近的に正確な解が発見される。

結果

• TFIMの性能： 疎なネットワーク（元のパラメータの5〜20%）は、高密度モデルと同等の精度を達成する。高誤差プラトーへの転移は、フェーズ（強磁性 vs 常磁性）に応じて異なるスパース性レベルで発生し、これは各フェーズにおける真の基底状態固有ベクトルが持つ固有のスパース性を反映している。
• 相転移のシグネチャ： TFIMの臨界点において、APLからHEPへの転移は、全磁化（$M_z$ および $M_x$）の突然の変化と忠実度の急激な低下によって特徴付けられ、スパース性によって誘起された一次相転移を裏付けている。
• トーリック・コードの解： トーリック・コードに対する単層FFNNのプルーニングは、誤差が重みの大きさに伴って指数関数的に減少する解をもたらす。得られた疎な構造は、正確な基底状態の制約（$\lambda_{Bp}(\sigma) = 1$ を満たす構成の重ね合わせ）を効果的に実装するフィルタで構成されている。
• アーキテクチャの独立性： 連結性によって決定される性能という現象は、FFNN、CNN、ResCNNにわたって保持されるが、ResCNNは局所的なカーネル構造が強力な初期事前分布を提供するため、ランダムなマスクに対しても高い性能を示す。

意義
本論文は、プルーニングがモデル圧縮のための強力なツールであるだけでなく、量子多体系の物理を解釈するためのツールでもあると主張している。ニューラルネットワークの構造と基礎となるハミルトニアンを結びつけることで、著者らは以下のことを示している：

• ニューラルネットワークは、事前のアーキテクチャ設計なしに、複雑な量子問題（トーリック・コードなど）に対する効率的かつ漸近的に正確な解を発見できる。
• プルーニングのダイナミクスは、表現能力（スパース性）によって駆動される相転移を含む、量子相の根本的な性質を明らかにする。
• パフォーマンスが重みの初期化に依存しないことは、ネットワークのトポロジーとそれが表す物理との間に強い内在的な繋がりがあることを示唆しており、精密な初期化の必要性を排除することで、量子ニューラル状態の学習を簡素化できる可能性がある。

著者らは、これらの知見が、パラメータ効率が極めて重要となる時間発展、量子回路シミュレーション、ファインチューニングなどのアプリケーションにおける圧縮モデルの使用を促進する可能性があると結論付けている。