Expressibility of neural quantum states: a Walsh-complexity perspective

この論文は、エンタングルメントとは独立した新たな指標である「ワルシュ複雑性」を導入し、短距離エンタングルメントを持つ単純な量子状態であっても、多項式活性化関数を用いた浅い加法的ニューラル量子状態では表現できず、深さの増加が表現能力の向上に不可欠であることを示しています。

要約

この論文は、**「人工知能（AI）が量子力学の複雑な世界をどれだけ上手にシミュレーションできるか」**という問題を、新しい視点から解き明かしたものです。

専門用語を抜きにして、日常の比喩を使って説明しましょう。

1. 背景：AI と量子の「翻訳」問題

まず、**「ニューラル量子状態（NQS）」**というものを想像してください。
これは、AI が量子の世界（原子や電子の集まり）の状態を表現するために使う「万能な辞書」のようなものです。AI はこの辞書を使って、複雑な量子の振る舞いを学ぼうとします。

しかし、ここには大きな疑問があります。
「どんなに賢い AI でも、すべての量子状態を短い言葉（少ないパラメータ）で説明できるわけではないのではないか？」
実は、AI の構造（アーキテクチャ）によっては、ある特定の複雑な状態を表現するには、無限に近いほどの辞書が必要になってしまうことがあります。

2. 新しいものさし：「ワルシュ・コンプレクシティ（Walsh Complexity）」

これまでの研究では、「エンタングルメント（量子もつれ）」という現象の強さで、AI が表現できるかどうかを測ろうとしていました。
しかし、この論文の著者は**「それは不十分だ」**と言います。

彼らが提案した新しいものさしが**「ワルシュ・コンプレクシティ」です。
これを理解するための比喩は「パズル」**です。

• 量子状態 = 巨大なパズルの完成図。
• AI = そのパズルを再現しようとする職人。
• ワルシュ・コンプレクシティ = 「パズルの完成図が、どのくらいバラバラに散らばっているか」という指標。

通常、単純なパズル（例えば、空の青い部分だけ）は、パズルのピースが特定の場所に集中しています。しかし、**「ワルシュ・コンプレクシティが高い」状態とは、「パズルの完成図が、全体的に均等に、そしてランダムに散らばっている状態」**を指します。
AI がこの「均等に散らばったパズル」を再現しようとするとき、非常に多くのピース（計算資源）が必要になるのです。

3. 驚きの発見：「単純な見た目」は「複雑な中身」の罠

この論文で最も面白いのは、**「見た目には単純なのに、実は AI にとって地獄のような状態」**を発見したことです。

• 例え話：
  2 つのブロックがくっついているだけの「単純な双子（ディマー）」のような状態を考えます。
  • 物理的な見方： 2 つのブロックが近接しているだけなので、とても単純で、AI にとっては簡単に見えるはずです。
  • 新しいものさし（ワルシュ）で見ると： この状態は、パズルのピースが全宇宙に均等に散らばっているような「極度の複雑さ」を持っています。

つまり、**「物理的には単純でも、AI がそれを『足し算』だけで表現しようとするなら、それは不可能に近い」**というのです。

4. AI の「深さ」が鍵になる

では、どうすればこの「散らばったパズル」を再現できるのでしょうか？
著者たちは、AI の**「層の深さ（Depth）」**が重要だと指摘しました。

• 浅い AI（浅い層）：
  単純な足し算や掛け算しかできない浅い AI は、この「散らばったパズル」を再現できません。どんなに頑張っても、パズルのピースが足りません。
• 深い AI（深い層）：
  しかし、AI を**「深く」**（何層も重ねる）すると、状況が変わります。
  • 多項式（Polynomial）を使う場合： 深さを「対数（log）」レベルまで増やすと、ようやくパズルが完成します。
  • 活性化関数（Tanh など）を使う場合： 特定の深さ（ここでは 3 層）を超えると、AI が突然「スイッチ」を切り替えるように、パズルを完璧に再現できるようになります。

これは、**「AI が浅い間は『足し算』で考えているが、深くなると『論理判断（スイッチ）』ができるようになり、複雑なパズルを解けるようになる」**という現象です。

5. 結論：なぜ AI は「魔法」に見えるのか

この論文のメッセージは以下の通りです。

1. 表現力には限界がある： AI が「足し算」だけで構成されている場合、ある種の複雑な量子状態（パズルが均等に散らばっている状態）は、浅い層では絶対に表現できません。
2. 深さは必須の資源： この壁を越えるためには、AI を「深く」するしかありません。
3. 限界を超えると「魔法」に見える： しかし、AI が限界を超えて（活性化関数が飽和して）「論理判断」を始めると、途端に何でもできるように見えます。これは、AI が「単純な足し算」から「複雑な論理回路」へと進化し、本来なら解けないはずの問題を、あたかも魔法のように解いてしまうからです。

まとめると：
この論文は、AI が量子の世界を表現する能力を測る**「新しいものさし（ワルシュ・コンプレクシティ）」を発明し、「AI が単純な状態でも表現に苦しむ理由」と、「AI が突然劇的に賢くなる瞬間（深さの閾値）」**を明らかにしました。

これは、AI を開発する人にとって、「ただ深くすればいいのではなく、どの深さでどんな能力が生まれるのか」を理解するための重要な地図となるでしょう。

技術概要

論文要約：Neural Quantum States の表現力 - ウォルシュ複雑性の視点

本論文は、現代の**加法的アーキテクチャ（additive architectures）を持つニューラル量子状態（Neural Quantum States: NQS）が、どのような多体系状態を効率的に表現できるかという問題に焦点を当てています。特に、エンタングルメント（絡み合い）とは独立した新しい指標である「ウォルシュ複雑性（Walsh complexity）」**を導入し、加法的 NQS の表現力に対する理論的な限界と、活性化関数の飽和がもたらす急激な変化を明らかにしています。

以下に、問題設定、手法、主要な貢献、結果、そして意義について詳細にまとめます。

---

1. 問題設定 (Problem)

ニューラル量子状態は多体系物理学における強力な変分波動関数ですが、現代の加法的モデル（フィードフォワードネットワークやトランスフォーマーなど）が、多粒子状態をどの程度効率的に表現できるかについては、定量的な理論が不完全なままです。

• 既存の知見: 乗法的モデル（RBM やテンソルネットワーク）は、特定の安定化状態やグラフ状態を多項式パラメータで正確に記述できることが知られています。
• 課題: 加法的モデルでは、実空間のエンタングルメントが表現力の良い代理指標にならないことが示されています（浅いネットワークでも体積則エンタングルメントを支持できるため）。したがって、エンタングルメントとは異なる視点から、加法的 NQS の表現限界を定式化する必要があります。

2. 手法と理論的枠組み (Methodology)

著者は、計算基底（Z 基底）における波動関数の係数をブール関数とみなし、**ウォルシュ・ハダマード基底（Walsh-Hadamard basis）**で解析するアプローチを採用しました。

• ウォルシュ複雑性の定義:
  波動関数 $\psi(\sigma)$ を $f(\sigma) = 2^{N/2}\psi(\sigma)$ と定義し、そのウォルシュ係数 $\hat{f}(S)$ の絶対値の和を「ウォルシュ複雑性」として定義します。
  $$\|f\|_W \equiv \sum_{S \subseteq [N]} |\hat{f}(S)|$$
  これは、状態が共役基底（X 基底）のパリティパターンにどれだけ広く分布しているかを測定する指標であり、Rényi-1/2 エントロピーの指数関数的形式と解釈できます。

• 近似の必要条件:
  目標状態 $f$ と近似関数 $g$ の重なり（オーバーラップ）は、$|\langle f, g \rangle| \leq \|\hat{f}\|_\infty \|g\|_W$ で抑えられます。つまり、目標状態のウォルシュスペクトルが平坦で最大値を持つ場合（$\|f\|_W \approx 2^{N/2}$）、近似関数 $g$ も同様に指数関数的に大きなウォルシュ複雑性を持つ必要があります。

• 加法的ネットワークの解析:
  加法的フィードフォワードネットワークの出力 $g$ が生成できる最大ウォルシュ複雑性を、活性化関数の**絶対タ일러主要項（absolute Taylor majorant）**を用いて評価する定理を導出しました。

3. 主要な貢献と結果 (Key Contributions & Results)

A. 「穏やかな（Tame）」領域における表現限界の証明

活性化関数が多項式（次数 $p$）であり、パラメータが $N$ に対して亜指数関数的にスケールする「穏やかな領域」において、定数深さの加法的ネットワークは指数関数的な複雑性を生成できないことを証明しました。

• 定理: 次数 $p$ の多項式活性化関数を用い、パラメータが $K=\text{poly}(N)$ かつ深さ $D \leq (1-\epsilon)\log_p N$ である場合、ネットワークのウォルシュ複雑性は $\|g\|_W = \exp(o(N))$ となります。
• 帰結: ウォルシュスペクトルが完全に平坦な状態（例：後述のディマー化状態）を近似するには、重なりが指数関数的に小さくなるため、この領域では効率的な近似は不可能です。

B. 対照的な例：ディマー化された「ベンチマーク」状態

著者は、**「ディマー化された状態（dimerized state）」**を構築し、これを解析的に扱いやすいターゲットとして提示しました。

• 状態の性質: 一層の非連結な制御 Z ゲート（CZ）で準備される状態です。
• 特徴:
  • エンタングルメントは短距離のみ（ディマー間のみ）。
  • 正確な MPS 記述が可能（結合次元 2）。
  • しかし、係数パターンは二次のベン関数（bent function）であり、ウォルシュ複雑性は最大値（$2^{N/2}$）に達します。
• 意義: この状態は、エンタングルメントやテンソルネットワークの複雑さでは「単純」に見えますが、加法的 NQS にとっては「最も難しい（Walsh-hard）」ターゲットであることを示しました。

C. 数値実験と深さの閾値効果

システムサイズ $N$ とネットワーク深さ $D$ を変えて、ディマー状態への完全な適合（full-cube fitting）を数値的に検証しました（隠れ層幅 $w=2N$）。

• 多項式活性化の場合:
  成功する深さは $D \approx \log N$ のスケールに達したときのみ現れます。これは理論的な予測（対数スケールでの深さが必要）と一致しています。
• 有界活性化（tanh）の場合:
  活性化関数が飽和すると、ネットワークは閾値ゲート（threshold gates）として振る舞い始めます。
  • $D=2$ では大きな $N$ に対して失敗します。
  • $D=3$ で急激な転移が発生し、正確な適合が可能になります。
  • これは、IP2（内積 mod 2）関数を計算する閾値回路（TC0）の深さ 3 での構成可能性と一致しており、回路複雑性のレジームの変化を反映しています。

4. 考察と意義 (Significance)

1. エンタングルメントに代わる新たな指標:
   ウォルシュ複雑性は、幾何学的局所性を持たないアーキテクチャにおいて、エンタングルメントとは独立した「表現力の軸」を提供します。局所的に単純な状態でも、加法的ネットワークにとっては最大級の複雑さを持つ場合があることを示しました。

2. 加法的 vs 乗法的モデルの明確化:

   • 乗法的モデル（RBM など）: 複雑性は因子の積を通じて蓄積され（$\|fg\|_W \leq \|f\|_W \|g\|_W$）、対数深さで多くの状態を表現できます。
   • 加法的モデル: 「穏やかな領域」では複雑性の生成に厳格な上限があり、深いネットワークが必要です。しかし、活性化関数が飽和して閾値計算（TC0）の領域に入ると、この単純な上限は破られ、実用的には非常に表現力が高まります。

3. 理論的障壁と実用性のギャップ:
   飽和領域（閾値計算）では、明示的な超多項式な下限証明が極めて困難であることが知られています（自然証明の障壁や擬似ランダム性の存在）。これは、現代の NQS が「穏やかな領域」を超えた後に、なぜ驚くほど表現力豊かに見えるのかを説明します。つまり、「表現可能性（expressibility）」と「学習可能性（trainability）」は区別されるべきであり、ウォルシュ複雑性の観点からは、深さが本質的なリソースとなることが明確になりました。

結論

本論文は、ウォルシュ複雑性という新しい指標を導入することで、加法的ニューラル量子状態の表現力に関する理論的基盤を確立しました。特に、エンタングルメントが小さくてもウォルシュ複雑性が最大となる状態が存在し、それを表現するには対数スケールの深さ（多項式活性化の場合）または閾値計算への移行（飽和活性化の場合）が必要であることを示しました。これは、量子多体系の学習におけるネットワーク設計（深さの選択や活性化関数の選定）に対する重要な指針となります。