Physics-inspired transformer quantum states via latent imaginary-time evolution

技術要約：潜在的虚時間発展による物理学に着想を得たトランスフォーマー量子状態

問題提起
強相関量子多体系の基底状態の波動関数を正確に決定することは、依然として大きな課題である。トランスフォーマー構造（TQS）に基づくニューラル量子状態（NQS）は、フラストレートした $J_1$-$J_2$ ハイゼンベルク模型のようなベンチマークにおいて最先端の精度を達成している。しかし、既存のNQSアーキテクチャは、汎用的な機械学習設計を流用した「ブラックボックス」として扱われることが多い。このアプローチは、高い精度を実現するために大幅な過剰パラメータ化に依存することが多く、性能を駆動するメカニズムに関する物理的な洞察を限定的なものにしている。さらに、アーキテクチャの変化と精度の向上を結びつける統一的な原理が欠如しているため、系統的な改良が困難となっている。虚時間発展（ITE）は、基底状態への物理的に透明な経路を提供するが、そのNQSへの統合は、特にフラストレートした系における確率的サンプリング手法に伴う符号問題によって阻まれてきた。

手法：潜在的虚時間発展 (LITE)
著者らは、深層ニューラルネットワークを物理的な冷却プロセスとして再解釈する、**潜在的虚時間発展（Latent Imaginary-Time Evolution: LITE）**というフレームワークを提案する。このスキームでは、NQSアンザッツは以下の3つの論理ブロックを通じて構築される：

1. 潜在エンコーダ ($\hat{E}_\theta$): 離散的な物理配置 $n$ を、潜在トークンからなる初期の潜在状態 $z^{(0)}$ へと写像する。これは、補助場量子モンテカルロ法（AF-QMC）における補助場に類似した補助自由度を導入するものであるが、変分モンテカルロ（VMC）の枠組み内でエンドツーエンドで最適化されるため、符号問題を回避できる。
2. LITE演算子 ($\hat{U}_\theta(\beta)$): 学習可能な有効ハミルトニアン $\hat{H}_\theta$ を介して、潜在状態を全虚時間 $\beta$ にわたって発展させる。発展は $z(\beta) = e^{-\beta \hat{H}_\theta} z^{(0)}$ として定義される。
3. 波動関数デコーダ ($\hat{D}_\theta$): 発展した潜在状態 $z(\beta)$ を、波動関数の対数振幅 $\log \Psi_\theta(n)$ へと写像する。

標準的なTQSの再解釈
本論文は、既存のトランスフォーマーベースのNQS（TQS）をLITEの観点から分析している。マルチヘッド・アテンション（MHA）とフィードフォワードネットワーク（FFN）のサブレイヤーで構成される標準的なTQSレイヤーは、短時間の虚時間プロパゲーターの1次リー・トロッター分解に対応することを特定している。

• MHAサブレイヤーは、非局所的な相互作用項 ($\hat{K}_\theta$) として機能する。
• FFNサブレイヤーは、局所的（オンサイト）な項 ($\hat{V}_\theta$) として機能する。
• 決定的な点として、標準的なTQSは各レイヤーに対して異なる重みを用いる。これは、有効ハミルトニアンが潜在的な虚時間とともに変化すること（$\hat{H}^{(\ell)}_\theta \neq \hat{H}^{(\ell')}_\theta$）を意味している。著者らは、この変化は物理的に冗長な自由度であり、基底状態への冷却プロセスは単一の、時間的に不変なハミルトニアンによって支配されるべきであるため、大幅な過剰パラメータ化を招いていると主張している。

提案手法：物理学に着想を得たトランスフォーマー量子状態 (PITQS)
これらの限界に対処するため、著者らは**物理学に着想を得たトランスフォーマー量子状態（Physics-Inspired Transformer Quantum States: PITQS）**を導入する。これは、静的な有効ハミルトニアンを強制し、パラメータ数を増やすことなく、高次の分解を用いることで伝搬精度を向上させるものである。

• 重みの共有: PITQSは、重みを共有することにより、すべてのレイヤーに単一の有効ハミルトニアン $\hat{H}_\theta = -(\hat{V}_\theta + \hat{K}_\theta)$ を強制する。これにより、物理的に冗長なレイヤーごとの変動を除去し、パラメータ数をネットワークの深さ $L$ に比例した係数で削減する。
• トロッター・鈴木分解: 標準的なTQSで使用される1次のリー・トロッター・スキームの代わりに、PITQSはプロパゲーター $e^{-\Delta\tau \hat{H}_\theta}$ を近似するために、系統的に高次の分解（例：2次のStrang、4次のSuzuki、および4次のBlanes–Moan）を実装する。これにより、変分パラメータの予算を一定に保ったまま、潜在的な虚時間伝搬の精度を向上させる。

主な結果
本フレームワークは、フラストレートした $J_1$-$J_2$ ハイゼンベルク模型（$10 \times 10$ 正方格子、$J_2/J_1 = 0.5$）を用いて検証された。

• パラメータ効率: PITQSは、大幅に少ない変分パラメータを用いながら、標準的なTQSと同等またはそれ以上のエネルギーを達成した。例えば、全虚時間 $\beta=2.0$ において、44,890個のパラメータを持つPITQSは、155,620個のパラメータを持つ標準的なTQSを上回った。
• 精度と深さの関係: 標準的なTQSでは、虚時間 $\beta$（およびそれに伴う深さ $L$）を増加させると、パラメータ数が線形に増加したが、精度に系統的な改善は見られなかった。対照的に、固定されたパラメータ数を持つPITQSは、$\beta$ が増加するにつれてより低いエネルギーを達成した。これは、有効ハミルトニアンの構造が表現力の主要な源であることを示唆している。
• 分解の次数: 固定されたパラメータ数において、高次のトロッター・鈴木分解（Strang、Suzuki、Blanes–Moan）は、1次のリー・トロッター・スキームよりも一般に精度を向上させた。しかし、著者らはトレードオフについても指摘している。すなわち、高次のスキームはトロッター誤差を減少させる一方で、大きな $\beta$ においては最適化の不安定性と計算コストの増大を招いた。
• スケーラビリティ: より大規模なPITQSモデル（Strangスキーム、$N_p = 143,010$）は、同程度のサイズ（$N_p = 155,620$）の標準的なTQSを上回り、エネルギー $E \approx -0.49741$ を達成した。これは、文献で報告されている非常に大規模なTQS（$N_p \approx 995,000$）に匹敵する。
• フェルミオン系: 本手法はフェルミオン系（ハバード模型）にも拡張され、PITQSは再び、大幅に少ないパラメータでTQSと同等の精度を実現した。これは、本手法がスピン系以外にも適用可能であることを示している。

意義と主張
深層ネットワークの構造を潜在的な冷却プロセスとして再解釈することで、より物理に基づいた、系統的かつコンパクトなNQS設計が可能になるということを本論文は主張している。ディープラーニングの「ブラックボックス」的な表現力と、物理的に透明な構成との間の溝を埋めることで、著者らは以下のことを実証した：

1. TQSの「ブラックボックス」的な性質は、レイヤーを潜在的な虚時間プロパゲーターの近似と見なすことで、解明できる。
2. 標準的なTQSにおけるレイヤーごとの変動は、重み共有によって排除可能な、冗長な過剰パラメータ化である。
3. NQSのアーキテクチャにおける系統的な改善は、単なる経験的なヒューリスティックやパラメータ数の拡大に頼るのではなく、物理的原理（静的なハミルトニアン、高次分解）を適用することによって達成できる。

本研究は、純粋なパラメータの規模よりも、物理学に着想を得た帰納バイアスこそが、量子多体系シミュレーションにおいて高い精度を達成するための鍵であることを結論付けている。