Deep reinforcement learning for near-deterministic preparation of cubic- and quartic-phase gates in photonic quantum computing

本論文は、光子数分解測定のみを用いて量子光学回路を制御する深層強化学習が、連続変数量子計算における普遍性を実現する立方位相状態の準備において96%の成功率を達成し、四乗位相ゲートを直接生成できることを示す。

要約

非常に特殊で複雑なケーキ（「立方位相状態」）を焼こうとしていると想像してください。これは超高度な量子コンピュータを構築する際に不可欠なものです。光ベース（フォトニック）のコンピューティングの世界では、このケーキを作ることは極めて困難であることで知られています。通常、あなたは「幸運な推測」に頼る必要があります：材料を混ぜ、結果を確認し、もし完璧でなければそれを捨てて最初からやり直すのです。これは遅く、非効率です。

この論文は、**深層強化学習（DRL）**によって駆動される「賢いロボットシェフ」を使って、そのケーキを焼く新しい方法を示しています。以下に、著者たちがどのように行ったかを簡単に説明します。

1. 目標：「魔法の」材料

あらゆる問題を解決できる汎用量子コンピュータを作るためには、「立方位相状態」と呼ばれる特別な材料が必要です。これを、単純で予測可能な機械を、強力かつ複雑な機械へと変える「魔法のスパイス」と考えてください。これがなければ、コンピュータは制限されたままです。

2. 古い方法と新しい方法

• 古い方法（古典的/確率的）： 材料が入った箱をランダムに振って、正しい配合が得られることを願うように、ケーキを焼こうとしていると想像してください。間違えたら、そのバッチは廃棄されます。これが、以前の方法が「光子数分解能（PNR）」測定を用いて行っていたことです。それは機能しましたが、ケーキを焼くたびに宝くじに当選しようとしているようなものでした。
• 新しい方法（AI シェフ）： 著者たちは、深層ニューラルネットワーク（一種の AI）をシェフとして訓練しました。このシェフは推測するのではなく、実践を通じて学びます。
  • 設定： 「キッチン」は、ミラー、ビームスプリッター、レーザーのループ（量子光学回路）です。
  • プロセス： AI シェフは、混合物（光）の現在の状態を確認します。そして、「スクイージング」（光を圧縮すること）を少し加えるか、「変位」（光をシフトすること）を少し加えるか、あるいは混合物をビームスプリッターに通すかを決定します。
  • フィードバック： 各ステップの後、シェフは結果を確認します。ケーキが完璧なレシピに近づけば、AI は「報酬」を得ます。軌道から外れれば、「ペナルティ」を受けます。
  • 学習： 数百万回の試行を通じて、AI は立方位相状態をほぼ毎回作成するための完璧な動作の順序を学びます。

3. 結果：ほぼ決定論的な成功

この論文は、この AI シェフが96% の成功率を達成したと報告しています。

• これは何を意味するか： 古い方法ではバッチの 90% を捨てていたところ、AI は 100 回の試行のうち 96 回でケーキを成功裏に焼き上げます。
• 「リセット」のトリック： AI は巧妙な戦略を学びました。バッチが壊れて修復不可能だと気づくと、壊れたケーキを直すのに時間を浪費するのではなく、すぐに「リセット」ボタン（ミラーを操作して最初から始める）を押します。また、ケーキが完璧になったら材料を加えるのをやめ、過剰に混ぜるのを避けることも学びました。

4. 「4 乗」のボーナス

著者たちはまた、この同じ「キッチン」と「シェフ」を使って、4 乗位相ゲートと呼ばれるさらに複雑なケーキを作れることを示しました。

• 課題： 通常、この複雑なケーキを作るには、29 個の小さな立方ケーキを組み立てる（非常に長い組立ライン）必要があります。
• 発見： 著者たちは、同じ材料を使ったよりシンプルで直接的なレシピを見つけました。この特定のバージョンはまだ少しの幸運（ポストセレクション）に依存していますが、長い組立ラインをスキップして複雑なケーキを直接作れることを証明しています。彼らは、さらに訓練を積めば、AI が最終的にはこれを信頼性高く作れるようになる可能性を提案しています。

5. これが重要な理由（論文によると）

• 効率性： この方法は、以前の提案よりも少ない「スクイージング」（エネルギー）と、より複雑な光子カウントを必要としません。
• 実現可能性： 必要な機器（ミラー、レーザー、光子検出器）は現在の研究所に既に存在しています。必要となる唯一の「非標準的な」ものは、光子を正確に数える能力ですが、それは現在可能になっています。
• 堅牢性： AI は「ノイズ」（機器の不完全さ）に対処することを学びました。検出器の効率が 99%（わずかに「ノイズ」がある）であっても、AI は依然として高品質な結果を生み出しましたが、それを補うために戦略（動作の振動）を調整する必要がありました。

要約： この論文は、コンピュータに試行錯誤学習を用いて量子光回路を「遊ぶ」ことを教えることで、量子コンピューティングにとって最も困難かつ不可欠な材料を、ほぼ完璧な信頼性で生成できることを実証しています。これにより、偶然のゲームが信頼できる製造プロセスへと変換されます。

技術概要

技術的概要：立方位相ゲートおよび四次位相ゲートの準決定論的生成のための深層強化学習

問題提起
連続変数量子コンピューティング（CVQC）は、優れたスケーラビリティとフォールトトレラント性の可能性を提供するが、普遍性を達成するには非ガウス性資源、具体的には立方ハミルトニアン進化へのアクセスが必要である。立方位相ゲート（$\exp(i\gamma Q^3)$）は普遍 CVQC にとって十分であるが、その決定論的生成は困難である。第三階の光学非線形性に依存する従来のアプローチは、弱い光学非線形性により非効率的である。GKP（Gottesman-Kitaev-Preskill）プロトコルなどの光子数分解能（PNR）測定を用いた確率的な手法は、有用なゲートパラメータに到達するために極めて多量の資源（例えば、約 17 dB のスクイージングと約 50 光子の検出）を必要とする。さらに、量子状態生成のための既存の最適化手法は、しばしばポストセレクションに依存しており、これにより成功率が低く、すべての可能な検出パターンにわたる計算コストの高い最適化が必要となる。

手法
著者は、立方位相状態を生成するための量子光学回路を管理するために深層強化学習（DRL）を利用する制御フレームワークを提案する。

• 量子回路: システムは、可変ビームスプリッター、スクイージング操作、および変位操作を含むループ状の光学回路を採用する。ループは切り替え可能なミラーによって終端される。PNR 検出器がループ内の光子数を測定し、その結果がニューラルネットワークへの密度行列入力に条件付けられる。
• 強化学習フレームワーク: 相互作用はマルコフ決定過程（MDP）としてモデル化される。
  • 状態（$S$）: 各タイムステップにおける回路状態のフラット化された密度行列。
  • 行動（$A$）: ビームスプリッターの透過率（$\tau_j$）、スクイージングパラメータ（$r_j$）、および変位大きさ（$\alpha_j$）を制御するベクトル。
  • 報酬（$R$）: 現在の状態と目標立方位相状態との間の忠実度の関数であり、低忠実度およびヒルベルト空間の切断によって引き起こされる非物理的な結果を罰する。
• アルゴリズム: 著者は、アクター・クリティックアーキテクチャ（2 つの深層ニューラルネットワーク）を用いた近位方策最適化（PPO）を使用する。エージェントはポストセレクションに依存することなく最終状態の忠実度を最大化するように訓練され、PNR 測定の固有のランダム性への適応を学習する。
• 訓練パラメータ: シミュレーションは StrawberryFields および StableBaselines3 ライブラリを使用して実行された。エージェントは、ヒルベルト空間の切断を 31 光子として、数百万タイムステップにわたって訓練された。目標状態は、$\gamma = 0.2$ の変位された立方位相状態であった。

主要な結果

1. 準決定論的立方位相生成:

   • 訓練されたエージェントは、$\gamma = 0.2$ の立方位相状態を生成する際、平均成功率**96%**を達成した。
   • これは、10 dB 以下のスクイージング、低い変位、および確率的 GKP 提案で必要とされるものよりも著しく低い PNR 測定という、 modest な資源を用いて達成された。
   • 創発的行動: エージェントは以下を学習した：
     • 高忠実度に達するとビームスプリッターの透過率をゼロ（$\tau_j=0$）に設定し、状態を実質的にロックする。
     • ループをロックした後、補正変位を適用する。
     • 入力状態が収束する可能性が低いと判断された場合、回路を「リセット」（$\tau_j=1$）し、プロセスを効率的に再開する。
   • この手法は、PNR 検出器の効率が 99% の場合でも堅牢であることが証明されたが、損失のあるケースではエージェントが振動的な変位行動を示した。効率 90% では、エージェントは成功する方策を学習できなかった。

2. 直接的四次位相生成:

   • 著者は、ゲートを 29 個の立方位相ゲートに分解する必要性を回避する、四次位相状態（$\exp(i\delta Q^4)$）の直接生成のための量子光学アルゴリズムを特定した。
   • このアルゴリズムは、クラスター状態に対する 2 段階の PNR 検出プロセスを用いて、位相空間の特定の位相において変位されたフォック状態でウィグナー関数を「スタンプ」するものである。
   • 予備結果: ポストセレクションされたシミュレーション（ヒルベルト空間の切断を 60 光子）は、この手法が特定のポストセレクションされたケースで最大 95% の高忠実度で四次位相状態を生成できることを示しており、量子干渉が円形のフォック輪郭を四次状態の特徴的なリップルに変換しうるという直感を裏付けた。

意義と主張
本論文は、この DRL 駆動のアプローチが、普遍 CVQC のための重要な資源である立方位相状態を生成する準決定論的な経路を提供すると主張している。強調された主な利点は以下の通りである：

• 資源効率: この手法は、以前の提案と比較して、はるかに少ないスクイージングと光子数分解能能力を必要とする。
• 実験的実現可能性: 必要な構成要素（スクイージング光、変位、および PNR 測定）は、代替の決定論的手法で必要とされる強い非線形性とは異なり、現在の実験設定で利用可能である。
• スケーラビリティ: ポストセレクションを回避することで、すべての可能な検出パターンを検索することに関連する低い成功率と最適化のボトルネックを回避する。
• 直接的四次ゲート: 本論文は、四次位相ゲートを直接生成するための基礎的なアルゴリズムを確立しており、同様の機械学習拡張が最終的にこのプロセスを準決定論的にする可能性を示唆しているが、これはより大きな計算資源を必要とする進行中の作業である。

著者は、四次位相の拡張は現在確率的であり計算集約的であるが、立方位相状態での実証された成功は、非ガウス性資源を効率的に生成するための複雑な量子光学回路を制御する深層強化学習の可能性を検証したと結論づけている。