Approximate Quantum State Preparation Through Proximal Policy Optimization

クォンタム・レゴ・チャレンジ

想像してみてください。あなたは、非常に複雑で精巧なレゴの彫刻を作ろうとしています。ところが、ただブロックを組み立てるのではなく、パーツを一つ追加するたびに、構造全体が動き、回転し、通常の物理法則を無視したような色合いに変化すると想像してください。これが「量子コンピューティング」の世界です。ポケットの中にあるコンピュータが単純なオン/オフのスイッチ（ビット）を使用するのに対し、量子コンピュータは多くの状態に同時に存在できる「量子ビット（qubit）」を使用します。これらのマシンに何か有用なことをさせるためには、科学者たちはまず「量子状態準備（QSP）」というトリッキーなダンスを行わなければなりません。これは「セットアップ」段階だと考えてください。あなたは白紙の状態（すべてゼロ）からスタートし、目的とする特定のパターンを形成するために、量子ビットをねじったり回したりする必要があります。

問題は、量子ビットを追加していくにつれて、それらを配置する方法が爆発的に増加することです。それは、レシピの数が数えられる速度よりも速く増えていく宇宙の中で、完璧なレゴのレシピを見つけようとするようなものです。もしレシピを間違えれば、量子コンピュータは機能しません。長年、人間はこれらのレシピを手書きしようとしてきましたが、それは形を変え続ける迷路を解こうとするようなものでした。ここで「強化学習」が登場します。これは、犬がご褒美をもらうために座ることを学ぶのと似た、試行錯誤を通じて学習する人工知能の一種です。AIは行動を試し、目標に近ければ「報酬」を受け取り、遠ければ「罰」を受けることで、人間の手を借りることなく、徐々に最適な経路を見つけ出していきます。

論文の物語：ロボットに量子回路を組み立てる方法を教える

この論文において、パルマ大学のマルコ・モルダッチとミケーレ・アモーレッティは、このレゴのパズルを解決するための新しい方法を提案しています。彼らは、**近接方策最適化（PPO）**と呼ばれる特定の種類の強化学習を用いて、デジタルな「エージェント」（スマートなロボットの脳）を構築しました。彼らの目標はシンプルですが困難でした。このエージェントに、数学的に可能な限り完璧な結果に近づけつつ、できるだけ少ない「ゲート」（量子におけるレゴブロックに相当するもの）を使用して、特定のターゲット状態を作り出す量子回路を構築させることです。

エージェントはステップ・バイ・ステップで動作します。現在の量子システムの状況を確認し、新しいゲートを一つ追加することを決定します。エージェントが選択できるゲートは、基本的なツールキットのようなものです。3種類の単一量子ビット回転ゲート（単一のブロックを異なる方向に回転させる $R_x$、$R_y$、$R_z$ を想像してください）と、1つの「もつれ（エンタングルメント）」ゲートであるCNOT（2つのブロックを連結して、それらが一体となって動くようにするイメージです）です。エージェントがゲートを追加するたびに、コンピュータは回転の角度を微調整して、結果をターゲットにできるだけ近づけるためのクイックなミニトレーニングセッションを実行します。結果が改善されればエージェントは報酬を得て、結果が悪化したりゲートを使いすぎたりすればペナルティを受けます。

研究者たちは、2量子ビットから5量子ビットまでの範囲の課題に対して、この「ロボット建築家」をテストしました。彼らはエージェントに対し、有名な定義済みのパターン（「ベル状態」、「GHZ」、「W」、「ディッケ状態」など、標準的でよく知られたレゴモデルのようなもの）や、完全にランダムで乱雑なパターンを構築するよう求めました。

結果は、特に小規模なシステムにおいて印象的なものでした。2量子ビットおよび3量子ビットのタスクにおいて、エージェントはしばしば非常に効率的な解を見つけましたが、必ずしも絶対的な理論上の最小値を見つけるわけではありませんでした。例えば、「ベル状態」（単純な2量子ビットの接続）を構築するよう求められた際、エージェントは正確な理論的解（ツールキットに含まれていないアダマールゲートを必要とするもの）を見つけませんでした。代わりに、ターゲットを実現するために回転ゲート（$R_y$）を使用して近似を行いました。ランダムな2量子ビット状態に取り組む際、エージェントは一貫して7つのゲートを使用して解を見つけ出し、これは他の科学者が計算した最小必要数と一致しています。しかし、論文では、エージェントが最適解に収束しないケースがあることも指摘されています。つまり、ゲート自体は特定できても、ペナルティが不十分なために使いすぎてしまうことがあり、後で手動による簡略化が必要になる場合があります。こうした癖はあるものの、エージェントは非常に精密であり、$10^{-14}$ というエラー率を達成できました。これは、結果が完璧なターゲットとほとんど区別がつかないほどであることを意味します。

しかし、パズルが大きくなるにつれて、物語は少し複雑になります。研究者が4量子ビットおよび5量子ビットのシステムを試した際、エージェントは依然として学習はしたものの、常に最短経路を見つけることには苦戦しました。ランダムな4量子ビット状態に対して、エージェントは通常、47から70個のゲート（平均して約63個）を使用して回路を構築しましたが、（手動でのクリーンアップ後の）最適化されたバージョンでは約53個まで減らすことができました。5量子ビットの場合、探索空間があまりにも巨大になったため、エージェントは許可された時間内に仕事を完璧に終えることはできませんでしたが、基礎的なことは学習できることを示しました。

著者らはまた、エージェントが行き詰まったときに役立つ巧妙なトリックを発見しました。「成功バッファ」——エージェントがこれまでに発見した最高の回路10個を保存し、時折それらを用いて再学習を行うメモリバンク——を使用することで、ロボットはより良い解をより速く見つけることができました。また、「報酬」の計算方法を変更すること、具体的には、微細な改善が大きな勝利として感じられるような対数スケールを使用することで、すでに99.999%の精度に達していたとしても、エージェントが学習を継続できることを発見しました。

結局のところ、この論文は、AI主導のアプローチが量子回路を設計するための強力な新しいツールであることを示唆しています。それは単に人間のアイデアを模倣するのではなく、可能性の空間を自律的に探索します。量子ビットの数が増えるにつれて（問題の指数関数的な性質を考えると予想される通り）複雑性の壁に突き当たりますが、このフレームワークは中小規模の量子システムに対して設計プロセスを自動化することに成功し、$10^{-14}$ という低いエラー率を達成しました。著者らは、今後の研究として、トレーニングをさらに高速化し、これらのアイデアをさらに大規模な量子システムでテストすることに焦点を当て、いつの日か、これらのAI建築家が実世界の量子コンピュータに必要な複雑な回路を設計できるようにすることを目指すと述べています。