Quantum control of solid state qubits via Reinforcement Learning
本論文は、複雑でノイズの多いスピンバス環境下におけるNV核スピンの状態準備およびゲート設計のためのパルスレベル制御を、モデルフリー強化学習が効果的に最適化できることを示すシミュレーションベースの解析を提示しており、報酬の希薄性や観測性の低さといった困難な条件下において、他の最先端のブラックボックス最適化ツールを凌駕するか、あるいはそれらに匹敵する性能を発揮することを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
有用な量子コンピュータの構築に向けた競争の中で、科学者たちは根強い敵に直面している。それは「ノイズ」である。安定した電流に依存する古典的なコンピュータとは異なり、量子マシンは周囲の環境によって容易に乱されてしまう、壊れやすい量子状態を利用している。環境とのわずかな相互作用であっても、量子コンピュータが処理しようとしている情報をかき乱してしまうことがある。これらのマシンを機能させるためには、研究者たちはこれらの繊細な状態を極めて精密に制御する方法、すなわち「量子制御」と呼ばれる手法を習得しなければならない。この課題は、固体デバイスにおいて特に深刻である。そこでは、量子ビット（qubits）が、他の原子やスピンからなるノイズの多い環境の中に埋め込まれており、それらがまるで混沌とした群衆のように、量子ビットを絶えず突き飛ばし、エラーを引き起こすからである。これらのデバイスがセンシングやコンピューティングのための信頼できるツールとなるためには、科学者たちは、このノイズを通り抜け、高い精度で目的のターゲット状態に到達できる制御パルスの設計方法を見出す必要がある。
ウルム大学とドイツ航空宇宙センターの研究チームは、特定の種類の量子システム、すなわちダイヤモンド中の窒素空孔（NV）中心を制御する方法をコンピュータプログラムに学習させることで、この問題に取り組んだ。このシステムは、マイクロ波パルスによって科学者が操作できる「ハンドル」として機能する中心電子スピンと、実際のメモリまたは量子ビットとして機能する近接する核スピンで構成されている。困難な点は、核スピンが孤立しているわけではなく、ダイヤモンド内の他の核スピンの集合体である「スピンバス（spin-bath）」に囲まれており、それが複雑で変動する磁気環境を作り出していることにある。伝統的に、このようなシステムの制御パルスを設計するには、環境の完璧な数学的モデルが必要であるが、それを事前に知ることはしばしば不可能である。代わりに、研究者たちは、エージェントが試行錯誤を通じて学習する人工知能の一種である「強化学習」という手法を用いた。この設定では、エージェントはコントローラーとして振る舞い、電子スピンに対してマイクロ波パルスを送り、間接的に核スピンに働きかけて、量子ゲートの作成や絡み合い状態（エンタングル状態）の準備といった特定のタスクを実行させようとする。エージェントはシステムの完全な量子状態を見ているわけではなく、各試行の最後に、そのパフォーマンスがどの程度であったかを伝える単純な報酬信号のみを受け取る。
研究者たちは、ノイズが時間の経過とともにシステムにどのように影響するかをモデル化する高度な技術を用い、スピンバスの複雑な相互作用を含む非常に現実的な環境の中で、この学習プロセスをシミュレーションした。彼らは、パルスの持続時間と位相の最適なシーケンスを見つけ出すようエージェントを訓練した。目標は、単一の核スピンを反転させて論理ゲートを作成することと、2つの核スピンを絡み合わせて共有された量子状態を作成することの2つである。結果として、エージェタは、ノイズを考慮したシミュレーション環境で訓練さえされていれば、ノイズに囲まれた環境下でもシステムを制御することを学習できることが示された。決定的なことに、エージェントは、他の標準的な最適化手法で見られるものとは異なる戦略を発見した。例えば、ノイズに対抗するために、エージェントはより強い外部磁場とより短いパルスシーケンスを使用することを学習した。これは、周囲のスピンによる混沌とした突き飛ばしに対して、システムを実質的に「硬化」させる効果がある。このアプローチにより、エージェントは、マイクロ波パルスの強度や原子の正確な位置などの物理的条件がわずかに変化しても、堅牢性を維持できる解を見つけ出すことができた。
これらの知見を将来的に実際のハードウェアで使用できるようにするため、研究者たちは、不確実性に適応するエージェントの能力をテストした。彼らは「ドメインランダム化（domain randomization）」と呼ばれる手法を採用した。これは、主要な物理パラメータが絶えず変化するシミュレーションの世界でエージェントを訓練する手法である。これにより、エージェントは単一の完璧な解を暗記するのではなく、柔軟な戦略を学習することを強制された。その後、研究者がこれらの訓練されたエージェントを、少し異なる新しい環境でテストしたところ、エージェントは高いパフォーマンスを維持することができた。さらに、彼らは、エージェントが、実験室で実際に利用可能なデータである単純な「シングルショット測定」のみを用いて、現実世界に近いシステム上で「微調整（ファインチューニング）」できることを実証した。これは、エージェントがシミュレーションで学んだ一般的な戦略から出発し、ノイズの完全なモデルを必要とせずに、特定の物理デバイス特有の癖に迅速に適応できることを意味している。
この研究ではまた、ベイズ最適化や進化戦略といった、最適化に使用される他の強力な数学的ツールとの比較も行われた。これらの伝統的な手法は、理想的な設定では優れた解を見つけることができるが、スピンバスという複雑でノザイな現実には大きく苦戦した。対照的に、強化学習エージェントは、物理システムの不完全性に対してより堅牢で、一貫して高いフィデリティ（忠実度）を持つ解を見出した。2つの核スピン間の絡み合い状態の作成を含む特定のテストでは、エージェントは90パーセントを超えるフィデリティを達成したが、他の手法は大きく及ばなかった。研究者たちは、これらのより長く複雑なタスクにおいて、エージェントがノイズバス内の高次の相互作用を考慮する必要があることを見出した。これは、より単純なモデルが見落としがちな詳細レベルである。複雑な景観を巧みにナビゲートすることで、エージェントは、人間が設計したシーケンスや他のアルゴリズムが見逃してしまう可能性のある、斬新な制御プロトコルを発見できることを証明した。
結局のところ、この研究は、現在の技術におけるノイズの多い時代において、実際の量子デバイスを制御するためのブループリント（設計図）を提供するものである。これは、現実的なシミュレーションと、疎で不完全な情報を扱うことができる学習アルゴリズムを組み合わせることで、高性能かつ適応性の高い制御戦略を開発できることを示している。ノイズのあるシミュレーションでエージェントを訓練し、それを単純な測定を用いて実際のデバイスに微調整できる能力は、信頼性の高い量子センサーや量子コンピュータを構築するための実用的な道筋を示唆している。研究者たちは、これらの結果は現在シミュレーションに基づいているものの、使用された手法は実際の実験で利用可能な限られたデータでも機能するように設計されていることを強調している。このアプローチは、固体量子システムに固有のノイズを制御し、将来の量子技術の設計における大きな障害を、管理可能な要素へと変えるための有望な方法を提供している。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。