Equivariant Reinforcement Learning for Clifford Quantum Circuit Synthesis

本論文は、全結合型デバイスに対して最適または準最適のクリフォード量子回路を効率的に合成し、Qiskit の合成器などの既存ツールを上回る性能を発揮するとともに、6 量子ビットから 30 量子ビットまで成功裡に拡張可能な、等価性を持ちサイズ非依存な強化学習エージェントを導入する。

要約

巨大で複雑なパズルを解こうとしていると想像してください。量子コンピューティングの世界において、このパズルは「クリフォード回路」と呼ばれます。量子回路を量子コンピュータのためのレシピと考えると、それは量子コンピュータがタスクを実行するために、量子ビットと呼ばれる微小な粒子をどのように操作するかを指示する、特定の命令（ゲート）のシーケンスです。

しかし、同じケーキを作るためにレシピが千通りも書けるのと同様に、同じ仕事を行う量子回路を書く方法も、しばしば数百万通り存在します。問題なのは、これらの「レシピ」の中には、高価すぎる材料を使いすぎた、非常に長く、散らかったものがあることです。量子コンピューティングにおいて、最も高価でエラーを起こしやすい材料は、「2 量子ビットゲート」（2 つの粒子を相互作用させるゲート）です。この論文の目的は、可能な限り最短で最もきれいなレシピを見つけることです。

課題：最短経路の発見

著者たちは、複雑な量子命令をその最も単純な形に戻すという、特定の種類のパズルを解こうとしています。

従来、これを行う方法は 2 つありました：

1. 速いが散らかった方法：非常に素早く機能する古い数学的なショートカットがありますが、しばしば必要以上に長い回路を残してしまいます（ナッツを割るために金槌を使うようなものです）。
2. 完璧だが遅い方法：絶対的に最短で最も完璧な回路を見つける方法がありますが、計算資源と時間を大量に消費するため、極めて小さなパズル以外には実用になりません。

著者たちは、「ちょうど良い」解決策を見つけたいと考えました。実用的であるために十分な速さを持ちつつ、ほぼ完璧なレシピを見つけるのに十分な賢さを持つものです。

解決策：賢い AI エージェント

チームはこの問題をビデオゲームのように扱いました。彼らは、量子回路を単純化することを目的としたゲームをプレイする学習を行う「AI エージェント」（コンピュータプログラム）を構築しました。

• ゲーム盤：「盤」は、量子回路の現在の状態を表す巨大な数値のグリッド（シンプレクティック行列）です。
• 目標：エージェントは、この散らかった数値のグリッドを、空白の空のグリッド（「単位行列」）に変えることを目指します。
• 手：エージェントは、スイッチを切り替えることや 2 つの点を接続することなどの単純な量子ゲートを適用することで手を打つことができます。
• 報酬：エージェントが手を打つたびに、ポイントを獲得します。高価な 2 量子ビットゲートを使用するとポイントが減り、盤を正常にクリアすると大幅なボーナスが与えられます。

AI は試行錯誤を通じて学習し、最良の戦略を見つけるために数百万回のゲームをプレイします。

秘密の武器：「対称性」と「サイズ非依存性」

この論文の真の魔法は、AI の脳（ニューラルネットワーク）をどのように構築したかにあります。

1. ゲームのルールを尊重する（等変性）
6 個のピースを持つパズルがあると想像してください。ピースのラベルを交換する（ピース「A」を「B」、その逆も同様）場合、パズル自体は同じままです。必要なのは、それに応じて手を交換することだけです。
著者たちは、このルールを AI が自然に理解するように設計しました。量子ビットの名前を変更すると、AI が自動的に戦略を調整する方法を構築しました。これは「等変性」と呼ばれます。まるで子供に、「スポット」と呼ぶ代わりに「フィド」と呼んでも、それはまだ「犬」であることを教えるようなものです。これにより、名前が変わるたびにルールを再学習する必要がなくなるため、AI はより賢く、トレーニングも速くなります。

2. すべてのサイズに対応する 1 つの脳（サイズ非依存）
通常、6 個ピースのパズルを解くように AI を訓練した場合、10 個ピースのパズルを解くためには、全く新しい AI を構築する必要があります。
このチームは、「サイズ非依存」の AI を構築しました。これは万能翻訳機やブロックのセットのようなものです。彼らは 6 量子ビット回路で AI を訓練した後、コードを 1 行も変更せず、最初から再訓練することなく、10 量子ビット、20 量子ビット、さらには30 量子ビットの回路を試すようにしました。AI は自らスケーリングする方法を学びました。

結果：専門家たちを凌駕

チームは、既知の完璧な答えが存在する最も困難なベンチマーク（6 量子ビット回路）で、彼らの AI をテストしました。

• 速度：AI はミリ秒単位でほぼ完璧な解決策を見つけました。
• 精度：数学的に完璧な解決策を**99.2%**のケースで見つけました。
• 比較：主要な量子コンピューティングライブラリである Qiskit からの現在の最良のソフトウェアツールを大幅に凌駕し、はるかに少ない高価な 2 量子ビットゲートを使用しました。

さらに驚くべきことに、以前に一度も見たことがないより大きな回路（最大 30 量子ビット）でテストした際にも、標準的なツールを上回り、より短く、きれいな回路を生成しました。

まとめ

簡単に言えば、著者たちは量子レシピのマスター編集者として機能する賢く適応性の高い AIを作成しました。それは、散らかり複雑な量子命令を見て、即座に可能な限り最短で最も効率的なバージョンに書き換えることができます。AI に問題の根本的な「対称性」を理解させることで、彼らは高速に機能し、よく機能し、再構築を必要とせずにあらゆるサイズのパズルを処理できるツールを創り出しました。これにより、量子コンピュータはより効率的になり、エラーに強くなります。

技術概要

技術的サマリー：クリフォード量子回路合成のための等変強化学習

問題定義

本論文は、すべての量子ビット間が接続可能な量子デバイスにおけるクリフォード回路合成の問題に取り組みます。一般的な量子回路合成は非現実的（intractable）ですが、クリフォード回路（アダマール、フェーズ、制御-Z ゲートによって生成される）は、安定化子表（stabilizer tableau）、すなわち $2n \times 2n$ の二進対称行列（symplectic matrices）を介してコンパクトに表現できます。

中核的なタスクは、対象となるクリフォード演算（対称行列 $M_{target}$ で表現される）を、素の生成子（$H_i, S_i, CZ_{i,j}$）の列に分解することであり、その際、二量子ビットエンタングルメントゲート（特に $CZ$）の総数を最小化します。物理的なハードウェアでは、単一量子ビットゲートに比べて二量子ビットゲートの方がはるかにエラーを起こしやすくコストが高いため、これは極めて重要です。

既存の手法は以下のトレードオフに直面しています：

1. 多項式時間アルゴリズム（例：Aaronson-Gottesman）は高速ですが、しばしば必要以上に多くのエンタングルメントゲートを含む回路を生成します。
2. 厳密合成と検索集約的な最適化（例：テンプレートベースまたは SAT ベースの手法）は準最適の回路を生成しますが、計算コストが指数関数的に増大し、適用可能な量子ビット数（通常 $\le 6$ 量子ビット）を制限しています。

手法

著者らは、速度と解の質の間のギャップを埋める再利用可能なニューラルヒューリスティックを学習する**強化学習（RL）**アプローチを提案します。

1. 逆還元定式化

$M_{target} = G_1 \dots G_k$ となる列 $G_1 \dots G_k$ を探す代わりに、問題は「逆還元」タスクとして再定式化されます。クリフォード生成子は対合（$G^{-1} = G$）であるため、エージェントは以下の条件を満たす列を探します：
$$M_{target} G_1 \dots G_k = I_{2n}$$
単位行列に到達すると、解はゲートの逆順となります。この定式化により、すべてのエピソードで一貫した目標状態（$I_{2n}$）を設けることが可能になります。

2. カリキュラム学習

大規模な状態空間における報酬の希薄性に対処するため、著者らは単位行列からのランダムウォークに基づくカリキュラムを採用します。

• エピソードは短いランダムウォーク（容易なターゲット）から始まり、エージェントの成功率が向上するにつれてウォークの長さ（難易度）を段階的に増加させます。
• これにより、エージェントは複雑で深い回路に取り組む前に、対称群の構造を学習することができます。

3. 等変ニューラルネットワークアーキテクチャ

中心的な貢献は、量子ビットのラベル付け変換に対して等変であり、かつサイズに依存しないように設計された新規ニューラルネットワークアーキテクチャです。

• 対称性: この問題は量子ビットの置換に対して不変です。入力表の量子ビットをラベル付けし直すことは、最適な動作列の対応するラベル付けし直しに対応します。
• アーキテクチャ: ネットワークは表を量子ビットのグラフとして扱います。
  • 埋め込み: $2n \times 2n$ の表は、量子ビットペア間の相互作用を表す $n \times n$ のエッジ特徴のグリッドに再整形されます。
  • メッセージパッシング: グラフニューラルネットワーク（GNN）が量子ビットトークン間でメッセージパッシングを実行し、エッジ特徴と局所的なランクベースの計数特徴に基づいて表現を更新します。
  • 読み出し: ネットワークは、単一量子ビットゲート（$H, S$）と二量子ビットゲート（$CZ_{i,j}$）の動作ロジットを等変な方法で出力し、入力量子ビットを置換すると出力動作確率も対応して置換されることを保証します。
• サイズ非依存性: 学習された重みは、量子ビット数 $n$ に関係なく適用されます。これにより、訓練中に観測されたものよりも大きな量子ビット数へのゼロショット転移が可能になります。

4. 報酬関数

報酬関数は、二量子ビットゲートを最小化しつつ単位行列への進捗を促すように設計されています：

• ペナルティ: 単一量子ビットゲートには小さなペナルティ、二量子ビットゲート（$CZ$）には大きなペナルティ。
• 成功ボーナス: 単位行列に到達した場合に大きな報酬。
• 進捗形成: エピソードを通じてエージェントを導くため、単位行列までのハミング距離に基づく密な報酬。

主要な結果

1. 6 量子ビットベンチマーク（最適領域）

著者らは、Bravyi らのデータベースから得られた 1,003 の最適 6 量子ビットクリフォード回路（既知の厳密な参照が存在する最大の領域）に対して、自らの方策を評価しました。

• 性能: エージェントは全 1,003 件において、最適解から二量子ビットゲート 1 つ以内の回路を発見しました。
• 最適性: 拡張された方策誘導探索により、995/1,003 件（99.2%）で厳密な最適解と一致しました。
• 効率性: 全体を完了するのに21 秒を要し、以前の最先端手法（Bravyi ら）を大幅に上回りました。同手法は 98.2% の最適解の回復に 217 時間を要し、さらに 576 時間を追加しても残りの最適解は見つかりませんでした。

2. 大規模への一般化

モデルは 6 量子ビットおよび 10 量子ビットのインスタンスで訓練され、その後未見の最大30 量子ビットのターゲットでテストされました。

• スケーラビリティ: サイズ非依存の方策は、再訓練やネットワークのパラメータ再設定なしに、30 量子ビットシステム用の回路を正常に合成しました。
• 比較: 1,024 の初期ゲートを持つ 30 量子ビットターゲットにおいて、学習された合成器は平均323.3 個の CZ ゲートを使用しました。これは Qiskit の Bravyi らの貪欲合成器より124.2 個少なく、Aaronson-Gottesman アルゴリズムより460.1 個少ない数値です。
• 信頼性対品質のトレードオフ: 6 量子ビットのみで訓練されたモデルは非常に信頼性が高く（全ターゲットを解決）、深いターゲットでも長い回路を生成しましたが、10 量子ビットで微調整されたモデルはより短い回路を生成する一方で、非常に大きく完全にランダムなターゲットにおける信頼性が低下しました（30 量子ビットで解決率が 59% に低下）。

3. アーキテクチャアブレーション

アブレーション研究により、メッセージパッシング機構と量子ビットの等変性が決定的に重要であることが確認されました。量子間通信がないモデル（MLP、FlatMLP）や標準的なアテンション（Transformer）を持つモデルは、提案された等変アーキテクチャと比較して、CZ 数の点で著しく劣るパフォーマンスを示しました。

意義と主張

本論文は、6 量子ビットベンチマークで準最適の結果を達成し、さらに大幅に大きく未見の回路サイズ（最大 30 量子ビット）へ成功裏に転移する、完全接続クリフォード回路合成のための最初の強化学習手法であると主張しています。

主な貢献は以下の通りです：

1. 優れた解の質: 標準的な多項式時間ベースライン（Qiskit の Aaronson-Gottesman および貪欲手法）よりも実質的に少ないエンタングルメントゲートを持つ回路を生成します。
2. 効率性: 厳密な検索手法よりも桁違いに高速にこれらの結果を達成します。
3. 一般化: サイズ非依存で等変なアーキテクチャにより、単一の方策が異なる量子ビット数を処理でき、デバイス固有の再訓練や回路の結合の必要性を克服します。
4. アクセシビリティ: このアプローチは、深い量子コンピューティングの背景を持たない機械学習研究者にもアクセス可能となるよう設計されており、標準的な RL と対称性の原理を通じて合成問題を枠組み化しています。

著者らは、この手法が堅牢である一方で、推論コストがアクション空間のサイズに起因して $O(n^2)$ としてスケーリングすることを指摘し、将来の研究ではスケーラビリティをさらに向上させるために、因数分解されたアクション空間や階層的な計画の検討が考えられるとしています。