技術要約：RubriQ – 制約を考慮した量子回路合成のための、ルブリック（評価基準）に基づくグループ相対方策最適化

1. 問題提起

スケーラブルな量子コンピューティングへの移行は、高レベルのアルゴリズムを、フォールトトレラント量子計算（FTQC）のリソース制約と近未来のハードウェア実行可能性の両方を満たす低レベルのゲートシーケンスへと翻訳する「古典的コンパイル問題」によってボトルネックとなっている。

• FTQC 制約: サーフェスコード・アーキテクチャにおいて、非クリフォード演算（特に $T$ ゲート）は高価なマジック状態蒸留を必要とし、クリフォードゲートよりも数桁多い物理リソースを消費する。$T$ カウントおよび $T$ 深さの最小化は、古典的な計算予算とスケジューリングの複雑さを削減するために極めて重要である。
• 近未来の制約: 現在のノイズあり中規模量子（NISQ）デバイス（例：IBMのヘビーヘックス・トポロジー、IonQの全結合性）は、ネイティブゲートセット、量子ビットの接続性、および回路深さに対して厳格な制限を課している。
• 既存手法の限界: 主要なコンパイラ（Qiskit、TKET）は静的なヒューリスティック・ルールに依存しており、構造的に新しい回路を発見するための生成能力を欠いている。従来の強化学習（RL）アプローチは、しばに報酬の疎性（sparse terminal rewards）、勾配の高分散、および狭いアクション空間（ゲートの挿入/削除）に苦しんでおり、これらは構造的に斬新な回路の発見を妨げている。さらに、大規模な量子合成のためにRLエージェントを訓練することは、$O(4^{n_q})$ の忠実度シミュレーションの複雑さにより、計算量的に極めて困難である。

2. メソドロジー：RubriQ フレームワーク

RubriQ は、量子回路合成を、学習された価値関数クリティック（critic）を用いないグループ相対方策最適化（GRPO）によって最適化された、大規模言語モデル（LLM）によるコード生成タスクとして再定義する。

2.1 合成器としての LLM (LLM-as-Synthesizer)

本システムは、OpenQASM または Qiskit Python コードの合成を、条件付き生成タスクとして扱う。

• ベースモデル: 70億パラメータを持つ指示チューニング済みコード生成 LLM（Qwen2.5-Coder-7B）が、方策 $\pi_\theta$ として機能する。
• パラメータ効率: モデルは、全パラメータの約0.4%を訓練可能なパラメータに抑えた、ランク 64 の低ランク適応（LoRA）を用いてファインチューニングされており、4〜8 台の NVIDIA A100 GPU でのデプロイを可能にしている。
• 生成: 各プロンプト（アルゴリズムの自然言語仕様）に対し、モデルは $N=8$ 個の候補回路を自己回帰的にサンプリングする。

2.2 ルブリック誘導型報酬エンジン (Rubric-Guided Reward Engine)

疎なバイナリ報酬やニューラルクリティックの代わりに、RubriQ は**プログラム的かつ多次元的なルブリック（評価基準）**を採用し、高密度で決定論的な報酬を生成する。報酬関数 $R(y)$ は、ハードな正当性条件によって制御される、5 つの有界な構成スコア（$S_d \in [0, 1]$）の加重和である：
$$R(y) = g(c) \cdot [w_F S_F + w_C S_C + w_T S_T + w_H S_H + w_E S_E]$$
ここで、$g(c)$ は平均ゲート忠実度 $F_{avg} < 0.99$ の場合に報酬をゼロに設定するハードゲートである。

5 つの次元は以下の通りである：

1. 機能的忠実度 ($S_F$): ターゲットとなるユニタリ行列に対するヒルベルト・シュミット内積を通じて測定される。
2. クリフォード比率 ($S_C$): 全操作ゲートに対するクリフォードゲートの比率であり、クリフォード主体の回路を促進する。
3. $T$ カウント削減 ($S_T$): 総等価 $T$ ゲート数（Toffoli や任意の回転の分解を考慮）に基づく指数関数的減衰スコア。
4. 近未来ハードウェア検証 ($S_H$): 特定のバックエンド（IBM Eagle/Heron、IonQ Forte/Aria）との互換性を評価するスコアであり、非ネイティブゲートや SWAP ルーティングのオーバーヘッドを罰する。
5. 回路効率 ($S_E$): 深さで正規化されたコンパクトネス指標。

2.3 GRPO トレーニングループ

フレームワークは、学習された価値関数クリティックを必要としないグループ相対方策最適化（GRPO）を利用する。

• アドバンテージ推定: 同一のプロンプトからサンプリングされた $N$ 個の完了セットについて、報酬をグループ内で正規化することでアドバンテージ $\hat{A}_i$ を計算する：$\hat{A}_i = (R_i - \mu_R) / (\sigma_R + \epsilon)$。
• スケーラビリティ: このアプローチは、疎な報酬と比較して勾配推定の分散を減少させ、分散 GPU 間での数千億パラメータのクリティックを維持することによるメモリおよび通信のボトルネックを回避する。
• HPC 統合: トレーニングループは、高スループットの忠実度評価を実現するために、CUDA-Q 加速シミュレーションを RL ループに直接統合している。システムは、分散勾配およびオプティマイザ状態のパーティショニングを行う DeepSpeed ZeRO-2 を用いて、NERSC Perlmutter 上にデプロイされている。

3. 主な貢献

1. 合成器としての LLM 定式化: 疎な報酬を用いた RL によるポストトレーニングを用いて、数十億規模の指示チューニング済み LLM をゲートレベルの量子合成に適用した初の事例であり、小規模なトランスフォーマーモデルや静的なヒューリスティックを超越した。
2. 多目的ルブリック報酬エンジン: ニューラルクリティックを解釈可能で決定論的なルブリックに置き換えることで、FTQC コスト指標（Clifford+T）と近未来ハードウェア検証を分離した、ドメインに基づいたスコアリングシステム。
3. スケーラブルな HPC システムアーキテクチャ: 分散勾配とオプティマイザ状態のパーティショニングを行う DeepSpeed ZeRO-2 と CUDA-Q を活用し、8 台の A100 GPU において 85% 以上の強スケーリング効率を実現した、NERSC Performer 上の実装を含む完全なトレーニングパイプライン。
4. 近未来ハードウェア検証: 合成された回路を物理的な IBM Heron-3 および IonQ Forte プロセッサ上で検証する自動化されたパイプラインを提供し、シミュレーションを超えた実行可能性を実証した。
5. 実証的性能: 疎な報酬ベースラインおよび従来のコンパイラ（TKET, Qiskit）と比較して、合成品質と収束速度の著しい向上を実証した。

4. 実験結果

2〜8 量子ビットの 1,500 個のベンチマーク回路（QFT, QPE, ハミルトニアンシミュレーション, データエンコーディング）で評価した：

• 正当性: データセットごとの正当性パス率で少なくとも 96% を達成。
• $T$ ゲート圧縮: 正当な回路のみと比較して平均 3.31$\times$ の $T$ ゲート圧縮を達成し、疎な報酬ベースの RL（2.05$\times$）や従来のツール（TKET, Qiskit）を大幅に上回った。
• 収束: ルブリック誘導型アプローチは、疎な報酬ベースラインよりも 2〜3$\times$ 速く 収束し、必要な総トレーニングエポック数を削減した。
• 制約違反: 近未来のハードウェア制約違反を 1% 未満 に維持した。
• ハードウェア検証: 合成されたトップ $k$ 回の回路を IBM Heron-3 および IonQ Forte に正常にデプロイし、パイプラインのハードウェア認識コード生成能力を確認した。
• 計算効率: 密なルブリック成形により、疎な報酬法と比較してシミュレーション呼び出し回数が 2〜3$\times$ 減少 し、これは大幅な GPU 時間の節約（例：8 量子ビットタスクにおいて 9.2 対 24.2 GPU 時間）につながった。

5. 意義と主張

論文は、RubriQ が LLM の生成能力と厳格なドメイン固有の制約を統合することにより、自動化された量子回路合成の新しいパラダイムを確立すると主張している。

• 関心の分離: FTQC コスト指標と近未来ハードウェア検証を明示的に分離することで、RubriQ は将来のフォールトトレラントシステムと現在の NISQ デバイスの相反する要求事項に対処している。
• クリティックの排除: 量子合成のような決定論的でプログラム的に計算可能なタスクにおいては、学習された価値関数クリティックは不要であり、密なルブリックベースの報酬と GRPO の組み合わせが効果的な方策最適化のための十分な信号を提供することを本研究は示している。
• HPC 駆動型パイプライン: 本研究は、AI 駆動の量子ツールを訓練するための HPC リソースの必要性を強調しており、古典的なシミュレーションが手に負えなくなるより大きな量子ビット数へと RL ベースの合成をスケールさせるためのブループリントを提供している。
• 堅牢性: フレームワークは異なるアルゴリズムファミリーや量子ビット数にわたって堅牢であることが示されており、特定の回路テンプレートへの過学習を回避している。

著者らは、RubriQ が、理論的なアルゴリズム設計と実用的なハードウェア実行の間の溝を埋める、自動化された高性能なサーフェスコード・コスト認識回路生成パイプラインを提供すると結論付けている。