⚛️ quantum physics

RubriQ: Rubric-Guided Group Relative Policy Optimization for Constraint-Aware Quantum Circuit Synthesis

RubriQは、ルーブリックに基づいたGroup Relative Policy Optimization（GRPO）とGPU加速シミュレーションを活用した、スケーラブルなHPC駆動型フレームワークであり、ハードウェアの制約を厳格に遵守しつつ高い忠実度を維持しながら、大幅なTゲート圧縮を実現するフォールトトレラントな量子回路を自動合成する。

原著者： Ziqing Guo, Ziwen Pan

公開日 2026-07-09

📖 1 分で読めます🧠 じっくり読む

CC BY 4.0

原著者： Ziqing Guo, Ziwen Pan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に特殊で、高価かつ壊れやすいレゴブロックを使って複雑な機械を作ろうとしていると想像してください。あなたにはマスター設計図（実行したいアルゴリズム）がありますが、手元にある指示書は「空飛ぶ車を作れ」といった、漠然としたハイレベルな言語で書かれています。

問題は、工場のフロア（量子コンピュータ）には厳しいルールがあることです：

ブロックは希少である： 特定の種類のブロック（「Tゲート」）は、作るのに非常にコストがかかります。できるだけこれを使わないようにしたいと考えています。
レイアウトが特殊である： IBMのようなマシンでは、隣り合っているブロック同士しか接続できない場合があります。一方で、IonQのようなマシンでは、どのブロック間でも自由に接続できます。
目標： この漠然とした「空飛ぶ車」というアイデアを、いかにして高価なブロックを最小限に使い、かつ工場のレイアウトのルールに従った、正確でステップバイステップの指示書へと変えるか。

RubriQは、このパズルを自動的に解くために設計された新しいシステムです。その仕組みを、シンプルな概念に分解して説明します。

1. 「スマート・ライター」（LLM）

固定されたルールのリストに従う硬直したコンピュータプログラムの代わりに、RubriQは**大規模言語モデル（LLM）**を使用します。これは、何百万もの取扱説明書を読み込んできた、非常に賢くクリエイティブなライターのようなものです。

あなたはライターにプロンプトを与えます：「4量子ビットのフーリエ変換のための量子回路を書いてください」。
ライターはコードを生成しようと試みます。完璧なコードを書くこともあれば、デタラメを書いたり、手順を飛ばしたりすることもあります。

2. 「厳格な先生」（ルーブリック）

これまでのAI学習では、コンピュータは最後に一度だけ「正解」か「不正解」かを判断するだけでした。これは、生徒が試験に落ちた後に、なぜ落ちたのかを説明せずに「不合格」と告げる先生のようなもので、学習を遅く、もどかしいものにします。

RubriQは、**ルーブリック（評価指標）**を導入しました。これは、先生が使う詳細な採点基準のようなものです。単なる「合格／不合格」ではなく、システムは生成されたコードを以下の5つの特定の次元でチェックします：

クリフォード・スコア： 安価で一般的なブロックを使用しましたか？
Tカウント・スコア： 高価で希少なブロックを最小限に抑えましたか？
ハードウェア・スコア： そのコードは、ターゲットとしている特定のマシン（IBMやIonQ）に実際に適合していますか？
フィデリティ・スコア： マシンは実際にあなたの要求通りに動作していますか？
効率スコア： 指示書は短く、整っていますか？

システムは、これらの各領域に対してスコアを算出します。これにより「密な」信号（豊富なフィードバック）が得られ、AIは単に推測するのではなく、コードのどの部分を修正すべきかを正確に知ることができるのです。

3. 「グループ・コンテスト」（GRPO）

AIを教えるために、RubriQは**グループ相対方策最適化（GRPO）**という手法を使用します。

AIに問題を8回連続で解かせると想像してください。
どの回答がベストかを判断するために、別途「判定用AI」を用意する必要はありません。代わりに、8つの回答を互いに比較します。
ルーブリックのスコアが最も高いものが「グッド（合格）」を得て、スコラーが低いものは「バッド（不合格）」となります。
AIは、自分自身のグループ内での勝者と敗者を比較することで学習し、次回はより多くの「勝者」を生み出せるよう、自分の書き方を調整していきます。

4. 「スーパー・ファクトリー」（HPC）

このAIのトレーニングには、凄まじい負荷がかかります。量子回路をシミュレーションすることは、あらゆる可能な未来の天気を同時に計算しようとするようなものであり、膨大な計算能力を必要とします。

研究者たちは、これを数百の強力なグラフィックスカード（GPU）を備えたスーパーコンピュータであるNERSC Perlmutterで実行しました。
彼らは、AIがコードを生成し、パーサーが読み取り可能かチェックし、シミュレータが「仮想的な工場フロア」上で実行してスコアを確認するというパイプラインを構築しました。
「ルーブリック」方式を採用したことで、曖昧な「合格／不合格」の信号に頼っていた従来の手法よりも、AIは2〜3倍速く学習することができました。

結果

彼らがRubriQをテストした際の結果は以下の通りです：

リソースを節約した： 標準的なツールと比較して、高価な「Tゲート」の数を平均で3.3倍削減することに成功しました。
正確であった： 生成された回路は、IBMやIonQの実際の量子コンピュータでテストした際に、実際に動作しました。
効率的であった： より少ないトレーニングステップで目標に到達し、膨大な電力とコンピュータ時間を節約しました。

要約すると： RubriQは、詳細なチェックリスト（ルーブリック）を与えることで、クリエイティブなAIライターに量子回路の作り方を教え、さらに自分自身の試行錯誤を比較させることで学習させるシステムであり、それらすべてを巨大なスーパーコンピュータ上で実行することで、結果が現実世界の量子マシンで通用することを保証しているのです。

テクニカル・サマリー：RubriQ – 制約を考慮した量子回路合成のための、ルーブリックに基づいたグループ相対方策最適化（GRPO）

1. 問題定義

アルゴリズム的に正しく、かつハードウェアとの互換性を持つフォールト・トレラント量子計算（FTQC）用量子回路の合成は、スケーラブルな量子コンピューティングにおける決定的なボトルネックとなっている。主な課題は以下の通りである：

リソース・オーバーヘッド： FTQCにおいて、非クリフォード演算（特にTゲート）はマジック状態蒸留を必要とし、クリフォードゲートよりも数桁多い物理リソースを消費する。蒸留のオーバーヘッドとスケジューリングの複雑さを軽減するためには、Tカウントの最小化が不可欠である。
ハードウェア制約： 近未来のデバイスは、厳格なトポロジーおよびネイティブゲートの制約（例：IBMのヘビーヘックス接続性とIonQの全結合性の違い）を課しており、過度なSWAPオーバーヘッドを避けるために回路を効率的にトランスパイルする必要がある。
既存手法の限界：
- ヒューリスティック・コンパイラ（例：Qiskit、TKET）は、静的な書き換えルールに依存しており、新しい代数的簡略化を発見する生成能力を欠いている。
- 標準的な強化学習（RL） アプローチは、報酬の疎性（sparse rewards）に苦しみ、勾配の高分散や探索の停滞を招くことが多い。これらは通常、回路をゼロから生成するのではなく、狭いアクション空間（ゲートの挿入/削除）で動作する。
- ニューラル・クリティック（Critic）： RLのために数十億パラメータを持つクリティック・ネットワークを訓練することは、ハイパフォーマンス・コンピューティング（HPC）環境において深刻なメモリおよび通信のボトルネックを引き起こす。

2. メソドロジー：RubriQ フレームワーク

RubriQは、学習された価値関数（Value Function）を持つクリティックを用いない、グループ相対方策最適化（GRPO）によって最適化された、大規模言語モデル（LLM）による構造化コード生成タスクとして量子回路合成を再定義する。

A. 合成器としてのLLM（LLM-as-Synthesizer）

本システムは、OpenQASMまたはQiskit Pythonコードの生成を、条件付きコード生成タスクとして扱う。

入力： ターゲットとなるアルゴリズム（例：QFT、ハミルトニアン・シミュレーション）および制約を指定する自然言語プロンプト。
モデル： 低ランク適応（LoRA）を用いてファインチューニングされた、7Bパラメータの指示チューニング済みコードLLM（Qwen2.5-Coder-7B）。
生成： ポリシーは、プロンプトごとに $N=8$ 個の候補回路を自己回帰的サンプリングを用いて抽出する。
パース（解析）： マルチ戦略パーサーを用いて、LLMの生のテキスト出力から実行可能な回路オブジェクトを抽出する。解析不能な出力には、即座に報酬ゼロが割り当てられる。

B. ルーブリック誘導型報酬エンジン

ニューラル・クリティックの代わりに、RubriQは5つの直交する次元に基づいて回路を評価する、決定論的かつプログラム的なスコアリング・エンジンを採用している。総報酬 $R(y)$ は、加重和として定義される：
$R(y) = w_C S_C + w_T S_T + w_H S_H + w_F S_F + w_E S_E$

クリフォード比率 ( $S_C$ )： 全ゲートのうち、クリフォード演算（シミュレーションが容易な操作）が占める割合。
Tカウント削減 ( $S_T$ )： 高いTゲート数をペナルティとする指数減衰関数。蒸留のバッチ処理特性を考慮し、最初の数個のTゲートの排除を優先する。
ハードウェア適合性 ( $S_H$ )： 特定のバックエンド・トポロジー（例：IBM Heavy-Hex、IonQ All-to-All）への準拠を評価し、SWAPルーティングのオーバーヘッドや非ネイティブゲートをペナルティとする。
機能的忠実度 ( $S_F$ )： 生成されたユニタリ行列とターゲット・アルゴリズムとの間のヒルベルト・シュミット内積を用いてプロセス忠実度を計算し、アルゴリズムの正当性を保証する。
回路効率 ( $S_E$ )： 回路のコンパクトさと、より低い回路深度に報酬を与える。

C. GRPO トレーニング・ループ

RubriQは、グループ相対方策最適化（GRPO）を利用してポリシーを更新する：

グループ正規化： 与えられたプロンプトに対し、 $N$ 個のサンプリングされた完了結果の報酬を、グループ平均を減じ、グループ標準偏差で割ることにより正規化する。
クリティックレス（Critic-Free）： このアプローチは、学習された価値関数の必要性を排除し、代わりにルーブリックによって提供される高密度で決定論的な信号に依存する。
アドバンテージ推定： 正規化されたアドバンテージ $\hat{A}_i$ がポリシー・グラディエントの更新を駆動し、モデルがバイナリの成功/失敗信号ではなく、段階的なフィードバックから学習することを可能にする。

D. HPC システム・アーキテクチャ

忠実度シミュレーションの計算コスト（ $O(4^{n_q})$ でスケール）に対処するため、RubriQはNERSC Perlmutter スーパーコンピュータ上にデプロイされている：

ハードウェア： Slingshot-11で接続されたNVIDIA A100 (80 GB) クラスター。
最適化： 分散グラディエントおよびオプティマイザ・ステートの分割のために、DeepSpeed ZeRO-2を使用。
シミュレーション： 高スループットの忠実度評価を実現するため、CUDA-Q シミュレーションをRLループ内に直接統合。GPU加速されたCUDA-Qシミュレーションを直接利用。
効率性： 8基のGPUにおいて85%を超える強力なスケーリング効率を達成。

3. 主な貢献

合成器としてのLLMの定式化： 小規模なトランスフォーマーモデルやヒューリスティックなルールを超え、RLベースのポストトレーニングを用いた、数十億規模の指示チューニング済みLLMによるゲートレベルの量子合成の初適用。
マルチオブジェクティブ・ルーブリック報酬エンジン： ニューラル・クリティックに代わる、ドメインに根ざした解釈可能なスコアリング・システム。これは、クリフォード、Tカウント、ハードウェア、忠実度、効率の各次元にわたって、高密度で境界のある報酬を提供する。
スケーラブルなHPC アーキテクチャ： NERSC Perlmutter 上での完全なトレーニング・パイプラインの実装。これは、疎な報酬ベースのベースラインと比較して、シミュレーション呼び出し回数を2〜3倍削減し、高速な収束を実現することを示す。
ハードウェア検証済み評価： 自動化されたトランスパイル・パイプラインを介して、合成された回路が物理的な IBM Heron-3 および IonQ Forte プロセッサ上で正常に実行されたことの確認。
実験的パフォーマンス： 1,500個のベンチマーク回路にわたり優れた性能を示し、大幅なTゲート圧縮を実現し、既存のベースラインよりも高速な収束を達成した。

4. 結果

Tゲート圧縮： RubriQは、ベンチマーク・データセット全体で平均 3.31倍 のTゲート圧縮を達成した。これは、疎な報酬を用いたRLベースライン（2.05倍）やルールベースのコンパイラ（Qiskit O3: 約1.4倍、TKET O2: 約1.7倍）を大幅に上回る。
収束速度： 本フレームワークは、疎な報酬を用いたRL手法よりも 2〜3倍速く 収束し、目標の圧縮率に達するために必要なトレーニング・エポック数を削減した。
リソース効率： 高速な収束により、Sparse-PPO および Sparse-GRPO ベースラインと比較して、総GPU時間を約 2.6倍 削減した。
制約遵守： システムは 1%未満 のハードウェア制約違反を維持し、高い機能的忠実度（多くの場合で99%超）を達成した。
ハードウェア検証： 最上位の回路は、IBM および IonQ のハードウェア上で正常に実行され、シミュレーションを超えた実用的な適用可能性を確認した。

5. 意義と主張

本論文は、LLM駆動のコード生成と、検証可能なルーブリックに基づく強化学習を統合することにより、RubriQ が自動化された科学的発見の新しいパラダイムを確立すると主張している。その意義は以下の点にある：

スケーラビリティ： LLMベースの合成が、指数関数的な複雑さを持つ量子回路の最適化を解決するために、HPC環境にスケールできることを証明した。
制約認識： 単一の最適化フレームワーク内で、FTQCへの準備（Tカウント最小化）と、近未来のハードウェア適合性（トポロジー制約）という二重の要求に成功裏に対処した。
効率性： 密なプログラム的報酬整形が、疎な報酬やニューラル・クリティックよりも計算論的に優れていることを示し、現実的な量子ワークロードに対して大規模モデルの訓練を可能にした。
実用性： AIが生成した回路が、理論的に最適であるだけでなく、現世代の量子ハードウェア上で実行可能であることを検証した。

著者らは、RubriQ を、大規模で高性能な、ハードウェア対応のフォールト・トレラント量子回路を生成するための、自動化されたハイパフォーマンス・コンピューティング駆動型のパイプラインへの重要なステップとして位置づけている。