技術要約: AG-COT: Clifford 回路における LLM プログラム合成のための検証済みアルゴリズム・トレース

1. 問題提起

本論文は、科学的コード生成における決定的なギャップ、すなわち、大規模言語モデル（LLM）が構文的に正しく実行可能なプログラムを生成できるにもかかわらず、意図した科学的対象の計算に失敗するという問題に対処している。実行ベースのベンチマークは、評価の焦点を振る舞いの正しさへと移行させてきたが、量子プログラム合成は、回路がパース可能で、実行可能であり、かつ物理的に有効（例：Clifford 有効）であっても、誤った量子状態を準備してしまうという独自の課題を提示している。

著者らは、Hadamard、Phase、および CNOT ゲートで構成される Clifford 回路に焦点を当てている。これらの回路は以下の理由から重要である：

1. 量子誤り訂正や測定ベースの量子計算に不可欠な スタビライザー状態を準備する。
2. $2^n$ の振幅を追跡することなく効率的なシミュレーションを可能にする、Aaronson–Gottesman アルゴリズムによる正確な古典的検証が可能である。
3. アルゴリズムの導出過程（アルゴリズム・トレース）を監督することが、単なるコード生成を超えて意味的な正しさ（セマンティックな正しさ）を向上させるかどうかをテストするための、制御された設定として機能する。

QCircuitBench などの従来のベンチマークでは、標準的なプロンプティングを用いた場合、最先端のモデル（GPT-4o を含む）であっても Clifford 状態準備タスクにおいて忠実度がほぼゼロであったことが示されており、このタスクの困難さを浮き彫りにしている。

2. メソドロジー

提案されているフレームワーク AG-COT は、**アルゴリズム・トレース監督（Algorithmic Trace Supervision）と検証器フィルタリング継続（Verifier-Filtered Continuation）**という 2 つの主要なメカニズムを通じて、学習ループに正確な検証を統合する。

2.1 ターゲット表現と検証

ターゲットは、全状態ベクトル（指数関数的に巨大）の代わりに、**コンパクトな符号付きスタビライザー生成子（compact signed stabilizer generators）**として表現される。これにより、プロンプトの長さを大幅に削減できる（例：12 量子ビットの状態ベクトルに必要な約 16K 文字から、タブロ形式の約 800 文字へ）。

• 検証器（The Verifier）: 以下の順序決定連鎖をチェックする：
  1. 構文の妥当性 ($P(y)$): 出力が OpenQASM としてパース可能か？
  2. Clifford の妥当性 ($K(y)$): パースされた回路を Qiskit Clifford オブジェクトに変換できるか？
  3. 完全一致:
     • 厳密なラベル一致 (Strict Label Match): 生成されたスタビライザー・ラベルがターゲットのラベルと正確に一致するかを確認する。
     • 状態の等価性 ($StateEq$): 生成された状態が、生成子の基底の違いを無視して、ターゲットの状態と等価であるかを確認する。

2.2 学習パイプライン

学習プロセスには、2 つの異なる段階が含まれる：

1. AG-CoT 監督 (アルゴリズム・トレース):

   • 最終的な OpenQASM 回路のみでモデルを訓練するのではなく、Aaronson–Gottesman (AG) 連鎖思考（Chain-of-Thought, CoT）トレースを用いてモデルを監督する。
   • これらのトレースは、逆転させることで正しい準備回路が得られる、決定論的なタブロ簡約ステップで構成される。
   • 学習データは、ターゲットのプロンプトと、その後の OpenQASM プログラムに続く <think> ブロック内の簡約トレースをペアにする。
   • 構築: 32B の研究では、トレースは参照回路から派生される。3B/7B の研究では、符号付きスタビライザー生成子から直接トレースを構築し、タブロを完成させ、簡約を適用し、ステップを逆転させ、許可されたゲートセットにコンパイルすることで作成される。
   • 検証器が最終的な回路を承認したペアのみが、学習セットに含まれる。

2. 検証器フィルタリング継続 (Rejection Sampling Fine-Tuning - RFT):

   • 初期 AG-CoT 訓練の後、モデルは自身の出力を生成する。
   • 検証器はこれらの生成物をフィルタリングし、状態の等価性チェックを通過したもののみを保持する。
   • モデルは、このフィルタリングされた自身の成功した生成物を用いて、さらなる教師あり微調整（SFT）を受ける。

2.3 実験設定

• モデル: 実験は Qwen2.5-3B-Instruct、Mistral-7B-Instruct-v0.3、および Qwen2.5-Coder-32B-Instruct に対して行われた。
• ベースライン: Direct SFT（回路のみの監督）および Zero-shot ベースラインと比較した。
• 指標: 構文の妥当性、Clifford の妥当性、厳密なラベル一致、状態の等価性、および Pass@N（探索カバレッジ）について評価した。

3. 主な貢献

1. アルゴリズム・トレース監督: アルゴリズム・トレース（AG-CoT）を検証器でチェックした上で監督することで、モデルの意味的な正しさが大幅に向上することを実証した。このアプローチは、生成された回路と、それを生成した特定の簡約ステップをペアにすることで、モデルに単なる出力形式ではなく、合成手順を教えるものである。
2. 検証器フィルタリング継続: モデル自身の検証器によって承認された出力を用いて訓練を継続することが、トレース監督ベースラインに対して、一貫した（ただし比較的小さな）利点を提供することを示した。
3. コンパクトなターゲット表現: ターゲットを符号付きスタビライザー生成子を通じて指定するパイプラインを確立し、完全な意味的精度を維持しながら、プロンプトのオーバーヘッドを削減し、正確な検証を可能にした。
4. 包括的な評価: 構文の妥当性、Clifford の妥当性、および状態の等価性を分離して評価することで、有効な量子コードがしばしば正しい状態を準備できないことを示し、正確な検証の必要性を裏付けた。

4. 結果

4.1 制御された比較 (3B および 7B モデル)

保持された 3,661 個のターゲットに対する結果：

• Qwen2.5-3B:
  • Direct SFT は 0.90% のタスク成功率（33/3,661）を達成。
  • AG-CoT SFT により、成功率は 5.49%（201/3,661）に上昇し、4.59 パーセントポイントの利得を得た。
  • 検証器フィルタリング RFT バージョンは、5.74%–5.87%（210–215 回の成功）を達成。
• Mistral-7B:
  • Direct SFT は 1.94%（71/3,661）を達成。
  • AG-CoT SFT により、成功率は 8.63%（316/3,661）に上昇し、6.69 パーセントポイントの利得を得た。
  • RFT は 8.80%（322/3,661）を達成。
• 統計的有意性: McNemar テストにより、Direct SFT に対する AG-CoT 監督の利得が高度に統計的に有意であることが確認された（Qwen では $p < 10^{-48}$、Mistral では $p < 10^{-72}$）。RFT による利得はより小さく、一様性は低かった。

4.2 32B 研究

• 構文および妥当性: 監督されたモデルは、構文および Clifford の妥当性においてほぼ完璧（~99.9%）を達成したが、Zero-shot モデルは苦戦した（<40%）。
• 状態の等価性: 高い妥当性にもかかわらず、最強の直接モデル（RFT-v1）は、状態の等価性においてわずか 6.14% しか達成できなかった。
• 探索カバレッジ: ターゲットごとに 64 個の候補を使用する検証器ガイド選択（Best-of-64）を用いると、Basic AG-CoT のカバレッジは状態の等価性において 10.07% まで上昇し、検索によって単一の出力生成よりも多くの正しい回路を回収できることが示された。
• エラー分析: トレース訓練されたモデルは、回路のみのモデルと比較して、「制約の欠損（constraint deficits）」（不足している独立したターゲット制約の数）が少ないエラーを生成しており、これは、失敗する場合でもターゲット情報をより多く保持していることを示唆している。

5. 重要性と主張

本論文は、アルゴリズム・トレース監督と検証器フィルタリング継続が、科学的コード合成における LLM の意味的な正しさを向上させるための、効果的かつ相補的な戦略であることを主張している。

• 正確な検証の必要性: Clifford の妥当性（構文/物理）と状態の等価性（意味的正確性）の間の持続的なギャップは、構文的な妥当性だけでは不十分であることを裏付けている。回路は物理的には有効であっても、誤った状態を準備する場合があるため、訓練信号として正確な検証が必要である。
• 導出の価値: 出力だけでなく、その 導出（AG-CoT トレース）を監督することは、出力のみを監督する場合よりも大幅な利得をもたらす。これは、LLM が合成アルゴリズムの中間的な推論ステップを学習することから恩恵を受けることを示唆している。
• スケーラビリティ: これらの手法は、異なるモデルファミリー（3B, 7B, 32B）間で一貫した改善を示しているが、絶対的な成功率は依然として控えめ（一桁台）であり、これは、アプローチは効果的であるものの、量子回路合成のタスクが現在の LLM にとって依然として困難であることを示している。

著者らは、これらの結果が、特に正確な検証が計算可能な領域において、より信頼性の高い科学的コード生成への道として、アルゴリズム監督と検証器フィルタリングされたデータを使用することを支持するものであると結論づけている。