QASM-Eval: A Dataset to Train and Evaluate LLMs on OpenQASM-3 Beyond Quantum Circuits

本論文は、古典的フィードバックやパルス制御といったOpenQASM-3の高度なハードウェア指向機能に関する大規模言語モデルの学習および評価のために設計された初の包括的なデータセットおよびベンチマークであるQASM-Evalを紹介し、ターゲットを絞ったファインチューニングが、これら重要なNISQ時代のプログラミングタスクにおけるモデルの性能を大幅に向上させることを示している。

要約

想像してみてください。あなたは、非常にデリケートでハイテクな機械、つまり量子コンピュータを組み立てようとしている、優秀だが経験の浅い弟子に教えているところだとします。

長い間、私たちがこの弟子に与えていた指示は、「これらの材料を混ぜて、10分間焼いてください」といった単純なレシピのようなものでした。基本的なタスクにはこれで十分でした。しかし、今やこの機械は、ノイズが多く困難なフェーズ（NISQ時代と呼ばれます）に入ろうとしています。これを確実に動作させるためには、指示はもっと具体的である必要があります。弟子は、いつ温度を確認すべきか、焼きの途中でどのようにオーブンの扉を調整すべきか、さらには、熱波の形自体をどのように微調整すべきかさえも知る必要があるのです。

この超精密な指示に使われる言語は、OpenQASM 3と呼ばれます。これは量子コンピュータの「ハードウェア・マニュアル」なのです。

問題点：弟子が混乱している

AIはコードを書くことに関しては非常に優れたものになりましたが、大きな問題がありました。この新しい、複雑な言語に特化した練習テストを誰も作っていなかったのです。

既存のテストは、弟子に「ケーキを焼く」こと（高レベルの論理）や「壊れたトースターを直す」こと（基本的な回路）を求めるようなものでした。しかし、これらは以下のスキルをテストできていませんでした：

1. 一時停止して考える： 焼きのプロセスを一時停止し、センサーを確認し、その読み値に基づいて砂糖を追加するかどうかを判断する（古典的論理）。
2. 完璧にタイミングを合わせる： 扉を開ける前に正確に0.0000001秒待つ、あるいは2つのオーブンを完璧に同期させる（タイミング・スケジューリング）。
3. 波を微調整する： 食品が焦げないように、当たっている熱波の形を手動で調整する（パルス制御）。

これらの特定のスキルをテストするための練習テストがなかったため、AIモデルは推測に頼っており、その結果、ひどい失敗をしていました。

解決策：QASM-Eval（究極の模擬試験）

この論文の著者たちは、QASM-Evalを作成しました。これは、AIのための大規模で専門的なトレーニングジムであり、最終試験です。OpenQASM 3のために特別に設計されています。

• トレーニングセット： 彼らは4,000個の練習問題を生成しました。これらは単なるランダムな質問ではありません。AIが欠落しているコードを埋めて、量子機械を正しく動作させなければならない、入念に作り込まれたシナリオです。
• 試験： 彼らは厳格な100問のテストを作成しました。
• 採点システム： 彼らは特別な「ロボット教師」（自動検証器）を構築しました。このロボットは、コードが正しく見えるかどうかを確認するだけではありません。実際に量子機械をシミュレートし、コードが正しい結果を生み出し、タイミングのルールに従い、システムをクラッシュさせないかどうかを確認します。

彼らが発見したこと

研究者たちは、いくつかのトップクラスのAIモデル（LlamaやGPTなど）をこの新しい試験にかけました。その結果は以下の通りです。

1. 「ゼロショット」の苦戦： 何の助けもなしに（単に「これが問題です、解いてください」と言って）試験を受けさせたところ、結果は散々なものでした。AIは、一般的な物理学は知っているものの、この特定の機械の設計図を見たことがない学生のようでした。彼らは構文（シンタックス）を正しく書くことすらできず、タイミングの制御に至っては到底及びませんでした。
2. 「フューショット」によるブースト： 研究者が、似たような問題を解くための例をいくつか先に示したとき（例えば、回答例のサンプルを見せるなど）、スコアは上昇しました。これは、学生に解答例付きのカンニングペーパーを渡したようなものです。
3. 「ファインチューニング」による突破口： これが大きな勝利でした。研究者は、これらの4,000個の練習問題を用いて、AIモデルを「訓練」しました。
   • 結果： 中規模のAIモデル（Llama-8B）は、この特定の訓練を受けた後、何の訓練も受けていない最も強力で高価なAI（GPT-5.2）とほぼ同等のパフォーマンスを発揮しました。
   • チャンピオン： より大規模なAIモデル（Llama-70B）は、訓練後、マスターへと進化しました。それは試験で**85%**を記録し、例題を与えられた状態の最も強力なAIをも打ち負かしました。

テイクアウェイ（教訓）

この論文は、ボトルネックはAIが量子物理学に対して「愚か」であることではないと結論付けています。ボトルネックは、AIがOpenQASM 3の特定の文法とルールを知らないことにあるのです。

専用のデータセット（QASM-Eval）を作成し、そのデータでAIを訓練することで、汎用的なAIを非常に信頼性の高い量子プログラマーに変えられることを、彼らは証明しました。それは、車の運転を知っている賢い人に、フォーミュラ1カー専用のマニュアルと練習コースを与えるようなものです。突然、彼らはレースカーを完璧に運転できるようになります。

このデータセットは、誰もが利用できるように公開されており、人類が次世代の量子コンピュータをプログラミングするのを助ける、より優れたAIアシスタントの構築に貢献していきます。

技術概要

技術要約: QASM-Eval

問題提起

量子コンピューティングは現在、ノイズによって性能が大きく制約されるNISQ（Noisy Intermediate-Scale Quantum）時代にあります。これらのエラーを軽減するには、標準的なゲートシーケンスの回路仕様を超えた、ハードウェアに直結する機能が必要です。これらの機能には、量子誤り訂正（QEC）のための回路中測定と古典的フィードバック、動的デカップリング（DD）のための精密なタイミング制御、そしてキャリブレーションのためのパルスレベルの波形アクセスが含まれます。

OpenQASM 3は、これらのハードウェアレベルの機能を露出させるために導入され、アルゴリズムと物理学を結びつけるプログラミングインターフェースを提供しました。しかし、コード生成における大規模言語モデル（LLM）の急速な進歩にもかかわらず、OpenQASM 3の高度でハードウェア指向の機能を利用するプログラムを訓練および評価するために設計されたデータセットは決定的に不足しています。既存のリソースは、高レベルのアルゴリズム設計（例：Qiskitベースのデータセット）に焦点を当てているか、あるいは静的なゲートシーケンス回路に限定されており、OpenQASM 3の動的で制約の多い性質をカバーできていません。その結果、現在のLLMは、古典論理、タイミング、およびパルス制御に関するOpenQASM 3の厳格な構文および意味論的制約を遵守した有効なコードを生成することに苦慮しています。

メソドロジー

データセット構築 (QASM-Eval)

著者らは、OpenQASM 3の学習および評価に特化して設計された初の包括的なデータセットであるQASM-Evalを導入します。このデータセットは、人間の量子プログラミング専門家とAIを用いたハイブリッド・パイプラインを用いて構築されており、データのリークを防ぎつつ、多様性と正確性を確保しています。

1. テンプレート準備: 専門家が「背景テンプレート」（量子構成、周波数、初期状態のランダム化）と「コアタスク・テンプレート」（if/elseフローやパルス操作などの特定のテーマを対象とする）を設計します。
2. インスタンス生成: OpenQASM 3のドキュメントで拡張されたコーダーLLM（Qwen3-Coder-480B）が、コアタスクの様式的および構造的なバリアントを生成します。これらをランダム化された背景と組み合わせることで、完全なOpenQASM 3プログラムを作成します。
3. プロンプト生成: コアタスクのコードを、必要な機能を記述した自然言語の「TODO」コメントに置き換え、仕様と解のペアを作成します。
4. データセット構成:
   • テストセット: 専門家によって検証された100のタスク。
   • トレーニングセット: 4,000のタスク。
   • カテゴリ: データセットは以下の4つのカテゴリをカバーしています：
     • 古典論理 (Classical Logic): 制御フロー、回路中測定、算術演算、および型キャスト。
     • タイミングスケジューリング (Timing Scheduling): 遅延挿入、期間タイプ、伸縮可能なインターバル、およびアライメント。
     • パルス制御 (Pulse Control): 波形操作、フレーム同期、およびキャリブレーション。
     • 複雑なタスク (Complex Tasks): QEC、DD、クロストーク・キャリブレーションなど、上記を統合した実世界のワークフロー。

評価フレームワーク

生成されたプログラムを検証するために、著者らは以下の項目をチェックする拡張自動検証器を開発しました。

• 構文 (Syntax): 公式のOpenQASM 3パーサーによる解析を行い、適切に構成された抽象構文木（AST）であることを確認します。
• 量子状態 (Quantum State): ステートベクトルのシミュレーション（Qiskit）およびパルスレベルのシミュレーション（Qutip）を使用して、最終的な量子状態分布が参照される挙動と一致するかを確認します。
• スケジュール (Schedule): 仮想的なタイムラインを生成し、タイミング制約（アライメント、遅延など）が満たされていることを検証します。

合格基準は、構文解析に成功すること、およびタスクのタイプに応じて、ステートチェック、スケジュールドチェック、またはその両方をパスすることとしています。

主な貢献

1. 初のOpenQASM 3ハードウェア特化型データセット: QASM-Evalは、LLMの学習と評価のために、OpenQASM 3の高度な機能（古典論理、タイミング、パルス制御）を体系的にカバーする最初のリソースです。
2. 自動検証パイプライン: 著者らは、動的なタイミングやパルスレベルの意味論を含むOpenQASM 3独自の機能を自動検証するために既存のツールチェーンを拡張し、人間による専門家の検証と92%の一致率を達成しました。
3. ベンチマークとファインチューニングの結果: 本論文は、最先端のモデルがOpenQASM 3のタスクに苦戦する一方で、ターゲットを絞ったファインチューニングを通じて大幅な改善が可能であることを示す厳格なベンチマークを提供しています。

実験結果

著者らは、QASM-Evalテストセットを用いて、ChatGPT-5.2-Thinking、DeepSeek-V3、およびLlama-3のバリアント（8Bおよび70B）を含む複数のモデルを評価しました。

• ベースラインの性能: 最先端のモデルは限定的な性能を示しています。ChatGPT-5.2-Thinkingは全体で0.54のpass@1を達成しましたが、オープンソースのベースライン（Llama-70B、Llama-8B）はそれぞれ0.27および0.24と大幅に低いスコアでした。性能は特に「複雑なタスク」において極めて低くなりました（0.00–0.08）。
• フューショット・プロンプティング (Few-Shot Prompting): 3つのインコンテキスト例を提供することで性能が向上し、ChatGPT-5.2-Thinkingは全体で0.78に達しました。しかし、このアプローチは、モデルが内部化された知識ではなく、例からパターンを推論する能力に依存しています。
• ファインチューニングの影響: QASM-Evalトレーニングセットによるファインチューニングは、最も大きな利点をもたらしました：
  • Llama-3-70B: 全体で0.85のpass@1を達成し、フューショット拡張されたChatGPT-5.2-Thinking（0.78）を上回りました。
  • Llama-3-8B: 0.24から0.52へと向上し、ChatGPT-5.2-Thinkingのゼロショット性能に接近しました。
  • 以前のデータセット（QCircuitBench、Agent-Q）でのファインチューニングは、わずかな改善しか提供できず、OpenQASM 3のハードウェア機能に特化したデータの必要性を浮き彫りにしました。
• エラー分析: ファインチューニングは主に、ベースモデルの主要な失敗モードであった構文エラー（例：誤った測定の割り当てや無効なswitch構文）を減少させました。構文の妥当性は大幅に改善されましたが、意味的なエラー（タイミングや分布の不一致）は、特に小型のモデルにおいて依然として課題として残りました。

重要性と主張

本論文は、QASM-EvalをNISQ時代における極めて重要なベンチマークおよび訓練基盤として位置づけています。著者らは以下のように主張しています：

• 現在のLLMは、ハードウェアに直結する量子プログラミングに必要な特定の構文および意味論的知識を欠いています。
• QASM-Evalによるターゲットを絞ったファインチューニングは、大幅な能力解放を実現し、中間規模のモデル（Llama-3-70Bなど）が、フューショット支援を受けたより大きなモデルを凌駕することを可能にします。
• このデータセットと検証フレームワークは、アルゴリズムの意図と物理的な量子の実行との間のギャップを埋める、信頼できるLLMアシスタントを開発するための、抽象的な回路設計からノイズ緩和やキャリブレーションといった実用的な現実へと移行するための不可欠なステップを提供します。

著者らは、現在のタスクがオープンエンドなアルゴリズム推論ではなく、制約駆動型のコード変換に焦点を当てていること、また合成データの性質上、現実世界の量子コードベースの非構造的な複雑さを完全には捉えきれていない可能性があることを挙げ、その範囲について謙虚な姿勢を保っています。しかし、QASM-Evalが将来の量子ソフトウェアエンジニアリングにおける重要なベースラインを確立するものであると断言しています。