Qiskit QuantumKatas: Adapting Microsoft's Quantum Computing exercises for LLM evaluation

本論文は、量子計算タスクにおける大規模言語モデルの評価のための包括的なベンチマークとして、マイクロソフトのQuantumKatasをQiskitベースに適応させたものを導入し、モデルは既知のアルゴリズムの実装においては優れている一方で問題の符号化においては苦戦しており、かつ思考連鎖プロンプトは異なるモデルアーキテクチャにおいて一貫しない結果をもたらすことを明らかにする。

要約

350 個のなぞなぞからなる巨大な図書館を想像してください。これらのなぞなぞは、量子コンピュータをプログラミングするために使われる奇妙で新しい言語「Quantum」の話し方を教えるために設計されたものです。長年、これらのなぞなぞは Q#（マイクロソフトの方言）と呼ばれる言語で書かれていました。

この論文は主に 2 つのことについて述べています：

1. 図書館の翻訳：著者らは、その 350 個のなぞなぞを、現在量子プログラマーが最も多く使用する「方言」（フレームワーク）であるQiskitに翻訳しました。
2. 学生のテスト：彼らは、この翻訳された図書館を巨大な試験として使用し、16 種類の異なる人工知能（AI）モデルがこれらの量子なぞなぞをどれだけうまく解けるかをテストしました。

以下に、彼らが発見したことを簡単なアナロジーを使って解説します：

1. 試験：「QuantumKatas」

QuantumKatasを、26 段階のレベルを持つビデオゲームだと考えてください。レベルは「チュートリアル」（非常に簡単）から「ボス戦」（非常に難しい）まであります。

• レベル：一部のレベルでは、AI にコインを裏返す（基本的なゲート）ような単純なトリックを要求します。他のレベルでは、特定のアルゴリズム（グローバー探索）を使って干し草の山から隠れた針を見つける、あるいは壊れた機械を修理する（エラー訂正）ような複雑なパズルを解くことを AI に要求します。
• 翻訳：著者らは新しいなぞなぞを考案したのではなく、既存のなぞなぞをマイクロソフトの Q#言語から IBM の Qiskit 言語に翻訳しただけです。これにより、難易度が公平に保たれ、概念も同一であることが保証されます。
• 採点：彼らは AI にコードを書くことを求めただけではありませんでした。コードをシミュレーター（仮想量子コンピュータ）で実行し、実際に機能するかどうかを確認しました。数学が一致しなかった場合、AI は不合格となりました。

2. 学生：16 種類の AI モデル

彼らは 16 種類の異なる AI「学生」をテストしました。

• 「エリート」学生（最先端モデル）：これらは GPT-5.5、Claude Opus、Gemini 3.1 などの、大きく高価でプロプライエタリなモデルです。
• 「オープン」学生（オープンソースモデル）：これらは誰でもダウンロードできる無料モデル（Llama、Mistral、Gemma など）です。

結果：

• 格差：エリート学生はオープン学生よりもはるかに高いスコアを獲得しました。平均して、エリート学生はなぞなぞの約**75%を正解しましたが、オープン学生は約49%**しか正解できませんでした。これは、優等生と合格ラインの学生の差のようなものです。
• サイズが常に勝つわけではない：興味深いことに、「大きな脳」（より多くのパラメータ）を持つことが、必ずしも良いスコアを保証するわけではありませんでした。一部の小さく、より賢くチューニングされたモデルが、巨大なモデルを上回りました。重要なのは脳の大きさだけでなく、どのように訓練されたかです。

3. 勉強のヒント（プロンプト戦略）

研究者らは、AI のパフォーマンス向上に役立つかどうかを確認するために、質問の出し方を様々に試みました。

• 「見せて」方法（Few-Shot）：新しいなぞなぞを解く前に、AI に解かれたなぞなぞの例をいくつか提示しました。これは、ほぼすべてのモデルにとって最も信頼性の高い方法でした。これは、テスト前に学生に解かれた数学の問題を見せるようなものです。
• 「声に出して考える」方法（Chain-of-Thought）：コードを書く前に、AI にその推論を段階的に説明させるように求めました。
  • ひねり：これは「推論チューニング済み」モデル（特に考えるように訓練されたモデル）には非常に効果的であり、スコアを向上させました。
  • 欠点：他のほとんどのモデルにとって、声に出して考えることは実際には悪影響を及ぼしました。これは、学生にパズルのすべての手順を声に出して説明させることで、話すことに気を取られすぎて解法を忘れてしまうようなものです。
• 「ただやれ」方法（Zero-Shot）：例を示さずに単に質問するだけです。これは、助けを必要としない絶対的に最も賢いモデル（GPT-5.5 など）にとって最も効果的でした。

4. どこで苦労したか？

AI 学生は一部のことは得意でしたが、他のことではひどく苦手でした：

• 得意分野：彼らは既知のアルゴリズムの暗唱が得意でした。「シモンのアルゴリズムのコードを書け」というなぞなぞであれば、82% の確率で正解しました。これは、レシピを暗記して完璧に調理するようなものです。
• 苦手分野：彼らは問題のエンコーディングに苦労しました。「この厄介な現実世界の問題（論理パズルなど）を量子のレシピに変換せよ」というなぞなぞであれば、頻繁に失敗しました（成功率はわずか 34%）。これは、レシピに従うことは得意でも、ゼロから新しい料理を考案することは苦手なようなものです。
• 「測定」の罠：彼らはまた、「測定」（量子状態の結果を確認すること）を伴うタスクにも苦労しました。これは現在の AI にとって特定の盲点のようです。

5. 結論

• AI は良くなっているが、完璧ではない：最高の AI は、これらの量子なぞなぞの約 83% を解くことができます。これは非常に難しい分野としては印象的ですが、まだ完璧ではありません。
• 「翻訳」の問題：AI は既知のパターンをコピーすることには長けていますが、新しい厄介な問題を量子コードに変換することには劣ります。
• 万能な解決策はない：すべての AI に同じ「勉強のヒント」（プロンプト）を使ってはいけません。例が必要なモデルもあれば、声に出して考える必要があるモデル、そしてただ放置しておくだけで良いモデルもあります。

要約すると：著者らは、最も人気のある言語で標準化された「量子の運転免許試験」を構築しました。その結果、AI は既知の道（標準アルゴリズム）を運転することには非常に上手くなっていますが、地図がない場合（新しい問題を解く場合）のナビゲーションにはまだ苦労していることがわかりました。現在、「エリート」AI モデルが最高のドライバーですが、それらと「オープン」モデルの間には大きな格差があります。

技術概要

技術的サマリー：LLM 評価のための Qiskit QuantumKatas

問題定義

大規模言語モデル（LLM）は、一般的なプログラミングやデータサイエンスにおいて強力なコード生成能力を示しているが、量子コンピューティングに特化した科学的計算におけるその熟練度は未だ十分に探求されていない。量子コンピューティングは、重ね合わせ、もつれ、測定を理解する必要がある非古典的な計算パラダイムであるため、独自の課題を呈する。量子タスクに関する既存のベンチマークは、規模が限定的であるか、教育的な構造を欠いているか、コード生成ではなく多肢選択式の知識に焦点を当てていることが多い。最も広く採用されているフレームワークである Qiskit 内で機能的な量子コードを生成する LLM の能力を微細に分析できる、大規模かつ構造化されたベンチマークが必要とされている。

手法

著者らは、Microsoft の確立された QuantumKatas カリキュラム（元々は Q# で記述）を Qiskit に適応させたベンチマーク「Qiskit QuantumKatas」を導入する。手法は以下の通りである：

1. データセット構築：

   • 翻訳： 350 の異なるプログラミングタスクを Q# から Qiskit に翻訳し、基本的なゲートから高度なアルゴリズムまでの元の教育的な進行順序を保持した。
   • 検証： 古典的な回路シミュレーション（Qiskit の AerSimulator および Statevector）を用いた決定論的な評価パイプラインを構築した。各タスクには、自然言語のプロンプト、規範的なソリューション、および状態ベクトルの比較または測定結果の分析を通じて正しさを検証するテスト関数が含まれる。
   • 分類： タスクは 26 のカテゴリ（例：BasicGates、Grover のアルゴリズム、量子誤り訂正）と、3 つの教育的レベル（入門：95 タスク、中級：132 タスク、上級：123 タスク）に整理されている。

2. 評価フレームワーク：

   • モデル： 6 つの最先端（プロプライエタリ）モデル（例：GPT-5.5、Claude Opus 4.7）と 10 のオープンソースモデル（8B から 675B パラメータまで）を含む 16 の LLM を評価した。
   • プロンプト設定： 各モデルを 7 つのプロンプト戦略でテストした。3 つのゼロショット変種（デフォルト、最小限、詳細）、3 つのフューショット変種（入門カテゴリからの例を使用した 1 ショット、3 ショット、5 ショット）、および 1 つの思考連鎖（CoT）設定である。
   • 実行： 本研究では 39,200 回のモデル実行が行われた。ソリューションは解析され、構文チェックが行われ、30 秒のタイムアウトを設けた隔離されたサブプロセスで実行された。再現性を確保するため、温度 0 で Pass@1（単一試行）の結果を報告した。

主要な貢献

• ベンチマークの適応： 350 タスクの QuantumKatas カリキュラムを Q# から Qiskit へ完全に翻訳し、支配的な量子フレームワークの評価に利用可能な実証済みの教育的リソースを可能にした。
• 評価インフラ： 検証のための古典的シミュレーション、マルチプロバイダー対応、設定可能なプロンプト戦略を備えた堅牢で決定論的な評価パイプライン。
• 実証分析： 量子コード生成における LLM の最大かつ体系的な評価であり、26 のカテゴリにわたるベースライン結果、エラー分類、および微細な性能プロファイルを提供する。
• オープンリリース： 再現可能な研究を支援するため、データセット、評価フレームワーク、およびベースライン結果を公開した。

結果

評価により、量子コンピューティングにおける LLM の能力に関するいくつかの重要な知見が得られた：

1. モデル性能の格差：

   • 最良の設定における通過率は、Granite 4.1 8B の 32.3% から GPT-5.5 の 83.1% の範囲であった。
   • 最先端モデル（平均 75.3%）とオープンソースモデル（平均 49.3%）の間には、一貫して 26.1 ポイントの格差が存在する。
   • モデルの規模は性能の完全な予測因子ではない。例えば、675B パラメータの Mistral Large 3（48.6%）は、31B パラメータの Gemma 4（68.0%）よりも低い性能を示した。

2. プロンプト戦略の影響：

   • フューショットプロンプト（特に 5 ショット）は、平均して最も信頼性の高い戦略（平均 57.8%）であり、ゼロショットや思考連鎖を上回った。
   • 思考連鎖（CoT） は二峰性の効果を示した。3 つのモデル（推論調整が明示的に行われた GPT-5.3-Codex と Gemini 3.1 Pro の 2 つを含む）にとっては最良の戦略であったが、他の大多数のモデルでは性能を低下させた（例：Claude Sonnet 4.6 では 11.1 ポイントの低下）。これは、CoT が量子コード生成に対して普遍的に有益ではないことを示唆している。

3. タスクの難易度と能力：

   • アルゴリズムの実装対問題の符号化： モデルは既知のアルゴリズムの実装（例：Simon のアルゴリズム：82.1%、BasicGates：81.6%）ではよく機能するが、古典的な問題を量子プリミティブに符号化する（例：SolveSATWithGrover：34.4%、DistinguishUnitaries：40.0%）ことには著しく苦労する。
   • エラー分析： 支配的な失敗モードは論理エラー（43.0%、主に AssertionError）であり、コードは実行されるが誤った量子状態を生成する。これは、構文や API の使用ではなく、量子推論が主要なボトルネックであることを示している。
   • 測定推論： 測定結果や基底選択に関わるカテゴリ（例：Measurements、Teleportation）は、一貫して低い通過率を示し、古典 - 量子インターフェースに関する推論における特定の弱点を浮き彫りにした。

意義

本論文は、Qiskit QuantumKatas ベンチマークが、専門的な科学分野における LLM を評価するための厳密で教育的に構造化されたツールを提供すると主張している。その意義は以下の点にある：

• 差別化： このベンチマークは、幅広い性能スペクトラムにわたってモデルの能力を効果的に差別化し、天井効果や床効果を回避する。
• 粒度： 26 カテゴリの構造により微細な分析が可能となり、LLM は文書化されたアルゴリズム構造をコードに変換する方が、古典的な問題に対する新しい量子ソリューションを編み出すよりも容易であることが明らかになった。
• 教育的および開発的有用性： 結果は、最先端モデルが入門的な量子トピックにおける自動チュータリングやコード補完に対して実用的になりつつある一方で、高度な問題の定式化や複雑な演算に対してはまだ信頼できないことを示唆している。
• 将来の方向性： この研究は、専門分野における格差の解消にはスケーリングだけでは不十分であり、問題の符号化や測定推論という特定の課題に対処するために、ターゲットを絞ったトレーニングと推論能力の向上が必要であることを浮き彫りにしている。

著者らは、このベンチマークが、ノイズを考慮したタスク、研究レベルのアルゴリズム、および最先端モデルとオープンソースモデル間の性能格差を埋めるためのドメイン固有のトレーニングデータの開発など、将来の研究の基盤として機能すると強調している。