技術要約：スケーラブルな量子プログラムを用いた量子ソフトウェアテストのベンチマーキング

問題提起

量子ソフトウェアテスト（QST）は、量子プログラムが仕様通りに動作することを検証することを目的としている。しかし、現在のQSTにおける厳密な経験的評価は、適切なベンチマークの欠如によって阻害されている。既存の研究の多くは、OpenQASMのようなアセンブリ言語で書かれた、小規模でハードコードされた、あるいは固定サイズの量子回路（低レベルプログラム）に依存している。これらのプログラムはスケーラビリティに欠け、Qiskitのようなソフトウェア開発キット（SDK）に見られるモジュール性や高レベルな抽象化といった、現代のソフトウェアエンジニアリングの実践を反映していない。

さらに、既存のベンチマークは断片化されている。Bugs4Qのようなリソースには、量子スタック内の多くの古典的なプログラムが含まれているが、MQT Benchはプログラムそのものではなく、入力としての回路を用いたハードウェアテスト用に設計されている。このミスマッチにより、有効なテストケースの設計、結果の一貫した解釈、および異なるQST手法間での公平かつ再現可能な比較が困難になっている。スケーラブルで高レベルな量子プログラム、明確な機能仕様、および標準化されたインターフェースをサポートするベンチマーク・インフラストラクチャが切実に求められている。

手法

著者らは、スケーラブルな量子プログラムに対する制御されたQST実験をサポートするために設計されたベンチマーク・インフラストラクチャであるQolumbinaを提案する。Qolumbinaの構築は、以下の体系的なパイプラインに従う：

1. 収集とフィルタリング： プログラムは、実世界での由来を持つ8つのオープンソース・リポジトリ（例：公式のQiskitリポジトリ、先行するQST研究のアーティファクト）から精査された。選択基準（F1–F3）により、プログラムが以下を満たすことを保証した：

   • 論理および構造においてスケーラブルであること（古典的な引数によって回路サイズを決定できる）。
   • 機能的な記述またはアルゴリズムの原理を伴っていること。
   • ノイズのない状況下でユニタリ演算を実装していること（今回の初期スコープでは回路中測定を除外）。
     このプロセスにより、40個の異なるプログラムが得られた。

2. テスト可能性のためのリファクタリング： 異種混合のインターフェースや仕様不足の制約に対処するため、元のプログラムの95%に対して中程度のリファクタリングを行った。適応内容には以下が含まれる：

   • 構造の再編成： 入出力ポートの統一、および固定変数の設定可能な引数への変換。
   • 依存関係のデカップリング： 長期的な利用可能性を確保するため、外部依存関係をローカルな同等物に置き換え。
   • 入力バリデーション： 無効な入力を拒否するためのアサーションの挿入。
   • クロスランゲージ翻訳： 他のフレームワーク（例：Q#）からのプログラムのQiskit/Pythonへの翻訳。

3. ドキュメンテーションと仕様： 著者らは、以下を含むQST指向のドキュメントを生成した：

   • 数式ベースの仕様： 期待される出力および構造の数学的定義。
   • APIドキュメント： docstringから自動生成され、形式的な仕様にリンクされたもの。
   • コード例： 複雑なテスト入力の構築方法を示すもの。
   • 技術的負債の明示： 制限事項（例：露出されていない引数や近似アルゴリズムに対する信頼性の低いオラクルなど）の明記。

4. ユニットテスト： リファクタリングされたプログラムが仕様に適合していることを検証するために、220個のプログラムレベルのユニットテストが開発・実行され、85%のステートメント網羅率を達成した。

5. タクソノミーとメトリクス： 著者らは、以下の観点からプログラムを特徴付ける基準を確立した：

   • 機能性： アプリケーションドメインと出力特性（例：決定的、位相エンコード、近似的）。
   • スケール： 開発の複雑性（行数、循環的複雑度）および実行の複雑性（回路幅、サイズ、深さ）。

主な貢献

1. Qolumbinaインフラストラクチャ： 先行研究で使用されていた低抽象度の回路よりも、実践的な開発に近い、40個のスケーラブルなQiskitプログラムを含む公開可能なベンチマーク。
2. 構築パイプライン： 体系的な選択、リファクタリング、仕様策定、および標準化を通じて、オープンソースの量子プログラムをテスト可能な対象へと変換する手法。
3. QST指向のタクソノミー： プログラムの機能性とスケールを検証するために使用される、プログラムの機能性とスケールを特徴付けるための一連の基準。
4. 経験的検証： 実行コストおよび故障検出の研究におけるQolumbinaの使用可能性を実証する、2つの制御された実験。

経験的結果

著者らは、3つの研究課題（RQ）に取り組む経験的研究を行った：

• RQ1（機能的特性）：

  • 実世界の由来： プログラムの70%が非教育的であり、77.5%がサブルーチンとして再利用可能である。これは、これらが単なるチュートリアル例ではなく、より大きなワークフローのモジュール化されたコンポーネントであることを示している。
  • 出力の多様性： ベンチマークは、決定的、正確な分布、位相エンコード、および近似的な出力を含む、6つの異なる出力カテゴリをカバーしている。この多様性は、標準的な統計的オラクルが位相エンコードされたプログラムに対して失敗する可能性があるため、特定の出力セマンティクスに合わせたテストオラクルが必要であることを浮き彫りにしている。

• RQ2（スケール分析）：

  • 開発の複雑性： プログラムは、HHLアルゴリズムのような複雑な構造的課題を提供するアウトライヤーを含め、幅広いLOC（4–247）および循環的複雑度（2–86）に及ぶ。
  • 実行の複雑性： 固定サイズのベンチマークとは異なり、Qolumbinaのプログラムは、古典的な入力に基づいて回路の幅、サイズ、深さが大幅に変化する回路を生成する。研究の結果、回路の複雑さは、量子ビット数の引数だけでなく、他の機能的な引数（例：加算器における重みベクトル）にも依存し、実行コストに大幅な変動をもたらすことが判明した。

• RQ3（実験的パフォーマンス）：

  • 実行コスト： MSTCおよびDOSSのアプローチを用いて、混合状態のテストスイートが純粋状態のものよりも効率的であるという知見を再現した。極めて重要な点として、これをノイズのあるシミュレーションに拡張し、バックエンドの選択（理想的なバックエンドか、AlgiersやBrooklynのような偽のバックエンドか）が、トランスパイルの違いにより、ノイズレスの設定であっても実行時間に大きく影響することを示した。
  • 故障検出： DOSSをテストオラクルとして使用した場合、報告された失敗率は、異なる偽のバックエンド間で大きく異なった。統計分析（Mann–Whitney U検定）により、バックエンド間の失敗率に大きな効果量があることが明らかになった。これは、バックエンドのノイズや特定のハードウェアモデルが、単なる周辺的な詳細ではなく、故障検出結果に影響を与える実験変数であることを示している。

意義と主張

本論文は、Qolumbinaが現行の研究用ベンチマークと実践的な量子ソフトウェア開発との間のギャップを埋めるものであると主張している。標準化されたインターフェースと仕様を備えたスケーラブルで高レベルなプログラムを提供することで、QST手法のより公平で再現可能な評価を可能にする。

著者らは、将来の研究に向けた2つの主要な示唆を強調している：

1. 機能性を考慮したテスト： テストオラクルと設計は、一律のアプローチを適用するのではなく、プログラムの意図された機能および出力特性（例：位相 vs 確率）に適合しなければならない。
2. 実験変数としてのバックエンド： バックエンドの選択（理想的 vs 偽/ノイズあり）は、実行コストと故障検出の結果の両方に実質的な影響を与える。したがって、バックエンドの選択は、単なるシミュレーションの詳細としてではなく、QST研究におけるコアな実験設定の一部として扱うべきである。

本研究は、Qolumbinaがスケーラビリティ分析をサポートし、先行研究の知見を再現する一方で、さらなる調査を必要とするバックエンド依存の効果に関する新たな現象をも明らかにしていると結論付けている。著者らは、自らの研究を、ミッド回路測定の除外や、現実世界のバグではなくミューテーションベースの故障の使用といった制限事項を認めつつ、初期の評価および将来の研究のための基礎として控えめに位置づけている。