技術要約：比較可能でコストを意識したソフトウェアテスト評価のための検証済み測定プロトコル

問題提起

量子ソフトウェアをはじめとする新興領域における経験的なソフトウェアテスト評価は、比較可能性の欠如に苦しんでいる。テスト生成戦略、オラクル（判定器）、およびフォールトモデルの有効性に関する発表された結果は、プログラム、フォールトモデル、実行予算、および統計的手法がそれぞれ異なっているため、互いに互換性がないことが多い。このように、個別に信頼性はあっても比較不可能な主張が蓄積されることは、どの手法が真に効果的であるかを判断しようとするこの分野の能力を阻害している。さらに、確率的なテストオラクルが信頼できる判定を下すために必要なサンプリング予算に関する検証済みの統計的保証や、合成的なミューテーション・テスティングの構成概念妥当性（具体的には、シードされたミュータントが実際の開発者によるフォールトを予測するかどうか）は、確率的オラクルを伴う領域においては未検証の仮説である。

メソドロジー

著者らは、これらの問題に対処するため、QSQ-Benchというベンチマークスイート内でインスタンス化された、Q-EVALと名付けられた固定かつ再現可能な測定プロトコルを設計、検証、および実行する。本研究は、標準的なシミュレータ（Qiskit Aer）上で実行される、完全にインストルメント化された15個の量子プログラム（2〜9量子ビットの範囲）を用いた制御されたシミュレーションである。

核となる手法上の革新は以下の通りである：

1. 固定プロトコル： プロトコルは、プログラムコーパス、5つの標準的なミューテーション演算子（ゲート置換、削除、挿入、量子ビットの再配線、およびパラメータ摂動）、特定のオラクルファミリー（デフォルトは統計的な $L_1$ 距離オラクル）、サンプリング予算、および統計的手順（Vargha-Delaney $\hat{A}_{12}$ 効果量、マン・ホイットニー検定）を固定している。
2. オラクル・サンプリング予算の保証： 著者らは、統計的オラクルが、特定の分布間隔（$d$）と信頼水準（$\alpha$）において正しいプログラムと誤ったプログラムを区別するために必要なショット数（$N$）の理論的境界を導出し、検証した。境界は $N = O((K + \log(1/\alpha))/d^2)$ で与えられる（ここで $K$ は可能な出力の数）。
3. 構成概念妥当性の研究： ミューテーション・テスティングの妥当性をテストするため、著者らはBugs4Qリポジトリから抽出した52組の実在するバグ/修正ペアを、合成ミュータントで使用したものと同じ測定ハーネスを通じて実行した。検出結果を分類し、ミス（見逃し）を分析することで、それらが定義上、出力ベースのオラクルに対して不可視であるかどうかを判断する。
4. クロスドメイン検証： プロトコルの汎用性をテストするため、修正されていないコアコード（具体的には、サンプリング予算の境界およびオラクル関数）を、古典的な非量子確率システムである「重み付きトラフィック・スプリッター（フィーチャーフラグ・バケッティング）」システム上で再実行した。

主な貢献

本論文は、ソフトウェア品質研究における重要度順に、6つの主要な貢献を提示している：

1. 固定測定プロトコル (QSQ-Bench/Q-EVAL)： 比較可能性をツールの属性ではなく、インストゥルメント（計測器）の属性とするフレームシップであり、標準的なミューテーション演算子セットと、必須の構造的報告（回路幅、サイズ、深さ）を備えている。
2. 検証された統計的保証： 統計的オラクルが誤報と見逃しの率を制御するために必要なサンプリング予算の境界を数値的に検証しており、実験結果を報告する前に通過しなければならない検証スイートによって制御されている。
3. 測定された構成概念妥当性： 合成ミュータントが実在のフォールト検出をどの程度予測するかを、仮定ではなく、実際のリバグペアを用いて直接測定した。
4. 経験的なクロス戦略研究： 15のプログラムと726のミュータントにわたり、4つのテスト生成戦略（ランダム、入力カバレッジ、組合せ、探索ベース）の直接比較を行い、効果量と有意性検定を実施した。
5. 領域外検証： コードの変更なしに、プロトコルの機構と定性的な知見が古典的な確率システムにおいて再現されることを示す、実行されたデモンストレーション。
6. 再現性パッケージ： ライブラリ、検証スイート、実験ランナー、および生の解析結果ファイルを含む完全なアーティファクトであり、すべての報告された図表がデータから直接再生成されることを保証している。

主な結果

• サンプリング予算： 理論的なサンプリング予算の境界は実用において成立している。測定されたリスクは理論的境界を超えなかった。ただし、実行ノイズ（デポラリゼーション・モデル）の下では、$L_1$ 統計量はゼロではなく、デバイスに起因するノイズフロア（0.028–0.051）に収束するため、誤報を避けるために検出閾値をこのフロアより高く設定する必要がある。
• オラクルの優位性： プログラムと予算の全グリッドにおいて、単一のオラクルファミリー（Wrong-Output、Output-Probability、または統計的 $L_1$）が支配的となることはなかった。統計的 $L_1$ オラクルは、証明可能で調整可能なサンプリング予算を持つ唯一のオラクルであるが、低予算時には Wrong-Output オラクルと比較して高い偽陽性率を示す。
• テスト生成： 探索ベースの選択（SB）は、タイトな予算（例：単一のテスト実行）の下でのみ、他の戦略を大幅に上回る。予算が増加する（6回以上のテスト）と、すべての戦略はほぼ天井に近い検出率へと収束する。
• ミューテーション分析： 生成されたミュータントの12.3%は、証明可能な同値であった。パラメータ摂動（PP）ミュータントは、他の演算子（89–100%のキル率）と比較して、最も検出が困難であった（キル率62%）。これは、小さな角度の変化が検出閾値を下回るフォールトギャップを生じさせるためである。
• 実在のフォールトの妥当性： 52組の実在するバグペアのうち、21組が互換性レイヤーの下で実行可能であった。プロトコルは、これら実行可能な実在のフォールトの81%を検出した。極めて重要な点として、見逃された4つのフォールトはすべて、出力分布ベースのオラクルに対して定義上不可視であることが証明されているクラス（例：グローバルフェーズエラー、可視化専用のフォールト、または出力分布に影響を与えないインターフェースの順序など）に属していた。
• スケーラビリティ： サンプリングコストは、単なるプログラムのサイズではなく、出力分布の広がりによって決定される。集中した分布（GHZ状態など）の場合、閾値に達するために必要なショット数は、量子ビット数が増加しても一定（64–128ショット）であったが、ワーストケースの理論的境界は指数関数的に増大した。
• 古典的複製： 古典的なフィーチャーフラグの検証においても、すべての主要な知見が再現された：境界は成立し、支配的なオラクルは存在せず、同値なミュータントが蔓延しており（37.5%）、小さな大きさのフォールトが最も検出困難であった。

意義と主張

本論文は、比較可能性、コスト意識、および構成概念妥当性が、固定された測定プロトコルの特性として提供できることを主張している。その意義は、この分野を「比較不可能な主張の蓄積」から「再現可能な計測器の確立」へと移行させることにある。

著者らは、証拠のステータスに基づいて自らの主張を明示的に分類している：

• 証明済み (Proven): サンプリング予算の境界式、および検証スイートがパスしているという事実。
• 測定済み (Measured): 特定の検出率、81%の実在フォールト検出率、12.3%の同値ミュータント率、およびノイズフロアの値。
• 仮説 (Hypothesis): 定量的な定数（例：特定の検出率）が、より大きなコーパス、実機ハードウェア、または機械学習コンポーネントのような他の古典的ドメインに転移するという点。
• 今後の課題 (Further Work): 上流のツールバイナリの統合、より大きなプログラムコーパスへのスケーリング、および実機の量子ハードウェアでの検証。

本論文は、特定の15プログラムのコーパスに定量的な結果が紐付いているものの、メソドロジー（手法）——すなわち、比較を可能にするためにプロトコルを固定し、オラクル予算を検証し、合成フォールトを実在のバグに対して監査すること——こそが、主要な転用可能な貢献であると結論付けている。本研究は、合成的なミューテーションスコアが、この領域において実在のフォールト検出能力を約20%過大評価している可能性があることを示している。これは、実在のフォールタが観測可能な出力分布の外側に存在し得るためである。