技術要約：量子ソフトウェア欠陥データセットの再現性について：Bugs4Qのケーススタディ

問題提起

ソフトウェア欠陥データセットは、ソフトウェアテスト、フォルトローカリゼーション、および自動プログラム修正の研究における基礎的なリソースである。しかし、実行環境やシステム依存関係の変化により、これらのデータセットの再現性は時間の経過とともに低下することが多い。先行研究（Zhuら）は、古典的な欠陥データセット（例：Defects4J）が再現の失敗に苦しんでいることを確立しているが、これらの知見が量子ソフトウェアにも一般化できるかどうかは依然として不明である。量子プログラムは、確率的な出力や特定の量子ゲート操作への依存といった独自の特性を持っており、それが特有の再現性の課題をもたらす可能性がある。本研究は、Qiskitベースの量子プログラムにおける実世界のバグを集めた広く利用されているベンチマークであるBugs4Qに焦点を当て、量子ソフトウェアの欠陥データセットにおける時間的な再現性に関する知識の空白を埋めるものである。

手法

著者らは、量子ドメイン向けに実験設計を適応させた上で、Zhuらの研究の操作的複製を行った。

• データセット: 本研究では、GitHub、Stack Overflow、および Stack Exchange から収集された、42個の実世界のバグを含む Qiskit プログラムのデータセットである Bugs4Q を使用した。テストコードを欠く5つのアーティファクトを除外した後、37個のアーティファクトを分析対象とした。これらは、誤った出力 (Wrong Output: WO)、例外の送出 (Throw Exception: TE)、およびシミュレーション失敗 (Simulation Failure: SF) の3つのバグタイプに分類された。
• 縦断的分析: 著者らは、3つの主要なバージョンシリーズ（0.x, 1.x, 2.x）にわたる3年間（2022年5月から2026年4月まで）の Qiskit コアライブラリの 21個のスナップショットにわたって再現性を評価した。
• 実験設定:
  • 実行: 合計 77,700回の量子プログラム実行が行われた。量子測定の非決定的な性質を考慮し、各アーティファクトは各スナップショットにつき 30回 実行された。
  • 構成: 2つの依存関係構成をテストした：
    1. Core-only: コアとなる Qiskit ライブラリのみを更新する。
    2. Pinned-stack: コアライブラリを更新しつつ、公式のリリースのノートに基づき、周囲のパッケージの互換性のあるバージョンを手動で固定（ピン留め）する。
  • 再現性基準: 先行研究から適応させた、厳格さが段階的に高まる3つの基準を用いた：
    1. 存在 (Existence): バグのあるバージョンが失敗し、修正されたバージョンが成功すること。
    2. タイプ一致 (Type Match): 失敗のタイプ（例：特定の例外クラスやアサーションエラー）が元の報告と一致すること。
    3. 原因一致 (Cause Match): 実行時の証拠（例：エラーメッセージや出力のバイアス）が元の根本原因と一致すること。
• 根本原因分析: 最も厳格な基準（原因一致）で失敗したアーティファクトに対して、著者らはオープンコーディングを用いて543件の再現失敗事例の分類を行い、根本原因の特定とパッチ戦略の提案を行った。

主要な知見と結果

1. 時間経過による再現性の低下

Bugs4Q の再現性は、Qiskit エコシステムが進化したにつれて急激に低下した。

• 初期のスナップショット（Qiskit v0.20.1）において、存在基準に基づく再現性は 62.2% であった。
• 最新のスナップショット（Qiskit v2.3.1）までに、再現性は 16.2% まで低下した。
• 低下は、メジャーバージョンのアップグレード（0.x → 1.x および 1.x → 2.x）の後に最も激しくなった。
• 失敗の持続性: 古典的なデータセットでは、アーティファクトが再び再現可能になることもあるが、Bugs4Q のアーティファクトは一度再現不能になると、その後のすべてのスナップショットにおいても再現不能なままであった。83.8% のアーティファクト（37個中31個）が、この3年間で少なくとも1回の再現失敗を経験した。

2. 再現失敗の根本原因

543件の失敗事例の分析により、93.6% の失敗が依存関係に関連していることが判明し、これは古典的なソフトウェアにおける知見と一致した。しかし、これらの依存関係の性質は大きく異なっていた：

• ソース関連の失敗 (82.0%): これが支配的な原因であった。これらは、アーティファクトのソースコードが、新しいバージョンで削除または再構成された Qiskit インターフェース（インポートパスまたは API コール）を参照しているために発生した。
  • インポートの不適合 (48.1%): モジュールが移動または削除された（例：qiskit.extensions）。
  • API 呼び出しの不適合 (33.9%): レガシーな関数（例：execute）が新しいパターン（例：transpile + backend.run）に置き換わった。
• ライブラリ関連の失敗 (11.6%): コアライブラリと周囲のパッケージ間の不適合。
• 量子特有の失敗 (5.1%): 量子測定の確率的な性質（例：ショット数の統計的な変動）による失敗。
• 元のテストの問題 (1.3%): 元のテストロジックの欠陥。

3. パッチ可能性とソースコードの修正

古典的なソフトウェアの知見と比較して、修正可能性に関して決定的な相違が観察された：

• 古典的なデータセットでは、約94%の失敗が依存関係の更新のみで解決可能であった。
• Bugs4Q では、4.6% の失敗のみが環境レベルのパッチ（依存関係のピン留め）によって解決可能であった。
• 残りの 95.4% は、新しい Qiskit インターフェースに合わせるためのインポート文の移行や API 呼び出しの更新といった、ソースコードの修正を必要とした。

貢献

1. 実証的研究: 量子ソフトウェアの欠陥データセットの再現性を時間経過とともに調査した初の経験的研究である。
2. 根本原因の分類: 再現失敗を分類し、依存関係に関連する問題が支配的ではあるものの、それらが単純なバージョンの競合ではなく、主にソースコードのインターフェースの不一致として現れることを特定した。
3. Bugs4Q-Robust: Qiskit v2.3.1 用に設計された、パッチ適用済みのデータセットである Bugs4Q-Robust を作成した。
   • 結果: パッチを適用することで、最新バージョンにおける再現性（存在基準）は 16.2% から 78.4% に向上した。
   • 限界: 「ライブラリ内部の挙動の変化」により、新しい API が以前にバグを引き起こしていた条件を暗黙的に処理するようになり、パッチ適用に関わらず元のバグの再現が不可能になるケースがあるため、一部の失敗は修正不能である。
4. メンテナンスへの示唆: 本研究は、量子欠陥データセットの維持には、単なる環境管理だけでなく、継続的なソースコードの移行が必要であることを強調している。

重要性と主張

本論文は、再現性の減衰という「現象」は古典的ソフトウェアと量子ソフトウェアの間で共通しているが、「メカニズム」と「解決策」は異なるということを主張している。

• 依存関係管理は必要条件であるが、十分条件ではない: 依存関係のピン留めがしばしば十分である古典的なデータセットとは異なり、量子データセットには、古い API 参照を移行するための能動的なソースコードのメンテナンスが必要である。
• 継続的なメンテナンスの必要性: メジャーバージョンでの破壊的変更を特徴とする Qiskit のようなフレームワークの急速な進化は、データセットの管理者が新しい API へのアーティファクトの定期的な手動移行を行うことを求めている。
• 将来の研究方向: フレームワークの進化（例：Qiskit の移行ガイド）に基づいた自動コード移行技術は、量子欠陥データセットを維持するための有望な方向性であると著者らは示唆している。なぜなら、手動のパッチ適用はスケールしないからである。

本研究は、Bugs4Q を使用する研究者にとって、特定のデータセットのスナップショットと実行環境を報告し、再現性を回復するために行った修正についても文書化することが不可欠であると結論付けている。著者らは、進化するエコシステムにおける将来の研究を支援するために、Bugs4Q-Robust とその複製パッケージを公開している。