技術要約: ConformalFL

問題提起

スペクトラムベースの故障局在化（SBFL）は、テストカバレッジに基づいた実行可能プログラム行のランキングを生成するが、開発者に具体的な停止基準を提供するには至らない。開発者は、ランキングを放棄する前に何行を調査すべきかを決定しなければならないが、この決定は、プログラム規模、テストサポート、スコアの集中度、および正確なスコアのタイ（同値）の存在による大きな差異によって複雑化する。既存のアプローチの多くは、固定されたTop-Nポリシーや、これらの運用上の現実を無視した較正されていないヒューリスティックに依存しており、故障を見逃すリスクに関する正式な保証を提供していない。

本論文は、ユーザーが選択した「限界ミスリスク」（例：「10%の確率で故障を見逃してもよい」）を、バグに適応した特定の調査セットへと変換する手法の必要性に取り組んでいる。目標は、基礎となるSBFLランキングの品質を向上させることを前提とせず、少なくとも一つのマップされた故障行を、保証された確率で含む、監査可能なタイ完全（tie-complete）な候補セットを提供することである。

手法

提案手法である ConformalFL は、共形化分位点回帰（Conformalized Quantile Regression: CQR） を適用し、故障発生前のスペクトラム特徴量に基づいて、特定のバグに対する調査カットオフを予測する。

1. ターゲットの定式化

本手法は、予測ターゲットを、最も早い故障スコアグループの正規化されたエントリー位置（$y_{entry}$）として定義する。

• 運用のロジック: 候補は減少するSBFLスコア順に並べられる。正確なタイはスコアグループを形成する。手法は分数 $b_i$ を予測し、カットオフインデックス $k_i$ を計算する。結果としての候補セットは、位置 $k_i$ におけるスコア以上のスコアを持つすべての行を含む。
• タイの処理: セットを「タイ完全」にするために、もしカットオフがタイグループ内に着地した場合は、そのグループ全体を含める。ターゲットは、不要な二重カウントを避けるために、タイによる拡張の終点ではなく、故障タイグループのエントリーポイントとする。

2. 予測パイプライン

• 特徴量ベクトル: モデルは、コードサイズ、テスト/カバレッジ指標、およびOchiaiスコアの12個の分布特徴量（モーメント、エントロピー、ギャップ、タイ数など）を含む、故障が明らかになる前に利用可能な20個の特徴量を使用する。プロジェクトの識別子と故障箇所は、主要なモデルからは除外される。
• 分位点回帰: 勾配ブースティング回帰器は、特徴量 $x_i$ が与えられたときの条件付き上側分位点（$bq_{1-\alpha}$）を推定する。
• 共形補正（Conformal Correction）: 有限標本の周辺被覆保証を実現するために、保持された較正セットを使用する。片側残差（$r_i = y_{entry, i} - bq_{1-\alpha}(x_i)$）を計算し、これらの残差の $(1-\alpha)$ 分位点に基づく補正を適用する。
• 最終カットオフ: 最終的な予算は、予測された分位点と共形補正の合計であり、$[0, 1]$ にクリップされる。必要な較正サンプルサイズが不十分な場合（例：データセットが小さい高カバレッジターゲットの場合）、手法は「圧縮なし（no-compression）」の結果（全件調査）をデフォルトとし、要求されたリスクレベルがサポートされていないことを明示的に通知する。

3. 実験設計

• データセット: 395個の歴史的なDefects4J（Java）バグの固定されたユニバースを、248個の「候補が存在する」バグ（少なくとも一つのマップされた故障実行可能行と、パス/失敗の両方のテストを持つもの）に削減したもの。
• プロトコル: 30個のプロジェクト層化分割（訓練60%、較正20%、テスト20%）。
• 比較対象:
  • GBR: 較正されていない勾配ブースティング分位点回帰。
  • Global Conformal: 較正ターゲットから導出された特徴量に依存しない定数カットオフ。
  • 固定ポリシー: 事前登録されたTop-Nおよび固定パーセンテージポリシー（例：Top-10%）。
• ストレス・テスト: ホールドアウト・プロジェクト（Leave-One-Project-Out）、時系列（時間的シフト）、およびクロスランゲージ（Python/BugsInPyへの転移）評価。

主な結果

公称90%のカバレッジレベルで評価：

1. カバレッジ vs ワークロード:

   • ConformalFL (CQR): 実行可能な候補の 30.2%（中央値508.5行）を調査しながら、91.8% の平均カバレッジを達成した。
   • 未較正 (GBR): 15.6%の調査で87.6%のカバレッジを達成した。
   • Global Conformal: 91.8%のカバレッジを達成したが、44.2% の調査を必要とした。
   • 固定 Top-10%: 28.3%の調査で90.1%のカバレッジを達成した。

2. 較正の価値:

   • 較正により、未較正のGBRに対して約 4.2パーセントポイント のカバレッジが追加されたが、調査努力量は +14.7パーセントポイント のコストを要した。
   • 定数であるGlobal Conformalのカットオフと比較して、CQRは同等の平均カバレッジを維持しながら、調査量を 14.0パーセントポイント削減 した。これは、静的なものに対するバグ適応型カットオフの価値を示している。

3. ワークロードの分布:

   • ワークロード分布は高度に歪んでいる。中央値の調査量は約508行であったが、重い裾（ヘビーテイル）があるため、平均は約1,521行であった。
   • 18.9% のケースで、スコアのタイが候補セットをランキング全体にまで拡大させたため、「圧縮なし（full inspection）」となった。これは、カットオフがゼロスコアの境界に位置した場合に特異的に発生した。

4. ストレス・テスト:

   • プロジェクト・シフト: カバレッジはプロジェクトによって変動した（85.7%–100%）。小さな較正サンプル（例：5つのバグ）は、空虚な（100%調査の）結果をもたらした。
   • クロスランゲージ: 再学習なしでPython（BugsInPy）に転移した場合、CQRは高い経験的カバレッジ（98.3%）を維持したが、ワークロードが激しく劣化し、平均で 66.9% のステートメントを調査し、53.3%のケースで全件調査を必要とした。

意義と主張

本論文は、ConformalFLの貢献について、控えめかつ具体的な主張を行っている：

• 監査可能なリスク制御: 主要な貢献は、要求されたミスリスクから、バグ適応型かつタイ完全な調査セットへの、監査可能なマッピングである。較正バグと展開バグの間の交換可能性（exchangeability）を仮定の下で、周辺被覆（marginal coverage） の正式な保証を提供する。
• 普遍的な優位性の不在: 本論文は、ConformalFLがこのベンチマークにおいて、適切に選ばれた固定ポリシー（Top-10%など）を経験的に圧倒することはないと明示的に述べている。固定Top-10%ポリシーは、較正を必要とせずに、努力量およびカバレッジの面で同等の性能を示した。
• 限界:
  • 本手法は、基礎となるSBBLランキングの品質を向上させるものではない。
  • 特定のプロジェクトやサブ集団に対する条件付き被覆を保証するものではない。
  • 交換可能性が成立しない（例：クロスランゲージや新しいプロジェクトなど）分布シフトの下での妥当性を保証するものではない。
  • 行数とコンテキストスイッチのコストや理解の労力は等価ではないため、人間のデバッグ時間を測定するものではない。

結論: ConformalFLは、歴史的な故障データを持つチームに対し、較正されていないヒューリスティックを、ミスリスクと調査努力量を明示的にトレードオフする透明なルールに置き換えるための実用的なツールを提供する。しかし、その有用性は、代表的な較正データが必要であること、およびスコアのタイが頻繁に発生する場合や較正サンプルが小さい場合に「圧縮なし」の結果となる可能性があるという制約に縛られている。