Efficient Black-Box Fault Localization for System-Level Test Code Using Large Language Models

この論文「Efficient Black-Box Fault Localization for System-Level Test Code Using Large Language Models（大規模言語モデルを用いたシステムレベルテストコードのための効率的なブラックボックス故障局所化）」の技術的概要を日本語でまとめます。

1. 研究の背景と問題定義

背景:
ソフトウェアテストにおいて、テストコード自体にバグが含まれている場合、システム自体（SUT: System Under Test）に問題がないにもかかわらずテストが失敗することがあります。特にシステムレベルのテストでは、テストスクリプトが複雑で、SUT との相互作用が多いため、テストコード内のバグが原因の失敗は頻繁に発生します。しかし、既存の故障局所化（Fault Localization: FL）技術の多くは、SUT のソースコードにアクセスでき、複数のテスト実行（合格/不合格）が必要であるため、以下の課題があります。

主な課題:

1. ブラックボックス制約: 産業現場では、テスト担当者が SUT のソースコードにアクセスできない（ブラックボックス）ケースが多く、SUT 内部の情報を得られないため、SUT のバグとテストコードのバグの区別が困難です。
2. 実行コストと非決定性: 従来の手法（スペクトラムベース FL など）は、合格/不合格の両方のテスト実行を繰り返し行う必要があります。しかし、システムレベルテストは実行コストが高く、非決定性（再現性の低い）失敗も多いため、複数回の実行は現実的ではありません。
3. テストコードの複雑さ: システムレベルテストは単体テストに比べて複雑で、テストスクリプト自体のバグを特定する自動化手法が不足しています。

目的:
SUT のソースコードへのアクセスを必要とせず、単一の失敗ログのみを用いて、システムレベルのテストコード内の故障箇所を特定する「実行不要（Execution-free）」かつ「ブラックボックス」な故障局所化手法の提案。

2. 提案手法 (Methodology)

提案手法は、大規模言語モデル（LLM）を活用した、完全に静的なアプローチです。主なプロセスは以下の 2 フェーズで構成されます。

フェーズ 1: 実行トレースの推定 (Execution Trace Estimation)

テストを実行せずに、失敗ログとテストコードから「どのコード行が実行されたか」を推定し、無関係なコードを剪定（Pruning）します。これにより、LLM への入力サイズを削減し、検索空間を狭めます。

1. ソースからログへのマッチング:
   • テストコード内の静的なログ文（print, logging など、引数に文字列リテラルを含むもの）を抽出します。
   • 失敗ログのメッセージと、これらのログ文を正規表現でマッチングさせ、実行されたログ文と未実行のログ文を特定します。
2. 3 つの推定アルゴリズム:
   • Fill-in-the-Gaps (T1): 枝分かれを仮定せず、ログ文の間のコード行を連続して実行された（または未実行）と推定する単純なアルゴリズム。
   • CFG ベース (T2): 制御フローグラフ（CFG）を構築し、条件分岐やループを考慮して、実行可能なパスを特定するより精密なアルゴリズム。
   • コールサイト精化 (CSR): 推定されたトレース内で呼び出されていない関数定義を削除し、さらにコードを剪定するアルゴリズム。
   • これらのアルゴリズムを組み合わせることで、実行トレースを高精度に推定します。

フェーズ 2: LLM による故障局所化 (LLM-driven Fault Localization)

推定された実行トレース（剪定されたコード）とエラーメッセージを LLM にプロンプトとして入力し、故障箇所のランキングを行います。

• プロンプトエンジニアリング: 役割（専門家）、タスク、入力（エラーメッセージ、剪定されたコード）、出力形式（JSON 等）を定義。
• 粒度の柔軟性: 関数レベル、ブロックレベル、行レベルのいずれかの粒度で故障箇所を特定できます。
• 出力: 故障可能性が高い順に k 個の候補をリストアップします。

3. 主要な貢献 (Key Contributions)

1. テストコード故障局所化 (TCFL) の確立: システムレベルのテストコードを対象とした、LLM 駆動の自動化手法を初めて提案しました。
2. 実行不要な効率的な手法: 複数回のテスト実行を必要とせず、単一の失敗ログから実行トレースを推定する 3 つの新しいアルゴリズムを提案しました。
3. 効率性の向上: 推定されたトレースを用いてコードを剪定することで、LLM の推論時間を最大 34% 短縮し、トークン使用量を大幅に削減しながら、精度を維持しました。
4. 産業データによる評価: 実際の産業パートナーから提供された 785 件の Python システムレベルテストケース（SUT のソースコードなし）を用いて評価を行いました。LLM の事前学習データに含まれていないデータセットを使用しているため、データリークの懸念がありません。

4. 評価結果 (Results)

• トレース推定の精度:
  • 提案したトレース推定アルゴリズムは、実際の実行トレースと非常に高い一致を示しました（F1 スコア約 90%）。
  • 最も剪定率が高い設定でも、故障箇所の 84% 以上を保持していました。
• 故障局所化の精度:
  • ブロックレベル（k=3）: 精度と再現率のバランスが最も良く、Top-3 でのヒット率（Hit@3）が 81% に達しました。
  • 関数レベル: 最も高い精度（Precision@1 で 82.1%）を示しました。
  • 行レベル: 検索空間が広すぎるため、精度は低下しましたが、依然として有用な結果を得られました。
• 効率性とスケーラビリティ:
  • 剪定されたコードを使用することで、LLM の推論時間が最大 34% 短縮されました。
  • 最新の状態-of-the-art 手法（FlexFL など）と比較して、推論時間は 85% 以上短縮され、トークン使用量は 93% 削減されました。
  • 精度面でも、既存手法と同等かそれ以上の性能を達成しました。
• モデルの比較:
  • Qwen2.5-72B などのモデルで評価され、より小規模なモデル（Qwen2.5-32B Coder）でも同様の精度が得られ、コスト削減の可能性を示しました。

5. 意義と結論 (Significance)

• 実用性: 産業現場において、SUT のソースコードにアクセスできないテスト担当者が、複雑なシステムレベルテストの失敗を迅速に診断・修正できる手段を提供します。
• コスト削減: 実行コストの高いシステムレベルテストにおいて、失敗の特定にかかる時間と計算リソースを大幅に削減します。
• 新たな研究方向: テストコード自体の故障局所化という、これまで研究が不足していた分野を開拓し、LLM を活用した静的解析の新たな応用分野を確立しました。

この研究は、複雑なシステム開発環境において、テストコードの品質保証とデバッグ効率化を実現する重要な基盤技術として位置づけられます。