論文要約：LLM ベースのプログラム修復における欠陥局所化（Fault Localization）コンテキストの役割

1. 問題定義

大規模言語モデル（LLM）を用いた自動プログラム修復（APR）において、欠陥局所化（Fault Localization: FL）は重要な構成要素ですが、その影響については未だ十分に解明されていません。特に以下の点について不明確な点が多く残されています。

• 修復のためにどの程度の局所化（どの程度の詳細さ）が必要か？
• 予測されたバグの場所だけでなく、追加のコンテキスト（関連ファイルやコード要素など）を提供することは有益か？
• そのようなコンテキストはどのように取得・選択すべきか？

従来の APR システムは「局所化の精度を高めるほど修復成功率が上がる」という仮説に基づいていましたが、LLM は広大なコンテキストウィンドウを持ち、構造的な近接性だけでなく意味的な意図を理解できるため、この仮説がそのまま通用するかどうかは疑問視されていました。また、過度なコンテキストはノイズとなり、修復のシグナルを希薄化させる可能性もあります。

2. 研究方法

本研究は、SWE-bench Verified ベンチマークの 500 件の実世界ソフトウェア事例を用いた大規模な経験的調査（Empirical Study）です。GPT-5-mini を修復モデルとして使用し、以下の 3 つの次元におけるコンテキストの粒度と拡張戦略を体系的に変化させるファクトリアル実験（61 通りの設定）を実施しました。

実験設計の核心

• 対象: SWE-bench Verified の 500 インスタンス。
• モデル: GPT-5-mini（コストと性能のバランスを考慮）。
• 独立変数（3 次元）:
  1. ファイルレベル: 対象ファイルなし、バグを含むファイルのみ（Ground Truth）、ルールベースの関連ファイル（インポート関係など）、LLM による関連ファイル検索。
  2. 要素レベル（関数/クラス/変数）: 対象なし、バグを含む要素のみ、コールグラフに基づく関連要素、LLM による関連要素検索。
  3. 行レベル: 対象なし、バグを含む行のみ、コンテキストウィンドウ（±10 行）、静的コードスライス、LLM による関連行検索。
• 制御変数: 実験の純粋性を保つため、ファイル・要素・行の「バグを含む場所」には開発者が作成した正解パッチ（Ground Truth）を使用し、局所化の精度自体を完璧であると仮定しました。これにより、「コンテキストの拡張」が修復性能に与える影響のみを評価しています。
• 評価指標: 生成されたパッチがすべてのテストをパスする解決率（Resolution Rate）。統計的有意性の検定にはウィルコクソンの符号付き順位和検定を使用。

3. 主要な発見と結果

3.1 ファイルレベルのコンテキスト

• ファイルコンテキストの重要性: ファイルレベルのコンテキストを導入するだけで、コンテキストなしのベースライン（解決率 3.6%）に対して15〜17 倍の性能向上（56〜63%）が見られました。
• 拡張のメリット: 「バグを含むファイル」だけでなく、関連ファイルを追加することでさらに性能が向上する傾向があります。
• 検索戦略の比較: 「ルールベース（インポート関係など）」よりも**「LLM による検索」**の方が統計的に有意に高い解決率を示しました。
• コスト効率: LLM による検索は、ルールベースの手法に比べて取得するファイル数とトークン数が少なく、コスト効率も優れていました。

3.2 要素レベル（関数・クラス）のコンテキスト

• 条件付きのメリット: 要素レベルのコンテキストを追加することは一般的に有益ですが、その効果はファイルレベルのコンテキストの質に強く依存します。
• 検索戦略: コールグラフに基づく構造的な拡張よりも、LLM による意味的な検索の方が優れた結果をもたらしました。
• 限界: 「バグを含む要素」のみを提供する場合でも、さらに拡張しても劇的な改善は見られず、場合によってはノイズとなる可能性があります。

3.3 行レベルのコンテキスト

• 逆効果のリスク: ファイルや要素レベルとは異なり、行レベルでのコンテキスト拡張（±10 行のウィンドウや静的スライスなど）は、修復性能を低下させる傾向がありました。
• ノイズの増幅: 追加された行は、修復に必要なシグナルを希薄化し、ノイズとして機能することが多いです。
• 最良の戦略: 行レベルでは「バグを含む行（Ground Truth）」を正確に指定するか、あるいは行レベルのコンテキストを全く提供しない方が、拡張したコンテキストを提供するよりも良い結果となりました。LLM による行検索は他の拡張手法より優れていましたが、それでも「バグ行のみ」には及ばない場合が多いです。

3.4 最適な組み合わせ（相互作用）

• ハイブリッド戦略の優位性: 最も高い性能（63.4% の解決率）を達成したのは、**「LLM によるファイル検索（広範な意味理解）」＋「LLM による要素検索（構造的・意味的関連）」＋「正確なバグ行（Ground Truth）」**の組み合わせでした。
• 補完性の原則: 上位レベル（ファイル・要素）では広範な意味的コンテキストを提供し、下位レベル（行）では局所的で正確な位置情報を提供するという「ハイブリッド」なアプローチが最も効果的であることが示されました。

4. 質的分析（Qualitative Analysis）

追加コンテキストが有効だった場合と無効だった場合の事例を分析しました。

• 無効だったケース（過剰なコンテキスト）:
  • 過剰な文脈: モデルの注意が真のバグ場所から逸れ、無関係なライブラリファイルを変更してしまう。
  • 無関係な干渉: 意味的に類似しているが因果関係のないコードが、誤った推論（例：型エラーの発生）を誘発する。
  • 過剰な一般化: 局所的な修正で済むバグに対して、アーキテクチャ全体の変更を試みるなど、複雑化してしまう。
• 有効だったケース（必要なコンテキスト）:
  • コンポーネント間の依存: 複数のモジュールにまたがるバグでは、関連ファイルの提示が不可欠。
  • 意味的理解の向上: 単なる構造的な関係ではなく、意図された処理フローを理解するために追加の要素が必要。

5. 貢献と意義

本研究は、LLM ベースの APR におけるコンテキスト設計に関する以下の重要な知見を提供しました。

1. 「コンテキストは多いほど良い」という仮説の否定: 全ての粒度でコンテキストを増やすことが常に有益とは限らず、特に行レベルの拡張は有害になり得ることを実証しました。
2. 粒度ごとの最適戦略の明確化:
   • ファイル: LLM による意味的検索がルールベースより優れ、コストも低い。
   • 要素: LLM による検索が構造的な手法より優れる。
   • 行: 正確な局所化（または不要）が重要で、拡張は避けるべき。
3. 実用的なガイドライン: 効果的な APR パイプライン設計のために、「上位レベルでは広範な意味的コンテキストを提供し、下位レベルでは局所的な精度を維持する」という補完的なコンテキスト戦略を提案しました。
4. コストと性能の両立: LLM による検索は、より少ないトークン量で高い性能を発揮するため、実用的な APR システムにおいてルールベースの拡張よりも優れていることを示しました。

この研究は、単に局所化の精度を追求するだけでなく、**「どの粒度で、どの程度のコンテキストを提供すべきか」**という設計指針を LLM ベースの修復システムに提供し、今後の研究と実装に重要な示唆を与えています。