How Do LLMs Read Bug Reports? An Empirical Study of Attention in LLMs for Automated Program Repair

探偵のジレンマ：なぜAIは時として手がかりを見逃すのか

あなたがミステリーを解こうとしている探偵だと想像してみてください。あなたの手元には、目撃者の証言、ぼやけた写真、容疑者リスト、そして犯行現場の地図といった、手がかりが詰まったノートがあります。事件を解決するには、すべてのページを読み、点と点を結びつけ、どの手がかりが本当に重要なのかを見極める必要があります。ここで、同じ仕事をさせるために、超スマートなロボット探偵を雇ったとしましょう。あなたはロボットにそのノートを渡し、するとロボットは即座に解決策を書き上げました。しかし、ここからが奇妙なところです。ロボットは完璧に謎を解くこともあれば、全く同じノートを渡されたにもかかわらず、完全に失敗することもあるのです！

これは、**大規模言語モデル（LLM）と自動プログラム修正（Automated Program Repair）**の世界の話です。LLMは、膨大な量のテキストやコードで学習した、それらの超スマートなロボットのようなものです。物語を書いたり、質問に答えたり、さらにはコンピュータプログラムのバグ（エラー）を修正したりすることもできます。「自動プログラム修正」とは、壊れたソフトウェアと問題の説明をAIに提示し、その問題を修正するためのコードを書かせることを指す、少し凝った名称です。しかし、開発者たちはあるフラストレーションを感じています。これらのAI探偵は一貫性がないのです。あるバグは簡単に修正できるのに、すぐ隣にあるほぼ同一のバグには失敗することさえあります。科学者たちは知りたいと考えています。なぜなのか？ AIはただ推測しているだけなのか、それとも間違った手がかりを見ているのか？ この論文は、AIがプログラムを修正しようとする際、具体的に何に注意を払っているのかを探るために、AIの「脳」へと踏み込みます。

論文の大きな発見：AIがどこを見るかが重要である

この研究において、研究者たちはAIの注意力を測るために「間違い探し」を行うことにしました。彼らは人気のあるソフトウェアプロジェクト（PythonおよびJavaで記述）から319件の実世界のバグを取り出し、3つの異なるAIモデルにそれらを修正させました。いくつかのモデルは、高価で門戸が閉ざされた大規模なもの（claude-4-sonnetのようなプロプライエタリなモデル）であり、他のものはオープンソースのモデル（gpt-oss-20bやqwen-3-32bなど）でした。

AIが何を考えているかを突き止めるために、研究者たちは**摂動分析（perturbation analysis）**と呼ばれる巧妙なトリックを用いました。ケーキのレシピがあり、どの材料が最も重要かを知りたいとします。小麦粉なしで作ってみたり、砂糖なしで作ってみたりして、どれが最もケーキを台無しにするかを確認すればよいのです。研究者たちは、バグレポートに対してこれと同じことを行いました。バグレポートには通常、「何が起きたのか」「どのようにして再現させるか」「使用されたソフトウェアのバージョン」「コードの見た目」といったセクションがあります。彼らは、これらの中から一度に一つのセクションを密かに削除していきました。その後、AIに再びバグの修正を試みさせました。もしセクションを削除した後にAIの修正内容が大きく変わったならば、それはAIがその部分に本当に注意を払っていたことを意味します。もし修正内容が変わらなければ、AIはその部分を気にしていないということになります。

「拡散型」対「局所型」の注意パターン

研究者たちは、AIが手がかりをどのように見たかについて、2つの非常に異なるパターンを発見しました。そして、これらのパターンが修正が成功するかどうかをすべて物語っていました。

1. 「拡散型」の探偵（勝者）：
AIが成功したとき、それは徹底的な探偵のように振る舞いました。AIはバグレポートの多くの異なる部分に注意を分散させていました。バグの説明（何が起きたかのストーリー）、スタックトレース（正確なコードの行を指し示す技術的なエラーログ）、そしてテストケース（コードがどのように振る舞うべきかの例）のすべてを見ていました。研究者たちはこれを**拡散的注意（diffused attention）**と呼んでいます。それは、AIがノート全体を読み、目撃者のストーリーを地図や写真と結びつけているような状態です。

• 結果： AIがこのように振る舞ったとき、バグを修正できる可能性が格段に高まりました。実際、この研究では「拡散的注意」が成功と強く結びついていることが分かりました。

2. 「トンネル視界」の探偵（敗者）：
AIが失敗したとき、それはトンネル視界を持つ探偵のように振る舞いました。一つの小さく、重要ではない細部に執着し、他のすべてを無視してしまったのです。多くの場合、AIはバージョン情報（「ソフトウェアバージョン1.2.3」や「オペレーティングシステム：Linux」など）に固執していました。これは、殺人道具や目撃者を無視して、容疑者の靴のサイズをじっと見つめ続けている探偵のようなものです。

• 結果： AIがこうした退屈なメタデータの詳細に集中しすぎたとき、通常は修正に失敗しました。研究では、「局所的注意（localized attention）」（一つのことに集中すること）が、修正の失敗を示す強い兆候であることが示されました。

AIと人間は、何が重要かについて一致しているか？

研究者たちはまた、AIが人間の開発者が注目するのと同じ手がかりを見ているかどうかを知りたいと考えました。これを確認するため、4人の経験豊富な人間の開発者に、同じ100件のバグレポートを読んでもらい、彼らが最も重要だと考える部分に印を付けてもらいました。

結果は、良いニュースと悪いニュースが混在していました。

• 良いニュース： AIが成功したとき、AIは通常、人間が重要だと考えたセクションを見ていました。AIと人間は、トップクラスの手がかり（バグの説明など）において、約**54%**の確率で一致していました。
• 悪いニュース： AIが失敗したとき、AIはしばしば人間のトップの手がかりを無視し、間違ったもの（バージョン番号など）に集中していました。研究によれば、AIの注意が人間の注意と一致していればしているほど、修正が成功する確率が高くなることが分かりました。

この論文が否定したもの

この研究が「見つけられなかったこと」についても記しておくことが重要です。研究者たちは、バグの難易度が失敗の主な理由であるかどうかを検証しました。彼らはバグを「易しい」「中程度」「難しい」に分類して調査しました。その結果、難しいバグの方が確かに修正は困難であるものの、バグの難易度単体では、なぜAIが失敗したのかを説明できないことが判明しました。簡単なバグであっても、AIが「トンネル視界」に陥り、正しい手がかりを無視すれば失敗する可能性があるのです。これは、問題が単にバグが難しすぎるのではなく、AIが時として「間違った場所を見ている」ことが問題であることを示唆しています。

まとめ

この論文は、AIによるコード修正をより良くするための秘訣は、単にデータを増やしたり、AIをより賢くしたりすることではないと示唆しています。それは、AIに**「読み方」**を教えることです。研究は、成功する修正とは、AIが症状、エラーログ、期待される挙動といった物語全体に注意を広げたときに起こるものであり、ソフトウェアのバージョンのような退屈な詳細に固執したときではないことを示しています。

AIが「トンネル視界」に陥る可能性があることを理解することで、開発者は、AIに正しい手がかりを見させるためのより良い指示（プロンプト）を設計できるようになります。それは、探偵に「容疑者の靴を見つめるのをやめて、殺人道具を見なさい」と教えるようなものです。研究者たちは、将来のAIモデルが正しいものに注意を払えるよう訓練するために、人間が注釈を付けたバグレポートの新しいデータセットも作成しました。これにより、AIがより信頼できるパートナーとなり、私たちの世界を動かしているソフトウェアの修正に貢献することを期待しています。