From Laboratory to Real-World Applications: Benchmarking Agentic Code Reasoning at the Repository Level
本論文は、リポジトリレベルの自律的コード推論を診断するために実行駆動型変異と動的プログラムスライシングを活用するホワイトボックスベンチマーク「RepoReason」を導入し、最先端モデルにおける主要な認知的ボトルネックは統合の幅であることを明らかにする。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
超賢いロボットにソフトウェアエンジニアとしての能力を教えようとしていると想像してください。単にコードの一行を書くだけでなく、大規模プロジェクト内の何千ものファイルがどのように連携しているかを理解できるかどうかを知りたいのです。それは、巨大なオーケストラを指揮する指揮者のようなものです。
この論文は、これらのロボットをテストする新しい方法、RepoReasonを紹介しています。ここでは、それがどのように構築され、何が明らかになったかを、シンプルに解説します。
課題：「実験室」と「現実世界」
以前、これらのロボットをテストする際は、静かな教室（「実験室」）で彼らに単一の数学の問題を与えるようなものでした。彼らはそれを簡単に解くことができました。しかし、実際のソフトウェアエンジニアリングは、数百万もの相互接続された道路を持つ混沌とした騒がしい都市のようなものです。特定の地域で交通渋滞を解消するようにロボットに頼む場合、その地域が都市の残りの部分とどのように接続されているかを理解する必要があります。
従来のテストは、単純すぎたり（単一の数学の問題）、曖昧すぎたり（「交通渋滞を解消しましたか？」と尋ねるだけで、ロボットがどのように迷子になったかを説明しなかった）しました。著者たちは、ロボットの脳がどこで失敗するかを正確に示すような診断用 X 線のようなテストを望みました。
解決策：「白箱」探偵ゲーム
著者たちは、RepoReasonというベンチマークを作成しました。ロボットに新しいコードを書くよう求めるのではなく、既存の複雑なコードを使って「穴埋め」ゲームを行います。
- セットアップ: 彼らは、実際の巨大なソフトウェアプロジェクト（数学ライブラリやテンプレートエンジンなど）を使用します。
- ひねり（「マジックトリック」）: ロボットがトレーニングデータから答えを暗記するのを防ぐため、著者たちは**「変異エンジン」**を使用します。レシピの砂糖の量を 1 カップから 2 カップに変え、「ケーキの新しい重さは何ですか？」とロボットに尋ねると想像してください。
- ロボットは単に推測することはできません。新しい結果を導き出すために、頭の中でレシピ全体を実行する必要があります。
- 数値が変更されているため、ロボットは古い答えを覚えていてはだめです。実際に推論する必要があります。
- 目標: ロボットはコードを見て、異なるファイルを通じてロジックを追跡し、特定のテストを合格させる正しい数値を推測しなければなりません。
3 つの「脳メトリクス」
この論文は単に「合格」か「不合格」かと言うだけではありません。3 つの創造的な比喩を用いて、ロボットがどのように考えるかを測定します。
読み込み負荷（ESV）-「図書館のサイズ」:
- ロボットが答えを見つけるために本の何ページを読まなければなりませんか？
- 発見: ロボットが一度に600 行以上のコードを読まなければならない場合、その脳は霞み始めます。物語の行方を見失います。
シミュレーション深度（MCL）-「ドミノの連鎖」:
- 点 A から点 B まで移動するために、ロボットは頭の中で何ステップ踏まなければなりませんか？
- 発見: 出来事の連鎖が100 ステップを超えると、ロボットは失敗し始めます。連鎖の始まりで何が起こったかを忘れます。
統合幅（DFI）-「ジグソーパズル」:
- これが最大のポイントです。パズルを解くために、ロボットは同時にコードの異なる部分から何個の異なる情報片を頭の中に保持しなければなりませんか？
- 発見: これがロボットの最大の弱点です。ロボットが20 以上の異なるソースからの情報を組み合わせなければならない場合、そのパフォーマンスは崩壊します。部品を読むことはできますが、それらを一つの全体像に接着することはできません。
大きな発見：「集約欠乏」
著者たちは、利用可能な最も賢い AI モデル（Claude、GPT、DeepSeek など）をテストしました。彼らは驚くべき真実を発見しました。
- ボトルネック: 最高のロボットでさえ、読むことと長い連鎖のステップに従うことは得意ですが、一度に多くの異なる情報を組み合わせることは苦手です。
- 比喩: 500 ページのファイルを読み、すべての詳細を完璧に記憶できる探偵を想像してください。しかし、20 人の異なる証人からの 20 個の異なる手がかりを与えられて事件を解決するように頼むと、彼らは混乱し、つながりを見失います。彼らは**「集約欠乏」**に苦しんでいます。
なぜこれが重要なのか
この論文は診断ツールです。将来のより良い AI エンジニアを構築するためには、単に読み速度を上げたり、長い連鎖を記憶させたりするだけでは不十分だと教えてくれます。私たちは彼らに情報を統合する方法、つまりシステムの多くの異なる分離された部分を見て、それらがどのように組み合わさって単一の論理的な結果を生み出すかを理解する方法を教えなければなりません。
つまり、ロボットは地図を読むのは得意ですが、道路が複雑になりすぎると、都市全体をナビゲートするのは苦手なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。