🤖 AI

AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation

本論文は、SWE-agent の評価において二値のテスト結果のみに依存することが解決策の質における重要な差異を隠蔽していることを実証することで「ラッキーパス」現象の普遍性を明らかにし、タスクレベルのプレフィックスツリーアクセプタ参照を用いたプロセスレベルの評価手法を提案してモデル性能をより正確にランク付けすることを可能にする AgentLens というフレームワークを導入する。

原著者： Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたの車を修理するためにメカニックを雇うと想像してください。現在の AI ソフトウェアエンジニア（「SWE エージェント」と呼ばれる）のテスト方法は非常にシンプルです。壊れた車を渡すと、修理済みの車を持って戻り、エンジンがかかるか確認します。かかればゴールドスター、かからなければレッド X です。

これは「合格/不合格」システムです。この論文によると、このシステムの問題点は、2 人の全く異なるメカニックを全く同じように扱ってしまうことです。

熟練メカニック: 問題を素早く診断し、必要な部品を注文し、効率的に修理し、作業を二重確認する。
幸運なギャンブラー: 50 個の部品をランダムに試し、盲目的に交換し、その過程で他のいくつかのものを壊し、苛立ちながら、最終的には純粋な偶然で正しい部品を装着する。すると、車はかかる。

旧システムでは、両者ともゴールドスターを獲得します。しかし、この論文はこれを誤りだと主張しています。「幸運なギャンブラー」は実際には不適格な採用であり、そのプロセスは混沌としており、非効率的で、予測不可能だからです。

問題点：「幸運な合格」

研究者たちは、AI エージェントによる実際のソフトウェアバグの修正試行 2,600 件以上を調査しました。その結果、「成功した」修正の**10.7%**が実際には「幸運な合格」であったことが判明しました。

これらのエージェントは論理的に問題を解決したわけではありません。代わりに、以下のような行動をとりました。

盲目的な再試行: 歌が正しく聞こえるまでピアノを叩き続ける子供のように。
確認の欠如: コードを修正したが、実際に機能するかどうかを確認するためにテストを実行しなかった。
時間の浪費: 答えにたどり着くまで、間違ったファイルを探索したり、堂々巡りをしたりした。

解決策：AGENTLENS（「プロセスカメラ」）

これを修正するため、チームはAGENTLENSという新しいツールを開発しました。これは完成した車を見るだけでなく、修理プロセス全体をスローモーションで記録する高解像度カメラのようなものです。

AGENTLENS は主に 2 つのことを行います。

1. 「良質な解決策の地図」（PTA）
AI の作業を単一の「完璧な」例と比較するのではなく、AGENTLENS は**プレフィックスツリーアクセプタ（PTA）**を構築します。

比喩: 幹が仕事の始まりを表す木を想像してください。枝は車を修理する異なる有効な方法を表します。一部の枝はエンジンルームを通り、他の枝はトランクを通ります。
AI が木上のパスをたどれば、それは賢明な行動です。木から外れて森に入り込めば、それは時間の浪費です。

2. 「意図翻訳機」
このツールは AI の行動を観察し、各ステップに「思考」のラベルを付けます。

探索: 「問題を探している。」
実装: 「部品を修理している。」
検証: 「機能するか確認している。」
調整: 「思考を整理している。」

AI がコードを書く前にテストを実行した場合、ツールはそれを混乱しているとフラグ付けします。コードを修正してもテストを実行しない場合は、リスクがあるとフラグ付けします。

発見されたこと

この新しい「プロセスカメラ」をデータに適用したところ、結果は驚くべきものでした。

すべての勝者が等しいわけではない: 成功した修正を 3 つのグループに分類しました。
- 理想的（20%）: 清潔で、論理的で、効率的。
- 堅実（69%）: 良いが、少し乱雑かもしれない。
- 幸運（10.7%）: 「ギャンブラー」グループ。正しい答えにたどり着いたが、混沌を通じて。
ランキングの変化: 問題を「どのように」解決したか（単に「解決したか」ではなく）に基づいて AI モデルをランク付けすると、リーダーボードが逆転しました。
- あるモデル（GPT-4o）は、成功した際に非常にクリーンに実行したため、8 位から 3 位に跳躍しました。
- もう一つのモデル（Opus 4.6）は、1 位から 6 位に転落しました。成功率は高かったものの、その勝利の多くは、無駄な努力に満ちた「幸運な合格」でした。
幸運の代償: 「幸運な」エージェントは非常にコストがかかりました。一部のエージェントは、同じ結果を得るために、効率的なエージェントの最大**40 倍の計算資源（トークン）**を浪費しました。これは、ナットクラッカーの使い方を知らないために、ナットを割るために金槌を使うようなものです。

「幸運」の 5 種類

この論文は、これらのエージェントがどのように幸運を掴んだかを正確に分類しました。

過信型: 修正したが、機能するかどうかを確認しなかった。
蛮力型: 一つが機能するまで、ランダムなことを試し続けた。
半端型: 問題の一部だけを修正したが、テストが厳しくなく、残りを捕捉しきれなかった。
放浪型: 探索中に迷子になり、決して集中しなかった。
創造的天才型: 「地図」が予期しない、全く異なる有効な解決方法を見つけた（これは唯一「良い」種類の幸運です）。

結論

この論文は、AI に「直ったか？」と問うだけでは不十分であると結論付けています。「正しい方法で直したか？」と問う必要があります。

AGENTLENSを使用することで、幸運や浪費に対して AI モデルを報酬するのをやめ、代わりに、彼らを熟練メカニックのように訓練できます。すなわち、効率的で、論理的で、信頼性のある存在です。研究者たちはツールとデータを公開しており、他の人々がこの「プロセスカメラ」を使用して AI エンジニアをより適切に評価し始めることができるようになっています。

技術的サマリー：AGENTLENS — SWE-Agent 評価における「ラッキーパス」問題の解明

1. 問題提起

現在のソフトウェアエンジニアリング（SWE）エージェントの評価は、最終的なパッチがテストスイートを通過するかどうかという二値信号（例：SWE-bench）によって支配されています。この「結果のみ」の視点は、原理に基づいた効率的な解決策と、混沌とした試行錯誤のプロセスを同等のものとして扱います。著者らは、この同等性が実証的に誤りであり、エージェントの行動を評価するには不十分であると主張しています。

具体的には、本論文は「ラッキーパス」問題を特定しています。これは、弱く、脆く、または非効率的なプロセスを通じて正しいパッチに到達する成功した軌道のサブセットです。これらには以下が含まれます：

回帰サイクル： 類似の編集を繰り返し失敗し、再試行すること。
盲目的な再試行： 新しい情報なしに行動を繰り返すこと。
検証の欠如： テストを実行せずに修正を適用すること。
時間的に順序が乱れた探索： 実装前に検証ステップを実行するか、修正が検証された後に無関係なファイルを探索すること。

本論文は、SWE-Gym などのデータセットで行われているように、すべての通過軌道を同等に価値ある監督データとして扱うことは、デモンストレーションの質に対する粗い代理指標であると仮説を立てています。さらに、モデルがパス率ベンチマークに収束するにつれて、プロセスの質はモデル比較とリスク評価に不可欠な軸となります。なぜなら、試行錯誤によって成功するエージェントは、複雑な実世界の展開において予測不可能に振る舞う可能性があるからです。

2. 手法：AGENTLENS フレームワーク

著者らは、SWE-Agent 軌道のプロセスレベル評価のためのフレームワークであるAGENTLENSを導入します。これは 4 つの段階で動作します：

A. 生ログからラベル付き状態へ

生エージェントログは、構造化された状態シーケンスに解析されます。各状態には、4 つの認知フェーズからの意図段階ラベルが割り当てられます：

探索（E）： ファイルの読み取り、検索、ディレクトリのリスト表示。
実装（I）： ソースファイルの編集または作成。
検証（V）： テストの実行、エラーの確認、編集済みファイルの再読み取り。
オーケストレーション（O）： 帳簿付けと推論ステップ。

重要なのは、AGENTLENS が文脈に敏感な意図段階ラベラーを採用していることです。ツールIDのみに基づいて行動をラベル付けする（例：grep は常に探索であると仮定する）単純なアプローチとは異なり、このラベラーは軌道の履歴を使用します。例えば、grep はパッチが書かれる前は探索としてラベル付けされますが、実装ステップ後に特定の変更を確認するために実行された場合は検証としてラベル付けされます。これはターミナルコマンドの曖昧さを解決し、7 人の注釈者間で Fleiss' $\kappa = 0.933$ の一致率で検証されました。

B. PTA 参照の構築

単一の参照トレースと候補軌道を比較する代わりに、AGENTLENS は同じタスクに対する $k \ge 2$ の通過軌道から**プレフィックスツリーアクセプタ（PTA）**を構築します。

マージ： 共有プレフィックスは共通ノードにマージされます。
分岐： 異なるが成功した戦略は枝を形成します。
結果： PTA は、単一の例示ではなく、「既知の良質な」解決戦略の空間を符号化する有向非巡回グラフ（DAG）です。これにより、システムは既知の成功プロセスからの逸脱を警告しながら、有効な代替経路を認識できます。

C. 候補軌道のスコアリング

候補軌道は、タスクレベルの PTA に対して 4 つの相補的シグナルを用いてスコアリングされ、0〜100 の品質スコアに統合されます：

構造的整合性（ $\Phi_{struct}$ ）： 候補が PTA 状態をほぼ正しい順序で訪問するかどうかを測定します（順序付きリコール＋順序なし精度）。
集合カバレッジ（ $\Phi_{cov}$ ）： 順序に関係なく、候補によって一致した PTA 状態の割合を測定します。
軌道の一貫性（ $\Phi_{coh}$ ）： 意図段階シーケンスを要約し、前進（例： $E \to I \to V$ ）に報酬を与え、バックトラックと盲目的な再試行にペナルティを課します。
時間的プロファイル類似性（ $\Phi_{temp}$ ）： ジェンセン・シャノン発散を用いて、軌道の初期、中期、後期のセグメントにおける段階の分布を PTA と比較します。

最終スコアは加重和です：
$f(\tau_c, G) = 0.20 \cdot \Phi_{struct} + 0.15 \cdot \Phi_{cov} + 0.30 \cdot (100 \cdot \Phi_{coh}) + 0.35 \cdot (100 \cdot \Phi_{temp})$
行動シグナル（一貫性と時間的プロファイル）は 65% の重みを占め、構造的カバレッジとプロセスの質がしばしば異なる軌道で失敗することを反映しています。

D. レポートとティア分類

軌道は、合成スコアに基づいてティアに分類されます：

理想的（ $\ge 70$ ）： 原理的、無駄が少なく、順序が良い。
堅実（ $47 \le スコア < 70$ ）： 不完全だが一貫性がある。
ラッキー（ $< 47$ ）： 偶然通過する弱いプロセス（例：回帰サイクル、盲目的な再試行）。
部分的失敗/軌道外： 失敗した軌道用。

システムはまた、構造化された非効率レポートを生成し、「無駄」（回帰ループ、盲目的な再試行、冗長なステップ、不要な探索、循環パターン）を特定の軌道ステップに局所化します。

3. 主要な貢献

AGENTLENS-Bench： 最初のプロセス注釈付き SWE-Agent 軌道データセット。47 の SWE-bench Verified タスクからの 1,815 の軌道を含み、品質スコア、無駄の注釈、発散メタデータ、およびグランドトラウト PTA を特徴としています。
ラッキーパスの発見： 著者らは、通過軌道の**10.7%**が「ラッキーパス」であることを実証しました。これらは 5 つの反復メカニズムに分解されます：
- 最小限かつ未検証（15.6%）：短く、検証なし。
- ブルートフォース収束（34.4%）：無駄が多く、一貫性が低い。
- 不完全な実装（33.6%）：テストの欠陥により部分的な修正が通過。
- 過度な探索（4.1%）：長く、焦点が絞られていない。
- 発散的だが有効（12.3%）：代替の有効なアプローチ。
文脈に敏感な意図ラベリング： ターミナルコマンドにおける探索対検証の曖昧さを解決し、96.0% の生一致率を達成した検証済みのラベラー。
PTA ベースのプロセス参照： 複数の通過解決策を既知の良質な戦略の参照空間にマージする方法。これにより、多様な正解行動に対する新しい軌道のスコアリングが可能になります。
オープンソースツール： AGENTLENS SDK と Web インターフェースのリリース。LLM 呼び出しを必要とせずに ATIF および OpenHands トレースをサポートし、スコアリングを可能にします。

4. 結果

このフレームワークは、60 の SWE-bench Verified タスクにわたる 8 つのモデルバックエンド（GPT-4.1、GPT-4o、Claude Opus、Gemini 2.5 Pro などを含む）からの 2,614 の軌道で評価されました。

通過軌道の分布： 1,136 の通過軌道の中で、20.2% が理想的、69.1% が堅実、10.7% がラッキーでした。
モデルランキングの不一致： プロセスを考慮したスコアリングは、パス率のみによるモデルランキングを大幅に変更します。
- 例： GPT-4o はパス率では 8 位ですが、品質スコアでは 3 位です。
- 例： Claude Opus 4.6 はパス率では 3 位ですが、品質スコアでは 6 位で、ラッキー率は18.7%（トップティアモデルの中で最高）です。
- モデル間のラッキー率は、0.5%（Opus 4.5）から23.2%（GPT-4.1）まで幅があります。
分類の特异性： モデルタイプとラッキーパスカテゴリの間には有意な関連性があります（ $\chi^2(28) = 102.47, p < 0.0001$ ）。例えば、Opus 4.6 は「最小限かつ未検証」の通過を不均衡に多く生成する一方、GPT-4.1 は「ブルートフォース」および「過度な探索」カテゴリを支配しています。
識別力： 合成スコアは、通過軌道と失敗軌道を AUROC 0.766（ $p=0.0017$ ）で分離します。単一のシグナルだけでは統計的有意性を達成できなかったため、構造的シグナルと行動シグナルを融合させる必要性が浮き彫りになりました。
コストへの影響： ラッキーパスは、はるかに高い計算コストを伴います。「ブルートフォース」軌道は「最小限」の軌道に比べて約 25 倍多くのトークンを消費し、「過度な探索」は約 40 倍多く消費しますが、同一の二値パス/失敗ラベルを受け取っています。

5. 意義と主張

本論文は、AGENTLENS が二値結果を超えた評価の必要な層を提供すると主張しています。その意義は 3 つの分野にあります：

データキュレーション： パス率のみでトレーニングデータをフィルタリングする慣行に挑戦し、「成功した」軌道の質が劇的に異なることを示しています。低品質な「ラッキー」軌道を監督に使用することは、脆い行動を強化する可能性があります。
モデル比較： モデルを比較するための新しい軸を提供します。モデルが高パス率に収束するにつれて、一貫性があり無駄の少ないプロセスでタスクを解決する能力が差別化要因となります。本論文は、品質スコアによるランキングがモデルの順位を最大 5 つ変更し得ることを実証しています。
展開リスク： 試行錯誤によって成功するエージェントは、高価なテストや不可逆的な動作を伴う環境では予測不可能である可能性を強調しています。「ラッキーパス」を露呈させることで、AGENTLENS は、原理的な推論ではなく脆い探索に依存するモデルを特定するのを実務家に支援します。

著者らは、AGENTLENS を機能的な正しさのチェックの代替物ではなく、ソフトウェアエンジニアリングエージェントの評価、分析、トレーニングを改善するための補完的な診断ツールとして位置付けています。彼らは、プロセスを考慮した分析を SWE-Agent 評価パイプラインの標準コンポーネントとするために、データセットとツールを公開しています。