💬 NLP

CATArena: Evaluating Evolutionary Capabilities of Code Agents via Iterative Tournaments

本論文は、反復的なトーナメントと二重の指標システムを通じてLLMコードエージェントの進化能力を評価する新しいフレームワークであるCATArenaを導入し、初期の習熟度が進化の可能性を保証するものではないことを明らかにし、ピアラーニングと自己内省を同時に活用することにおける現在の限界を浮き彫りにしている。

原著者： Lingyue Fu, Xin Ding, Linyue Pan, Yaoming Zhu, Shao Zhang, Lin Qiu, Weiwen Liu, Weinan Zhang, Xuezhi Cao, Xunliang Cai, Jiaxin Ding, Yong Yu

公開日 2026-02-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lingyue Fu, Xin Ding, Linyue Pan, Yaoming Zhu, Shao Zhang, Lin Qiu, Weiwen Liu, Weinan Zhang, Xuezhi Cao, Xunliang Cai, Jiaxin Ding, Yong Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、新人見習いシェフたちの料理の腕前をどのように判断すべきか考えているのだと想像してください。

旧来の方法（現在のベンチマーク）:
現在、ほとんどの人は、レシピを渡し、一度だけ料理を作らせることで、これらのシェフをテストしています。料理がまあまあの味であれば合格、焦げていれば不合格とします。

問題点: これは、彼らが「一度だけ」指示に従えるかどうかを教えているに過ぎません。自分の料理の味を見て、塩辛すぎると気づき、それを修正できるか、あるいはマスターシェフが同じ料理を作る様子を見て、次により良くするための最高のテクニックを盗めるかどうかについては教えてくれません。これは、マラソンランナーを最初の10メートルを走った速さだけで判断するようなものです。

新しい方法 (CATArena):
この論文の著者たちは、CATArena（Code Agent Tournament Arena）と呼ばれる新しいテストの場を構築しました。一度限りの料理テストではなく、彼ら（AIコードエージェント）をマルチラウンド形式のトーナメントに投入するのです。

その仕組みを、簡単な比喩を使って説明します。

1. トーナメントのループ

ボクシングのリングやチェスのトーナメントを想像してください。

ラウンド1: すべてのエージェントが問題（チェスの対局やコンピュータプログラムの最適化など）を解決しようと試みます。彼らは最初の「一手」またはコードを提出します。
フィードバック: システムはコードを実行します。単に「合格」や「不合格」と言うだけではありません。スコアボード、試合のリプレイ、そして勝者が使用したコードを提供します。
進化: 次に、エージェントには再挑戦のチャンスが与えられます。彼らはスコアボードを確認し、勝者のコードを研究し（ピア・ラーニング）、自分自身のミスを分析（自己反省）しなければなりません。そして、より良くするためにコードを書き直します。
繰り返し: これは数ラウンド繰り返されます。目的は、最初から上手であることではなく、時間の経過とともにどれだけ「向上できるか」を見ることです。

2. 2種類のチャレンジ

論文では、2つの異なる「アリーナ」でエージェントをテストしています。

客観的アリーナ（ソロランナー）: ストップウォッチに対して、できるだけ速く走ることを目標とするレースを想像してください。エージェントは、より速く実行し、メモリ使用量を少なくしようと試みます。彼らは固定されたターゲットに対して競っていますが、他の全員がどれくらいの速さで走っているかを見ることはでき、そのスピードを超えるために努力します。
競争的アリーナ（戦略ゲーム）: ポーカーのテーブルや囲碁の対局を想像してください。ここでは、固定された「完璧な速度」は存在しません。勝つための唯一の方法は、他のプレイヤーよりも上手くなることです。他のプレイヤーが賢くなるにつれて、ゲームはより難しくなります。エージェントは、より賢くなった新たな対戦相手に勝つために、戦略を適応させなければなりません。

3. 大きな発見

研究者たちは驚くべき事実を発見しました：「最初から上手いこと」は、「学習ができること」を意味しないということです。

「スター選手」 vs 「成長株」: 一部のエージェントは「スター選手」（最初から素晴らしいコードを書ける）としてスタートしました。しかし、トーナメントが始まると、彼らは行き詰まってしまいました。フィードバックを利用して改善する方法を見つけられなかったのです。
「アンダードッグ（格下）」: 他のエージェントは「アンダードッグ（最初はコードがめちゃくちゃ）」としてスタートしました。しかし、トーナメントが進むにつれて、彼らは勝者を研究し、ミスを修正し、最終的にはチャンピオンになりました。
教訓: この論文は、「進化能力（学習し適応する能力）」は、「静的な能力（単に一度コードを書く能力）」とは全く別のスキルであることを証明しています。

4. 学習の「ブラックボックス」

著者たちは、エージェントの内部を覗き込み、彼らがどのように学んでいるのかを調べました。彼らは主に2つのツールを見つけました。

自己反省 (Self-Reflection): 鏡を見て、「ここでミスをした、修正が必要だ」と言うこと。
ピア・ラーニング (Peer-Learning): 勝者を見て、「ああ、彼らはこうやったのか。自分もこれを試してみよう」と言うこと。

落とし穴: 現在のほとんどのAIエージェントは、これら両方のツールを同時に使いこなすのが苦手です。彼らは、勝者のやり方を無視して自分のミスを修正しようとし続け（しばしば状況を悪化させる）、あるいは、なぜそうなるのかを理解せずに盲目的に勝者をコピーするかのどちらかに偏る傾向があります。これら両方の戦略を組み合わせ、真に進化することができたのは、ごく一部のトップクラスのエージェントだけでした。

まとめ

CATArenaは、AIコードエージェントのための新しいジムです。単に重りを一度持ち上げられるかをテストするのではなく、対戦相手を観察し、自身のパフォーマンスを分析し、毎週強くなっていく必要があるシーズン制のリーグに彼らを投入します。この論文は、時間の経過とともに学び、適応できるエージェントは、単に最初から才能があるものとは異なること、そして現在のAIは依然として「継続的な改善の術」をマスターすることに苦戦していることを示しています。

技術要約: CATArena

問題提起

現在の大規模言語モデル（LLM）コードエージェントの評価フレームワークは、主に静的でシングルターンのベンチマークに依存しており、孤立した開発シナリオ内での機能的な正しさ（例：Pass@k）を測定している。著者らは、これらの指標が実世界のソフトウェアエンジニアリングにおける2つの重要な次元、すなわち**反復的な進化（iterative evolution）と継続的な最適化（continuous optimization）**を捉えきれていないと主張している。実世界の開発は本質的に漸進的かつ協調的であり、実行ログに対する自己省察や、優れた実装からのピアラーニング（仲間からの学習）を伴うものである。既存のベンチマークは、エージェントを最適化に必要な動的なフィードバックループから隔離しており、力まかせの解決策をエキスパートレベルの最適化と同等に扱っており、時間の経過とともに戦略を洗練させるエージェントの能力を評価できていない。

メソドロジー: CATArena フレームワーク

これらの限界に対処するため、著者らは、反復的なトーナメントを通じてコードエージェントの進化能力を評価するために設計された動的評価フレームワークである CATArena (Code Agent Tournament Arena) を導入する。

1. 反復的トーナメント構造

静的なベンチマークとは異なり、CATArena は以下の3つのフェーズからなるマルチターン開発ループにエージェントを没入させる。

初期開発 (ラウンド 1): エージェントは外部からのガイダンスなしに、タスク仕様に基づいて初期解 $C^{(1)}$ を生成する。
実行フィードバック: 提出されたコードは、サンドボックス化されたアリーナ内で実行される。システムは、実行ログ、グローバルリーダーボード、およびピア（仲間）のソリューションを含む構造化されたフィードバックセットに結果を集約する。
反復的進化 (ラウンド $n > 1$ ): エージェントはフィードバックを分析し、コードを $C^{(n)}$ $C^{(n)}$ へと洗練させる。このプロセスは2つのメカニズムを活用する：
- 自己省察 (Self-Reflection): 実行ログを分析して、バグや論理エラーを特定し修正する。
- ピアラーニング (Peer-Learning): 他のエージェントによる優れたソリューションを分析し、より優れた戦略やアルゴリズムを採用する。

2. タスクの分類

フレームワークは、フィードバック信号によって分類された6つの多様なタスクをインスタンス化している：

競争的タスク (動的フィードバック): エージェントは、互いにラウンドロビン方式のトーナメントを行う。対象となる集団（ポピュレーション）が進化するため、難易度は非定常である。タスクには 五目並べ (Gomoku)、テキサス・ホールデム (Texas Hold'em)、チェス (Chess)、ブリッジ (Bridge) が含まれる。フィードバックには、完全なトーナメントログとピアの戦略が含まれる。
客観的最適化タスク (準静的フィードバック): エージェントは、固定されたメトリクス（例：時間計算量、スループット）に対して最適化を行う。ここでは、集団の最高性能によって競争基準が引き上げられる。タスクには OIBench（アルゴリズム効率）および SWE-Perf（リポジトリレベルのパフォーマンス加速）が含まれる。

3. 評価指標

著者らは、静的な習熟度と進化の可能性を切り離すために、二重の指標システムを提案している：

ベースライン・パフォーマンス ( $S_{base}$ ): ゼロショット設定におけるエージェントの静的なコーディング能力を測定する（初期集団に対するラウンド1のパフォーマンス）。
進化能力 ( $S_{evo}$ ): フィードバックによって駆動される改善率を定量化する。これは、最小二乗法（OLS）を用いて、 $N$ ラウンドにわたるエージェントのグローバル・パフォーマンス・スコア ( $G^n_i$ ) の線形適合の傾き ( $k_i$ ) として算出される。この指標は、一時的な失敗や外れ値の影響を軽減しながら、適応の傾向を捉える。

主な結果

Google ADKを介した様々なLLMを搭載した最小限のエージェント、および最先端（SoTA）の商用コードエージェントを用いて、広範な実験が行われた。

能力の直交性: 本研究は、 $S_{base}$ と $S_{evo}$ の間に弱い相関があることを明らかにしている。高い初期習熟度は、強力な進化能力を保証するものではない。例えば、Claude-4はチェスの初期ラウンドで圧倒していたが、進化の過程で大幅な退行を経験した一方で、Gemini-2.5-Proは五目並べにおいて「低スタート・高成長」の軌跡を示した。
タスク依存のダイナミクス: 進化のパターンはタスクによって大きく異なる。競争的タスク（例：ホールデム）は収束（エージェントが成功した戦略を模倣すること）を促進する傾向がある一方、客観的タスク（例：OIBench）は拡散（エージェントが理論的限界へと押し上げること）を駆動する。チェスのような非常に複雑な環境では、多くのエージェントが負の進化傾向を示し、フィードバックでは埋められない推論のギャップがあることを示した。
メカニズムの限界: アブレーション研究によれば、現在のエージェントは自己省策とピアラーニングを相乗させることに苦慮している。ほとんどのエージェントは、一方のメカニズムを主に利用し（多くの場合、自己省察）、もう一方をノイズとして扱う。一部の高能力エージェント（例：Claude、Qwen）のみが、性能のブレイクスルーを達成するためにピア・ソリューションを効果的に活用できた。
堅牢性: フレームワークは高い拡張性とタスク変異に対する耐性を示している。ルールが変更された場合（例：ホールデムにおける手の強さの逆転）、 $S_{base}$ スコアは大きく変動したが、 $S_{evo}$ はその識別力を維持した。これは、これが暗記された解決策ではなく、本質的な適応能力を測定していることを裏付けている。

意義と主張

本論文は、コードエージェントの進化能力を、静的な生成習熟度とは別の独立した知性の次元として特定し、定式化した最初の研究であると主張している。

パラダイムシフト: CATArena は、評価基準を静的な正しさから動的な進化能力へとシフトさせ、実世界のエンジニアリングの反復的な性質に適合させている。
新たなフロンティア: 結果は、進化のポテンシャルが次世代のインテリジェント・エージェント研究における重要なフロンティアであることを示唆している。なぜなら、現在の商用スキャフォールディングは静的な生成能力を強化するものの、継続的な自己改善に必要なメカニズムへの対処には至っていないからである。
信頼性: 多言語および機械学習トラックを含む、未知のタスク変異や多様な環境に対してフレームワークを検証することで、著者らは CATArena を次世代のインテリジェント・エージェントを評価するための継続的かつ信頼できる標準として確立している。

著者らは、反復的なフィードバックによってエージェントが単一ラウンドの開発に典型的な性能プラトーを克服できる一方で、エージェントが進化のための堅牢な出発点を生成できない複雑な領域においては、依然として大きな課題が残っていると結論づけている。