Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents
本論文は、外部の判定器や回答文字列の一致を必要とせずに、SWE-bench Verifiedにおける解決率の向上を達成する、ネイティブなMoEルーターのトレースを活用して多様な探索を誘導し、主要な決定ポイントでの合意を通じて最終的な解を選択する、ソフトウェアエージェントのためのテスト時スケーリング手法であるRisaを導入するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の世界において、ソフトウェアエンジニアのように振る舞うように設計されたプログラムの新たなクラスが増えています。これらのエージェントは、単に質問に答えるだけではありません。複雑なデジタル環境をナビゲートし、コードを読み、テストを実行し、壊れたソフトウェアを修理するために修正案を書き込みます。困難な問題を解決するために、エージェントはしばしば、解決策を見つけるまでさまざまなツールやコマンドを試しながら、長い意思決定の連鎖を行わなければなりません。これらのタスクは非常に複雑であるため、研究者たちは、エージェントに多くの経路を一度に試させるためのより多くの計算能力を与えることが、しばしばより良い結果につながることを発見しました。しかし、エージェントが多くの経路を試そうとするとき、新しい問題が生じます。すなわち、多数の候補の中からどのようにして唯一の最善の解決策を選ぶのかという問題です。明確な正解が一つ存在する単純な数学の問題とは異なり、ソフトウェアの修正はさまざまな形を取り得るため、実際のシステムで実際に実行してみることなしに、どのバージョンが真に最善であるかを判断することは難しく、実行には時間とコストがかかります。
復旦大学と上海イノベーション研究所の研究チームは、AI自身の最終的な出力を待つのではなく、その内部の「思考プロセス」に耳を傾けることで、この選択問題を解決する新しい方法を開発しました。彼らは、スパース・ミクスチャー・オブ・エキスパート（sparse mixture-of-experts）として知られる特定のAIアーキテクチャに焦点を当てました。これらのモデルでは、AIが単語を生成するたびに、小さな内部ルーターが、どの特化したサブネットワーク、すなわち「エキスパート」が作業を行うべきかを決定します。このルーターは、どのエキスパートが選ばれ、それらがどれほど貢献したかという記録、すなわちトレースを残します。研究者たちは、このトレースがAIの振る舞いを示すユニークな指紋として機能することに気づきました。たとえ二つの異なる解決策が表面上は全く異なって見えたとしても、その解決策を作り出すためにAIが辿った内部の経路を見れば、それが新しい領域を探索しているのか、あるいは確かな答えへと収束しているのかを知ることができるのです。
研究者たちは、これらの内部的な指紋を用いてエージェントの旅を導く「Risa」と呼ばれるシステムを構築しました。エージェントが問題解決の初期段階にあるとき、Risaはエージェントが探索を続けるよう促します。これは、エージェントの最近の履歴をチェックすることで行われます。もしAIが、直前に行った行動とあまりに似たステップを取ろうとしている場合、システムはそれを異なる、より斬新なアクションへと誘導します。これにより、エージェントが同じ間違いを繰り返すループに陥るのを防ぎます。しかし、エージェントがパッチ（コードを修正するための一連の変更）を書き始めると、戦略は変化します。この段階では、システムは異なる候補間の合意を探ります。もし、異なる出発点から始まった複数の試みが、すべて同じ内部構造を持つ修正案に到達した場合、システムはそれを解決策が正しいという強いシグナルとして扱います。
このアイデアを検証するために、チームは、数百件の実世界のソフトウェア修復タスクを含むSWE-bench Verifiedという標準的なベンチマークを用いて実験を行いました。彼らはいくつかの異なるAIモデルを使用し、それらにタスクを何度も試行させました。一つのテストセットにおいて、彼らは新しいルーティング誘導手法を、最終的な選択をランダムに行う単純な手法と比較しました。その結果、明確な改善が見られました。ルーティングシステムを使用した場合、エージェントがソフトウェアの修正に成功する割合は約45パーセントから48パーセント以上に上昇しました。これは数字としては小さく見えるかもしれませんが、自動化されたソフトウェア修復の世界において、1パーセントの向上は重要な進歩を意味します。このシステムは非常にうまく機能し、解決策の実際のテキストを比較する手法と同等の性能を、コードを実行したり別の判定器を用いて回答を検証したりすることなく達成しました。
また、研究では、最も有用な情報はAIの出力全体の履歴にあるのではなく、特定の意思決定の瞬間に存在することが分かりました。AIがコードの書き方についていくつかの妥当な選択肢の間で迷ったとき、それらの特定の選択が内部のルーティング・トレースに明確な痕跡を残しました。これらの重要な決定ポイントにのみ焦点を当てることで、システムは「幸運な推測」と「論理的な解決策」を区別することができました。このアプローチは異なるタイプのAIモデル全般で機能しており、内部のルーティング・トレースが、複雑なタスクを調整するために使用できる信頼できるシグナルであることを示唆しています。研究者たちは、AIが何を言っているか（出力）ではなく、どのように内部リソースを割り当てているかに注目することで、より優れた探索を行い、解決策を確定させる際に一貫性を持ち、最終的には困難な問題を解決する能力の高いエージェントを構築できると結論付けました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。