HarnessCompass: Guiding Automatic Harness Evolution toward Generalizable and Effective Agent Harnesses
HarnessCompassは、タスクに依存しない制約の強制、プロアクティブなエージェントフィードバックの統合、およびコンポーネント最適化の分離を通じて、エージェントの性能と汎化性能を向上させ、既存の手法と比較してSWE-bench Verifiedにおいて優れた結果を達成する、新しい自動ハーネス進化フレームワークである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、今まさに、極めて優秀で超知能なロボットの脳を構築したところだと想像してください。その脳は本を読み、コードを書き、ほとんどの人間よりも優れたパズルを解くことができます。しかし、一つ問題があります。その脳は、まるで自室から一度も出たことがない天才のようなものです。外の世界とどのように対話するか、どのようにドライバーを使うか、あるいは行き詰まった時にどうやって助けを求めるかさえ知りません。この脳を現実世界で実際に「動かす」ためには、「体」と「コントロールパネル」を作る必要があります。人工知能の世界では、このコントロールパネルは「ハーネス（harness）」と呼ばれます。それは、AIに対して、コンピュータの画面をどのように見るか、どのようなツールを使えるか、そして問題が発生したときにどのように反応すべきかを伝えるソフトウェア層です。それは、AIの奔放な思考と、コンピュータの厳格なルールの間の翻訳者のようなものです。
長い間、エンジニアはこれらのコントロールパネルを手作業で構築し、レーシングカーを調整するメカニックのように微調整しなければなりませんでした。しかし、AIの脳が賢くなるにつれ、古いコントロールパネルはボトルネックとなってきました。それらは追いつけなくなったのです。そこで科学者たちは、AI自身にコントロールパネルを自動的に修正させることを試み始めました。彼らは「メタエージェント（小さな監督者）」を作り出し、それがAIの働きを見守り、どこで失敗したかを確認し、システムをより良くするためにルールを書き換えるようにしました。それは夢のような話に聞こえますが、問題があります。これらの監督者は、賢くなりすぎてしまうのです。彼らは一般的なスキルを学ぶ代わりに、特定のテスト問題の答えを暗記し始めてしまいます。それは、練習用のクイズの答えを丸暗記したものの、本番で問題が少し変わっただけで失敗してしまう学生のようなものです。また、彼らは間違いの原因を誤って特定したり、すべてを一度に直そうとしたりする傾向があり、それがしばしばシステムをより混乱させてしまいます。
ここで、「HarnessCompass」と呼ばれる新しいフレームワークが登場します。研究者たちは、真にスマートで適応力のあるコントロールパネルを構築するためには、監督者を自由に暴れさせてはいけないことに気づきました。監督者に「コンパス（羅針盤）」を与える必要があるのです。AIにどんな変更でも自由にさせるのではなく、H架ssCompassは、AIに3つの厳格なルールに従うよう強制します。第一に、「過学習（オーバーフィッティング）」を禁止します。AIは特定の特定の問題に対する答えをハードコードすることは許されず、練習中の問題だけでなく、あらゆる問題に対して機能する一般的な原則を学ばなければなりません。第二に、AIに「声を上げる」よう求めます。単に最終的なスコアを見るのではなく、システムはAIに対して、「ねえ、どこで行き詰まった？どんなツールがあればよかった？」と問いかけます。これにより、監督者は外部から衝突を見るだけでなく、苦戦している当事者の視点を得ることができるのです。第三に、AIがエンジン、タイヤ、ステアリングホイールを同時に修理しようとするのを止めます。その代わりに、それらを一つずつ最適化し、エンジンの修理がブレーキを壊してしまうことがないようにします。
この規律あるアプローチの結果は目覚ましいものです。「SWE-bench Verified」と呼ばれる大規模な実世界のコーディング課題を用いたテストにおいて、HarnessCompassはAIエージェントの成功率を、わずか5回の進化ステップで54%から66%へと引き上げました。これは驚異的な跳躍であり、20回のステップを経て63%という低いスコアに達した従来の手法よりもはるかに速く達成されました。しかし、本当の魔法はスピードだけではありません。それは「汎用性」です。研究者が、ある特定のAIモデルのために進化したコントロールパネルを取り出し、それが一度も見聞きしたことのない全く別のAIモデルでテストしたところ、それでも元の設定より優れた結果を示しました。これは、HarnessCompassが単にAIにテストを暗記させたのではなく、AIがいかにしてより優れたエンジニアになれるかを教えたことを示唆しています。制約を設けること、AI自身の不満に耳を傾けること、そしてパーツを個別に修正すること。こうした規律の層を加えることで、強力であるだけでなく、混沌として予測不可能な現実世界にも対応できるほど信頼性の高いAIシステムを構築できるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。