HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
本論文は、リソース制約下においてエージェント用ハーネス（プロンプト、ツール、およびオーケストレーションコードを含む）を反復的に最適化する能力を評価するために設計された新しいベンチマークであるHarnessOpt-Benchを紹介し、この最適化能力が、改善の余地が大きく、かつ明確かつ測定可能なスキルであることを実証するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたには、非常に優れた、超スマートなロボットの脳があります。それはコードを書き、数学の問題を解き、質問に答えることができます。しかし、この脳は真空状態で機能するわけではありません。それは「ハーネス（装着具）」を必要とします。ハーネスとは、ロボットの鎧であり、取扱説明書であり、コントロールパネルでもあるものだと考えてください。それは、脳に対して、ツールをどのように使うか、何を記憶すべきか、そして外部の世界とどのように対話すべきかを伝えるためのコードです。レースカーが勝利するために、優れたドライバーとよく調整されたエンジンを両方必要とするように、スマートなAIが優れた性能を発揮するためには、スマートな脳と優れたハーネスの両方が必要なのです。時には、同じ脳であっても、あるスーツを着れば天才になり、別のスーツを着れば不器用な初心者になることがあります。
ここで大きな疑問が生じます。私たちは、AIに自分自身のスーツを修理することを教えられるのでしょうか？AIは自分自身のハーネスを見つめ、それが使いにくいことに気づき、自分自身をより賢くするためにコードを書き換えることができるのでしょうか？これは「ハーネス最適化（harness optimization）」と呼ばれます。これは、シェフに対して、単に料理を作るだけでなく、最終的な料理を審査員がどのように味わうかを知らないまま、調理をしながらキッチンを再設計し、ナイフを研ぎ、レシピ本を書き換えるよう求めるようなものです。これは非常に困難な課題です。なぜなら、スーツを直すことはコストがかかり、かつトリッキーだからです。最終的なスコアを見る前に、何がうまくいくかを推測しなければなりませんし、エネルギー（この場合はコンピューターの時間やお金）を使い果たす前にそれを完了させなければなりません。
これこそが、Scale AIの研究者たちが「HarnessOpt-Bench」という新しい実験でテストしようとしたことです。彼らは、異なるトップクラスのAIモデルが「オプティマイザー（最適化器）」として機能する、特別な安全な遊び場を構築しました。彼らの仕事は、基本的な、少し不器用なAIエージェント（「シード」）を受け取り、そのコードを読み、それを改善することです。ただし、オプティマイザーには厳しい予算があります。変更が機能するかどうかを確認するためのテストを実行できる回数は限られています。開発用や検証用のテスト走行からヒントを得ることはできますが、最終的な本当のスコアは、最高のバージョンを提出するまで隠されています。
研究者たちは、これらのAIモデルが実際にこのタスクに習熟できるかどうかを知りたかったのです。彼らは5つの最新鋭のAIモデルを使用して、111通りの異なる実験を行い、2つの方法でテストしました。一度は標準的で共有された「ツールキット（共通のコーディング・ハーネス）」を使用し、もう一度はそれぞれのネイティブな内蔵ツールキットを使用する方法です。成功は、元の不器用なバージョンと比較して、エージェントのパフォーマンスがどれだけ向上したかによって測定されました。
結果は以下の通りですが、これは少し驚くべきものでした。第一に、AIモデル自体が、使用しているツールキットよりもはるかに重要であるということです。最も賢いAIと最も賢くないAIの間のパフォーマンスの差は、ツールキットを変えたことによる差よりも、ほぼ2倍も大きかったのです。これは、「脳」こそが真の主役であり、「スーツ」ではないことを示唆しています。
第二に、豪華なネイティブ・ツールキットを持っていることが、必ずしも勝利を保証するわけではありません。AIは、自分専用にカスタマイズされたツールを使うときに最も高い成果を出すと予想されるかもしれませんが、結果は混合していました。ネイティブ・ツールキットが助けになることもあれば、ならないこともあり、標準的なツールキットの方が実際には優れていることもありました。一貫した「ホーム・アドバンテージ（本拠地の利）」は存在しませんでした。
第三に、AIがどのように解決策を探索したかが重要でした。コードのより多くの部分（プロンプト、メモリ、リトライ・ルール、ツールなど）をいじろうとしたものほど、より良い結果を得る傾向がありました。しかし、AIは、何が失敗したのかを示す詳細な「失敗レポート（トレース）」をあまり読みませんでした。彼らは主に最終スコアを見ていました。これは、これらのタスクにおいては、細かなミスに執着するよりも、全体像を見ることがより有用であったことを示唆しています。
最後に、AIはしばなしばしば楽観的すぎました。探索中に見たスコア（「練習」テストでのスコア）は、最終的な隠されたテストでのスコアよりも通常高くなっていました。これは、AIが完璧な解決策を見つけたと思い込んだものの、実際の審査員が見たときには、それほど良くなかったということを意味します。
要するに、この論文は、ハーネス最適化が、最先端のAIモデルが備えている現実的で測定可能なスキルであることを示していますが、彼らがそれを一貫して行う術はまだ学習段階にあることも示しています。最高のモデルはエージェントのパフォーマンスを大幅に向上させることができますが、まだ完璧ではありません。彼らは、もう少し自信をなくし、おそらく失敗レポートをもっと注意深く読む必要があります。結論として、私たちは、AIが単にタスクを実行するだけでなく、より優れたバージョンの自分自身を構築する方法を学ぶ未来へと向かっていますが、人間の助けなしに確実にそれを行うようになるには、まだ長い道のりがあります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。