Scaffold Effects on GAIA: A Controlled Comparison
この事前登録された対照研究は、スキャフォールドの選択がGAIAベンチマークにおけるエージェントの性能に著しく影響を与えることを示しており、測定された能力スコアが高度にスキャフォールド依存的であること、およびモデルの向上に伴って予想されるスキャフォールドへの感受性の低下は成立しないこと、そして構造化されたマルチエージェント設計が標準的なReActアプローチに対してしばしば大幅な精度向上をもたらすことを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、あるシェフが複雑な料理を作るのがどれほど上手いかを判断しようとしていると想像してください。テストのために、3つの異なるキッチン（足場/スキャフォールド）を用意しました。
- ソロ・シェフ (ReAct): シェフが考え、材料を手に取り、調理し、再び考え、次の材料を手に取る……というプロセスを、一つの連続した流れの中で行います。
- キッチンのチーム (Planner-Actor-Rater): マネージャーがレシピを書き、料理人がステップを実行し、批評家が次のステップに進む前に、一歩ごとに味見をして正しくできているかを確認します。
- 設計図とビルダー (Planner-then-Executor): まず、プランナーが道具を使わずに詳細なステップ・バイ・ステップの設計図を書きます。その後、ビルダーがその設計図に従って料理を作り上げます。
この研究は、シンプルな問いを投げかけました。「どのキッチンにシェフを置くかで、そのシェフの実力は『見え方』が変わるのか？」
答えは、紛れもなくイエスです。実際、「キッチン」はシェフ自身の才能と同じくらい重要でした。
大発見： 「キッチン」は予想以上に重要である
研究者たちは、5つの異なる「シェフ」（Anthropic、Google、OpenAIのAIモデル）を、一連の難解なパズル（GAIAと呼ばれるもの）でテストしました。その結果、単にキッチンのセットアップを切り替えるだけで、モデルのスコアが28パーセントポイントも変わることが分かりました。
これを例えるなら：もしあるモデルを「ソロ・シェフ」のキッチンでテストして56%のスコアだったとしても、全く同じモデルを「キッチンのチーム」のセットアップに移すと、突然84%のスコアを取るかもしれません。シェフが変わったのではなく、彼らが「どのように働くことを許されたか」が変わったのです。
これは、私たちが「モデルXの賢さは80%だ」といった見出しを目にするとき、その数字は単なるモデルの性能ではないということを意味しています。それは、モデルの脳と、与えられた特定の指示やツールの組み合わせなのです。異なるキッチンでテストされた2つのモデルを比較する場合、あなたは彼らの「脳」を比較しているのではなく、彼らの「キッチン」を比較していることになります。
神話の打破：「賢い」モデルは助けを必要としないわけではない
研究者たちには、ある仮説がありました。最も強力な「最先端（フロンティア）」モデルは非常に賢いため、キッチンのセットアップなど気にしないだろう、というものです。彼らは、超天才的な脳であれば、散らかったキッチンでも整ったキッチンと同じように対処できると考えていました。
彼らは間違っていました。
実際、テストされた中で最も強力なモデル（AnthropicのOpus）は、難しいタスクにおいて、構造化され整理されたキッチン（「キッチンのチーム」のセットアップ）から最も大きな恩恵を受けました。最も賢いモデルは、最も自立していたわけではなく、マネージャーと批評家がいることで最も恩恵を受けるモデルだったのです。賢いモデルになっても、最高と最低のパフォーマンスの差は縮まりませんでした。むしろ、その差は広がるか、あるいは維持されました。
「ファミリー」対「ランク」の驚き
もう一つの驚きは、豪華なキッチンの恩恵を受けるかどうかは、モデルの「ランク」ではなく、どの「ファミリー」に属しているかに依存したことです。
- Anthropicのファミリー（Haiku, Sonnet, Opus）は、すべて「キッチンのチーム」のセットアップから大きなブーストを得ました。
- GoogleやOpenAIのモデルは、それほどのブーストを得られませんでした。
これは、特定の種類の車のエンジンは特定のブランドの燃料でずっとうまく走るが、別のブランドのエンジンはそれを気にしない、というようなものです。単に「より高いティア」のモデルであれば常に優れたツールから恩恵を受けると決めつけることはできません。それは、誰がそのエンジンを作ったかによって決まるのです。
コストと効率
研究では「レシート（コスト）」についても調査しました。
- 「ソロ・シェフ」(ReAct) は、最もコストがかかり、最も時間がかかりました。ミスが多く、何度もやり直しが発生しました。
- 「キッチンのチーム」と「設計図」のセットアップは、より速く、ミスが少なく、タスクの途中で問題が発生してもよりうまくリカバリーできました。
- 勝者: GoogleのGeminiモデルと「設計図」のセットアップを組み合わせたものが、最も難しいタスクにおいて、最も安価で正確な選択肢となりました。
結論
この論文は、**「能力の数値は条件付きである」**ということを教えてくれます。モデルが真空状態で「X%の能力がある」と言うことはできません。「特定の指示とツールを使用している場合において、X%の能力がある」と言う必要があります。
AIの真の実力を知りたいのであれば、単一のスコアを見るだけでは不十分です。スコアとは、モデルに「足場（スキャフォールド）」を組んだ状態の、スナップショットであることを理解しなければなりません。足場を変えれば、スコアは、時には劇的に変化します。モデルが「できること」と、テストにおいて「実際に発揮していること」の間の「ギャップ」は非常に大きく、モデルが賢くなったからといって、そのギャップが必ずしも小さくなるわけではないのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。