🤖 AI

Efficient LLM Collaboration via Planning

本論文は、小規模言語モデルと大規模言語モデルがマルチステージの連鎖において計画者と実行者を交互に担うテスト時の協調フレームワーク「COPE」を提案し、推論コストを劇的に削減しつつ大規模なプロプライエタリモデルに匹敵する性能を達成するものである。

原著者： Byeongchan Lee, Jonghoon Lee, Dongyoung Kim, Jaehyung Kim, Kyungjoon Park, Dongjun Lee, Jinwoo Shin

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Byeongchan Lee, Jonghoon Lee, Dongyoung Kim, Jaehyung Kim, Kyungjoon Park, Dongjun Lee, Jinwoo Shin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

複雑なタスク、例えば壊れたエンジンの修理や難解な数学パズルの解決を想像してみてください。あなたには次の 2 人の支援者が利用可能です。

地元の職人: あなたのガレージに住む、小さく、無料で、迅速な労働者です。彼らは単純な作業が得意ですが、複雑な問題に直面すると行き詰まることがあります。
巨匠建築家: 遠くの高層のハイテクタワーに住む、巨大で高価な専門家です。彼らはほぼ何でも解決できますが、助けを頼むたびに莫大な費用がかかります。

問題はこうです：すべての作業ごとに巨匠建築家を雇えば、あなたは破産してしまいます。地元の職人だけを頼れば、難しい問題では失敗するかもしれません。

この論文は、COPE（Collaborative Planning and Execution：協働計画と実行）と呼ばれる新しい作業手法を紹介しています。これは、これらの 2 人の労働者が無駄な費用をかけずに効率的に協力できる、スマートなチームアップシステムのようなものです。

COPE の仕組み：「まず計画する」戦略

単に職人に「エンジンを修理して」と頼んで、うまくいくことを願うのではなく、COPE は計画（Planning）というステップを使用します。この「計画」とは、実際の作業が始まる前に作成される、簡潔な高レベルの地図や一連の指示のようなものです。

彼らが協力する手順は以下の通りです。

段階 1：職人が主導権を握る
地元の職人は、まず単独で全体の作業を試みます。まず、自分自身のために簡易な「計画」（単純な目標や指針）を作成し、その計画に基づいて問題の解決を試みます。

確認: 職人が正解したと非常に確信している場合（例えば、3 回試して同じ答えが出た場合など）、作業は完了です。これは無料で迅速です！
失敗: 確信が持てない場合や答えが不安定に見える場合、彼らは諦めません。段階 2 へ進みます。

段階 2：建築家が地図を描き、職人が建設する
ここで、高価な巨匠建築家が介入しますが、一瞬だけです。建築家はまだ重労働は行いません。代わりに、問題に基づいて新しく、より優れた計画（より明確な地図）を作成します。
この新しい計画を地元の職人に渡します。職人は、今度は建築家の専門的な地図に従って、再度問題の解決を試みます。

確認: 建築家の地図に導かれた職人が確信を持てば、作業は完了します。地図を描くために建築家の時間をわずかにしか支払っていないため、多くの費用を節約できます。
失敗: 地図があっても職人がまだ行き詰まっている場合、段階 3 へエスカレーションします。

段階 3：建築家が引き継ぐ
最初の 2 つのステップが機能しなかった場合、巨匠建築家はついに計画から実行まで、すべての作業を自分で行います。これは最も高価なステップですが、絶対に必要な場合のみに行われます。

これが画期的な理由

この論文は、このチームワークの仕組みについていくつかの驚くべき発見を明らかにしました。

大きな脳が小さな脳を助ける: 巨匠建築家が職人のために計画を作成すると、職人ははるかに賢くなります。これは、学生が教授に戦略（計画）を説明された瞬間に数学の問題を理解するのと同じです。たとえ実際の計算は学生が行うとしてもです。
小さな脳が大きな脳を混乱させる: 興味深いことに、職人が巨匠建築家のために計画を作成しようとすると、建築家のパフォーマンスは実際には低下します。建築家は非常に賢いため、職人からの単純で質の低い計画は、かえって彼らを混乱させるのです。これが、システムが建築家が職人のために計画するよう設計されており、その逆ではない理由です。
品質を落とさずに費用を節約: 数学、コーディング、そして複雑なエージェントタスク（例えば、家の中を移動するロボットなど）に関するテストにおいて、COPE は巨匠建築家を単独で使用するのと同じ、あるいはそれ以上の結果を達成しました。しかし、高価な建築家は最も難しい部分や、単に地図を描くためにのみ呼び出されたため、コストは45% から 75% 削減されました。

結論

COPE は、地元の労働者に作業を任せるべき時、専門家から簡単なヒント（計画）を頼むべき時、そして専門家にすべてを任せるべき時を知っている、スマートな管理者のようなものです。小さなモデルと大きなモデルの間に「計画」という軽量な橋渡しを用いることで、両者が効率的に協力し、予算を破綻させることなく難しい問題を解決することを可能にします。

技術的概要：計画による効率的な LLM 協調（COPE）

問題提起

大規模言語モデル（LLM）は、能力と計算コストの間の重要なトレードオフに直面している。大規模なプロプライエタリモデルは複雑なタスクにおいて最先端のパフォーマンスを達成する一方で、その推論コストは甚大であり、多くのアプリケーションにおいて頻繁な利用は非現実的である。逆に、小規模なオープンソースモデルはコスト効果が高く、エッジデバイスへの展開も容易であるが、単独で複雑な問題を解決する能力が不足していることが多い。既存のコスト意識型推論手法（マルチステージカスケード：LLM Cascade、ABC など）は、通常、独立した委任を通じて動作する。すなわち、小規模モデルがタスクを試行し、信頼性チェックに失敗した場合、タスク全体がより大規模なモデルに引き継がれる。これらのアプローチは、ステージ内での構造化された対話的協調を欠いており、複雑なタスクを共同で解決する能力が制限されている。

手法：COPE フレームワーク

著者は、小規模モデルと大規模モデルの間の相互作用を計画を通じて構造化する、推論時の協調フレームワークである**COPE（Collaborative Planning and Execution）**を提案する。タスクを直接実行するのではなく、モデルはまず、ゴールやガイドラインなどの高レベルの抽象化（「計画」）を生成し、これを下流のエグゼキューターを導く軽量な中間体として機能させる。

COPE は、3 ステージの適応的カスケードとして動作する：

ステージ 1（小規模モデルによる計画と実行）： 小規模モデルが計画者と実行者の両方として機能する。このモデルは $n$ 個のゴール型の計画をサンプリングし、対応する解を生成する。システムは多数決によって回答を集約する。コンセンサス比率（最も頻出する回答に同意するサンプルの割合）が閾値 $\tau_1$ を超える場合、回答が受理される。そうでない場合、問題がエスカレートする。
ステージ 2（大規模モデルによる計画、小規模モデルによる実行）： ステージ 1 が失敗した場合、大規模モデルが新しいガイドライン型の計画を生成する。その後、小規模モデルはステージ 1 の元の計画と、大規模モデルからの新しい計画の両方を活用して実行を再試行する。新しい解を生成し、再び多数決が適用される。コンセンサス比率が第 2 の閾値 $\tau_2$ を超える場合、回答が受理される。そうでない場合、エスカレートする。
ステージ 3（大規模モデルによる計画と実行）： ステージ 2 が失敗した場合、大規模モデルが完全な制御を引き継ぎ、ステージ 2 で生成された計画を再利用してタスクを直接実行する。

主要な技術的特徴：

トレーニングフリー： COPE は微調整を必要とせず、推論時のプロンプトエンジニアリングのみに依存する。
適応的計算： フレームワークはリソースを動的に割り当て、簡単なタスクは小規模モデルで処理し、困難なタスクのみを大規模モデルにエスカレートする。
タスク固有の信頼性： 信頼性指標はタスクの種類に合わせて適応される：
- 数学的推論： 抽出された回答に対する多数決。
- コード生成： 隠しテストケースにおけるパス率（何らかの出力がパスする場合、それが選択される）。
- オープンエンドタスク： Perpexity の最小化（最低の Perplexity を持つ出力が選択される。Perplexity が高すぎる場合はエスカレート）。
- エージェントタスク： 行動ステップに対する多数決。

主要な貢献

フレームワークの提案： 計画をモデル間協調の媒介として利用する推論時フレームワーク COPE の導入。これにより、小規模モデルと大規模モデルが互いの思考を足場（scaffold）として構築できるようになる。
トレーニングフリーの効率性： 本手法はトレーニングフリーであり、ファウショットも不要で、プロンプトのみを必要とするため、多様なタスクへの容易な展開が可能である。
パフォーマンスとコストのトレードオフ： 大規模プロプライエタリモデルのパフォーマンスに匹敵、あるいは上回る性能を示しながら、金銭的な推論コストを劇的に削減する能力を実証。
広範な適用性： 数学的推論、コード生成、オープンエンド生成、エージェントタスクにおいて検証され、計画がコスト効率の高い推論のための効果的な事前分布（prior）として機能することを示した。

実験結果

著者は、単一モデル推論、標準的なカスケード（Vote/Verify）、ABC、FrugalGPT などのベースラインと比較して、複数のベンチマークで COPE を評価した。

数学的推論（MATH-500）： COPE は75.8% の精度を達成し、GPT-4o（75.2%）を上回った。同時に、推論コストを約**45%**削減した（100 万問題あたり 5025 ドルから 2766 ドル）。大規模モデルとして GPT-4o-mini を使用した場合、COPE は 74.4% の精度を達成し（単独の大規模モデルは 73.8%）、40% のコスト削減を実現した。
数学的推論（AIME-2024）： より困難なこのデータセットにおいて、COPE は40.0% の精度を達成し、すべてのベースラインの中で最高であり、かつ最低のコスト（単独の大規模モデルの 502 に対して 478）を記録した。
コード生成（MBPP）： COPE は精度を**66.4%まで向上させ（GPT-4o は 64.0%）、推論コストを約75%**削減した。
オープンエンドタスク（MT-Bench）： COPE は、大規模モデルのベースラインに対する44.8% の勝率を達成し（単独の大規模モデルは 42.5%）、大幅に低いコストを実現した。
エージェントタスク（ALFWorld）： COPE は成功率を**36.9%まで向上させ（単独の大規模モデルは 35.0%）、コストを約29%**削減した。

著者は、COPE の小規模モデルベースラインに対する性能向上が、困難な問題（MATH-500 のレベル 5）において最も顕著であることを指摘しており、そこでは精度が 15.0 ポイント向上した。

意義と主張

本論文は、計画がコスト効率の高い推論のための効果的な事前分布として機能すると主張している。計画を通じて協調を構造化することで、COPE はモデルが完全なタスク委任のオーバーヘッドなしに高レベルの先見性を交換することを可能にする。著者は、このアプローチが、ほとんどのステップを小規模モデルが安価に処理し、より困難な決定に対して大規模モデルが選択的に介入する、エッジ・クラウドおよびエージェント環境に自然に適合することを強調している。

この研究は、単に単一モデルをさらに押し進めること、または独立したカスケードに依存することの代わりに、計画を介したモデル間スケーリングが viable な代替手段であることを示唆している。結果は、COPE が不要な計算を削減し、パフォーマンスを犠牲にすることなくより持続可能な AI 利用に貢献する、広範に効果的でスケーラブルなフレームワークであることを示している。