テクニカルサマリー：すべてのトークンが等価なわけではない：エージェンティックLLMシステムにおけるインフレを考慮したルーティング

問題提起

LLM（大規模言語モデル）を用いた現代のエージェンティック・システムでは、モデルがクエリに対して正しく回答できなかった場合や、不完全な推論過程を生成した場合に、リトライ（再試行）メカニズムが頻繁に採用されます。既存のルーティング・システム（FrugalGPTやRouteLLMなど）は、単一の呼び出しあたりのトークン単価に基づいてコストを最適化しますが、リトライによる累積コストを考慮できていません。

著者らは、**トークン・インフレーション（Token Inflation）**を、真のワークフロー・コスト（リトライを含む）と推定される単一呼び出しコストの比率として定義しています。
$$\text{Inflation}(m, x) = \frac{C_{\text{true}}(m, x)}{C_{\text{direct}}(m, x)}$$
ここで、$C_{\text{true}}$ は成功（またはリトライ上限への到達）に至るまでの $k^*$ 回の試行で消費されたトークンの総和であり、$C_{\text{direct}}$ は単一回の試行におけるトークン数です。

本論文は、このインフレーションが無視できない規模であり、かつ変動性が高いことを示しています。困難なマルチホップ・タスクにおいて、「安価な」小型モデルは繰り返し失敗することがあり、その結果、真のコストは単一呼び出しの推定値よりも4.25倍高くなることがあります。したがって、単一呼び出しの推定値のみに基づくルーティングの決定は、実際のコストを2倍以上系統的に過小評価することになり、最適なモデル選択を妨げる結果となります。

手法：InflationAgent

これに対処するため、著者らは、予測される真のコストに対する期待精度を最大化するように設計された、4段階のルーティング・パイプラインであるInflationAgentを提案しています。これは**セマンティック交換レート（Semantic Exchange Rate: SER）**を最大化することを目的としています。
$$\text{SER}(m, x) = \frac{U(m)}{\hat{C}_{\text{true}}(m, x)}$$

パイプラインは以下の通り動作します：

1. 特徴量抽出（ローカル）： システムは、API呼び出しを行うことなく、クエリから構造的な特徴（トークン数、語彙の多様性、マルチホップの兆候）を抽出します。
2. CoT分岐エントロピー（CBE）の計算（ローカル）： システムは、ローカルモデルから $K$ 個の独立した推論過程をサンプリングします。そして、得られた回答分布のシャノン・エントロピーを計算します：
   $$\text{CBE}(x) = -\sum_{c} p_c \log_2 p_c$$
   高いエントロピーは、推論経路の分岐（divergent reasoning paths）とクエリの難易度の高さを示しており、リトライが発生する可能性を示す「ゼロコストのプロキシ（代理指標）」として機能します。
3. インフレーション予測とルーティング： 軽量な多層パーセプトロン（MLP）が、4つの特徴量（CBE、一致スコア、平均チェーン長、プロンプト・トークン数）を用いてインフレーション係数（$\hat{\text{Inflation}}$）を予測します。システムは真のコスト（$\hat{C}_{\text{true}} = C_{\text{direct}} \times \hat{\text{Inflation}}$）を推定し、最も高いSERを持つモデルティア（階層）を選択します。
4. フレッシュ・エスカレーション（Fresh-Escalation）を伴う実行： 選択されたモデルがクエリを実行します。もし観測されたインフレーションが予測の2倍を超えた場合、システムはより強力なモデルティアへとエスカレーションを行います。極めて重要な点として、このエスカレーションでは、コンテキストの汚染を防ぐために、失敗した推論過程を破棄し、新しいプロンプトを使用します。

主な貢献

1. トークン・インフレーションの体系的な測定： 著者らは、3つのモデルティア（Qwen2.5-7B、GPT-4o-mini、GPT-4o）と2つのデータセット（GSM8K、HotpotQA）にわたるエージェンティック・リトライ・ハーネスを構築しました。その結果、インフレーションはタスクの種類によって大きく変動し、マルチホップQAにおける7Bモデルでは4.25倍に達する一方で、同じタスクにおけるGPT-4oのインフレーションは2.92倍にとどまることを明らかにしました。
2. CoT分岐エントロピー（CBE）： ローカル推論のみで算出される、新しい事前実行型の難易度シグナルです。これは、APIコストを発生させることなく、高いインフレーションを予測するAUROC 0.887を実現しています。
3. SER（セマンティック交換レート）ルーティング： 単一呼び出しのコストではなく、予測される真のワークフロー・コストに対して精度をバランスさせるルーティング目的関数です。
4. フレッシュ・エスカレーション・ポリシー： 失敗した推論過程を強力なモデルに転送すると、パフォーマンスが低下するという経験的な知見に基づいています。著者らは、失敗した推論過程をGPT-4oに与えると、困難なクエリにおける精度が34.8パーセントポイント低下することを示し、エスカレーション時に失敗したコンテキストを破棄する必要性を実証しました。

実験結果

評価は、固定されたトークン予算と最大5回のリトライ条件下で、GSM8KおよびHotpotQAを用いて行われました。

• 精度 vs コスト： GSM8Kにおいて、InflationAgentはベースラインであるFrugalGPTの精度91.0%に対し、94.7%の精度を達成しました。FrugalGPTと同等の精度を得るために必要なトークン数は、InflationAgentの方が31%少なくなりました。
• インフレーション予測： MLP予測器は、高インフレーション・クエリ（閾値2倍以上）の検出において、ホールドアウト・テストセットに対してピアソンの相関係数0.714およびAUROC 0.887を達成しました。
• 限界収益： 小型モデル（Qwen2.5-7B）に対するリトライ回数の増加は、収穫逓減を示しました。精度は予算の5倍でピーク（92.5%）に達しましたが、10倍になると、失敗したチェーンによるコンテキストウィンドウへの干渉により、82.0%まで低下しました。
• コンテキスト汚染： コントロール実験において、Qwen2.5-7Bからの失敗した推論過程をGPT-4oに与えた場合、GPT-4oの精度は73.9%から39.1%へと低下し、統計的に有意な低下（$p=0.0078$）が確認されました。

意義と主張

本論文は、トークン・インフレーションが、エージェンティック・システムの設計においてこれまで見過ごされてきた重要な要素であることを主張しています。リトライによるオーバーヘッドを無視することで、既存のルーティング戦略は、トークンあたりの単価は「安い」ものの、タスク完了あたりのコストは高くなってしまうモデルを誤って選択してしまう可能性があります。

著者らは、InflationAgentが以下の手法によってこれを解決すると断言しています：

1. 単一呼び出しの推定値と、真のワークフロー・コストとの間のギャップを明示的にモデル化すること。
2. ローカル推論（CBE）を用いて、追加のAPIコストなしにこのギャップを予測すること。
3. 「フレッシュ・エスカレーション」戦略を実装し、ダウンストリーム・モデルのパフォーマンス低下を引き起こすコンテキスト汚染を防ぐこと。

本研究は、困難なマルチホップ・タスクにおいては、名目上は安価であってもインフレーションの高いモデルは、コスト効率的でもなければ効果的でもないという事実を確立しました。提案されたフレームワークは、ルーティングの決定をタスク完了の真の経済的コストに適合させることで、より効率的なエージェンティック・インファレンスへの道筋を示しています。

限界

著者らは、評価が2つの推論ベンチマーク（GSM8K、HotpotQA）に限定されており、オープンエンドな生成、マルチターン対話、またはツール使用エージェントには拡張されていないことを述べています。インフレーション予測器は特定のタスク分布に基づいて訓練されており、タスク間の汎用性は依然として未解決の課題です。また、使用されている計算ユニットの比率は固定されており、動的なAPI価格設定は考慮されていません。