技術要約：LLMが言語を開発する時：効率的なマルチエージェント推論のための記号的コミュニケーション

1. 問題提起

Chain-of-Thought (CoT) プロンプティングは、大規模言語モデル（LLM）の推論能力を大幅に向上させるが、それは人間の理解のために設計された冗長な自然言語の根拠に依存している。これらの自然言語の連鎖は、機械による推論としては非効率であることが多く、特に予算制約のあるデプロイメントにおいて、高いトークンコストとレイテンシを引き起こす。既存の効率化アプローチには以下の限界がある：

• プロンプト最適化： 表層的な指示を洗練させるが、永続的で再利用可能な記号システムを誘導するものではない。
• プログラムベースの手法： 人間が設計した中間言語や外部実行器に依存しており、LLMが自身のトークナイゼーションに最適化された離散的な記号言語を自律的に発見できるかどうかという探索を行えていない。
• 強化学習（RL）ベースのアプローチ： 多大な学習コストと最適化の不安定性を伴うことが多い。
• 圧縮手法： 長さを短縮するが、社会的に共有可能で進化する離散的な「言語」を生み出すことはできない。

本研究が取り組む核心的な問いは、**「LLMは、より効率的に推論するために、新しい記号言語を自律的に発明し、進化させることができるか？」**である。

2. 手法：コミュニケーション的言語記号ルーティング (CLSR)

著者らは、複数のLLMエージェントがコンパクトな言語記号フレームワーク (LSF) を自律的に発明、進化、共有するテスト時フレームワークである CLSR を提案する。ルーターは、クエリごとにこれらの言語を選択・構成し、精度とトークンのトレードオフを最適化する。

2.1. 言語記号フレームワーク (LSF)

LSFは、人間によって設計された固定的な形式言語ではなく、LLMによって誘導された再利用可能な記号プロトコルである。これは以下で構成される：

• 記号インベントリ ($V_k$): コンパクトな語彙集。
• 構文 ($G_k$): 軽量な文法または出力スキーマ。
• 制約 ($R_k$): 使用規則および妥当性制約。
• マッピング ($\psi_k$): 記号を推論操作にマッピングするもの。
• プロファイル ($\rho_k$): コスト、精度、およびドメイン適合性を要約した経験的メタデータ。

指示文字列の改善を探索するプロンプト最適化とは異なり、CLSRは再利用可能な記号的コミュニケーション・システムの探索を行う。

2.2. 進化的ブートストラップ

システムは、訓練データとブラックボックスのLLM呼び出しのみを使用して、LSFプール ($S$) を洗練させる進化ループを採用する：

1. 初期化： エージェント（独立したLLMインスタンス）が、例示に基づいて初期のLSF集団を生成する。
2. 評価： LSFを保持されたクエリに対してテストし、回答を生成するとともにトークンコストを記録する。
3. 選択と突然変異： 高レバレッジなトレース（正解かつトークン効率が高いもの）が選択される。これらのトレースは、その親となるLSFと共に、プロトコルを突然変異させ、再結合するためのコンテキストとしてLLMに提供される。これにより、成功した推論パターンを維持しつつ冗長性を排除する。
4. エリート継承： 強固なプロトコルの喪失を防ぐため、トップパフォーマンスのLSFは変更なしに次の世代へとコピーされる。

2.3. テスト時のルーティング

推論時には、学習可能なパラメータや潜在状態へのアクセスを持たない潜在状態フリーのLLMルーターが相互作用を管理する。クエリ $x$ が与えられると、ルーターは以下を行う：

1. 計画： 推論モードを決定する：
   • 単一 LSF: 簡単なクエリに対する直接的な回答。
   • マルチLSF集約: 独立した提案とその後の集約（例：多数決）。
   • 暗黙的構成: 困難なクエリに対し、あるLSFからの応答が後続のラウンドの情報となるマルチラウンド・プロトコル。
2. 実行： 選択されたLSFを呼び出し、結果を集約する。
3. 最適化： 期待される精度に対して、ラウンド数 ($T$) とトークン予算のバランスを明示的に調整する。

3. 理論的分析

本論文は、CLSRの理論的根拠を提示している：

• 最適性： CLSRは制約付き確率制御問題として定式化されている。著者らは、トークン予算内で上限精度を達成する最適なインタラクティブ推論ポリシーが存在することを証明している。
• 情報理論的下限： トークンコストの下限が導出されており、効率性の向上は情報の限界を破ることによるものではなく、トークンあたりの情報密度 ($\kappa_\theta$) の増加によるものであることが示されている。コンパクトな記号プロトコルは、自然言語と比較して、各トークンにより多くのタスク関連の推論状態を詰め込むことができる。
• プログラム実行の包含： 「インタプリタ実現可能性」（LLMが決定論的な実行器を内部的にシミュレートできるという前提）の下で、マルチラウンドのLSFプロトコルは、プログラム実行パイプラインを条件付きで包含し、限定されたオーバーヘッドで同等の精度を達成することが示されている。

解析結果

実験は、複数のオープンソース・バックボーン（LLaMA3-8B, DeepSeek-R1, Qwen3-8B/32B）を用い、7つの多様なベンチマーク（MMLU-Pro, GPQA, GSM8K, MATH-500, AIME, ScienceQA, HotpotQA）にわたって実施された。

• 精度–トークン・トレードオフ： CLSRは一貫してパレート・フロントを改善する。標準的なCoTと比較して、CLSRは精度を維持またはわずかに向上させつつ、生成される完了トークン数を 3〜6倍 削減する。
• ベースラインとの比較： CLSRは、トークン削減ベースライン（CoD, CCoT, SoT）およびプロンプト最適化手法（Plan-to-Solve, PromptBreeder）を凌駕する。過度な圧縮によって正解性を犠牲にする攻撃的な圧縮ベースラインとは異なり、CLSRは適切な記号プロトコルへルーティングすることで堅牢性を維持する。
• スケーリング則：
  • 進化的エージェントの数を増やすことで、発見されるLSFプールの質が向上する。
  • 進化の世代を深くすることで、言語は系統的に「精度対トークン」の比率がより優れた方向へとシフトする。
  • 複雑な数学的タスクにおいては、信頼性を高めるために余分なトークンを支払うマルチラウンド・プロトコル（T > 1）が有益である。

5. 意義と主張

本論文は、CLSRが手動のプロンプトエンジニアリングから社会的に創発する記号的コミュニケーションへの転換を象徴していると主張している。

• 自律的な言語進化： LLMが、人間の自然言語とは異なり、モデルのトークナイゼーションと帰納バイアスに特化して最適化された、マシン指向の言語を自律的に設計・進化できることを実証している。
• 記号化による効率化： 構造化されコンパクトな記号的トレースは、自然言語の根拠よりもトークンあたりの推論情報を多く運べることを検証しており、リソース制約のある環境における効率的な推論への実行可能な道筋を提示している。
• モジュール性： LSFをモジュール化された「エキスパート」として扱うことで、本フレームワークは動的な構成とルーティングを可能にし、基礎となるモデルを再学習させることなく、クエリの難易度に応じて推論の深さを適応させる。

限界： 著者らは、オフラインの言語進化プロセスが計算コストが高く（数日間を要する）、推論内容を含む訓練例を必要とすることを指摘している。また、結果として得られる記号的トレースは自然言語よりも人間にとって解釈が困難である可能性があり、内部的な推論は記号的であるが最終的な出力は人間が読める形式であるような、ハイブリッドシステムの必要性を示唆している。