Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate

以下は、論文「Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate」の詳細な技術的サマリーです。

1. 問題定義

マルチエージェント議論（MAD）は、大規模言語モデル（LLM）の推論能力、事実の正確性、および幻覚への耐性を向上させることが実証されています。しかし、従来の MAD は、以下の要件により計算コストが高く非効率です。

• 複数の推論呼び出し: 複数の異なる LLM インスタンスを実行する必要があります。
• 冗長なトランスクリプト: 合意に達する前に、複数のラウンドにわたる長い会話履歴を生成する必要があります。
• 高いトークン消費: これにより、大きな遅延とコストが発生し、リアルタイムアプリケーションやリソース制約のある環境での実用性が損なわれます。

核心的な課題は、マルチエージェント議論の協調的推論の利点を、冗長な外部議論トランスクリプトを生成することなく、単一の LLM 内で（その潜在空間において）推論を実行できる形に蒸留することです。これにより、性能を維持しつつ推論コストを劇的に削減します。

2. 手法：内部化マルチエージェント議論（IMAD）

著者は、議論プロセスを内部化するために設計された 2 段階のファインチューニングパイプラインであるIMADを提案します。このフレームワークは、主に 3 つのフェーズで構成されます。

A. データセット構築

• ソース: GPT-3.5-turbo を使用して生成された 944 件の議論トレースのデータセットです。
• タスク: 複雑なドメイン知識ではなく構造的学習に焦点を当てるため、算数問題（6 つのランダムに生成された 2 桁の数値）が選択されました。
• 構造: データセットには $n=3$ 人のエージェントと $m=2$ ラウンドが含まれます。重要なのは、モデルに議論形式を明示的に教えるために、ログに構造タグ（例：<|Agent 1|>, <|Round 1|>, <|Consensus|>）が追加されている点です。
• フィルタリング: 最終的な多数決による合意に至らない議論は破棄されます。

B. ステージ 1：教師あり微調整（SFT）- 構造学習

• 目的: 単一の LLM に、マルチエージェント議論の形式と構造を模倣させることです。
• プロセス: モデルは、すべてのエージェントのターンと最終的な合意を含む完全な議論トレースに対して、標準的な自己回帰的次トークン予測を通じて訓練されます。
• 成果: モデルは、単一の生成ストリーム内で外部議論のダイナミクスを実質的に模倣し、論点を批判・洗練する「仮想エージェント」の構造化されたシーケンスを生成することを学習します。

C. ステージ 2：強化学習（RL）- 内部化

• 目的: 明示的で冗長な議論を生成することから、推論を内部的に行い、最終的な答えのみを出力することへの移行です。
• アルゴリズム: グループ相対方策最適化（GRPO）。
• 動的報酬スケジューリング: 報酬関数 $r(x, y)$ は、動的な重みを持つ 2 つのコンポーネントを組み合わせます。
  1. 形式報酬（$R_{fmt}$）: 出力に構造タグが含まれている場合、当初は正の値となります。重み $w_{fmt}$ は訓練を通じて減衰し、冗長な構造を出力するインセンティブを除去します。
  2. 長さクリップ付き正解性（$R(y; l)$）: 正しい答えが長さ $l$ の切り詰められたプレフィックス内に現れた場合のみ、報酬 1 が与えられます。長さ制限 $l$ はアニーリングを受け、緩やかに設定された $l_0$ から始まり、簡潔な答えのみが収まる目標制限 $l^*$ まで縮小します。
• メカニズム: 形式報酬が消失し、長さ制限が縮小するにつれて、モデルは SFT で学習した多角的分析を、長さ制約に違反することなく正解性制約を満たすために、内部的に（潜在空間内で）実行することを強制されます。

3. 主要な貢献

1. IMAD フレームワーク: マルチエージェント議論を単一の LLM に蒸留する新しい 2 段階パイプラインであり、明示的なマルチエージェント議論と比較して最大93% 少ないトークンで競争力のある性能を達成します。
2. メカニズム的発見（エージェント部分空間）: 活性化操作分析を通じて、著者は IMAD モデルが単一の推論モードに収束しないことを実証しています。代わりに、活性化空間内で固有の、線形に分離可能なエージェント部分空間を発達させます。これらの部分空間は、特定のエージェントの視点（例：Chain-of-Thought、Self-Critique、Program-of-Thought）に対応します。
3. 制御可能な安全性（操作による）: 本論文は、これらの内部化されたエージェント部分空間が制御可能であることを示しています。訓練中に「悪意のある」エージェントを注入し、その後負の操作（悪意のあるエージェントの操作ベクトルを減算する）を適用することで、ベースモデルを操作するよりも効果的に有害な特性（悪意、幻覚など）を抑制でき、一般タスク性能への劣化も少ないことが示されました。

4. 実験結果

著者は、LLaMA-3.1 8B、Qwen 2.5 7B、Mistral Nemo 12B を使用して、3 つのベンチマーク（数学のGSM8K、多分野知識のMMLU-Pro、論理的推論のBig-Bench Hard）で IMAD を評価しました。

• 性能対効率:
  • IMAD は、すべてのモデルとベンチマークにおいて、明示的なマルチエージェント議論（Debate）の精度と同等かそれ以上の性能を示します。
  • トークン削減: IMAD は、明示的な議論に必要なトークンのわずか**6.3% から 21.1%**を使用します（5〜16 倍の効率向上）。
  • 汎化性: 算数問題のみで訓練されたにもかかわらず、IMAD は複雑な推論タスク（MMLU-Pro、BBH）や自由形式の要約タスクにもよく汎化します。
• エージェント部分空間分析:
  • **対照的活性化追加（CAA）**を使用して、著者は特定のエージェントペルソナに対する操作ベクトルを抽出しました。
  • 忠実性: 操作された IMAD モデルは、操作されたベースモデルと比較して、ターゲットのエージェントペルソナとの整合性（ROUGE スコア）が大幅に高くなりました（AUC で平均**15.41%**の改善）。
  • これは、協調的構造が識別可能な潜在表現として保持されていることを確認しています。
• 悪意のあるエージェントの制御:
  • 悪意のあるエージェントと共に訓練された場合、IMAD モデルは負の操作を通じて「悪」の特性をほぼ完全に抑制することができました（スコアが約 0 に低下）。一方、ベースモデルは残余の悪意ある行動を保持しました。
  • 安定性: IMAD モデルは、極端な操作係数下でも高いタスク性能（GSM8K 精度）と低いパープレキシティを維持しましたが、ベースモデルは性能の崩壊と不整合に苦しみました。

5. 意義と含意

• 効率性: IMAD は、マルチエージェントシステムの高いコストに対する実用的な解決策を提供し、単一モデルの遅延で議論のような推論を生産環境に展開することを可能にします。
• 解釈可能性: エージェント部分空間の発見は、LLM が複雑な推論をどのように内部化するかに関する新しいメカニズム的理解を提供します。「内部議論」は単なるブラックボックス最適化ではなく、固有で操作可能な推論視点の保持を含むことが示唆されます。
• 安全性と制御: 活性化操作を通じて特定の行動特性（幻覚や悪意など）を分離・抑制する能力は、LLM の安全性に対する有望な新たな道筋を提供します。構造化されたマルチエージェント訓練は、標準的な訓練よりもモジュール化され制御可能な表現を生成し、モデルの一般能力を損なうことなく有害な行動を「外科的」に除去できることを示唆しています。

結論として、本論文は、マルチエージェント推論能力が単一モデルの潜在空間に成功裡に蒸留可能であり、協調の利点を維持しつつ、効率的な推論と微細な行動制御を可能にすることを確立しています。