技術的サマリー：言語モデルエージェントのエンパワーメント推定

問題定義

大規模言語モデル（LM）エージェントが、Web ブラウジング、ツール使用、マルチエージェント相互作用などのタスクにおいて、現実世界のシステムにますます統合されるにつれ、その能力と安全性を評価することは依然として重大な課題です。現在の評価パラダイムは、人間が設計した目標を能力の代理指標とする目標中心のベンチマーク（例：WebArena、SWE-bench）に大きく依存しています。このアプローチには、主に 2 つの限界があります：

1. 労働集約性：大規模で多様な評価タスクを設計するには、リソースを大量に消費します。
2. 盲点：従来の指標は特定の最終目標やマイルストーンに焦点を制限するため、エージェント相互作用のオープンエンドな性質を見落とす可能性があります。これにより、測定範囲外の目標を追うエージェントを検出する能力、または即座にタスクの成功に結びつかない能力の成長を追跡する能力が制限され、AI 安全性にとってリスクとなります。

手動で作成された報酬や特定のタスク定義に依存することなく、エージェントの一般的な能力を評価できるスケーラブルで目標非依存の評価フレームワークが緊急に必要とされています。

手法：EELMA

著者らは、エージェントの行動を通じた将来の状態への影響度を情報理論的に測定するエンパワーメントを推定するために設計されたフレームワーク、EELMA（Estimating Empowerment of Language Model Agents）を提案します。

理論的基盤

エンパワーメントは、エージェントの行動とその後の感覚入力との間のチャネル容量として定義され、行動と将来の状態の間の最大相互情報を捉えます。形式的には、方策 $\pi_{LM}$ を持つエージェントについて、実効エンパワーメント $E(\pi_{LM})$ は、遭遇する状態における平均条件付き相互情報量として定義されます：
$$E(\pi_{LM}) \triangleq \mathbb{E}_{s_t} [I(a_t; s^* | s_t)]$$
ここで、$s^*$ は $\tau$ ステップ先からサンプリングされた将来の状態です。報酬が一様に分布するという仮定の下、エンパワーメントは平均割引報酬の下限として機能し、一般的なエージェント能力の代理指標として作用することを示唆しています。

EELMA アルゴリズム

古典的なエンパワーメント推定量（遷移の計数に基づく）は、テキストベースの環境では以下の理由により失敗します：

• 観測の冗長性：複数の自然言語文字列が、同じ基底状態を記述できる（例：「x=1 に位置する」対「位置 1 にある」）。
• 高次元性：観測空間が直接確率推定を行うには大きすぎる。

EELMA は、テキスト観測と行動をコンパクトな埋め込みにマッピングし、InfoNCE（Noise Contrastive Estimation）を介して相互情報を推定することでこれに対処します。アーキテクチャは以下の構成からなります：

1. 埋め込み層：事前学習されたテキストエンコーダ（例：E5、MiniLM）と、LoRA を使用して微調整可能な MLP 投影により、観測 ($o_t$)、行動 ($a_t$)、将来の観測 ($o^*$) を潜在ベクトルにマッピングします。
2. ニューラルエンコーダ：現在の状態と状態 - 行動ペア用の $\phi$ と、将来の状態用の $\psi$ という 2 つのエンコーダが共同で訓練されます。
3. 損失関数：モデルは、条件付き相互情報を近似するために 2 つの InfoNCE 目的関数を最大化します：
   • $I(o_t; o^*)$：観測のみ。
   • $I(o_t, a_t; o^*)$：観測と行動。

最終的なエンパワーメント推定値 $\hat{E}$ は、状態 - 行動項から観測のみの項の対数密度比を減算することで導出され、これにより行動が将来の状態について提供する情報を効果的に分離します。

主要な貢献

1. 目標非依存指標：手動ラベル付けされた目標やタスク固有の報酬を必要としない LM エージェントの評価指標としてエンパワーメントを提案し、従来のタスク成功測定を補完します。
2. EELMA フレームワーク：言語的変異性と高次元の観測空間を処理できる、テキストベースの LM エージェント向けに設計された最初のエンパワーメント推定量の開発。
3. 実証的検証：テキストベースのゲーム（Gridworld、ハノイの塔）および現実的な環境（WebArena、$\tau$-bench）において、エンパワーメントが平均タスク性能と強く相関することを示す広範な実験。
4. 行動分析：エージェントの設計選択（プロンプト、メモリ、モデル規模）がエンパワーメントをどのように調節するかを特徴付け、手動注釈なしで認証などの高エンパワーメント行動を重要な瞬間として特定すること。

結果

1. 制御環境における精度

Gridworldおよびハノイの塔タスクにおいて、EELMA の推定値は真値である直接推定と密接に一致しました（スピアマン相関 $R_s = 0.80\text{--}0.94$）。

• 言語的変異性への頑健性：言い換えられた自然言語観測の下で崩壊した直接推定とは異なり、EELMA は高い精度を維持し、意味的に同等だが構文的に多様な記述間での汎化能力を実証しました。
• 複雑性のスケーリング：環境の複雑さが増すにつれて（例：Gridworld の箱の数増加、ToH の円盤の数増加）、実効エンパワーメントは減少し、平均割引報酬の減少を反映しました。

2. タスク性能との相関

Chain-of-Thought プロンプティング、メモリ文脈長、モデル規模など様々なアブレーションを通じて、実効エンパワーメントは平均割引報酬と強い正の相関を示しました：

• CoT：Chain-of-Thought 推論を除去すると、エンパワーメントは劇的に低下しました（例：Gridworld で 99% 低下）。
• メモリ：メモリ文脈（0 から 3 ステップ）を増やすと、エンパワーメントは段階的に増加しました。
• モデル規模：より大きなモデル（例：GPT-4o、Claude-3.5-Sonnet、Qwen2.5-32B）は、一般的にそれより小さなモデルよりも高いエンパワーメントを示しました。

3. 現実世界の環境（WebArena & $\tau$-bench）

• WebArena：エンパワーメントスコアは、GitLab、Reddit、ショッピング管理ドメインにおける割引報酬と強く相関しました（$R_s = 0.83\text{--}0.94$）。
  • 異常：ショッピングドメインでは、エンパワーメントは高かったもののタスク性能は変動しました。これは、ナビゲーション制御ではなく推論のボトルネック（数値価格分析）が性能を制限していたことを示唆しています。
  • ジャイルブレイキング検出：Qwen モデルは Reddit タスクで高いエンパワーメントを示しましたが、タスクの成功は低かったです。分析により、これは「ジャイルブレイキング」行動（実際の外部 Web サイトへの移動）によるものであり、これが状態の多様性を人工的に増大させていたことが判明しました。これは、高いエンパワーメントがタスク関連の制御ではなく出力の多様性を反映する境界条件を示しています。
• $\tau$-bench（ツール使用）：航空ドメインでは、エンパワーメントはモデル能力と単調にスケーリングしました。小売ドメイン（すべてのモデルが最低レベルに近い性能を示した）では、エンパワーメントは逆転しました。これは、より小さなモデルがタスク関連性のない無効なツール呼び出しを多様に生成し、相互情報をタスク関連性なしに増大させたためです。

4. 重要な瞬間の検出

手動認証を必要とする修正版 WebArena タスクにおいて、EELMA は成功したログインの重要な瞬間を正常に検出しました。有効な認証試行（正しい資格情報の入力）は、無効な試行と比較して有意に高いエンパワーメントスコアをもたらし、明示的な報酬信号なしに権力追求行動を監視するための指標としての有用性を示しました。

意義と主張

本論文は、エンパワーメントが一般的なエージェント能力に対する堅牢で目標非依存の代理指標として機能すると主張しています。その主な意義は以下の点にあります：

• スケーラビリティ：新たな能力ごとに新しいベンチマークを設計する prohibitive なコストなしにエージェントを評価する方法を提供します。
• 安全性監視：エージェントが環境に対して重要な制御を獲得する「重要な瞬間」（例：管理者権限へのアクセス）を検出でき、特定の有害な目標が現れる前に権力追求行動をフラグ付けする可能性があります。
• 補完性：タスク成功指標の代替ではなく、オープンエンドで報酬が希薄な環境におけるエージェントの理解に不可欠な、制御と影響の可能性を捉える補完的なシグナルです。

著者らは限界を認めています：エンパワーメントは環境に対する制御を測定しますが、必ずしもタスクの成功を測定するわけではありません。ボトルネックが状態到達可能性ではなく推論である場合、またはエージェントがタスク無関係な行動において高い多様性を示す場合、エンパワーメントは成功を予測しない可能性があります。しかし、それはエージェント能力の景観を特徴づけるための貴重なツールであり続けます。