Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling

技術概要：テキスト・表形式モデルによる限定的な相互作用からの AI エージェントの意思決定予測

問題定式化
本論文は、限られた数の先行相互作用履歴（$K$ ゲーム）のみを前提として、未知の言語ベース AI エージェント（「ターゲットエージェント」）の次の意思決定を予測するという課題に取り組む。自動交渉や調達などのシナリオにおいて、ターゲットエージェントの基盤となる大規模言語モデル（LLM）、システムプロンプト、制御ロジック、およびルールベースのフォールバックは非公開である。各意思決定点は、構造化されたゲーム状態（オファー、ラウンド番号、利得）と自由形式の対話の混合を含む。著者らはこれをターゲット適応型テキスト・表形式予測問題として定式化する。目的は、以下の 2 つの補完的なタスクを予測することである：

1. 応答予測：ターゲットが現在のオファーを受諾するか拒否するかを決定する二値分類タスク。
2. 提案予測：ターゲットが次に提示するオファーの値を推定する回帰タスク。

この設定では、内部コードやプロンプトへのアクセスなしに新しいエージェントに適応する必要があり、その過去の行動に関するラベル付き例 $K$ 個と、以前に観測されたエージェントの大規模なソース集団のみに依存する。

手法
提案手法は、次の手を直接予測するために大規模 LLM に指示を与える「LLM-as-Predictor」プロンプティングとは一線を画す。代わりに、著者らは意思決定点のマルチモーダル表現に条件付けるテキスト・表形式基盤モデル（TabPFN）を採用する。中核となる構成要素は以下の通りである：

1. 特徴モダリティ：各意思決定点は、3 つの特徴ブロックを組み合わせた単一の表の行として表現される：

   • ゲーム状態特徴：設定パラメータ（割引率、評価額など）、ラウンドインデックス、現在および過去のオファー、意思決定履歴を含む構造化変数。
   • 対話表現：会話履歴の汎用的な意味的埋め込み。文書トランスフォーマー（例：all-MiniLM-L6-v2）でエンコードされ、PCA によって次元削減される。
   • 観測者表現（LLM-as-Observer）：公開された意思決定時の状態と対話を読み取る小型の凍結 LLM（例：Gemma-2-2B、Qwen3-1.7B）を用いた新規の特徴ブロック。重要なのは、LLM の直接出力（予測された意思決定）を破棄することである。代わりに、その隠れ状態（特に上層スタック、相対深度 0.6–0.9 付近から）を抽出し、高次元の特徴ベクトルとして使用する。これにより、LLM を直接予測器ではなく、意思決定に関連する信号のエンコーダーとして扱う。

2. ターゲット適応型学習：TabPFN モデルは、エージェントのソース集団（GLEE ベンチマークからの 13 種類の最先端 LLM）で訓練され、$K$ 個の観測ゲームをコンテキスト内のラベル付き例として用いてターゲットエージェントに適応する。このモデルは、勾配ベースの再訓練なしに、集団レベルの規則性とターゲット固有の証拠を組み合わせる。

3. ベースライン：著者らは、完全モデルを以下のベースラインと比較する：

   • ゲーム＋テキスト特徴：観測者の隠れ状態特徴を除いた、同一の表形式モデル。
   • LLM-as-Predictor：ゲーム状態、対話、および $K$ 個の例を直接プロンプトとして与え、予測を出力する最先端 LLM。

主要な貢献

1. 定式化：言語ベースエージェントの少数ショット予測を、$K$ 個の先行ゲームをラベル付き適応例として利用するターゲット適応型テキスト・表形式タスクとして再定義する。
2. LLM-as-Observer：凍結 LLM をエンコーダーとして機能させる意思決定指向の特徴ブロックの導入。著者らは、小型の凍結 LLM の隠れ状態が、モデルの直接出力では確実に現れない補完的な意思決定関連信号を提供することを示す。
3. クロス集団データセットと評価：著者らは、学生が共有する基盤 LLM を使用して構築されたがプロンプトや制御ロジックが異なる 91 個の「足場付き（scaffolded）」エージェントのホールドアウトデータセットを導入し、基盤モデルが異なる最先端 LLM のソース集団からの転移を評価する。これは、エージェントの異質性の異なる軸における予測器の頑健性をテストする。

結果
実験は GLEE フレームワークからの交渉および取引ゲームで行われた。

• 性能：観測者特徴を備えた完全なテキスト・表形式モデルは、$K$ のすべての値（0 から 16）において、「ゲーム＋テキスト」ベースラインおよび直接の「LLM-as-Predictor」アプローチを上回る。
• 観測者の寄与：$K=16$ において、観測者特徴は、最良のベースラインに対して応答予測の AUC を約 4 パーセントポイント向上させ、取引タスクにおける提案予測の誤差（中央値 $R^2$ で測定）を 14% 削減する。
• 隠れ状態対直接出力：アブレーション研究により、予測能力は LLM の直接のロジットではなく、隠れ状態から来ることが確認された。隠れ状態は、LLM 自身の受諾/拒否確率を一貫して上回り、出力ヘッドが表面化できない戦略的情報を符号化していることを示唆する。
• 頑健性：観測者特徴による改善は、異なる凍結 LLM プロバイダー（Gemma、Qwen、Llama）および中層から後層の層全体で安定しており、この信号が表現の内在的な性質であることを示している。
• LLM-as-Predictor の限界：大型の最先端 LLM による直接プロンプティングは、提案予測（回帰）において性能が低く、しばしば負の $R^2$ スコアをもたらす。これは、連続的な数値値に対する自己回帰的トークン生成の較正の難しさが、表形式モデルの回帰能力と比較して起因している可能性が高い。

意義と主張
本論文は、未知の AI エージェントの意思決定を予測することは、直接の少数ショット LLM 予測よりもターゲット適応型テキスト・表形式学習問題として定式化する方が優れていると主張する。その意義は、以下の点にある：

• 表現（凍結 LLM エンコーダーを介して抽出）と適応（教師あり表形式学習器によって実行）を分離することで、優れた性能が得られること。
• 隠れ LLM 表現は、大型の最先端モデルと比較しても小型の凍結モデルを使用する場合でも、直接プロンプティングでは確実に表面化しない意思決定関連信号を露出させること。
• このアプローチは、再利用可能なソース集団を用いて、新しい設計されたエージェント（足場付きエージェント）への効果的な適応を可能にし、言語媒介の商業における未知の AI エージェントの意思決定をモデル化するための一般的なレシピを示唆すること。

著者らは、ゲームが実市場ではなく制御された抽象化であること、および手法が関連するソース集団へのアクセスを前提としていることなどの限界を指摘している。彼らは、このアプローチが、プライベートな状態を共有せずにパートナーに適応できる予測意識型エージェントへの一歩であると強調している。