技術要約：Incognitaを用いた、社会的に分散されたタスク環境における行動に基づいた生成エージェントの評価

問題提起

社会的な環境において効果的なエージェンシー（主体性）を発揮するには、エージェントが「いつ知識を求めるべきか」、「いつ行動すべきか」、そして「その行動が取得した情報によって正当化されるか」を判断する必要があります。既存の評価パラダイムは、これらの要件を分離して扱う傾向があります。グラウンデッド（接地された）ベンチマーク（例：WebArena, AppWorld）は、実行可能なアクションと検証可能な結果を提供しますが、豊かな社会的相互作用に欠けています。一方で、社会シミュレーション環境（例：Sotopia）はマルチエージェント間の相互作用を提供しますが、グラウンデッドで結果を伴う状態変化に欠けることがよくあります。

本研究が取り組む核心的な問題は、社会的に分散されたタスク環境における生成エージェントの評価です。これらの環境では、タスクに関連する知識は、役割ごとに隔離された参加者（例：顧客、返品受付、製品カタログ）に分割されており、結果を伴うアクションは、これらの特定の参加者との相互作用を通じてのみ到達可能です。現在のエージェントは、この構造において苦戦しており、情報の開示がターンごとに段階的に行われる中で、明確化（clarification）、コンテキストの維持、および時期尚早な完了（finalization）といった失敗を示します。

メソドロジー：Incognitaフレームワーク

著者らは、社会的に分散されたタスク環境をインスタンス化するために、Concordiaの基盤の上に構築された環境フレームワークであるIncognitaを導入します。Incognitaは、社会的相互作用とグラウンデッドな実行を分離し、テストエージェントに対して部分観測マルコフ決定過程（POMDP）を構築します。

1. 環境アーキテクチャ

• 役割隔離型の相互作用: テストエージェントには直接的なツールアクセス権がありません。エージェントは、USER（開示ゲートの背後に需要側の知識を保持）およびSpecialist Entities（役割固有の環境知識を保持し、操作を媒介する）への指示メッセージを介して相互作用します。
• グラウンデッド実行レイヤー: スペシャリスト・エンティティは操作を提案し、それらはカノニカルな状態（canonical state）に対する決定論的なサブ環境によって検証・実行されます。
  • Reads（読み取り）: 状態を変更せずに情報を返します。
  • Writes（書き込み）: 状態を変化させ、後に評価される結果を生み出します。
• オフライン評価: 試行は、エージェントが最終化フラグ（$f_t=1$）を設定したときに終了します。その後、オフライン評価器が、継承されたタスク報酬（例：$\tau$-benchから）に照らして最終状態をスコアリングします。評価器は、試行中にエージェントを誘導したり、エージェントの内部信念状態を検査したりすることはありません。

2. 理論的枠組み

本フレームワークは、この設定に対して**探索（exploration）と活用（exploitation）**のパラダイムを適応させています。

• 探索: コミュニケーションは、役割ごとに分割された知識に対する探索として機能します。エージェントは、ユーザーの意図、利用可能な知識、および実行可能な操作に関する暗黙的な信念状態を更新しなければなりません。
• 活用: グラウンデッドなアクションは、エージェントの信念状態を状態変化を伴う操作へとコミットさせる、活用として機能します。
• 最終化（Finalization）: 最終化アクションは、ユーザーのゴールが満たされたというエージェントのコミットメントを表します。時期尚早な最終化は、エージェントの信念とカノニカルな環境状態との間のミスマッチを示しています。

3. 実験設定：Incognita-Retail

フレームワークを検証するため、著者らは$\tau$-bench retailタスクをマルチエンティティ環境（Incognita-Retail）へと変換しました。

• タスク: リファレンス・ソリューションによって必要とされる個別のスペシャリスト・エンティティの数（social breadth：1から6まで）によって層別化された18のタスク。
• モデル: 3つの生成エージェントモデル（gpt-5.2, gpt-5.4, gpt-5.5）を評価。
• 試行: 合計540試行（18タスク $\times$ 10回反復 $\times$ 3モデル）。
• 制約: テストエージェントには明示的なゴールやポリシーのヒントは与えられず、相互作用を通じてタスク構造を推論する必要があります。

主な結果

1. タスク成功率

グラウンデッドなタスクの成功は、強力なモデルであっても依然として稀ですが、進展は見られます。

• gpt-5.2: すべてのsocial breadthにおいて成功率0%。
• gpt-5.4: 全体で8.9%の成功率（social breadth 3および4でのみ成功）。
• gpt-5.5: 全体で17.2%の成功率（すべてのbreadthレベルで非ゼロの成功を示すが、breadth 6はほぼ未解決のまま）。

2. 行動の変化と失敗モード

モデルの改善は、信頼できるタスク成功が達成される前に、行動の変化として現れることが明らかになりました。

• 時期尚早な最終化（Premature Finalization）: 時期尚早な終了（必要なアクションを行う前にタスク完了を宣言すること）の割合が大幅に減少しました。
  • gpt-5.2: 100%
  • gpt-5.4: 87%
  • gpt-5.5: 58%
• 探索と活用の指標: 強力なモデルは以下の特性を示しました。
  • 高い開示範囲（Disclosure Coverage）（ロックされたユーザーフィールドの開示割合）: 0.06 $\to$ 0.17 $\to$ 0.45。
  • 高い書き込み率（Write Rates）（受理された状態変化を伴う書き込みを含む試行の割合）: 0 $\to$ 0.13 $\to$ 0.36。
  • 高いエンティティ接触幅（Entity-Contact Breadth）: 0.30 (gpt-5.2) から 0.68 (gpt-5.4/5.5) へ増加。

3. 失敗の構成

モデルが向上するにつれ、失敗モードは即時の終了から、環境・信念（environment-belief）、ゴール・信念（goal-belief）、および**実行エラー（execution errors）**を含むより複雑なエラーへと移行しました。これは、強力なエージェントが意図された相互作用のレジーム内でより長い時間を過ごしているものの、信念形成の信頼性とアクションのグラウンディングにおいて依然として苦戦していることを示しています。

貢献と意義

本論文は、主に3つの貢献を行っています。

1. 定式化: 知識が役割ごとに隔離された参加者に分割されており、エージェントに情報の非対称性をナビゲートさせる必要がある、社会的に分散されたタスク環境を、独立した評価設定として定式化しました。
2. フレームワーク: 役割隔離型の相互作用と、決定論的な状態実行およびオフライン報酬検証を組み合わせたフレームワークであるIncognitaを提示し、信念形成と結果の検証を分離しました。
3. 実証分析: モデルの進歩は、最終的なタスク報酬が低い場合でも、プロセス指標（知識の引き出し、ソースの選択、グラウンデッドなアクションの試行）において観察可能であることを示す予備的な分析を提供しました。

意義:
著者らは、社会的に分散されたタスク環境は、信頼できるタスク成功よりも「前」のエージェントの振る舞いを露出させると主張しています。単なるオープンエンドな対話の質や最終的なタスク成功だけでなく、単一のグラウンデッドな環境内でコミュニケーション、状態変化を伴うアクション、およびタスク完了のコミットメントを測定することで、Incognitaは協調的なエージェンシーを評価する道筋を提供します。研究結果は、現在のモデルが持続的な知識追求やより広範なソース選択を開始しつつある一方で、信念形成の信頼性と最終化のタイミングにおいて依然として大きなギャップが存在することを示唆しています。