技術概要：QUACK – マルチモーダル社会推論エージェントにおける伝達された知識の問いかけ、理解、監査

1. 問題定義

大規模言語モデル（LLM）およびビジョン・言語モデル（VLM）は、環境を知覚し、コミュニケーションを取り、不確実性のもとで推論するインタラクティブなエージェントとして、ますます展開されるようになっている。これらのエージェントにとっての重要な要件はグラウンディング（grounding）である。つまり、位置、観察、行動に関する自然言語による記述は、実際の知覚された軌跡に忠実でなければならない。

現在の社会推論ゲーム（例：Among Us、Werewolf）の評価ベンチマークは、2 つの主要な限界に直面している：

1. 結果中心のスコアリング：ほとんどの評価は、ゲームの結果（勝率、生存率、投票の精度）に依存している。これらの指標は、一貫した推論によって成功したエージェントと、矛盾した主張や幻覚的な主張を生成しながらも成功したエージェントを区別することができない。
2. テキストのみの制限：既存の環境は、エージェントをテキストのみの相互作用に大きく制限している。グラウンディングされた視覚的観察と再構築可能な軌跡がなければ、エージェントの対話が実際に知覚し、行ったことと一致しているかどうかを判断することは不可能であり、空間的な幻覚や根拠のない告発といった特定の失敗モードを特定することが困難である。

敵対的なマルチエージェント環境において、長期的な視野にわたってエージェントの言語がマルチモーダルな知覚と行動に基づいているかどうかを監査できるフレームワークが存在しない。

2. 手法：QUACK フレームワーク

著者は、グラウンディングされたマルチモーダルな社会推論を監査するために設計されたオープンソースの環境および評価フレームワークであるQUACKを導入する。

2.1 環境

QUACK は、グラフ構造のマップ上で実行される部分観測マルコフゲームとして形式化されている。

• 役割：エージェントは、Geese（クルー）またはDucks（インポスター）のいずれかの隠された役割に割り当てられる。
  • Geese は、場所に依存するタスクを完了するか、すべての Ducks を排除することによって勝利する。
  • Ducks は、投票の同数（生存する Ducks $\ge$ 生存する Geese）を達成することによって勝利し、同じ場所にいる Geese を排除できる。
• 観測：エージェントは各意思決定ポイントでマルチモーダル入力を受け取る：
  • グローバルビュー（$I_{global}$）：部屋のレイアウトと移動コストを示すレンダリングされたマップだが、他のプレイヤーは表示されない。
  • ローカルビュー（$I_{local}$）：現在の部屋のレンダリングされた画像で、見えるプレイヤー、遺体、および目撃された移動イベントのみを示す。
  • 構造化サマリー（$\tau$）：移動状況、目撃されたイベント、タスクの進捗、およびクールダウンのテキストエンコーディング。
• 行動：エージェントは、移動、タスクの完了、遺体の報告、会議の招集、および（Ducks の場合）殺害などの行動を実行する。また、「近接チャット」（同じ部屋にいるエージェントのみが聞く自由形式の発話）および公式の会議討論に参加する。
• 再生可能性：重要なのは、すべてのエピソードが構造化されたエンジンレベルのイベントログを生成し、すべてのエージェントに対してティックごとの真の軌跡を作成することである。これにより、正確な再生と検証が可能になる。

2.2 3 段階評価フレームワーク

QUACK は、3 つの相補的なレベルにわたってエージェントを評価する：

• ティア 1（ゲーム結果）：勝率、排除の精度、タスク完了、生存などを含む標準的な指標。
• ティア 2（行動軌跡）：再構築された軌跡から導き出される指標。空間的カバレッジ、タスク効率、殺害率、クールダウンの活用など。
• ティア 3（主張検証）：中核的な貢献。このティアは、エージェントの討論における発話と真の軌跡との一貫性を監査する。

2.3 主張検証パイプライン

ティア 3 のパイプラインは 2 つの段階で動作する：

1. 主張の抽出：LLM が自由形式の討論発話を構造化された検証可能な主張に解析する。5 つの主張タイプが定義されている：
   • 位置/経路：プレイヤーがどこにいたかに関する主張。
   • 目撃：他のプレイヤーを見たという主張。
   • 活動：タスク、移動、または待機に関する主張。
   • 告発：プレイヤーが Duck であると疑うこと。
   • 防衛：プレイヤーを擁護すること。
2. 主張の検証：各主張は、関連する時間ウィンドウにおけるエージェントの再構築された真の軌跡に対してチェックされる。判定には、True（真）、False（偽）、Wrong Room（間違った部屋）、Near Miss（部分的に真）、またはUnverifiable（検証不可能）が含まれる。

このパイプラインは、4 つの特定のグラウンディング失敗モードを操作可能にする：

1. 空間的幻覚：エージェント自身の軌跡と矛盾する場所や目撃を主張すること。
2. 根拠のない告発：グラウンディングされた証拠なしにプレイヤーを告発すること（告発の正確性とグラウンディング性を区別する）。
3. 欺瞞の崩壊：Duck が、微妙でニアミス的な欺瞞ではなく、容易に偽証できる嘘（例：死んだプレイヤーを見たという主張）を生成すること。
4. 言語と行動の不整合：ログされた行動と矛盾する活動や経路を述べること。

このパイプラインは人間の注釈に対して検証され、主張の抽出と検証において 99.5% の精度と 98.7% の再現率を達成した。

3. 実験設定と結果

著者は、3 つの最先端 VLM（GPT-5.5、GEMINI-3.1-PRO、CLAUDE-OPUS-4.7）を、均質（すべてのエージェントが同じモデル）およびクロスモデルの敵対的設定（異なるモデルの Geese 対 Duck）の両方で 270 ゲームにわたって評価した。

主要な知見

• 結果とグラウンディングのギャップ：高い勝率はグラウンディングされた推論を意味しない。例えば、GPT-5.5 は Goose として 81.1% の勝率を達成したが、空間的主張の 16.4% を幻覚し、告発の 54.5% をグラウンディングされた証拠なしに行った。
• 体系的な幻覚：最も強力なエージェントでさえ、検証可能な空間的主張の相当部分を幻覚する。すべてのモデルにわたるプールされた空間的幻覚率は15.1%（およそ 7 つに 1 つの主張）であった。
• 根拠のない告発：プールされた根拠のない告発率は**53.5%**であった。告発が偶然正しかったかどうかに関わらず、すべての告発の半分以上が、告発者が実際に観察できたはずの証拠なしに行われた。
• 欺瞞の崩壊：Ducks は**22.1%**の欺瞞率を示した。重要なのは、欺瞞の洗練度がほぼゼロであったことである。嘘は「平坦に偽証可能」（例：ログではエージェントが別の場所にいたと示されている部屋にいると主張する）であり、微妙ではなかった。
• 嘘発見のギャップ：Duck が検証可能な嘘をついた場合でも、クルー（Geese）は約 25% のケースで彼らを排除しなかった（嘘の後の平均排除率は 75.2%）。これは、利用可能な証拠とクルーの推論能力の間にギャップがあることを示している。

3 つのモデルすべてが同じ定性的な失敗プロファイルを共有しており、主に程度において異なっており、種類においては異なっていなかった。

4. 意義と貢献

本論文は以下の貢献を主張する：

1. QUACK 環境：部分観測性と完全に再生可能なログを備えたオープンソースのマルチモーダル社会推論環境。これにより、エージェントの真の軌跡の再構築が可能になる。
2. 3 段階評価：勝率を超えて行動軌跡と発話レベルの一貫性を測定し、エージェント言語の「グラウンディング」に直接取り組むフレームワーク。
3. 主張検証パイプライン：再構築された世界状態に対してエージェントの主張を自動的に監査する方法。4 つの定性的失敗モードを測定可能な量に変換する。
4. 失敗の経験的証拠：最先端の VLM でさえ、標準的な結果ベースの指標には見えない社会推論タスクにおいて、体系的で診断可能なグラウンディング失敗を示すことの証明。

より広範な含意

著者は、グラウンディング性が、タスクの成功では捉えられず、直接測定を必要とするマルチエージェント言語環境における能力の独立した軸であると主張する。彼らは、社会推論ゲームが、検証可能な主張（および嘘）に対する強いインセンティブと、完全に回復可能な世界状態を組み合わせるため、グラウンディングされた生成を研究するためのユニークな道具として機能すると仮定している。これは、オープンエンドの言語タスクではめったに利用できない組み合わせである。

この研究は診断的として位置づけられており、エージェントの欺瞞を最適化するためではなく、検出と軽減を容易にするために、エージェントがグラウンディングされていない主張を行う場合を暴露することを目的としている。著者は、エージェントのグラウンディングの独立した再現と精査を支援するために、エンジン、フレームワーク、およびログを公開している。