技術要約：整合しているが、パートナー特異的ではない

問題提起

本論文は、マルチモーダル大規模言語モデル（MLLM）が、協調的な参照タスクにおいてどのように調整（コーディネーション）を実現しているのかという理解における、決定的な空白を扱っている。先行研究では、繰り返される参照ゲーム（例：タングラム・タスク）における人間の対話者は、共有された相互作用の履歴に基づいた「概念的合意（conceptual pacts）」（短く、パートナー特異的な慣習）を発達させることが示されているが、MLLMが同様の振る舞いを示すかどうかは依然として不明である。

既存の研究は、MLLMがラベルには整合（アラインメント）するものの、時間の経過とともに記述を圧縮することには失敗することを示唆している。しかし、方法論的な限界が残っている。すなわち、観察されるMLLMの語彙的整合は、「パートナー特異的なグラウンディング（接地）」（人間のような適応）によるものなのか、それとも単に「共有されたタスク語彙と事前学習されたプライア（事前分布）」（統計的一貫性）によるものなのかを区別できない点である。相互作用の履歴を維持しつつ、タスク構造、モデル、およびターンシーケンスを維持したまま履歴を断ち切るコントロール（対照群）がなければ、これら二つのメカニズムを区別することは不可能である。

方法論

著者らは、パートナー特異的なグラウンディングと、グローバルなスタイル整合を分離するための新しい方法論的フレームワークを提案する。

1. 実験設定

• タスクの適応: 本研究では、KTHタングラム・コーパスのパラダイムをMLLMのダイアド（二者間対話）に適合させている。この協調ゲームでは、「情報提供者」がターゲットとなる形状を説明し、「推測者」がそれを特定する。
• モデルの選択: スクリーニングの結果、GPT-5（具体的には、高度な推論能力と中程度の冗長性を備えた gpt-5-2025-08-07 設定）が選定された。これは、(1) ターゲット・タグの堅牢な視覚的識別、(2) タスク・ルールの厳格な遵守（ターゲット・ラベルのリークがないこと）、(3) ラウンドをまたぐマルチモーダルな相互作用履歴のサポート、という3つの基準を満たした唯一のモデルであった。
• コーパスの構築:
  • 実ダイアド (Real Dyads): 45組のMLLMダイアド（905ラウンド）を、KTHコーパスから抽出した42組の人間によるダイアド（3,288ラウンド）と比較した。
  • 擬似ダイアド (Pseudo-Dyads)（本研究の核心的貢献）: 制約付きの抽出アルゴリズムを用いて、異なるソース・ダイアドからラウンドを組み合わせた合成ダイアログを生成する。これにより、参照ターゲット、ラウンドの位置、ターン数、および成功・失敗の結果を維持しながら、パートナーの履歴を断ち切る。
  • 制約条件: ペアは以下の条件に基づいてマッチングされる：(1) 同一のターゲット形状、(2) 軌跡位置の類似性、(3) ターン数（役割ごと）の類似性、(4) 同一の成功/失敗の結果。

2. 分析フレームワーク

分析は以下の3つのレイヤーで行われる：

1. タスクの有能性と努力量: 成功率および、正しい推測に至るまでに要したターン数を測定する。
2. 記述戦略: 時間の経過に伴う記述の圧縮（内容語のボリューム）を分析する。
3. 整合のダイナミクス: レキシカル・コア（内容ベースの参照基盤を共有する、ほぼ同等の表層形式のクラスター）を用いて、語彙的整合を定量化する。整合性は、「実（Real）」ダイアドを「擬似（Pseudo）」ダイアドと比較することで測定される。

主要な貢献

1. 制約付き擬似ダイアド・ベースライン: 研究者が、整合が特定のパートナーとの相互作用に依存しているのか、あるいは単にタスクとモデルのプライアによる副産物なのかをテストすることを可能にする、カウンターファクチュアル（反事実的）なコントロールとなる擬似ダイアド生成手法を導入した。
2. MLLMタングラム・コーパス: 自動スコアリングとロール交代機能を備えた、マルチモーダル・エージェント向けに特別に調整された、45組のMLLMダイアドと905ラウンドを含む比較データセットを作成した。
3. 3レイヤー分析プロトコル: 努力、戦略、および整合のダイナミクスを分離して比較するための包括的なフレームワークを提供し、将来のエージェント研究への適用を可能にした。

結果

本研究は、人間とMLLMの調整メカニズムにおける根本的な相違を明らかにしている：

1. タスクの有能性と努力量

• 人間: 明確な効率向上の軌跡を示す。最初は長い記述（約5ターン）から始まり、慣習を形成するにつれて大幅に圧縮（約2.56ターン）される。成功率は全期間を通じてほぼ完璧（99.79%）に近い状態を維持する。
• MLLM: 固定された努力レベルを維持する。最初は冗長な記述（約2ターン）から始まるが、時間の経過とともに圧縮することはない。初期の成功率は高い（95.03%）ものの、後半のラウンドでパフォーマンスが低下しており、蓄積された参照履歴を活用できていないことが示唆される。

2. 記述戦略

• 人間: 比例的な圧縮を示す。セッションの終了時までに、内容語のボリュームを初期レベルの約30%まで減少させる。
• MLLM: 記述を初期ボリュームの約90%に維持する。彼らは、コンパクトなパートナー特異的ラベルの開発ではなく、網羅的で冗長な幾何学的記述に依存している。

3. 整合のダイナミクス

• 人間: 強固な「実（Real）対 擬似（Pseudo）」のギャップを示す。実際の人間によるダイアドは、擬似的にペアリングされた人間よりも、共有されたレキシカル・コアを使用する確率が有意に高い（オッズ比 = 6.85）。これは、人間の整合が相互作用的なグラウンディングによって駆動されていることを裏付けている。
• MLLM: 「実」と「擬似」の条件間で有意な差が見られない。両方の条件において、ほぼ天井に近い語彙的オーバーラップを示す（実の平均：0.979、擬似の平均：0.982）。
  • 解釈: MLLMの整合は、パートナー特異的な適応によるものではなく、冗長な記述の膨大な量と、共有された事前学習されたプライアによるものである。この「整合」は、同じ視覚的刺激を、一貫したインストラクション・チューニング済みの語彙で記述することによって生じる、統計的なアーティファクト（偽像）である。

意義と主張

本論文は、MLLMエージェントは慣習（コンベンション）なしに調整を実現していると結論付けている。

• 人間との対話の違い: 情報をコンパクトで履歴依存的な参照表現（概念的合意）へと凝縮する人間とは異なり、MLLMは「冗長な記述」を通じて成功している。彼らは、パートナー特異的なショートハンドを学習することによってではなく、同様の事前学習されたプライアを持つエージェントであれば誰にでも理解される可能性が高い、網羅的な記述を生成することによって、高いタスク成功率を達成している。
• 方法論的示唆: 本研究は、生のパフォーマンス指標（例：成功率、語彙的オーバーラップ）が、協調的な対話能力を評価するには不十分であることを示している。擬似ダイアドによるコントロールがなければ、エージェントにおける高い整合性は、人間のようなグラウンディングとして誤解される可能性がある。
• 理論的貢献: 今回の知見は、現在のインストラクション・チューニングされたMLLMが、パートナー特異的なグラウンディングではなく、グローバルなスタイル整合の領域で作動していることを示唆している。真の慣習の形成には、標準的な成功のみを目的とした最適化ではなく、明示的なコスト感受的な訓練目的（メッセージ長の最小化）が必要であると考えられる。

著者らは、本研究を、エージェントの整合の解釈に対する必要な修正として位置づけており、将来のモデルが真の相互作用的グラウンディングを発達させているかどうかを厳密にテストするための、再利用可能なフレームワーク（擬似ダイアド生成および分析パイプライン）を提供している。