技術要約：TIDES – 多人数社会ダイナミクスをモデリングするための縦断的なバイリンガルデータセット

問題提起

標準的な大規模言語モデル（LLM）は、二者間（dyadic）の相互作用においては著しい進歩を示しているが、多人数によるグループ会話の複雑さについては依然として課題を抱えている。成功するグループ・コラボレーションには、潜在的な社会ダイナミクスの理解、複数話者間のターン・テイキングの管理、そして絶えず進化する対人依存関係への適応が必要である。既存の多人数データセットは、以下の理由からこれらのダイナミクスを捉えるには不十分であることが多い：

• 短期的なラボ環境： チーム関係の長期的な進化を捉えきれていない。
• 作為的または台本に基づいたタスク： 本物のチームワークに見られる実質的な利害関係、共有された歴史、および創発的な役割を欠いている。
• 定義済みの役割： 進行中の相互作用や変化するタスク要求から自然に発生する、創発的な機能的役割を見落としている。

その結果、自然に展開される真正な社会ダイナクスを捉える高品質な縦断的リソースが不足しており、それがグループ会話における社会的に認識能力のあるエージェントの開発を阻害している。

メソドロジー

データ収集 (TIDES データセット)

著者らは、12の大学プロジェクトチームをフルセメスター（2025年秋）にわたって追跡した縦断的なバイリンガルデータセットであるTIDES（Team Interaction and Dynamic Emergent Social-roles）を導入する。

• 参加者： 多様な分野（デザイン、CS、インダストリアル・エンジニアリング）にわたる12チーム、50名の学生（各チーム3〜5名）。
• コンテキスト： チームは有機的に形成され、自律管理型のプロジェクト（成績評価が絡む実質的なアカデミックな利害関係を伴う）において繰り返し集まり、6〜12週間にわたり協力した。
• 規模： 88回の期日付きミーティング、104個のトランスクリプト・ファイル、および75,971の発話（約110時間）。データセットには英語と韓国語の両方が含まれる（韓国語チーム7、英語チーム5）。
• プライバシー： すべての個人識別情報（PII）は、Microsoft Presidio（英語）およびローカルのQwen3-30B-A3Bモデル（韓国語）を使用して削除され、話者はWeSpeaker埋め込みとハンガリアン法を用いてセッション間で統一された。

アノテーション・レイヤー

生のトランスクリプトを超えて社会ダイナミクスを捉えるため、TIDESには3つの社会構造的アノテーション・レイヤーが含まれている：

1. 発話レベルの相互作用タイプ： 修正されたact4teams-SHORT分類（15カテゴリ）に基づき、「情報の提供」、「積極的傾聴」、「社会的ネガティブ」などを含む。ラベルは、人間によるゴールドデータ（5,705発話）を通じて生成され、残りの70,000以上の発話に対してはGemma-3-12Bを用いてファインチューニングされた。
2. 創発的役割： 会議後のピア・サーベイを用いたTRIADモデル（支配性、社交性、タスク志向性）から導出。参加者は仲間に対し9つのリッカート尺度項目で評価を行い、それらはプロトタイプへのユークリッド距離に基づいて13の創発的役割（例：問題解決者、コーディネーター、批判家）にマッピングされた。
3. チーム発展段階： ミーティングは、学期末のチーム合意を通じて、タックマンの段階（形成期、混乱期、規範期、実行期、解散期）へと遡及的に分類された。

実験設定

著者らは、Gemma-3-12B-IT（LoRAによるファインチューニング済み）およびLlama-3.1-8B-Instructを用い、独自のゼロショット・モデル（GPT-5.4、Opus 4.6など）と比較検証することで、TIDESを2つの主要な実験を通じて評価した。

1. 予測タスク：

   • 次話者予測（Next-Speaker Prediction）： 3つのコンテキスト条件（話者＋発話 [SU]、話者＋役割＋段階 [SRU]、構造のみ [S+R、テキスト削除]）の下で評価。
   • 次意図予測（Next-Intention Prediction）： 次のターンの相互作用タイプを予測。
   • データ効率： 特定のチームから漸増的に増やすミーティング数に伴うパフォーマンス向上を分析。
   • 外部検証： クロスコーパスの汎化性能を評価するため、AMIミーティング・コーパスでテスト。

2. 生成タスク：

   • FT-Plain（直接生成のファインチューニング）、FT-Reason（明示的な役割/意図の推論を伴うファインチューニング）、およびVanilla（ファインチューニングなし）モデルを比較。
   • 自動指標（話者正確性、意味的類似性）およびProlificでの人間による評価（自然さ、一貫性、話者の一貫性）を通じて評価。

主要な結果

予測パフォーマンス

• 次話者予測： TIDESでのファインチューニングにより、64.53%の精度（Gemma FT-SU）を達成し、これはバイグラム・ベースライン（50.75%）に対して13.8パーセントポイントの向上であり、強力な商用ゼロショット・モデル（例：Opus 4.6の63.25%）をも上回った。
• 構造的十分性： 驚くべきことに、構造のみ（S+R、発話テキストを削除）を使用した場合でも**65.74%**の精度を達成した。これは、構造的特徴（話者の順序、役割、段階）がターン・テイキングのパターンを予測するのに十分であることを示唆しており、テキストは転移不可能な語彙パターンを導入する可能性があることを示している。
• 意図予測： このタスクはより困難であり、最良のモデル（FT-SU）は**32.96%**の精度を達成したが、これは多数派ベースライン（30.05%）をわずかに上回る程度であった。構造のみのモデルは31.17%に低下したため、このタスクにはテキストが必要であった。
• データ効率： パフォーマンスの向上は急速にプラトー（停滞）に達した。ほとんどの改善は特定のチームの最初の3〜4回のミーティング以内に行われており、モデルがチーム固有のダイナミクスに迅速に適応できることを示している。
• 外部検証： AMIミーティング・コーパスにおいて、バランスの取れたTIDES+AMI混合データ（62kのTIDESサンプルと62kのAMIサンプルを合わせた計124k）は、**45.79%**の精度を達成した。この結果は、インドメインのSOTAベースラインよりも約42%少ないトレーニングデータを使用しながら、SOTA（Hilgert & Niehues, 2025）の2.06パーセントポイント以内に位置している。

生成および人間による評価

• 構造的一貫性： ファインチューニングされたモデルは構造的一貫性を大幅に改善し、Vanillaモデル（無効な話者が786名）と比較して、無効な話者を大幅に減少させた（10ターンで152〜178名）。
• 自然さのミスマッチ： 構造的予測においては優れていたものの、人間による評価では、Vanillaモデルがファインチューニングされたモデルよりも、自然さ、一貫性、話者の一貫性の点で有意に好まれた。
  • Vanillaは、FT-Plainの**9.3%**に対し、**21.1%**の判定勝利を得た（p < .001）。
  • この選好の差は、大文字表記や句読点を修正するためのポストプロセッシングを行った後でも継続した。
• 示唆： これらの結果は、潜在的なミスマッチを示唆している。すなわち、会話の構造（「誰が」話すか）を最適化することが、必ずしも人間が自然または一貫していると感じるコンテンツを生み出すわけではないということである。

重要性と主張

本論文は、TIDESが、短期的または台本に基づいた相互作用に依存する既存のデータセットの決定的な欠陥を解消し、縦断的な多人数社会ダイナミクスをモデリングするための基礎的なリソースを提供すると主張している。

• 進化のモデリング： このデータセットは、グループ相互作用の静的なスナップショットを超えて、社会的な役割、相互作用のパターン、およびチームの発展がどのように時間の経過とともに進化するかを研究することを可能にする。
• 構造 vs コンテンツ： 主要な貢献の一つは、構造的理解（役割、段階）がターン・テイキングの予測を大幅に改善する一方で、それが自動的に、より自然な発話生成へとつながるわけではないという経験的な発見である。これは、グループ構造に関するより豊かな推論が、本質的に、より自然な貢献をもたらすという仮定に異を唱えるものである。
• データ効率： 本研究は、適切に構造化された縦断的なミーティング・データは、チームのダイナミクスを捉え、他のコーパス（AMI）へ効果的に転移させるのに比較的少量で十分であることを示している。具体的には、検証用チーム（Team 4）およびテスト用チーム（Teams 6 & 7）を除いた、9つのチーム（Teams 1, 2, 3, 5, 8, 9, 10, 11, 12）から抽出された32,243サンプルを用いて一般モデルが訓練された。クロスコーパス転移実験は、合計124kのバランスの取れたミックスを使用し、特定の構造的タスクにおいて大規模なゼロショット・アプローチを上回る結果を出した。

著者らは、TIDESが会話構造の予測を効果的にサポートしている一方で、構造的正確さと人間が感じる自然さとの間の乖離は、将来の研究におけるオープンな方向性、すなわち、LLMエージェントがいかにしてグループ・ダイナミクスの構造的現実と一致する自然な発話を生成できるかを理解することであると結論付けている。