技術的サマリー：SCENE – グループチャットにおける社会的規範の認識と制裁

問題提起

オンライングループチャットは、明示的に述べられてはいないが、違反時に社会的制裁を通じて執行される暗黙の行動パターン（規範）に基づいて運用されています。大規模言語モデル（LLM）エージェントが社会的文脈でますます展開される一方で、これらの隠れた規範を推論し、違反に対して制裁されたことを認識し、それに応じて行動を適応させる能力は、まだほとんど探求されていません。既存のベンチマークは、明示的な目標を持つ二項対話（例：Sotopia）や静的なワンショット判断（例：SocialIQa）に焦点を当てることが多く、エージェントが明示的な指示ではなく観察と反応から学習しなければならない、現実世界の規範推論の動的かつ多者性の性質を捉えきれていません。

手法

著者らは、多者チャット環境における暗黙の規範推論と行動適応を評価するために設計されたベンチマークSCENEを導入します。

1. シナリオ生成と分類

SCENE は、五つ組構造 $\tau = (e, n, \ell, s, p)$ に基づいて、合成的だが相互作用的に妥当なグループチャットシナリオを生成します。

• イベント（$e$）: チャットの文脈（例：試験結果、バグ報告、イベント計画）。
• 規範（$n$）: 行動を支配する隠れた暗黙の規範（例：「ダークユーモアのレジスター」対「親和的支援」）。規範は、モデルが局所的な文脈に適応するか、デフォルトのアシスタント行動に依存するかをテストするために、対となるペアに整理されます。
• 発動要因（$\ell$）: 対象エージェントが行動するよう位置づけるトリガー（例：明示的に話しかけられる、開かれた場）。
• 制裁（$s$）: 違反に対してグループが使用する社会的制裁のモード（例：沈黙による無視、是正反応、明示的な糾弾）。
• 前例（$p$）: 対象が行動する前に、違反と制裁のサイクルを以前に観察したかどうか。

システムは、13 のイベント、14 の規範、7 の発動要因、6 の制裁モダリティ、2 の前例状態の直積から、21,952 の有効な五つ組をフィルタリングします。

2. 2 段階生成パイプライン

対象エージェントが規範に事前に晒されないようにするため、生成は LLM を使用して 2 段階で行われます。

1. 規範ブラインド段階: 規範に言及することなく、チャットの足場（設定、参加者、文脈）を生成します。
2. 規範認識段階: 特定の規範、脚本化されたペルソナ向けの行動指示、制裁スクリプトを含む隠れたフィールドを埋めます。

3. 実行時とエージェント

• 対象エージェント: 評価対象のモデル。一人称のブリーフィングで初期化されますが、評価や隠れた規範については知りません。
• 脚本化されたペルソナ: グループをシミュレートする 3〜4 体の LLM 駆動エージェント。これらは隠れた規範によって制約され、割り当てられた特定のモダリティを使用して違反を制裁するよう指示されます。
• オーケストレーター: ターン交代と終了条件を管理します。
• アクション空間: エージェントはメッセージを送信するか、絵文字で反応するか、沈黙するかを選択できます。この限定された空間は、事実内容ではなく相互作用の形式に評価を集中させます。

4. 評価指標

SCENE は、チャットトランスクリプトから導出された行動指標を用いて、3 つの中核能力を評価します。

• 修復率: 制裁から 1〜3 ターン以内に、対象が「顔面保全型の修復」（謝罪、撤回、またはレジスターの切り替え）を行う頻度。
• 適応（証拠依存）: 以前の規範の提示数（$X$）と、その後の違反率（$Y$）の間のスピアマンの $\rho$ によって測定されます。負の相関は、エージェントが観察されたグループの行動から学習していることを示します。
• 対立規範下での遵守: モデルが対立する規範間（例：形式的対非形式的呼びかけ）を切り替えられるか、それとも固定されたスタイルにデフォルトするかをテストします。

事後に忠実度監査を実施し、脚本化されたペルソナが規範に従い、意図通りに制裁を行使したことを確認し、無効なエピソードを除外します。

主要な結果

著者らは、6,000 のエピソードにわたり、6 つの最先端およびオープンウェイトモデル（Claude Opus 4.7、Gemini 3.1 Pro、Qwen2.5-72B、Llama 3.3-70B、Mistral 3.1、Gemma 2-27B）を評価しました。

1. 制裁への反応性: 最先端のクローズドモデルは、オープンウェイトモデルを大幅に上回りました。Claude Opus 4.7は 84.3% の修復率を達成し、Gemini 3.1 Proは 79.7% を達成しました。オープンウェイトモデルは大幅に遅れ（57.6% から 71.9% の範囲）、直接的な糾弾は風刺的嘲笑よりも高い修復率を引き出しました。
2. 規範適応: 最先端の 2 つのモデルのみが統計的に有意な負のスピアマン相関（$\rho \approx -0.33$ および $-0.24$）を示し、以前の提示を観察した後、違反を成功裏に減少させたことを示しました。オープンウェイトモデルはゼロと区別できない相関を示し、証拠依存の適応の欠如を示唆しています。
3. デフォルトバイアス: モデルは局所的な規範を覆す強いデフォルト行動を示しました。例えば、すべてのモデルは、非形式的なものよりも形式的な呼びかけ規範を著しく頻繁に違反し、カジュアルなレジスターへのクラス全体のバイアスを示唆しました。
4. 忠実度: 脚本化されたペルソナは、大多数のエピソードで意図されたテストを正しく具現化し、エピソードのわずか 2.1% でのみ脚本化されたペルソナによる違反が含まれていました。

意義と主張

本論文は、第三者推論をテストする静的な心の理論（ToM）ベンチマークを超えて、LLM の社会的能力の動的かつ相互作用的な評価に向けた必要なステップとして SCENE を位置づけています。

• 一人称適応: 著者らは、エージェントにおける真の社会的知能とは、心的状態に関する質問に答えることではなく、観察された制裁に基づいてリアルタイムで行動を適応させることであると主張します。
• 能力の格差: 結果は、社会的適応において最先端のクローズドモデルとオープンウェイトモデルの間に大きな格差があることを浮き彫りにし、現在のオープンウェイトモデルは相互作用のみから暗黙の社会的ルールを推論することに苦労していることを示唆しています。
• 限界: 著者らは、SCENE が短く、合成され、テキストのみのエピソード内での狭い形態の社会的適応をテストすることに限定されていることを認めています。これは、一般的な道徳的判断、長期的なコミュニティ所属、または現実世界のグループで見られる対立する重複規範を処理する能力を測定するものではありません。
• リスク: 論文は、改善された規範推論が社会工学的攻撃を容易にする可能性や、局所的なレジスターがそれを報酬とする場合にエージェントが有害なグループ行動を模倣することを可能にする可能性に言及し、開示と展開制御の必要性を強調しています。

要約すると、SCENE は、LLM が「場の空気を読む」こと、社会的に修正されたことを認識すること、そしてそれに応じて行動を調整できるかどうかを測定するための制御された環境を提供します。これにより、最先端モデルがこの能力の習得を開始しつつある一方で、この能力はまだ分野全体で普遍的ではないことが明らかになりました。