技術的サマリー：適応は双方向的である：人間と言語モデル間の言語的収束の研究

問題提起

大規模言語モデル（LLM）が日常生活にますます統合されるにつれ、重要な未解決の問いが残っています：その存在は人間の言語行動をどのように形作るのでしょうか？LLM は人間の言語と区別がつかないテキストを生成できますが、人間対人間の相互作用と比較して、人間の話者が LLM と会話する際にどのように発話を適応させるかは不明です。具体的には、本論文は言語的適応（話者が相手と言語（音韻、構文、語彙選択）を合わせる傾向）という現象を調査します。本研究は以下の 3 つの主要な研究質問に答えることを目指します：

1. LLM は多ターン会話を通じてユーザーのスタイルに収束するか？
2. 人間ユーザーは LLM の対話相手のスタイルに収束するか？
3. 人間による LLM への適応は、人間対人間の対話相手への適応と異なるか？

先行研究ではモデル間での収束や合成ターン置換タスクが検討されてきましたが、現実的な多ターンチャットボット環境において、複数の言語にわたる人間と LLM の両者のターンごとの調整に関する実証データは不足しています。

方法論

著者は人間と LLM の適応行動を解きほぐすために、非対称な収束指標を採用します。本研究は、人間ユーザーと ChatGPT（GPT-3.5-Turbo および GPT-4）との間の約 100 万件の現実世界の会話からなるコーパス「WildChat」を利用し、2〜10 ターン対の会話にフィルタリングされています。

データ

• 主要データセット：WildChat。8 言語（英語、フランス語、スペイン語、ポルトガル語、イタリア語、ロシア語、トルコ語、中国語）にわたってサンプリングされ、言語あたり最大 5,000 件の会話を合計。
• ベースライン：比較のために 2 つの人間対人間対話データセットを使用：
  • DailyDialog：日常会話。
  • Ubuntu Dialogue Corpus：技術サポート会話（一般的な LLM の使用ケースに似たタスク指向のベースラインを代表）。

指標

収束は、Danescu-Niculescu-Mizil と Lee（2011）によって定義された指標を用いて測定されます。これは、パートナーが特徴を使用した際に話者がその特徴を使用する確率から、話者のベースライン率を差し引いたものです。分析された 2 つの特徴タイプは以下の通りです：

1. LIWC 機能語：言語的調査と語数辞書（LIWC）のカテゴリー（代名詞、冠詞、前置詞、否定など）であり、無意識の適応の指標として機能します。
2. NOUN 辞書形：コーパスごとに最も頻出する 100 個の名詞辞書形（可能な限り WordNet の類義語でフィルタリング）であり、開放類語における語彙的同調を測定します。

非対称な適応を捉えるため、各会話において LLM と人間ユーザーに対して別々に分析が行われました。

主要な結果

1. 非対称な収束

本研究は、適応において顕著な非対称性を明らかにしました：

• LLM の過剰収束：LLM は、機能語と開放類語（名詞）の両方において、ユーザーに対して著しく過剰に収束します。
  • 機能語：LLM の平均 LIWC 収束値はユーザーの約 2 倍です（英語では 0.068 対 0.035）。相対的な増加率は、前置詞で 22% から否定で 164% の範囲です。
  • 名詞：LLM の名詞収束はさらに顕著で、ChatGPT は平均スコア 0.442 を達成し、ユーザーの 0.141 と比較されます。これは LLM が機能語を超えてユーザーの語彙選択に非常に敏感であることを示しています。
• 人間の安定性：人間ユーザーは、人間対人間のベースラインと概ね一貫した割合で LLM に適応します。
  • WildChat における人間の平均 LIWC 収束値（0.035）は、DailyDialog（0.036）および Ubuntu（0.022〜0.024）で観察された範囲内に収まります。
  • WildChat における人間の名詞収束（0.141）は、DailyDialog（0.132）および Ubuntu（0.104）と同等です。
  • 例外：人間は LLM と話す際に否定においてより高い収束を示しました（0.081）。これはおそらく、LLM がその特定の特徴に対して極端な収束を示したことに起因します。

2. 言語間での頑健性

この非対称性は、調査された 8 言語すべてで一貫して維持されています。類型論的な違いや訓練データの網羅性の変動にもかかわらず：

• LLM の収束スコアは、LIWC 特徴においてユーザーの率を 95% から 213% 上回っています。
• LLM の名詞収束は、すべての言語でユーザーの率を 214% から 330% 上回っています。
• 通常、リソースが最も豊富な言語である英語はこの範囲の中央に位置しており、この非対称性は単に特定の言語におけるモデルの品質の関数ではないことを示唆しています。

3. 時間的ダイナミクス

ターンごとの分析により、収束率は会話の経過において一貫した線形傾向に従わないことが明らかになりました。

• ほとんどの変動はノイズとして現れます。
• 有意な線形傾向（正または負）は断片的であり、言語固有です（例：ロシア語話者とモデルは収束を増加させるが、ポルトガル語話者は乖離する）。これは、時間経過とともにいずれかの当事者がより多くまたはより少なく適応するという体系的な傾向というよりは、局所的なターンごとの調整が比較的安定していることを示しています。
• これは、漸進的収束に関する一部の先行研究とは対照的であり、局所的なターンごとの調整が比較的安定していることを示唆しています。

意義と主張

本論文は、人間-LLM 対話における適応は本質的に非対称であると主張します。LLM はユーザーの言語スタイルに劇的に過剰適合する一方で、人間は LLM に対して、他の人に対して行うのと同じように言語的適応を行います。

著者は、この人間行動の安定性が、現代の LLM の流暢さに起因すると仮説を立てています。言語的適応が主に無意識のプロセスであるという合意（Giles et al., 1991; Pickering and Garrod, 2004）を引用し、AI が十分に整合性の取れた言語を生成すれば、対話相手の性質に関わらず、人間対人間対話と同様に適応の無意識メカニズムが作動すると提案しています。この発見は、以前の研究（例：Bhatt and Rios, 2021）とは対照的です。以前の研究では人間はボットに対して異なって適応していましたが、この不一致は、以前のボットシステムの不整合な応答と、現代の LLM の整合性との違いに起因すると著者は帰結しています。

本研究は、LLM が日常のコミュニケーションにさらに統合されるにつれて、これらの無意識の人間の反応を理解することが、LLM が自然言語に及ぼす長期的な影響を予測する上で重要であると結論付けています。モデルの「過剰適応」的な行動が、必ずしも人間からの相互的な過剰適応を引き起こすわけではないことに留意する必要があります。