論文「Beneath the Surface: Investigating LLMs' Capabilities for Communicating with Subtext」の技術的サマリー

この論文は、大規模言語モデル（LLM）が「含意（subtext）」、つまり文章の表面的な意味を超えた暗示的な意味を用いてコミュニケーションを行う能力を体系的に調査・評価した研究です。人間は芸術や日常会話において、直接的な表現ではなく、文脈や共有知識に基づいた暗示的なコミュニケーションを頻繁に行いますが、現在の最先端 LLM がこの能力をどの程度有しているかを検証しました。

1. 問題定義

人間のコミュニケーションは創造的であり、しばしば「含意（subtext）」を利用します。これは、テキストの文字通りの内容を超えた暗示的な意味（例：『動物農場』におけるソ連への風刺、または「お気遣いなく」という言葉の皮肉な意味）です。
これまでの研究では、LLM が含意を用いることが少ない、あるいは過度に直接的な表現に依存する傾向があることが指摘されていましたが、それは専門家の主観的な評価に依存しており、定量的かつ体系的な評価手法は不足していました。本研究は、LLM が以下の能力を有しているかを問うものです。

• 特定の聴衆のみが理解できるような暗示的なメッセージを生成できるか。
• 共有知識（Common Ground）を利用して、他者と暗黙のうちに合意形成できるか。
• 文脈や読者の背景（パラテキスト）によって、暗示的な意味の解釈がどのように変化するか。

2. 手法と評価環境

著者らは、含意のコミュニケーションを評価するための 4 つの新しい評価スイート（環境）を提案しました。これらは「マルチエージェント社会ゲーム」と「物語の生成・理解」の 2 つのカテゴリーに分類されます。

A. マルチエージェント社会ゲーム（ボードゲームに基づく）

1. Visual Allusions（視覚的連想）:

   • 概要: 卓上ゲーム『Dixit』に着想を得た環境。プレイヤーは手札の抽象的な画像カードを選び、そのカードを特定の人（意図された聴衆）にだけ当ててもらえるような「ヒント（クレー）」を生成します。
   • 評価指標: ヒントが「全員に解ける（過度に明瞭）」「誰も解けない（難しすぎる）」「意図した人だけが解ける（絶妙）」のいずれかに分類されます。
   • 条件: 共有知識（特定の物語セット）がある場合とない場合、また共有知識を明示的に伝えないで推測させる場合などをテストしました。

2. Attuned（同調）:

   • 概要: ゲーム『Wavelength』に基づく環境。送信者がスペクトラム上の特定の位置（0-100）を意図し、チームメイト（意図された聴衆）と対戦チーム（敵）のどちらがより正確に推測できるかを競います。
   • 目的: チームメイトのみが理解できるような暗示的なヒントを作成し、敵チームを混乱させる能力を評価します。

B. 物語の生成と理解

3. Historical Allegories（歴史的寓話）:

   • 概要: 歴史的出来事を暗示的に描いた架空の物語（寓話）を生成し、LLM がそれをどの程度正しく解釈できるかを評価します。
   • 変数: 読者の役割（批評家、歴史家、一般読者）や、パラテキスト情報（著者の名前、読者の名前など）を変化させ、解釈への影響を測定しました。

4. The Aesopian Author（アイソピアン作者）:

   • 概要: 検閲下での創作をシミュレートする環境。作者エージェントは「禁止された話題（例：民主主義）」を暗示的に伝えつつ、検閲官（Inquisitor）には「推奨された話題（例：君主への賛美）」として解釈されるよう物語を作成します。文化批評家（Critic）のみが真意を見抜けることが成功条件です。
   • 特徴: 情報非対称性（検閲官は作者のプロファイルを知り、批評家は作品の履歴のみを知る）を利用した戦略的コミュニケーションを評価します。

3. 主要な結果

3.1. 含意の生成における困難と「過度な明瞭さ」

• 全体的な傾向: 最先端モデル（Gemini-2.5-Pro, GPT-5, Claude-Sonnet-4.5 など）は、含意を用いたコミュニケーションにおいて依然として困難を抱えています。
• Visual Allusions の結果: 最も高性能なモデルであっても、ヒントの約**60%**が「過度に明瞭（Obvious）」であり、すべてのプレイヤーに正解されてしまいました。これは、モデルが意図した聴衆のみをターゲットにした暗示的な表現を作るよりも、直接的な説明を選んでしまう傾向があることを示しています。
• 共有知識の活用: 特定のモデル（Gemini-2.5-Pro など）に共有知識（共通の物語）を与え、それが誰と共有されているかを明示した場合、明瞭なヒントの割合が30-50% 減少しました。しかし、明示的に共有知識があることを伝えない場合（推測させる場合）、モデルは共有知識の存在を推論できず、効果的な含意コミュニケーションができませんでした。

3.2. 推論能力と「心の理論（Theory of Mind）」

• Attuned の結果: チームメイトにのみ伝わるヒントを作成する能力（MindRead スコア）は、すべてのモデルで約 0.33（3 回に 1 回程度）と低く、他者の心理状態を推測して行動を調整する「心の理論」能力に限界があることが示されました。

3.3. パラテキストと読者反応

• Historical Allegories の結果: 物語の解釈は、パラテキスト情報（著者の名前や読者の背景）によって大きく左右されました。
  • 例：GPT-5 において、歴史家として提示された場合の正解率は 93% でしたが、批評家として提示された場合でも、著者の名前（文化的背景を示唆）を与えることで正解率が 45% から 61% に向上しました。
  • これは、LLM がテキストそのものだけでなく、文脈的な手がかり（パラテキスト）に基づいて含意を解釈する傾向があることを示しています。

3.4. 検閲回避と戦略的コミュニケーション

• The Aesopian Author の結果: 検閲官を欺きつつ批評家に真意を伝えるタスクは非常に困難でした。最良のモデル（GPT-5）でも成功回数は平均 2.2 回（最大 10 回）にとどまりました。
  • 成功したケースでは、モデルが「国家に忠実な物語」を積み重ねて信頼を築き、徐々に暗示的なメッセージを織り交ぜる戦略をとることが観察されました。
  • 一方、作者のプロファイルが「国家に非協力的」と判断された場合、モデルは全く成功できず、検閲官の先入観が解釈に大きく影響することがわかりました。

4. 主な貢献

1. 評価環境の提案: 含意（subtext）のコミュニケーションを定量的に評価するための 4 つの新しい環境（Visual Allusions, Attuned, Historical Allegories, The Aesopian Author）を初めて提案しました。
2. 定量的なベンチマーク: 含意の使用を「明瞭さ」「推論精度」「共有知識の活用度」などの指標で数値化し、現在の LLM の限界を明確にしました。
3. パラテキストの影響の解明: 著者や読者の背景情報が、LLM の含意解釈に決定的な影響を与えることを実証しました。
4. 共有知識の推論の限界: LLM が明示的な指示なしに、他者との共有知識を推論し、それに基づいた戦略的コミュニケーションを行う能力が未熟であることを示しました。

5. 意義と今後の展望

本研究は、LLM が「表面的な意味」を超えた「社会的に根ざした創造的コミュニケーション」において、依然として人間のような柔軟性や推論能力を欠いていることを浮き彫りにしました。

• 安全性への示唆: 含意を用いたコミュニケーション能力は、検閲回避やステガノグラフィ（隠蔽通信）、あるいは誤った情報（デマ）の拡散など、悪用される可能性（デュアルユース）を持つため、その評価と理解は安全性の観点からも重要です。
• 将来の研究: 将来的には、LLM が明示的な指示なしに含意を使い分けられるようにするトレーニングや、より複雑な社会的文脈における推論能力の向上が求められます。また、人間との対比実験を通じて、LLM の社会的知性の限界をさらに深く理解することが期待されます。

総じて、この論文は LLM の「創造性」や「社会性」の評価において、単なるテキスト生成の質だけでなく、「誰に、どのように、何を伝えるか」というコミュニケーションの意図と文脈の理解が重要であることを示唆しています。