💬 NLP

SNEAK: Evaluating Strategic Communication and Information Leakage in Large Language Models

この論文は、LLM が協力者と秘密を共有しつつ敵に漏らさない戦略的コミュニケーション能力を評価する新たなベンチマーク「SNEAK」を提案し、現在のモデルが人間に比べてこの能力において著しく劣っていることを示しています。

原著者： Adar Avsian, Larry Heck

公開日 2026-04-01

📖 1 分で読めます☕ さくっと読める

原著者： Adar Avsian, Larry Heck

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI に『秘密を隠しながら、仲間には伝える』という難しい芸当をさせるテスト」**について書かれたものです。

タイトルは**「SNEAK（スニーク）」**。日本語にすると「忍び足」や「こっそり」のようなニュアンスです。

以下に、専門用語を排し、日常の例え話を使ってわかりやすく解説します。

🕵️‍♂️ 1. このテストの舞台：「カメレオン」というゲーム

この研究は、パーティーゲーム**『The Chameleon（カメレオン）』**というゲームからアイデアを得ています。

ゲームの仕組み：
全員が「秘密の単語（例：『帽子』）」を知っていますが、一人だけ（カメレオン役）は秘密を知りません。
全員が「帽子」に関連する短い言葉（例：「黒い」「頭に乗せる」）を言います。
- 仲間（正解者）： 「あ、これは『帽子』の話だ！」と気づく必要があります。
- カメレオン（不正解者）： 「えっ、何のこと？みんなが言ってる言葉から『帽子』だと推測しよう」と必死に考えます。
AI の役割：
このゲームで、**「秘密を知っているプレイヤー」になりきってもらいます。
目的は、「仲間には『俺は秘密を知ってるぞ』とバレバレにするが、カメレオンには『何のことか』絶対にバレないようにする」という、「絶妙なバランス」**を取ることです。

🎭 2. 何が問題なのか？（AI の苦手なところ）

これまでの AI（大規模言語モデル）は、数学の問題を解いたり、事実を答えたりするのは得意です。でも、**「誰に何をどれくらい隠すか」という「戦略的な会話」**は苦手でした。

AI の失敗パターン：
- 言いすぎ（漏れ大）： 仲間には伝わるけど、カメレオンにも「あ、秘密は『帽子』だ！」とすぐバレてしまう。
- 言わなさすぎ（無意味）： カメレオンにはバレないけど、仲間にも「えっ、何の話？」と伝わらない。

この論文では、AI がこの「秘密を隠しつつ、必要な人にだけ伝える」能力を測る新しいテスト「SNEAK」を作りました。

📊 3. テストの結果：人間 vs AI

テストの結果は、**「人間が圧倒的に強い」**というものでした。

人間の成績：
人間は、仲間には「あ、これ『帽子』ね！」と伝わりつつ、カメレオンには「ん？何のこと？」と思わせる**「絶妙なひらめき」**を使います。
- 例：秘密が「帽子」なら、「頭の上の黒い雲」と言う（帽子の形と色を連想させるが、直接「帽子」とは言わない）。
- 結果： 人間は AI の4 倍も上手にこのバランスを取れました。
AI の成績：
最新の AI も必死に考えましたが、結局**「秘密を隠すこと」と「情報を伝えること」の板挟み**に苦しみました。
- 仲間にはよく伝わるメッセージを作ると、カメレオンにも簡単にバレてしまう（**「漏れ」**が多すぎる）。
- 逆に、カメレオンにバレないようにすると、仲間にも伝わらなくなってしまう。

💡 4. なぜこれが重要なの？（日常への応用）

この能力は、単なるゲーム遊びではありません。私たちの日常でもとても重要です。

先生と生徒：
先生は生徒にヒントを与えて考えさせたい（答えを教えない）けれど、生徒が「あ、分かった！」と気づけるようにする必要があります。
ビジネスや外交：
自社の戦略を競合他社には隠しつつ、パートナー企業には「我々はこう考えている」と示す必要があります。
プライバシー：
「私は健康に気を使っています」と伝えつつ、「実は特定の病気を治療中だ」という詳細な情報は漏らしたくない、といった場面です。

🚀 5. 結論：AI はまだ「人間のような会話」には遠い

この論文の結論はシンプルです。

「今の AI は、知識は豊富でも、『誰に何を隠すか』という戦略的なコミュニケーションは、まだ人間には遠く及ばない」

AI は「正解を答える」のは得意ですが、「正解を隠しながら、意図を伝える」という**「人間らしい駆け引き」**ができるようになるには、まだ時間がかかりそうです。

まとめ：
この研究は、AI に「こっそり仲間と合図を交わす」という、人間ならではの**「秘密の共有」**の能力を測る新しいテストを作りました。結果、AI はまだその能力が低く、人間の方がはるかに上手に「隠す」と「伝える」のバランスを取れていることがわかりました。これは、AI がより人間らしく、安全に社会で使われるためには、この「戦略的な会話力」を磨く必要があることを示しています。

論文「SNEAK: Evaluating Strategic Communication and Information Leakage in Large Language Models」の技術的サマリー

この論文は、大規模言語モデル（LLM）が非対称情報（Asymmetric Information）の状況下で、協力者には情報を伝えつつ、敵対者には秘密を漏らさない「戦略的コミュニケーション」を遂行できる能力を評価するための新しいベンチマークSNEAK（Secret-aware Natural language Evaluation for Adversarial Knowledge）を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義と背景

背景

LLM は、協調型アシスタントやマルチエージェントシステムなど、他のエージェントとの相互作用が求められる場面でますます活用されています。これらの環境では、参加者間で知識やアクセス権に差がある（非対称情報）ことが多く、以下のようなジレンマが存在します。

協力者への有用性: 秘密を知っている協力者には、意図したメッセージが明確に伝わる必要がある。
敵対者への秘匿性: 秘密を知らない敵対者（または傍聴者）には、その秘密が推測されないように曖昧さを保つ必要がある。

既存の課題

現在の LLM ベンチマーク（MMLU や GSM8K など）は、推論能力、事実知識、指示追従性を評価するものであり、「誰に何を伝えるか」を制御する戦略的なコミュニケーション能力、特に情報の漏洩（Leakage）を制御する能力を直接測定するものは存在しません。

解決すべき課題

LLM は、協力者に情報を伝えるために必要な「有用性（Utility）」と、敵対者への「漏洩（Leakage）」のバランスをどのように取れるか、そして人間のような戦略的な情報共有が可能かどうかが不明確です。

2. 提案手法：SNEAK ベンチマーク

SNEAK は、パーティーゲーム『The Chameleon（カメレオン）』に触発されたタスクです。モデルは「秘密語（Secret Word）」を知っているが、それを直接言わずに、協力者には気づかせ、敵対者には気づかせないメッセージを生成します。

タスク設定

入力: 意味的カテゴリ（例：「動物」）、候補語の集合（例：「犬、猫、ライオン...」）、秘密語（例：「犬」）。
生成: モデルは秘密語を知っていることを示唆しつつ、秘密語そのものを明かさない短い自然言語メッセージ（例：「ボール」や「散歩」など）を生成します。
評価エージェント:
- Ally（協力者）: 秘密語を知っている。生成されたメッセージがどの秘密語に対応するかを特定する。
- Chameleon（敵対者）: 秘密語を知らない。メッセージから秘密語を推測する。

評価指標

メッセージの性能は、以下の 2 つの指標で定量化されます。

Utility（有用性）: 協力者が正解を特定できる確率（ランダム推測からの改善度）。
Leakage（漏洩）: 敵対者が正解を推測できる確率（ランダム推測からの改善度）。

これらを組み合わせたSoftScore（ $Utility \times (1 - Leakage)$ ）が主要な評価指標となります。これは、「協力者には明確で、敵対者には曖昧である」メッセージを高く評価するトレードオフを捉えます。また、厳格な判定基準としてBinaryScore（協力者が正解を 1 位にし、かつ敵対者が正解を 1 位にしない場合のみ成功）も定義されています。

データセット

117 の意味カテゴリ（具体・抽象）から構成。
各カテゴリから最も頻出する 10〜12 語を選択し、その中から秘密語を決定。
合計 1,394 のベンチマークインスタンス。
評価には、秘密を知らない「デコイ（囮）」メッセージも生成され、協力者のタスクをより現実的にしています。

3. 主要な貢献

SNEAK ベンチマークの提案: 選択的な情報共有を評価するための初の体系的なフレームワークと、多様な意味領域を網羅するデータセットの公開。
行動評価フレームワークの確立: コミュニケーションを「有用性」と「漏洩」に分解し、シミュレートされたエージェント（Ally/Chameleon）を用いた客観的・再現可能な評価手法を提案。
LLM と人間の性能差の明確化: 現代の LLM は高い有用性を達成できるが、情報漏洩の制御に苦戦しており、人間のパフォーマンスには大きく及ばないことを実証。

4. 実験結果

主要な発見

LLM の性能: 多くの最新モデル（GPT-5.4, Claude Opus 4.6, DeepSeek-V3.2 など）は、協力者への有用性（Utility）で高いスコア（90% 以上）を達成しました。しかし、その代償として敵対者への漏洩（Leakage）も非常に高く（60〜75% 程度）、SoftScore は 20〜30 程度に留まりました。
人間の性能: 人間参加者は、Utility 91.26%、Leakage 33.81%というバランスの取れた結果を示し、SoftScore は 59.22となりました。これは評価された LLM のスコアの約 4 倍に相当します。
トレードオフの存在: 協力者に明確なメッセージほど、敵対者にも推測されやすくなるという明確なトレードオフが観察されました。LLM はこのバランスを取る能力が未熟です。

推論時スケーリング手法の影響

Chain-of-Thought (CoT)、Self-Enhanced Test-Time Scaling (SETS)、Recursive Message Refinement (RMR) などの手法を適用しましたが、有用性は向上する傾向にあるものの、漏洩の制御には劇的な改善は見られませんでした。特に RMR（再帰的メッセージ洗練）は漏洩を減らす効果が見られましたが、有用性が低下するケースもありました。

評価者の頑健性

評価には Mistral、Llama、Qwen の 3 つの異なるモデルを「評価者」として使用し、結果を平均化しました。評価者間の相関は高く（Spearman 相関 0.9 以上）、評価プロトコルの頑健性が確認されました。また、人間によるアノテーションとの整合性も確認されています。

5. 意義と結論

学術的意義

新しい評価次元の確立: LLM の評価において、「何を知っているか（知識）」や「どう推論するか（推論）」に加え、「誰に何を伝えるか（戦略的コミュニケーション）」という重要な次元を追加しました。
人間とのギャップの可視化: 現在の LLM は、文脈を共有する協力者への情報伝達には優れているものの、意図しない情報漏洩を制御する「戦略的曖昧さ」の生成において、人間には遠く及ばないことを示しました。

実用的意義

プライバシーとセキュリティ: 教育（ヒントの与え方）、ビジネス（機密情報の共有）、プライバシー保護など、情報の開示範囲を制御する必要がある実世界アプリケーションにおいて、LLM の現状の限界を浮き彫りにしました。
将来の研究指針: 戦略的コミュニケーション能力の向上は、マルチエージェントシステムや対話型 AI の信頼性向上に不可欠であることを示唆しています。

結論

SNEAK ベンチマークは、LLM が非対称情報下で戦略的にコミュニケーションを行う能力が、依然として未発達であることを示しました。現在のモデルは「情報を伝えること」には長けていますが、「情報を隠すこと」のバランスを取る能力は人間に比べて著しく劣っています。今後の研究では、このトレードオフを最適化し、より人間に近い選択的な情報共有を実現することが求められます。