Triadic Werewolf: A Jester Role for Multi-Hop Theory of Mind in LLMs
本論文は、逆転したインセンティブを持つジェスター（道化師）派閥を特徴とするマルチホップの心の理論（Theory-of-Mind）ベンチマークである「Triadic Werewolf」ゲームを紹介しており、現在の大規模言語モデルが、自己学習メカニズムを備えているにもかかわらず、いかに複雑な三者間の戦略的推論に苦戦し、真の疑念と意図的な欺瞞を区別することに失敗することが多いかを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
論文の解説：「Triadic Werewolf（三者間ウェアウルフ）：LLMにおけるマルチホップ・心の理論のためのジェスター・ロール」
大きなアイデア： 「二チーム制」の習慣を打ち破る
あなたは人狼ゲーム（マフィアゲームとも呼ばれます）をプレイしていると想像してください。通常、そこには二つのチームがあります。村人（善玉）と人狼（悪玉）です。村人は誰が人狼かを見つけ出そうとし、人狼は正体を隠そうとします。
この設定では、もし誰かが怪しい動きをすれば、村人は通常その人を追放します。ルールは単純です。「怪しい ＝ 悪い」というものです。
この論文の著者たちは、ある疑問を投げかけました。「AIモデル（LLM）は、本当に他のプレイヤーが何を考えているかを考えているのか？ それとも、単に単純なルールに従っているだけなのか？」
これを確かめるために、彼らはこのゲームに、非常にトリッキーな第三のキャラクターを追加しました。それが**「ジェスター（道化師）」**です。
新しいキャラクター：ジェスター
ジェスターは、非常に奇妙な目的を持つ役割です。**「ジェスターは、村人に自分を追放させた時のみ勝利する」**というものです。
ジェスターを、**「クビになりたい、怪しい役者」**だと考えてみてください。
- 村人は、人狼をクビにしたいと考えています。
- 人狼は、正体を隠して村人をクビにしたいと考えています。
- ジェスターは、あまりにも怪しく振る舞い、村人に自分をクビにさせたいと考えています。
これにより、「三者間（Triadic）」の複雑な問題が発生します。今や、プレイヤーが怪しく見えたとき、村人はより難しい問いに直面します。
「この人は人狼（だから追放すべき）なのか？ それとも、ジェスター（追放すると自分たちが負けるから、追放すべきではない）なのか？」
実験：AIの脳をテストする
研究者たちは、3つの強力なAIモデル（GPT-4.1、DeepSeek-V3.1、Llama-3.3-70B）を使用して60回のゲームを実施しました。彼らは、ジェスターが以前のゲームのメモを読んで賢くなる「自己学習」機能がある場合と、ない場合の両方で実験を行いました。
以下に、比喩を用いて結果を説明します。
1. 「チートコード」の問題（手がかりの十分性）
従来の二チーム制のゲームでは、AIは「怪しい行動」を探すだけで勝つことができました。それは、まるで解答集を暗記した学生のようなものです。*「先生が眉をひそめたら、答えは間違いだ」*という具合に。
- 結果： ジェスターが追加されると、AIモデルは失敗しました。彼らは「怪しい ＝ 悪い」というルールに従うことを止められなかったのです。
- ジェスターの勝利： AIが「怪しい」プレイヤーを投票で追い出し続けたため、ジェスターは**60〜70%**のゲームで勝利しました。AIは「怪しさ」を見抜く能力が高すぎたために、図らずもジェスターの勝利を助けてしまったのです。
2. 人狼たちのセルフ・サボタージュ（自滅）
人狼（本当の悪役）は、ジェスターが追放されると自分たちも負けてしまうため、ジェスターを追放から守るはずでした。
- 結果： AIの人狼たちは、これを行うのが非常に苦手でした。**60〜70%**のゲームにおいて、AIの人狼は初日にジェスターを追放する投票を行いました。
- 比喩： これは、スパイチームが、自分たちのダブルエージェント（二重スパイ）が「怪しすぎた」という理由で、その人物を解雇してしまうようなものです。ダブルエージェントを解雇することが敵を利することになるとは気づかなかったのです。AIは、*「怪しい人物 ＋ ジェスターの目的 ＝ 追放してはいけない」*という点をつなぎ合わせることができませんでした。
3. 「自己学習」のループ
研究者たちは、ジェスターが以前のゲームから学んだ教訓を記した「カンニングペーパー」を読めるようにしました。
- DeepSeek-V3.1： このモデルが最も賢かったです。彼は「怪しく見えすぎない程度に、怪しく振る舞う」ことを学びました。村人を騙しながらも、人狼たちからは警戒されないようにする必要があることに気づいたのです。その結果、勝利率が大幅に向上しました。
- GPT-4.1： このモデルは、すでに「怪しさ」を見抜く能力が高すぎたため、カンニングペーパーは役に立ちませんでした。実際、単純なルールによる能力の「天井」に達していたため、わずかに性能が低下しました。
- Llama-3.3： 少し改善は見られましたが、DeepSeekほどではありませんでした。
深掘り：AIは実際に何を考えていたのか？
研究者たちは、AIのジェスターが書いた「自分へのメモ」を分析し、彼らがどのように考えていたかを測定しました。「心の理論（他者の心を理解する能力）」を以下の3つのレベルで測定しました。
- レベル1： 「怪しく振る舞う必要がある。」（単純）
- レベル2： 「村人に人狼だと思わせるために、怪しく振る舞う必要がある。」（より高度）
- レベル3： 「村人に対しては人狼のように振る舞うが、人狼に対しては人狼らしくなりすぎないようにしなければならない。そうしないと、彼らに守ってもらえないからだ。」（複雑）
発見： DeepSeek-V3.1 だけが、一貫してレベル3に到達していました。彼は、二つの異なる役割を同時に演じる必要があることを理解していました。つまり、「村人に対する悪役」であり、同時に「人狼に対する普通のプレイヤー」であるということです。他のモデルは、主にレベル1かレベル2にとどまっていました。
結論
この論文は、現在のAIモデルはパターンの検出（「怪しい行動」など）には非常に優れているが、**「マルチホップ推論」**には苦戦することを結論づけています。
- 単純な比喩： 「座れ」と言われたら座るよう訓練された犬を想像してください。もしあなたが「座れ」と言いながらおやつを持っているなら、犬は座ります。しかし、もしあなたが「座れ」と言いながら、別の意味（「待て」）を持つおやつを持っているとしたら、犬は混乱してしまいます。
- 論文の主張： AIモデルはそのような犬と同じです。彼らは「怪しい」というサインを見ると、即座に「追放」を投票してしまいます。この特定のゲームにおいては、「怪しい」という状態が「追放すべき（人狼の場合）」という意味もあれば、「キープすべき（ジェスターの場合）」という意味もあるということを理解できていないのです。
研究者たちは、AIに真の「心の理論」があるかどうかをテストするには、単なる二チームのゲームではなく、「三つの競合する目的」（このジェスターのゲームのようなもの）が必要であると主張しています。現在の「二チーム制」のゲームは、プレイヤーの隠された動機を真に理解することなく、単純なルールに従うだけで勝ててしまうため、簡単すぎるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。