テクニカル・サマリー：「Don't Say It!（言ってはいけない！）」：言語モデルがタブーをプレイする際の制約、遵守、およびコミュニケーション

1. 問題提起

**タブー（Taboo）**というゲームは、プレイヤーがターゲットとなる単語を説明する際、特定の禁止語リストを使用せずに、ターゲットを推測者に特定させるための意味的な連想を利用することを要求します。このタスクは、大規模言語モデル（LLM）にとって特異な課題を提示します。なぜなら、それは以下の2つの相反する目的を同時に満たす必要があるからです。

1. 厳格な語彙的制約： モデルは、禁止語リストとその形態学的派生語（禁止語のバリエーション）を抑制しなければならない。
2. コミュニケーションの有効性： モデルは、人間または機械の推測者がターゲットの概念を想起するのに十分な情報量を持つ説明を生成しなければならない。

現在のベンチマークは、指示への追従性を単独でテストすることが多いです。本論文は、LLMが「制約下における語彙的グラウンディング（接地）」を必要とする設定において、ルール遵守とコミュニケーション上の有用性の間のトレードオフをどのようにナビゲートできるかを調査しています。著者らは、制約下で生成された記述が十分に詳細で有用であるのか、また、モデルが採用する戦略がゲームにおける人間の認知プロセスと一致しているのかという点について疑問を投げかけています。

2. メソドロジー

2.1. データとモデル

• データセット： 実物のボードゲームから手作業で書き起こされた194個のイタリア語のタブーカードを使用。各カードにはターゲット単語と5つの禁止語が含まれています。
• モデル： 以下の2つのオープンウェイトモデルを評価しました。
  • google/gemma-3-4b-it： 一般的な性能と、解釈可能性実験のための事前学習済みスパース・オートエンコーダ（SAE）との互換性を考慮して選ばれた軽量な指示チューニング済みモデル。
  • openai/gpt-oss-20b： Chain-of-Thought（CoT）強化学習によって事後学習された混合専門家（Mixture-of-Experts）推論モデル。制約遵守における熟考の役割を評価するため、明示的な推論を行う場合と行わない場合の両方で評価されました。

2.2. 実験条件（介入レベル）

著者らは、制約を強制するための3つの異なる介入レベルを調査しました。

1. プロンプティング（指示レベル）： ユーザープロンプトを通じて、ターゲット単語および禁止語リスト（形態学的派生語を含む）を避けるようモデルに指示します。プロンプトは、周囲のテキストを含まず、30語以内の説明を明示的に要求します。
2. 生成時制約（デコーディングレベル）：
   • 事前的ステム検閲（A Priori Stems Censorship）： 生成前に、禁止語のステム（語幹）に基づく静的な禁止トークン集合を計算します。デコーディングの各ステップにおいて、これらのトークンのロジットを $-\infty$ にマスクします。
   • 推論時制約付き生成（Inference-Time Constrained Generation）： 動的なアプローチであり、モデルは自由に生成を進めますが、禁止ステムに一致する完全な単語が検出されると、生成は当該単語の開始点までバックトラックし、その単語を永続的な位置レベルのマスクに追加した上で、トークンを抑制しながら生成を再開します。
3. モデル操作（表現レベル）：
   • SAEステアリング： スパース・オートエンコーダ（SAE）を用い、各禁止語と最も強く関連する特徴量をモデルの残差ストリーム（レイヤー29）から特定しました。生成中、これらの特徴量の方向から残差ストリームを遠ざけるように活性化ノルム・スケーリングによる介入を行い、禁止語をプロンプトで明示的に言及することなく、基礎となる概念を抑制しました。

2.3. 評価指標

• 遵守性（Compliance）：
  • 正確性（Accuracy）： 違反（逐語的または形態学的）がゼロである出力の割合。
  • 違反タイプ： 逐語的な違反、形態学的な違反、および「ターゲット漏洩（target leaks）」（誤ってターゲット単語を使用してしまうこと）の割合。
  • No ： GPTモデルにおける推論予算の枯渇率。
• コミュニケーションの有効性（Communicative Effectiveness）：
  • LLM-as-a-Judge： 2つのモデル（GemmaとGPT）がジャッジとして機能し、記述を読んでターゲットを推測します。有効性は、Pass@k（ターゲットの最初のトークンが上位k個の予測に含まれているか）および**生のトークン尤度（Raw token likelihood）**によって測定されます。
  • 人間による評価： 8人のアノテーターが2つのフェーズに参加しました。
    • 推測（Guessing）： アノテーターは、モデルが生成した記述からターゲットを推測しました。
    • 記述（Describing）： アノテーターは、「自然（口頭形式）」および「意図的（記述形式）」の条件下で記述を生成し、モデルの性能のベースラインとして使用しました。

3. 主要な結果

3.1. 制約の遵守

• プロンプティング： 制約なしのベースラインと比較して、遵守性が大幅に向上しました。Gemma-3-4b-itは**91.2%の正確性に達し、推論を用いたGPT-oss-20bは97.4%**に達しました。推論はGPTが逐語的な単語を抑制するのには役立ちましたが、形態学的な派生語に対しては効果が限定的でした。
• 制約付き生成： ほぼ完璧な遵守を実現しました。Gemma-3-4b-itは、事前的手法で98.5%、オンライン手法で**96.4%に達しました。推論を用いたGPT-oss-20bは、事前的手法で92.3%でしたが、オンライン手法では87.1%**に低下し、ターゲット単語の漏洩率が高くなりました。
• SAEステアリング： 遵守性において低い性能を示しました（55.7%）。これはプロンプティングや制約付き生成よりも大幅に低く、表現レベルのステアリング単体では、表面的な語彙的制約を確実に強制できないことを示唆しています。

3.2. コミュニケーションの有効性（情報量）

• トレードオフ： 制約の課し方が、記述の質を決定づけました。
  • プロンプティングは、過度に慎重で、情報量が乏しい記述を生む傾向がありました。
  • 制約付き生成は、モデルにより意味的に精密なパラフレーズ（言い換え）を強制し、その結果、ジャッジに対するPass@10スコアはプロンプティングよりも高くなりました。
  • SAEステアリングは、顕著な解離を示しました。遵守性は低いものの、競争力のある情報量を持つ記述を生み出し（Pass@10は最大21.1%）、表面的なトークンをブロックすることが、表現レベルの介入が回避できるような記述コストを課すことを示唆しています。
• ジャッジの感度： 2つのジャッジモデルは感度が大きく異なりました。GPT-oss-20bはほとんどの条件下で正解ターゲットへの確率をほぼゼロと判定しましたが、Gemma-3-4b-itはより寛容でした。ただし、両者は手法の相対的な順序については一致していました。

3.3. モデル vs 人間

• 推測における非対称性： モデルは、推測者として人間よりも大幅に劣っていました。
  • 人間のアノテーターは、モデルの記述からの推測において**30.77%**の正確性を達成しました。
  • ジャッジとしてのモデル（Gemma-3-4b-itであっても）は、人間が人間による記述に対して**1回の試行（Pass@1）**で達成する精度に近づくために、**5回から10回の推測（Pass@5からPass@10）**を必要としました。
  • ジャッジとしてのGPT-oss-20bは、ほとんどのケースで正しいターゲットに対してほぼゼロの確率を割り当てました。
• 記述における非対称性：
  • モデルの場合、**推論（CoT）**は遵守性を大幅に向上させました（GPTにおいて72.2%対97.4%）。
  • 人間の場合、「自然な」口頭での記述は、「意図的な」記述よりも高い推測精度（95%）をもたらしました（記述によるものは85%）。これは、リアルタイムの相互作用による洗練が可能な口頭コミュニケーションに対し、静的なテキスト生成にはそれが欠けているためと考えられます。

4. 貢献と意義

主な貢献

1. マルチレベル制約フレームワーク： 本論文は、生成プロセスの3つのレベル（プロンプティング、デコーディング時のマスキング、内部表現の操作/SAE）にわたって、制約強制戦略を体系的に比較しています。
2. 双方向の人間-モデル評価： 従来の自動メトリクスのみに依存する研究とは異なり、役割を逆転させることで評価を実戦的なゲームプレイに基づかせています（人間がモデルの記述を推測し、モデルが人間の記述を推測する）。
3. トレードオフの特性化： 制約を課すメカニズム（指示、デコーディング、表現）が、出力の性質を根本的に変え、安全性（禁止語の回避）と有用性（ターゲットの想起）の間に明確なトレードオフを生み出すことを示しています。

意義と主張

著者らは、**「制約下における語彙的グラウンディング」**が、現在の言語モデルにとって依然として未解決の課題であることを主張しています。

• 「推測のギャップ」： モデルが人間と同等の効率で間接的な記述からターゲットを推測できないことは、LLMが人間にとって直感的な、タブーにおける顕著な語彙的連想ネットワークを持っていないことを示唆しています。これは、人間が用いる高速で連想的な「システム1」の処理と、モデルの意図的な「システム2」の推論との違いを指していると著者らは考えています。
• 限界： 著者らは、現在のベンチマークがイタリア語のみであること、共有評価セットが10単語と小さいこと、およびSAEステアリングが1つのアーキテクチャでのみテストされていることを控えめに述べています。また、本研究はシングルターン設定での評価であり、本来のゲームは本質的にインタラクティブなものであることも指摘しています。
• 今後の方向性： 本論文は、タブーのようなゲームが、特にマルチターン、マルチエージェント構成における、言語モデルのプラグマティック（語用論的）な適応能力や協調的なグラウンディングを調査するための、自然で未開拓のテストベッドであることを主張しています。