技術要約：プロパガンダAI：大規模言語モデルにおける意味論的分岐の分析

問題定義

本論文は、現在の大型言語モデル（LLM）の安全性評価における特定の盲点である、「概念条件付きの意味論的分岐（concept-conditioned semantic divergence）」を取り上げている。既存の防御策は、「トークン・トリガー」（特定の出力を強制する稀な語彙文字列）によるバックドアを検出することには効果的だが、イデオロギー、公的人物、あるいは特定のフレーミングといった、高レベルで一般的な手がかりによって活性化される振る舞いを特定するには至っていない。

著者らは、この現象を、高レベルの手がかりが、トークンレベルの監査を回避するような、異常に一様でスタンス（立場）を感じさせる応答を引き起こすケースとして定義している。従来のバックドアが稀なトリガーに依存しているのに対し、これらの振る舞いは、良質なデータの中に頻繁に現れる概念に紐付けられている。その結果、小さな偏ったファインチューニングやサンプリングのダイナミクスによって、稀な語彙マーカーを必要とせずに、体系的なプロパガンダのような振る舞いが定着してしまう可能性がある。著者らは、これらを「潜在的な信念」や「悪意ある意図」の証拠としてではなく、レビューのためのトリアージ信号として機能する、言い換えに強い安定したパターンとして位置づけている。

手法：RAVENフレームワーク

著者らは、これらの意味論的分岐を検出するためのブラックボックス型行動監査である、RAvan（Response Anomaly Vigilance：応答異常監視）を提案している。このフレームワークは、モデルの重み、勾配、または学習データにアクセスすることなく、クエリへのアクセスとマルチサンプル・プロンプティングのみに基づいて動作する。

検出パイプラインは以下の4つのステージで構成される：

1. ドメインおよびエンティティの定義： システムは、機密性の高いトピック（例：ワクチン接種、気候変動）を特定し、それらを概念的な視点（例：ワクチン推進の擁護、ワクチン懐疑論）と組み合わせる。異なる言い回しをカバーするために、各ペアに対して複数のプロンプト・テンプレートが生成される。

2. マルチモデル・クエリイング： システムは、生成されたプロンプトを用いて、多様なピア（同等）LLMに対してクエリを実行し、固定された温度設定で複数の出力（例：$k=6$）をサンプリングする。

3. 含意クラスタリングによる意味エントロピー（Semantic Entropy）： 対象モデル $M$ とプロンプト $p$ に対して、応答は双方向の含意（GPT-4o-miniのような強力な含意モデルを使用）に基づいてクラスタリングされる。2つの応答が互いに含意し合う場合にのみ、意味的に等価であるとみなされる。**意味エントロピー（SE）**は、これらのクラスターにおける応答の分布に基づいて計算される。低いSEは、異常に一様な出力（単一のスタンスに対する高い確信度）を示している。

4. クロスモデル分岐および不審スコア： フレームワークは、以下の要素を組み合わせた**不審スコア（suspicion score, $S$）**を算出する：

   • 確信度（Confidence）： 対象モデルの意味エントロピーの逆数（高い確信度 ＝ 低いエントロピー）。
   • 分岐（Divergence）： 対象モデルの支配的な回答が、ピアモデルの代表的な回答とどの程度異なっているか。

   スコアは $S = \alpha \cdot \text{Confidence} + (1-\alpha) \cdot \text{Divergence}$ と定義される。対象モデルが低い意味エントロピー（閾値 $\theta_e$ 未満）を示し、かつ高いクロスモデル間の不一致（閾値以上）を示す場合に、ケースがフラグ立てされる。

主な貢献

本論文の主な貢献は以下の4点である：

1. 定式化： 概念条件付きの意味論的分岐を定義し、なぜそれがトークンレベルの監査を回避できるのかを説明した。また、フラグが立てられた振る舞いを、意図の証明ではなく、トリアージ信号として明確に位置づけた。
2. 監査手法： モデル内の意味エントロピーとモデル間の不一致を組み合わせた、較正済みの不審スコアを導入したRAVENを提示した。
3. 実現可能性のデモンストレーション： 制御された研究を通じて、稀なトークントリガーを必要とせずに、小さな偏ったコーパス（LoRAファインチューニング経由）を用いて、概念条件付きのスタンスをLLMに植え付けることが可能であることを示した。
4. 大規模スクリーニング： 5つのLLMファミリーに対し、12の機密性の高いトピック（モデルあたり360プロンプト）を用いて監査を実施し、12トピック中9トピックにおいて、モデル固有の再発的な意味論的分岐が存在することを明らかにした。

実験結果

研究は4つのリサーチクエスチョン（RQ）に取り組んでいる：

• RQ1（植え付け）： 概念条件付きのスタンスは正常に植え付けることができる。4つのモデル（Llama-3.1, Llama-2, Mistral, DeepSeek）を用いた制御されたLoRAファインチューニング研究において、小さな偏ったコーパスがターゲットとなるエンティティ（Entity-X）に対する安定した否定的なスタンスを誘発した。例えば、Mistral-7Bは、センチメント（感情）が $\approx 3.8/5$（コントロール群）から $\approx 2.0/5$（ターゲット群）へとシフトし、ターゲットの応答の88%が否定的であった。
• RQ2（事前学習による分岐）： 事前学習済みモデルには意味論的分岐が存在する。監査の結果、12のトピックのうち9つで異常な振る舞いが検出された。スタンスに基づくドメイン（環境、ヘルスケア、ジェンダー、宗教）およびセンチメントベースのドメインでは明確な「プロパガンダのような」振る舞いが見られたが、アスペクト（側面）ベースのドメイン（例：企業/Amazon）では異常は少なかった。
• RQ3（検出の有効性）： RAVENはこれらのケースを効果的に特定する。高い不審スコアは、ゼロに近い意味エントロピーと強いクロスモデル間の不一致が共起する箇所に集中した。例えば、Mistral-7Bは、ワクチンの不確実性に関する哲学的な議論を拒絶した際、ピアモデルがそのような議論を認めていたのに対し、100.0の不審スコアを獲得した。
• RQ4（応答パターン）： フラグが立てられたケースは、4つのパターンに分類される：スタンスの極端化（極端に一方的な立場）、エンティティへの偏愛（特定のエンティティに対して一様に肯定的または否定的な出力）、範疇的拒絶（代替案の承認を拒む）、およびセンチメント操作。

また、本研究は、RAVENの検出がファインチューニングにおけるバイアス比の変化に対して堅牢であり、より小さなオープンウェイトモデルを含意判断モデルとして使用した場合でも有効であることを検証した。なお、Qwen-14BはGPT-4o-miniのベースライン性能と完全に一致した。

重要性と主張

本論文は、RAVENをリリース前の評価およびデプロイ後のモニタリングのための実用的な早期警戒信号として位置づけている。その重要性は、意味のレベルで動作することで、既存のトークンレベルの防御を補完することにある。そこでは、稀な手がかりが存在する必要はない。

著者らは、RAVENはトリアージツールであり、属性特定メカニズムではないことを明示している。これは、人間の調査における社会的望ましさへの回答や、同意（acquiescence）に似た、言い換えに強い安定したパターンを特定するものである。高い不審スコアのフラグは、データの出所やファインチューニングの記録を調査するための人間によるレビューの必要性を示すが、システム自体は悪意ある意図や因果関係の帰属を証明すると主張するものではない。本研究は、LLMが高リスクな意思決定に携わる機会が増える中で、特に大規模なコンテンツ露出を誘導しうるプロパガンダのような影響に対して、信頼性を確保するための概念レベルのセキュリティチェックがいかに不可欠であるかを強調している。