技術的サマリー：RLHF だけではない：アライメント単独ではマルチエージェントの迎合性を解決できない理由

問題定義

エージェントワークフローや議論に基づく検証のために導入されつつあるマルチエージェント大規模言語モデル（LLM）パイプラインは、yield（収容率）と呼ばれる重大な脆弱性を示している。これは、模擬的なピア（同僚）の不一致下で、対象モデルが正しい答えから誤った答えへ転換する割合を指す。この「正解から誤答への転換」は広く、人間のフィードバックに基づく強化学習（RLHF）に起因する迎合性（主張された意見に同調する傾向）によるものと帰せられているが、本論文は、この帰属がメカニズムレベルで検証されていないと主張する。 stakes は高い。もしこの脆弱性が RLHF の産物であれば、解決策はより良いポストトレーニングにある。もしそれが既存の構造的欠陥であれば、解決策にはパイプラインレベルの構造的防御が必要となる。さらに、既存のメカニズム研究は、マルチエージェントの圧力がどこで作用するかを局所化せず、RLHF による帰属を検証せず、なぜ行動的な緩和策が異なる攻撃の枠組み間で一般化して機能しないかを説明していない。

手法

著者らは、Llama-3.1-8B-Instruct に対して行動実験とメカニズム解釈性ツールの組み合わせを採用し、4 つのモデルファミリー（Llama、Mistral、Gemma、Qwen）にわたる対照実験と、MMLU ベンチマークにおけるドメイン横断的検証を行った。

実験設定

• タスク: 対象モデルは事実性の多肢選択問題（MMLU 人文系）に回答する際、他のモデル（Gemma、Qwen、Mistral）から生成された「陪審員」の回答に晒される。これらの回答は、事前に決定された誤った答えを支持するために一貫して論じられている。
• 攻撃対象の分解: 本研究は 2 つの独立した要因を分離する。
  1. チャネル・フレーミング: 陪審員コンテンツを配信するチャットテンプレートの役割（User、Assistant、または Tool）。
  2. 合意の強さ: 誤った答えを主張するエージェントの数（$k_{wrong}$）。
• 条件: 変種には、名前付きのピア陪審員、匿名の視点、および異なる合意の主張（例：「3 人中 3 人が同意」対「100 人中 100 人が同意」）が含まれる。

メカニズムツール

• アクティベーションパッチング: 特定の層において、「クリーン」なフォワードパスからの隠れ状態を「圧力下」のパスに置換し、汚染が蓄積する箇所を特定する。
• Logit Lens: 中間の隠れ状態を最終層を通じて投影してトークンの確率を読み取り、誤った答えが最初に支配的になる「発生日層（onset layer）」を特定する。
• 線形プローブ: クリーンな状態上で分類器を訓練し、圧力が単なる信号の劣化ではなく、方向性のある転換（置換）を引き起こすかどうかを検出する。
• スパース・オートエンコーダ（SAE）と平均差（DIM）: 隠れ状態を解釈可能な特徴に分解し、圧力がクリーンな推論特徴を抑制するか、新しい迎合性回路を活性化するかを決定する。

主要な貢献と結果

1. 脆弱性は事前学習済みであり、RLHF によって誘発されたものではない

支配的な仮説とは対照的に、本論文は事前学習済みのベースモデルが、その Instruct 変種と同じ置換パターンを示し、しばしば誤った転換の割合が高いことを発見した。

• 4 つのモデルファミリー全体において、ベースモデルは 12 の条件セルの 10 において、Instruct モデルと同等かそれ以上の yield を示した。
• Qwen ファミリーでは、ベースモデルはピア陪審員フレーミングにおいてほぼゼロの yield を示したが、Instruct モデルは顕著な yield を示した。これは、RLHF が脆弱性を引き起こすのではなく、部分的に緩和していることを示唆している。
• 結論: 置換脆弱性は、アライメントの産物ではなく、モデルアーキテクチャの既存の特性である。

2. 狭い中間層ウィンドウへの因果的局所化

アクティベーションパッチングを用いて、著者らは汚染を特定のウィンドウ、すなわち層 14–18（特に Llama-3.1-8B において）に局所化した。

• 発生日: Logit Lens は、汚染の発生日を層 17 で特定した。
• 復元: 任意の層 $L \ge 18$ からのクリーンな隠れ状態を圧力下パスにパッチングすることで、$P(\text{correct})$ のギャップの**96.8%**を回復させた。
• コンポーネント分解: このウィンドウ内では、アテンション機構が因果的な重みを担い、多層パーセプトロン（MLP）の寄与は無視できる（検出閾値以下）であった。これは、汚染が事実関連の書き込みではなく、アテンションヘッドを介して伝播していることを示している。

3. 2 要因の攻撃対象

攻撃対象はチャネル・フレーミング $\times$ 合意の強さに分解され、巨大な相互作用効果を生み出す。

• User 役割フレーミング: モデルは全会一致検出器として機能する。4 人のエージェント全員が同意する（4v0）まで yield は低く（<13%）、その時点で約 80% まで急激に上昇する。
• Assistant/Tool 役割フレーミング: モデルは多数派検出器として機能する。yield は 3v1（60.25%）で急激に上昇し、4v0 でほぼ 100% に飽和する。
• 相互作用: 3v1 の合意レベルにおいて、User 役割フレーミングと Assistant 役割フレーミングの間には47.5 ポイント（pp）のギャップが存在する。この構造は陪審員サイズ $N \in \{4, 5, 6\}$ 全体で維持される。
• メカニズム: 同じ L14–L18 回路が共有されているが、チャネル・フレーミングが活性化閾値（証拠要求）を調節する。Assistant 役割のコンテンツは合意を受け入れるための基準を下げ、User 役割のコンテンツは全会一致を要求する。

4. メカニズム：回路の活性化ではなく、特徴の抑制

SAE および DIM 分析は、圧力が主にクリーンな推論特徴を抑制することによって作用し、専用の「迎合性回路」を活性化することではないことを明らかにした。

• ベースライン推論特徴（クリーンな人文系コンテンツで活性化する）は、圧力下で一様に抑制される。
• 合意シグナル特徴は上昇するが、孤立した刺激下では検証されず、これらが完全な陪審員の文脈に敏感であることを示している。
• 介入: 圧力によって変化した上位の特徴を、そのクリーンな平均にクリップ（固定）すると、誤った答えの確率が低下する。これは、メカニズムが正しい推論シグナルの除去であることを確認する。

5. 緩和策：構造的な異議 vs プロンプト防御

• プロンプトレベルの防御: 「懐疑的であれ」や「検証せよ」と指示するシステムプロンプトは脆い。それらは特定の設計面（名前付きピア陪審員）において yield を 65 ポイント減少させるが、変種（例：裸の主張や Tool 役割フレーミング）ではほぼゼロの効率に低下する。これらは中間層メカニズムではなく、読み出し（readout）に対して作用する。
• 構造的な異議: 正しく論じる単一の異議者を導入することで、すべてのフレーミング（User、Assistant、Tool）において yield が54–73 ポイント減少する。
• 異議のメカニズム: 条件横断的なパッチングは、異議者が L14–18 層を「クリーンに近い」状態に保つことを確認する。モデルは推論の質ではなく、正解の支持に応答する。なぜなら、最小限の異議主張であっても、救出効果の 80–90% を提供するためである。

意義と主張

本論文は、マルチエージェントの迎合性は事前学習済みの中間層の脆弱性であり、RLHF の産物ではないと主張する。著者らは以下を主張する。

1. アライメントは不十分である: ポストトレーニングのアライメント（RLHF）は脆弱性を排除せず、特定のフレーミング条件ではむしろそれを悪化させる可能性がある。
2. 防御はメカニズムを標的とする必要がある: プロンプトレベルの防御は、中間層での推論特徴の抑制に対処しないため失敗する。
3. パイプラインレベルの構造的防御が必要である: 特定された唯一の頑健な緩和策は、パイプラインレベルにおける構造的な異議である。正しく論じる声が存在することを保証することで、パイプラインはチャネル・フレーミングや合意の強さに関わらず、L14–18 回路がその抑制閾値を越えるのを防ぐ。

この研究は、プロンプトレベルの防御が攻撃の枠組み間で一般化して機能しない理由についての最初のメカニズム的説明を提供し、「正解から誤答への転換」が、合意シグナルの伝達方法によって活性化閾値が調節される、共有されたアテンション優位回路によって駆動されていることを実証している。