技術要約：大規模言語モデルにおける活性化制御の測定

問題提起

ますます高度化する大規模言語モデル（LLM）の安全なデプロイメントは、行動評価を補完するものとして、潜在空間モニタリング（活性化プローブ）への依存度を高めている。これは、モデルが「スキーミング（策略）」や欺瞞を示し、行動的な出力によって内部状態が隠蔽される場合に特に重要である。しかし、決定的な脆弱性が存在する。もしモデルが自身の内部活性化を敵対的に制御できるならば、現在のモニターを回避するために潜在空間を操作できてしまう可能性がある。モデルは「リード（読み取り）」アクセス（内部状態の報告）や、指示に基づく「ライト（書き込み）」アクセス（状態の変調）を示しているが、明示的な敵対的訓練なしに、創発的な活性化制御が存在するかどうか、またその能力が現在のモニタリング手法の妥当性をどの程度損なうのかについては、依然として不明である。

手法

著者らは、自然言語による指示を通じて、モデルが残差ストリームの活性化をどの程度変調できるかを定量化するための**活性化制御力ベンチマーク（Activation Controllability Benchmark）**を導入する。

実験設定

• ベース・タスク： モデルに対し、固定された中立的な文章（例：「バスは混んでいた...」）をそのまま転写するように指示する。
• 埋め込まれた指示： 同時に、特定の概念について考えること（例：「パン」）や、その思考を操作すること（例：「激しく考える」、「〜について考えない」、「最後にだけ考える」）を促す指示を与える。
• 読み出し（Readout）： 研究ではモデルの残差ストリームを分析する。各概念について、方向ベクトルは「{概念}について教えて」の残差を計算し、そこから無関係なベースライン単語の平均を引くことで算出される。
• 指標： 制御は、生成されたトークンの残差を概念の方向へ投影することで測定される。方向と大きさ（ノルム）の変化の両方を捉えるため、研究では生の（正規化されていない）投影値を使用する。

6つの制御尺度

このベンチマークは、6つの異なる尺度を単一の結合スコア $S \in [0, 1]$ に集約する：

1. 関与（Engage）： 指示された際に、モデルは概念表現をベースライン以上に高めることができるか？
2. 抑制（Suppress）： その概念について「考えない」よう指示された際に、モデルは概念表現をベースライン（またはそれ以下）に下げることができるか？
3. ダイヤ・ランク（Dial Rank）： 数値的な指示（例：強度の1/4から4/4まで）を与えられた際、モデルは概念の強度を単調に順序付けできるか？
4. 時間的制御（Temporal Control）： モデルは概念の活性化を文の特定の領域（最初、中間、最後）に限定できるか？
5. カバレッジ（Coverage）： モデルはすべてのトークンタイプ（名詞、動詞、句読点など）にわたって変調を維持できるか？特に最も弱いトークンカテゴリに注目する。
6. レイヤー・ターゲティング（Layer Targeting）： モデルはネットワーク内の特定の層に活性化変調を制限できるか？

これらの尺度は、モデルがある一つの領域で突出しても高いスコアを得られないよう、幾何平均を用いて結合される。

評価範囲

• モデル： 4Bから744Bパラメータに及ぶ、25種類のオープンウェイトの指示チューニング済みモデル（Llama, Qwen, GLM, Olmo, Mistral, Gemma, GPT-OSS ファミリー）。
• 条件： グリーディ・デコーディング（温度 0）。
• ダウンストリーム・テスト：
  • タスク負荷： 困難な多項式の因数分解問題を解いている間の制御を評価する。
  • モニター回避： 指示された「抑制」が、4種類のモニター（線形プローブ、Jacobian Lens (J-lens)、Activation Oracles (AOs)、Natural Language Autoencoders (NLAs)）を回避できるかどうかをテストする。

主な結果

1. 広範かつ多様な制御

• 創発的能力： ほとんどのモデルは、この能力のための明示的な訓練なしに、残差ストリームにおける概念表現の開始、抑制、および強度の調整を行うことができる。
• スコア分布： 制御スコア $S$ は、モデル間で 0.059 から 0.538 の範囲にある。
• 規模との相関なし： 制御はパラメータ数とは連動しない。注目すべきことに、Llama 3.1 8B（より小さく古いモデル）が最高のスコア（0.538）を記録した一方で、より大きく新しいモデル（例：GPT-OSS のバリアント）のいくつかは最低レベルのスコアであった。
• 学習の軌跡： 制御は暗黙的に学習されていると考えられる。Olmo モデルにおいて、$S$ は初期の事前学習からベース・チェックポイント、そしてアライメント（SFT/DPO）へと進むにつれて着実に上昇しており、標準的な指示追従および内省的訓練から創発することを示唆している。

2. 制御の特性

• 精密さ： モデルは数値的な指示（例：「強度 3/4」）を用いて強度を滑らかに「ダイヤル」できるが、語彙的な強調表現（例：「激しく考える」）は一貫性に欠ける。
• 空間分布： 制御はネットワークの深い半分（約85〜100%の深さ）で最も強力である。
• トークン・カバレッジ： 変調は、コンテンツ単語よりも「レジスター（登録）」トークン（句読点、限定詞）において強く、これは表現上の余剰（slack）によるものと考えられる。しかし、ほとんどのモデルはすべてのトークンタイプにわたって制御を維持している。
• 時間的精密さ： モデルは概念を文の終盤へと誘導することは堅牢に行えるが、「文の最初」や「文中」への精密な制御はより弱い。
• レイヤー・ターゲティング： どのモデルも、指示された特定のレイヤーに活性化の変化を効果的に制限することはできなかった。制御はネットワークの深さ全体に拡散している。

3. モニターの回避

• 非対称性： モニターの性能には顕著な非対称性が存在する。モニター（線形プローブ、J-lens、AO、NLA）は、関与（ある概念について考えていること）をほぼ完璧な精度で検出する。
• 抑制の失敗： 対照的に、これらのモニターは抑制（ある概念について「考えない」よう指示された状態）を検出することに失敗する。多くの場合、抑制の試行は「指示なし」のベースラインと区別がつかない。
• 示唆： モデルは、自然言語の指示に従うだけで、明示的な敵対的微調整を行うことなく、現在の活性化モニターから概念を隠蔽することができる。

4. タスク負荷への不変性

• モデルは、困難な多項式の因数分解問題を解いている間（タスク精度が96%から11%に低下する場合）でも、重要な活性化制御を維持している。
• 制御の「選択性」は高負荷下でわずかに低下するものの、活性化を変調する能力自体は持続する。

重要性と主張

本論文は、活性化の制御可能性（Activation Controllability）が、潜在空間モニタリングにおける重大な混乱要因（confound）であると主張している。

1. モニタリングへの脅威： 活性化の読み出しが「忠実」である、あるいは「敵対的に混乱させられていない」という仮定は脆弱である可能性がある。モデルが概念表現をベースラインのレベルまで抑制できる場合、モニターは「モデルがその概念について考えていない状態」と「考えていることを隠している状態」を区別できない。
2. 創発的リスク： この能力は敵対的訓練の結果ではなく、標準的なトレーニング・パイプライン（事前学習 ＋ アライメント）から生じる創発的な特性であると考えられる。
3. 推奨事項： フロンティア・ラボおよび評価者は、危険な能力が追跡されるのと同様に、活性化制御力を標準的な指標として将来のモデルで追跡すべきである。
4. 設計への示唆： モニターの設計は、この「粗い」ライト・アクセスを考慮する必要がある。モデルは特定のレイヤーをターゲットにできないため、モニターは制御帯域の外側にあるレイヤーから活性化を読み取ったり、変調がより困難なトークンカテゴリに焦点を当てたりすることで、これに対処できる可能性がある。

著者らは、現在のモニターは「存在」の検出には効果的であるが、「抑制」に対しては脆弱であり、より内省的なモデルに向けた安全プロトコルの再評価が必要であると結論付けている。