💬 NLP

Negative Before Positive: Asymmetric Valence Processing in Large Language Models

本論文は、大規模言語モデルが表面的なトークン一致に依存するのではなく、負の帰結が初期層に局在し、正の帰結が中〜後期層でピークに達する、独立した因果的かつ制御可能な内部メカニズムを通じて感情的価を処理することを示している。

原著者： Sohan Venkatesh

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

原著者： Sohan Venkatesh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を魔法の予言者ではなく、巨大な多階建て工場として想像してみてください。質問を入力すると、情報は1階（最初の層）から最上階（最終層）へと移動し、各階で処理・洗練されていきます。

この論文は、モデルが**「良いニュース」と「悪いニュース」**に遭遇した際に、その工場の内部で何が起こるかを調査しています。研究者たちは、感情を処理する特定の「感情部門」が存在するのか、それとも表面的な単語の一致に過ぎないのかを知りたがっていました。

以下に、彼らの発見を簡潔に解説します。

1. 設定：「良いニュース」対「悪いニュース」のテスト

研究者たちは、感情的な結果を除いてすべてが同一である文のペアを作成しました。

良いニュース：「私は夢の博士課程プログラムに合格しました。」
悪いニュース：「私は夢の博士課程プログラムに不合格になりました。」
中立の基準：「私は博士課程プログラムに関するメールを受け取りました。」

彼らは**「活性化パッチング」**という手法を使用しました。これは「タイムトラベル手術」のようなものです。モデルに「悪いニュース」の文を読ませながら、工場の特定の階において、モデルの現在の思考を「良いニュース」の文を読んだ時の思考と入れ替えました。もしモデルが突然喜びを示し始めたら、その特定の階がその感情の「制御室」であるとわかります。

2. 大きな発見：2 つの異なる処理経路

最も驚くべき発見は、良いニュースと悪いニュースが、工場の全く異なる部分を通って処理されるということです。

悪いニュースは「速い警報」：モデルが「不合格」や「失敗」といった否定的な言葉を読むと、ほぼ即座に反応します。処理は工場の**下層（初期層）**で行われます。これは煙探知機のようです。煙の匂いを嗅ぐとすぐに叫びます。モデルは「不合格」が悪いと知るために文脈を深く考える必要はなく、それは素早く浅い反射です。
良いニュースは「遅い祝賀」：モデルが「合格」や「感激」といった肯定的な言葉を読むと、時間をかけて処理します。処理のピークは**中層から上層（中後期層）**で起こります。これはパーティーの計画者のようです。パーティーを開く前に、招待客リスト、予算、天候を確認する必要があります。モデルは「ああ、これは実際には素晴らしい結果だ！」と理解するために、文脈の豊かで深い理解を構築する必要があります。

3. 「トピック探偵」の排除

あなたはこう思うかもしれません：モデルは単にトピック（博士課程プログラム）を認識し、それに基づいて感情を推測しているだけではないか？
研究者たちは、これが違うことを証明しました。トピックを全く同じに保ったまま感情を反転させると、モデルの内部反応も反転することが示されました。モデルは単に「博士課程」や「メール」という言葉を見ているのではなく、状況の感情を本質的に追跡しているのです。

4. 「ハンドル」の実験

最後に、研究者たちは尋ねました：これを制御できるのか？
彼らは、これらの感情が処理される特定の階において、モデルの脳内に「方向」が存在することを見つけました。

「良いニュース」の方向を取り出し、完全に中立的な文（「私は図書館に行きました」など）に追加すると、モデルの応答はより肯定的にシフトしました。
それを差し引くと、応答はより否定的になりました。

これは、モデルが単に感情を模倣しているのではなく、ネットワーク内の特定の深さに、ポジティブさとネガティブさのための制御可能な内部ダイヤルを持っていることを証明しています。

結論

簡単に言えば、この論文は、AI モデルが喜びと悲しみを同じように扱わないことを示しています。

悲しみは、処理チェーンの早期に捉えられる、速く浅い反射です。
喜びは、モデルがより深く考え、全体像を見ることを必要とする、より深く複雑な計算です。

この非対称性は、もし将来 AI の感情を監視したり制御したりしたいのであれば、悪いニュースを心配しているのか、良いニュースを心配しているのかによって、その脳の異なる「階」を見る必要があることを示唆しています。

技術的サマリー：否定的から肯定的へ：大規模言語モデルにおける非対称的価性処理

問題定義

機械的解釈可能性は、大規模言語モデル（LLM）が事実的関連性や抽象概念を線形方向として符号化する仕組みを成功裏にマッピングしてきたが、感情的価性の内部処理については依然として十分に理解されていない。過去の研究は主に相関的なプロービングや行動分析に依存しており、以下の重要な問いを未解決のまま残している：

LLM は価性専用の内部構造を有しているのか、それとも表面レベルのトークン一致に依存しているのか？
感情的表現は特定の処理段階に局在しているのか、それとも拡散的に分布しているのか？
観測された信号は真の価性追跡を反映しているのか、それとも単なるトピック検出（例：「拒絶された」という単語を認識するだけで、否定的な感情を理解していない場合など）に過ぎないのか？

既存の研究（例：Sofroniew ら、2026）はクローズドモデルにおいて機能的な感情を特定したが、トピックの交絡要因に対する厳密な統制や因果的な局在化の欠如があった。本論文は、価性がオープンソース LLM において因果的かつ層固有のメカニズムを通じて処理されるかどうかを調査することで、これらのギャップに対処する。

手法

著者らは、3 つの指示調整済みオープンソースモデル（Llama-3.2-1B、Qwen2.5-1.5B、Qwen2.5-3B）に対して活性化パッチングとステアリングベクトルを適用した。これらのモデルは、2 つのアーキテクチャファミリー（マルチヘッドアテンション対グループ化クエリアテンション）と 2 つのスケールにまたがっている。

実験デザイン

プロンプトペアの設計：各条件あたり 100 組のクリーン/破損プロンプトペアを構築した。
- 良いニュース条件：クリーンプロンプトは肯定的な結果を記述し、破損プロンプトは同じ状況を中立的に記述する。
- 否定的対照条件：クリーンプロンプトは否定的な結果を記述し、破損プロンプトは「良いニュース」の破損ベースラインと同一である。
- 共有破損ベースライン：この設計により、パッチ効果の差異はトピックや表現ではなく、純粋に価性に起因するものであることが保証される。
- ドメイン：学術、キャリア、私生活の各分野を網羅し、発見が特定ドメインに依存しないことを確認する。
活性化パッチング：
- モデルを破損入力で実行しつつ、特定層における残差ストリーム活性化を、クリーン実行からキャッシュされた活性化に置き換える。
- 指標：次のトークン分布における定義された肯定的対否定的アンカートークンの確率質量に基づき、ログイットギャップスコアを計算する。
- 目的：パッチングによってクリーンな出力挙動が回復する「主要な因果層」を特定し、価性信号が計算される場所を明らかにする。
価性反転テスト：
- トピック検出を除外するため、トピックを一定に保ちながら価性が反転（良い対否定的）する際にスコアギャップの符号が反転するかどうかを確認する。真の価性表現は符号逆転の効果（逆相関ギャップ）を生むはずであり、トピック検出の場合は相関するギャップが生じるはずである。
因果的ステアリング：
- 特定された主要因果層における残差ストリームから、価性方向ベクトル（クリーンと破損の活性化の平均差）を抽出する。
- このベクトルを感情的に中立的なプロンプトに追加または減算し、モデルの出力が肯定的または否定的な価性へ因果的にシフトするかどうかをテストする。

主要な結果

1. 方向的な価性追跡

3 つのモデルすべてが、出力分布において感情的内容を区別する能力を示し、条件全体で符号精度は**79% から 95%**の範囲にあった。Qwen ファミリーは Llama-1B よりも鋭いスコアギャップを示した。

2. トピック検出の排除

価性反転テストは、反転率が69%（Llama-1B）、80%（Qwen-1.5B）、**85%（Qwen-3B）**であることを示した。これらの率は 50% の偶然ベースラインを有意に上回り、モデルがトピックのキーワードを単に認識するのではなく、分離可能な内部変数として価性を追跡していることを確認した。

3. 非対称な深度局在化（核心的発見）

本研究は、価性処理において明確な深度方向の分離を明らかにした：

否定的価性：因果的に初期層に局在し（モデル深度の**14–27%**でピーク）、これらの層でのパッチングは否定的出力を強く回復させる。
肯定的価性：中盤から後期の層でピークに達する（モデル深度の**53–66%**でピーク）。
統計的有意性：マン・ホイットニーの U 検定により、この分離がすべてのモデルで極めて有意であることが確認された（ $p < 10^{-10}$ ）。
解釈：否定的な結果は「迅速な浅い検出器」によって処理され、語彙的に特徴的な単語（例：「拒絶された」）に依存するのに対し、肯定的な結果はより豊かな表現を構築するために深い文脈統合を必要とする。

4. 非対称な因果構造

否定的対照：tight な因果的局在を示す。パッチの大きさと反応強度の間には強い負の相関（ $\rho \approx -0.5$ から $-0.68$）があり、単一の支配的な層が否定的反応を駆動していることを示している。
良いニュース：拡散的な処理を示す。パッチの大きさと反応強度の間の相関は弱いか有意ではない（ $\rho \approx 0.1$ から $0.37$）ため、肯定的価性は単一の層を経由するのではなく、ネットワーク全体に分布していることが示唆される。

5. 操作可能性

ステアリング実験により、特定された層が価性を操作可能な線形方向として符号化していることが確認された。

「良いニュース」方向を中立的プロンプトに追加すると、**92–100%**の出力が肯定的価性へシフトした。
方向を減算すると、出力は否定的価性へシフトした。
ステアリング強度（ $\alpha$ ）と価性スコア変化（ $\Delta$ ）の関係は単調増加であり、抽出されたベクトルが真の線形特徴であることを確認した。

意義と主張

本論文は、LLM における感情的価性が単一の内部状態ではなく、肯定的および否定的入力に対して異なる因果経路を持つ非対称的な計算であると主張する。

機械的洞察：この発見は、否定的価性と肯定的価性が単一の軸の反対端に過ぎず、単一の計算メカニズムで処理されているのではなく、異なる計算メカニズム（初期の局所的検出対後期の拡散的統合）を通じて処理されていることを示唆している。
監視の可能性：否定的価性は初期層に局在し、予測可能に操作可能であるため、解釈可能性に基づく監視の具体的な対象となる。これらの初期層を監視することで、モデルが完全な応答を構築する前に介入することが可能になる。
一般化可能性：この非対称性は、異なるモデルスケールやアテンションアーキテクチャ（MHA 対 GQA）全体で保持されており、特定のモデル設計のアーティファクトではなく、トランスフォーマーベースの価性処理の根本的な性質であることを示唆している。

著者らは、これらの極性がなぜ異なる計算深度を必要とするのかを理解することが、トランスフォーマーが意味的および感情的な内容を符号化する仕組みの根本的な側面を明らかにする可能性があると結論づけている。また、この研究から直接的な負の社会的影響が生じることは予見されず、むしろより安全で解釈可能なモデル展開への一歩と位置づけている。