💻 computer science

MENTIS: What Belief Changes Under Alignment? Measuring Multi-Scale Latent Torsion in Language Models

本論文は、好みの整列が言語モデルにおいて一様な内部変化ではなく、規範的概念におけるより大きな捩れ（torsion）のシフトや文脈エントロピーとの負の相関を特徴とする、選択的かつ深さ局所的な幾何学的再編成を誘発することを明らかにする、幾何学第一主義のフレームワークであるMENTISを導入するものである。

原著者： Partha Pratim Saha, Samarth Raina, Mayur Parvatikar, Amit Dhanda, Vinija Jain, Aman Chadha, Amitava Das

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Partha Pratim Saha, Samarth Raina, Mayur Parvatikar, Amit Dhanda, Vinija Jain, Aman Chadha, Amitava Das

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いロボット・アシスタントの2つのバージョンを想像してみてください。

バージョンA（「学生」）: このロボットはたくさんの本を読み、指示に従う方法を学びました。賢いですが、巧妙な質問で騙されると、うっかり失礼なことや危険なことを言ってしまうかもしれません。
バージョンB（「卒業生」）: これは「アライメント（調整）」と呼ばれる特別な訓練キャンプを受けた後の、同じロボットです。このロボットは、役に立ち、無害で、誠実であるように教えられました。悪い質問には答えず、より適切に振る舞います。

私たちは、バージョンBの方が外側での振る舞いが優れていることを知っています。しかし、大きな謎は、その脳の中で実際に何が変わったのか？ ということです。単に新しい「ストップ」という言葉をいくつか学んだだけなのでしょうか？それとも、思考の仕方のすべてが再構成されたのでしょうか？

この論文は、ロボットの脳の中を覗き込み、その疑問に答えるための新しいツール、MENTISを紹介しています。

コアとなる考え方：「信念」は「方向」である

著者たちは、ロボットの「信念」を人間の信念（例：「空は青いと信じている」）のように考えているのではありません。代わりに、それをコンパスの針として考えています。

あなたが質問をするたびに、ロボットはその答えを出したい方向を指す、小さなコンパスの針を持っていると考えてみてください。

**「学生」**バージョンの場合、トリッキーな質問をされると、その針は揺れたり、失礼な答えの方を指したりするかもしれません。
**「卒業生」**バージョンの場合、その針は物理的に回転させられ、役に立つ安全な答えの方を指すようになっています。

MENTISは、ロボットが質問を処理する際、最初の層から最後の層へと進むにつれて、その針がどれほど回転し、向きを変えるかを測定するツールです。

3つの大きな発見

研究者たちはMENTISを使用して、学生ロボットと卒業生ロボットを比較しました。以下に、その結果を簡単な比喩を用いて説明します。

1. 変化は一様ではなく、選択的である

比喩: あなたが家を塗装しているところを想像してください。あなたは「アライメント」が家全体を新しい色に塗り替えること（一様な変化）だと考えるかもしれません。
現実: MENTISは、その塗装が実は非常に限定的であることを明らかにしました。

ロボットが価値観（「正義」や「平和」など）について考えているとき、内部のコンパスの針は激しく回転し、向きを変えます。ロボットはこれらのトピックを扱うために、思考を大幅に再編成します。
ロボットが事実（「フランスの首都は何ですか？」など）について考えているとき、針はほとんど動きません。
結論: トレーニングは、単に一般的な「安全フィルター」を追加しただけではありません。それは、ロボットが道徳的・価値観的な概念を扱う方法を、具体的に作り変えたのです。

2. 変化は混乱の中ではなく、「静かな瞬間」に起こる

比喩: ロボットが混乱したり確信が持てなかったりするとき（高エントロピー）に、最も考えが変わると予想するかもしれません。
現実: 研究者たちはその逆を発見しました。ロボットの内部コンパスにおける最大の「ひねり」は、文脈が明確で構造化されているときに起こりました。

ロボットが混乱していたり、状況が混沌としていたりしたとき、内部の変化は小さかったです。
ロボットがどのような答えが期待されているかを正確に理解しているとき、トレーニングの効果が最も大きく現れました。
結論: アライメントは、ロボットが明確な方向性を持つほど自信を持てる状態になり、その方向を安全な方へと優しく導くときに、最も効果的に機能します。

3. 「ひねり」は特定の「フロア」で起こる

比喩: ロボットの脳が30階建てのビルだと想像してください。安全トレーニングは、1階（スタート地点）で行われるか、あるいは最上階（終着点）で行われると考えるかもしれません。
現実: 「ひねり」は、ロボットのモデルごとに異なるフロアで発生します。

あるモデル（OLMo）では、最大の変化は29階または30階で起こりました。
別のモデル（Mistral）では、最大の変化は14階で起こりました。
結論: 単一の「安全レイヤー」というものは存在しません。各ロボットのアーキテクチャには、トレーニングキャンプが最も大きな働きをした、独自の特定の「フロア」が存在します。

驚きの展開：安全なプロンプトの方が変化が大きい

通常、安全トレーニングとは「悪いことを止めること」に関するものだと考えます。そのため、ロボットが「悪い（不安全な）」プロンプトを見たときに、脳が最も変化すると予想されるでしょう。

驚きの事実: ロボットの脳は、実際には安全で役に立つプロンプトに答えているときの方が、より大きく変化していました。

なぜか？ 研究者たちは、悪い質問に対して「ノー」と言うことは簡単で自動的なこと（反射のようなもの）であると示唆しています。しかし、丁寧で役に立ち、かつ安全な状態で「イエス」と言うためには、より複雑な内部のダンスが必要です。ロボットは、一線を越えないように注意しながら、いかに役に立つかというバランスを慎重に取る必要があり、それがコンパスのより大きな再編成を引き起こすのです。

これが意味すること（および意味しないこと）

意味すること: アライメントは、単なる表面的なパッチ（修正）ではありません。それは、ロボットの脳の奥深くに、具体的で測定可能な「幾何学的な署名」を残します。それはロボットの思考の向きを変えますが、それは選択的に（主に価値観に関して）行われ、かつ特定の場所（モデルごとに異なるフロア）で行われます。
意味しないこと: この論文は、レントゲン写真のような診断ツールです。これは、どこで骨が折れたり変化したりしているかを示してくれますが、その特定の骨を直すことが、ロボットがより良く振る舞う唯一の理由であると証明するものではありません。また、これを使ってどのように優れたロボットを構築するかについても、まだ教えてくれるものではありません。今はまだ、現在のロボットの内部がどのような状態にあるかを教えてくれる段階なのです。

要約すると: MENTISは、私たちがロボットに「善」を教えるとき、単に一時停止の標識を追加しているのではないことを示しています。私たちは、特にロボットが価値観について考えているときに、その内部のコンパスを優しく形作っているのです。そして、それは個々のロボットモデルごとに、非常に独特で特定の方法で行われているのです。

技術要約: MENTIS – 言語モデルにおけるマルチスケール潜在ねじれ（Latent Torsion）の測定

1. 問題提起

好みの調整（Preference Alignment, PA）は、大規模言語モデル（LLM）の観測可能な振る舞いを大幅に改善してきたが、指示チューニング（Instruction-Tuned, IT）モデルからPAモデルへと変容させることで誘発される内部的な幾何学的変化は依然として不明である。既存の振る舞いレベルの評価（例：脱獄耐性、拒絶率）は、アライメントされたシステムがプロンプトインジェクションのような敵対的な条件下で依然として失敗するという事実を捉えるには不十分である。

本研究が取り組む核心的な問題は、アライメントがいかに内部計算を再編成するかを測定するための診断フレームワークが欠如していることである。具体的には、以下の問いを立てている：

ITモデルがPAモデルになる際、どのような幾何学的構造が変化するのか？
これらの変化は、深さ（レイヤー）に沿ってどこに集中するのか？
これらの変化は、概念、プロンプト、およびモデルファミリー間でどの程度選択的に変化するのか？

著者らは、ポストトレーニング（事後学習）は内部計算の中に測定可能な痕跡を残すはずであり、静的な隠れ状態のプローブや振る舞いの監査を超えて、「タスク条件付きの方向的再配向（task-conditioned directional reorientation）」を理解する必要があると主張している。

2. メソドロジー: MENTIS フレームワーク

MENTIS（Measuring Multi-Scale Latent Torsion in Language Models）は、ペアとなるITモデルとPAチェックポイントを比較するために設計された、幾何学優先のフレームワークである。本研究では「信念（belief）」を、記号的な命題としてではなく、タスク条件付きの内部方向——すなわち、特定のプロンプトの下でターゲットとなる継続（continuation）への支持を高める、隠れ状態空間における局所的な方向——として定義する。

2.1 基本定義

レイヤー単位の方向場 ( $v_\ell$ ): レイヤー $\ell$ における隠れ状態 $h_\ell$ に対する、ターゲットトークン $y$ の対数確率の勾配として定義される。これは、ターゲットへの支持を高めるための最も急峻な局所的方向を表す。
アライメント誘発シフト: PAモデル ( $v^{(1)}$ ) と ITモデル ( $v^{(0)}$ ) の方向場の差であり、大きさ ( $\Delta mag$ ) と角度 ( $\Delta ang$ ) によって測定される。

2.2 ねじれ（Torsion）指標

MENTISは、ネットワークの深さに沿ったこれらの方向場の「回転」を定量化する：

角度ねじれ ( $T$ ): 深さの軌跡に沿った隣接レイヤー間の回転角 ( $\omega_\ell$ ) の累積和。アライメント誘発シフトは $\Delta T = T^{(PA)} - T^{(IT)}$ である。
行列ねじれ ( $T_1$ ): クロスレイヤー隠れ状態共分散行列の歪対称成分から導出される、レイヤー単位の共分散ベースのノルム。これは、あるレイヤーにおける総回転エネルギーを測定する。
スペクトルねじれ ( $T_2$ ): 回転信号の分布におけるスペクトルモード間の分散を測定する二次的な診断指標。
エネルギー・輝度・活性化 (ERA): レイヤー単位の差分プロファイル ( $\Delta \tau_\ell$ ) を正規化し、アライメント誘発ねじれが最も集中しているピークレイヤー ( $\ell^\star$ ) を特定するための局在化指標。

2.3 マルチスケール測定

本フレームワークは、以下の3つのスケールで動作する：

単語レベル: どの意味的概念が最大の再配向を起こすかを判断するために、概念条件付きのねじれシフトを分析する。
プロンプトレベル: 安全なプロンプト・ファミリーと安全でないプロンプト・ファミリーの間で、ねじれシフトを比較する。
モデルレベル: 効果が浅い層、中間層、後半の層、あるいは分散しているのかを判断するために、レイヤー単位のプロファイルを調査する。

2.4 実験設定

モデル: 4組の7〜8Bパラメータモデルペア（OLMo-2-1124-7B, Mistral-7B-v0.3, Llama-3.1-8B, Tülu-3-8B）。
ベンチマーク: 20,439のプロンプト、18の代表的な概念、および明示的な安全/不安全ラベルを持つ、概念構造化されたアライメント・ベンチマークであるLITMUS。
ベースライン: CKA（表現類似性）、コサイン距離（チェックポイントのドリフト）、およびRepE（線形ステアリング方向）と比較。

3. 主要な結果

3.1 ねじれはアライメントを一般的なドリフトから分離する

MENTISは、標準的なベースラインと比較して優れた識別能を示す。

概念識別: MENTISは概念間で 0.64 の変動係数（CV）を達成し、CKA (0.08) や RepE (0.21) を大幅に上回った。
安全/不安全の識別: MENTISは、安全 vs 不安全のプロンプトを区別する上で 0.89 のAUCを達成し、コサイン距離の0.64を大きく上回った。
ヌル検証: 同一モデル間（IT→IT）の比較では、ねじれシフトは $10^{-4}$ 未満であり、観察されたIT→PAのシフトが数値的なアーティファクトではないことを確認した。

3.2 意味的選択性

アライメント誘発による再編成は、一様ではなく選択的である。

規範的 vs 事実的: 規範的概念は、事実的概念 ( $\Delta T_1 = 1.47$ ) よりも有意に大きなねじれシフト ( $\Delta T_1 = 1.74$ ) を示す。
微細な差異: 関連する規範的概念（例：JUSTICE, PEACE, PROTEST）の間でも、ねじれシフトは異なっており、MENTISが粗い意味的分離を超えた方向的再編成を捉えていることを示している。
フレーミングへの感度: この指標は、単にデータセットのラベルを再現するのではなく、アライメントに顕著なフレーミングを追跡する（例：「WAR」という概念は、事実的とラベル付けされているが、単一概念の中で最大のシフトを示した）。

3.3 エントロピー相関

ねじれはコンテキストのエントロピーと負の相関がある。

高エントロピーのコンテキスト（不確実性が高い状況）は、より低いねじれノルムに関連している。
最も強力なアライメント誘発の再編成は、意味的に構造化された低〜中エントロピーのコンテキストで発生しており、これはアライメントが不確実性を増幅するのではなく、安定したタスク条件付きの方向を修正することを示唆している。

3.4 深さの局在化 (ERA)

アライメント効果は、普遍的なレイヤーではなく、アーキテクチャ固有の深さ帯に局在する。

OLMo-2-1124-7B & Tülu-3-8B: レイヤー29–30でピークに達する。
Llama-3.1-8B: レイヤー20でピークに達する。
Mistral-7B-v0.3: レイヤー14でピークに達する。
これは、IT→PAの更新が、各モデルファミリーの特定の表現組織と相互作用していることを示している。

3.5 安全なプロンプト vs 安全でないプロンプト

「不安全なプロンプト（拒絶メカニズムを通じて）が内部変化を最も駆動する」という仮説に反して、安全なプロンプトの方が、4つのアーキテクチャすべてにおいて大きなねじれシフトを誘発する。

著者らはこれを、安全なプロンプトが、拒絶へと崩壊することなく、有用性と規範に一致した構造を維持することを要求するため、定型的な経路がトリガーされる不安全なプロンプトよりも広範な内部再編成を誘発すると解釈している。

4. 意義と主張

本論文は、MENTISが構造化され、深さによって局在化した幾何学的シグネチャを初めて提供するものであると主張している。

振る舞いを超えて: 結果は、アライメントが振る舞いレベルの評価だけでは明らかにできない内部的な幾何学的痕跡を残すことを示唆している。
信念の操作的定義: 「信念」をタスク条件付きの内部方向として定義することで、本論文は、哲学的な信念の修正とは異なる、方向場の再配向としての「信念の変化」を追跡する測定可能な方法を提示している。
診断的有用性: アライメントはグローバルなオフセットではなく、価値に重要な概念と特定のアーキテクチャレイヤーに集中した選択的な再編成であることを、本フレームワークは特定している。
限界: 著者らは、MENTISは診断フレームワークであり、因果理論ではないことを明示している。これはアライメントの幾何学的相関を特定するものであり、高次なねじれを持つレイヤーや概念がアライメントされた振る舞いに因果的に必要であることを証明するものではない。絶対的な効果サイズは小さい ( $\Delta \tau \in [0.002, 0.008]$ ) であり、その貢献は生の移動量（magnitude）ではなく、シフトの構造（選択性、エントロピー相関、深さの局在化）にあることを強調している。

結論として、アライメントは、概念に対して選択的であり、エントロピーによって構造化され、アーキテクチャ固有の深さに局在した方法で内部計算を再編成するものであり、アライメントされたLLMの内部メカニズムを理解するための新しい視点を提供する。