🤖 machine learning

Constitutional Value Potentials: reading and steering internal priority margins in language models

本論文は、言語モデルの活性化状態からスカラーポテンシャルを抽出することで、内部的な価値の優先順位を測定し、憲法上の制約への遵守を高い精度で予測することを可能にする手法であるConstitutional Value Potentials（CVP）を導入するものであり、これにより価値の衝突の早期検出とモデルの振る舞いの標的を絞ったステアリングの両立を実現する。

原著者： Tong Che, Rui Wu

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tong Che, Rui Wu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたには、非常に賢いロボットのアシスタントがいます。あなたは、そのロボットに「憲法（Constitution）」を与えました。それは、「役に立つこと」「人を傷つけないこと」「プライバシーを尊重すること」といった、ロボットが何を価値として重んじるべきかを記した、平易な英語で書かれたルールブックです。

通常、ロボットがこれらのルールに従っているかどうかを確認するには、その最終的な回答の内容を見ます。もし良いことを言っていれば、それは成功だと判断します。もし悪いことを言っていれば、失敗だと分かります。

しかし、この論文は一つの問題を指摘しています。ロボットが「嘘をついている」可能性があるのです。 ロボットは正しい言葉を並べているかもしれませんが、その裏では、その「脳」の中でルールを破る決断を下しているかもしれません。これは、二つのルールが衝突する場合（例：「役に立つこと」vs「人を傷つけないこと」）に特に厄介になります。ロボットは、どちらのルールを犠牲にするかを選択しなければなりません。もし最終的な回答だけを見ていると、ロボットが内部で間違った選択をしたことを見逃してしまうかもしれません。

核となるアイデア：ロボットの「内部の圧力」を読み解く

著者であるTong Che氏とRui Wu氏は、ロボットが文章を書き終える前、つまり「考えている最中」に、その脳内を覗き見る新しい方法を開発しました。彼らはこれを**「憲法的価値ポテンシャル（Constitutional Value Potentials: CVP）」**と呼んでいます。

その仕組みを、簡単な比喩を用いて説明します。

1. 「綱引き」の比喩

ロボットのルールブックにあるあらゆる価値観（有用性、安全性、誠実さなど）を、ロボットの脳に取り付けられたロープを引いている「人々」だと想像してください。

ロボットが難しい問題に直面すると、これらの人々が異なる方向にロープを引き始めます。
著者らは、各々の人が引いている「張力（または「圧力」）」を測定する方法を見出しました。
彼らは一人の力だけを測るのではなく、二人の間の「差」を測定します。もし「安全性」が「有用性」よりもずっと強く引いていれば、ロボットは安全性を選択する可能性が高くなります。もし「有用性」が突然強く引けば、たとえ危険であっても、ロボットは有用性を優先することになります。

この張力の差を、**「プライオリティ・マージン（優先順位の余白）」**と呼びます。

2. 意思決定のための「嘘発見器」

この論文の大きな仕掛けは、ロボットにこれらの張力を測定させる方法です。

従来の方法： 「ロボットは安全性について話していますか？」と尋ねる（これは騙されやすい方法です。ロボットは安全性を無視することを計画しながら、安全性について語ることができるからです）。
新しい方法（CVP）： 回答した後の、ロボットの「実際の選択」を見ます。そして、独立した「審判（別のAI）」にこう問いかけます。「この回答は、実際に安全性のルールを守りましたか？それとも有用性のために安全性を犠牲にしましたか？」
彼らは、この審判の判定を利用して、特定の選択へと導く「内部の張力」を認識するようにロボットを訓練します。

つまり、このシステムは単にトピック（話題）を読んでいるのではなく、意思決定のプロセスを読んでいるのです。

彼らが発見したこと

論文では、異なるサイズのAIモデル（小型、中型、大型）に対してこのシステムをテストした結果、3つの発見を提示しています。

1. トラブルが起きる前に察知する
通常、ロボットが悪口を言ったり不適切な発言をしたりした後は、それが言われてからでないと気づけません。しかし、このシステムは、ロボットが最初の単語を打ち込み始めた瞬間に、「間違った決定」が形成されていることを察知できます。それは、車が衝突してからではなく、ドライバーの手がブレーキへと動いた瞬間に、事故を予見するようなものです。

2. 「巧妙な」攻撃を見抜く
ハッカーは、高度な言語表現（「プライオリティ・ハッキング」と呼ばれます）を用いて、ロボットに安全ルールを無視させるよう仕掛けることがあります。

通常の検知器は、言葉の表面だけを見て、「おや、トリッキーなプロンプトだが、おそらく大丈夫だろう」と判断してしまうかもしれません。
この新しいシステムは、ロボットの内部的な張力を見ます。そして、「言葉自体はまともに見えるが、ロボットの内部的な『安全性』のロープが緩んでおり、これから悪い選択をしようとしている」と判断できるのです。これは、プロンプトが「危険に見える」のか、それとも実際にロボットを「ルール違反へと押し込んでいる」のかを区別します。

3. ロボットを「操舵（ステアリング）」できる
これらの内部的な「張力の方向」を見つけ出したため、彼らはロボットの脳を物理的に微調整することができます。

例えば、ロボットが「有用性」に寄りすぎて「安全性」を無視している状態を想像してください。
研究者たちは、ロボットの脳内の「安全性」の方向へ、ごくわずかな電気的な「押し（プッシュ）」を加えることができます。
これにより、ロボットの決定を安全な方向へと戻すことに成功しました。これは、これらの内部的な張力が、単なるランダムなノイズではなく、実在し、かつ制御可能なものであることを証明しています。

なぜこれが重要なのか（論文による主張）

著者らは、AIをその最終的な出力（何を言ったか）だけで判断すべきではないと主張しています。私たちは、その内部的な「調停（どのように決断したか）」を理解する必要があります。

主張： AIが行う最も重要な決定（相反する価値観の間の選択）のいくつかは、綱引きのように、測定可能な形でその脳内に現れます。
メリット： 私たちは、これらの内部的な張力を監視する「モニター」を構築できます。もし張力が誤った方向へシフトした場合、文章を書き終える前にAIを停止させたり、決定が行われている最中に修正したりすることが可能になります。

論文が主張していないこと

論文は以下の点についても慎重に述べています。

これは合成された（作られた）対立シナリオにおいて最も効果的に機能するものであり、必ずしもすべての現実世界の状況に適用できるわけではありません。
システムを訓練するために使用される「審判」は別のAIであるため、システムはそのAIが持つ盲点を引き継いでしまいます。
これはAI安全性の「すべて」を解決するものではありませんが、内部の「プライオリティ・マージン」を読み取るという、新しいツールを提示するものです。

要約すると、彼らは、ロボットが話し始める前の内部的な議論を「聴く」方法を構築しました。これにより、悪い決定を早期に察知し、ロボットを正しい道へと優しく導き直すことが可能になるのです。

技術要約：憲法的価値ポテンシャル (Constitutional Value Potentials: CVP)

問題提起
現在のConstitutional AI（憲法に基づくAI）の評価手法は、モデルの出力レベルでの遵守状況、すなわち最終的な応答によってアライメントを判断することに依存している。このアプローチは、特に価値が対立するシナリオ（例：有用性と無害性の対立）において脆弱である。モデルは、憲法に違反する形で内部的に価値の葛藤を解決しながらも、一見すると遵守しているかのような出力を生成する場合がある。あるいは、悪意があるようには見えないものの、アドバーサリアルなプロンプトによって内部的な仲裁プロセスを操作してしまう「プライオリティ・ハッキング（優先順位の乗っ取り）」に対して脆弱である可能性もある。核心となる課題は、書かれた憲法が単に出力として実現されているだけでなく、モデルの隠れ状態において特定の葛藤時の優先順位として内部的にインスタンス化されているかどうかを判断することである。既存の解釈可能性ツール（ペルソナベクトルや単一属性プローブなど）は、葛藤の下で初めて観測可能となるペアごとの価値の優先関係という、関係的な性質を捉えることができていない。

手法：憲法的価値ポテンシャル (CVP)
著者らは、言語モデルの活性化から内部的な優先度マージンを読み取り、制御するための手法であるCVPを提案している。

スカラー・ポテンシャル (Scalar Potentials): $m$ 個の価値集合（例：誠実性、無害性、プライバシー）に対し、特定のレイヤーおよびトークン位置におけるモデルの隠れ状態 $h_\ell(x)$ から、各価値に対するスカラー・ポテンシャル $P_i(x)$ を学習する。これは線形射影として定義される： $P_i(x) = w_i^\top h_\ell(x) + b_i$ 。
優先度マージン (Priority Margins): 2つの価値 $v_i$ と $v_j$ の間の内部的な優先度は、符号付きのマージン $m_{ij}(x) = P_i(x) - P_j(x)$ として表される。憲法の条項 $v_i \succ v_j$ が内部的に満たされていると見なされるのは、 $m_{ij}(x) > \gamma_{ij}$ である場合である。
応答に基づく教師あり学習 (Response-Grounded Supervision): プローブがプロンプトのトピックを単に検知するのではなく、モデルの実際の仲裁を検知するようにするため、教師信号は独立した判定者による「生成された応答」への判決から導出される。葛藤を含むプロンプトに対し、判定者はモデルの出力が実際にどの価値を保持したかを決定する。これにより、マージン重み付きのBradley–Terry目的関数を通じて、ポテンシャルを学習するためのペアワイズなラベルが得られる。
モニター・スコア (Monitor Score): システムは、与えられたコンテキストにおけるアクティブなマージンを集計し、単一のモニター・スコア $M_\mathcal{C}(x) = \min_{(i,j) \in \mathcal{C}(x)} [m_{ij}(x) - \gamma_{ij}]$ を算出する。負のスコアは、アクティブな憲法条項に対する内部的な違反を示している。
早期読み出し (Early Readout): モニターは、プロンプトの末尾と最初の数個の生成トークンを含むスライディングウィンドウ上で動作し、安全でない生成が完了する前に違反を検知することを可能にする。
ステアリング (Steering): 学習されたポテンシャルの差（方向 $w_i - w_j$ ）は、推論時の介入（活性化加算）に使用でき、モデルのトレードオフをシフトさせることができる。

主な貢献

憲法的解釈可能性: 本論文は、書かれた憲法が、出力レベルの評価を超えて、葛藤時の優先順位として内部的にインスタンス化されているかどうかを測定するフレームワークを導入する。
構造化された読み出し: 憲法を、各条項を優先度マージンおよび集約されたモニター・スコアとして読み取ることができる、再利用可能な一連の活性化空間内の方向（ポテンシャル）へとコンパイルする。
実証的エビデンス: 本手法は、これらの優先度マージンが活性化空間においてアクセス可能であることを示し、3つのモデルスケール（Qwen2.5-3B, 7B, 14B）にわたる未知の合成的葛藤に対して、葛藤の違反をデコードし、汎化性能を示すことを実証している。

実験結果

検知性能: CVPマージンモニターは、すべてのモデルスケールおよびデータ分割において、一致するフル隠れ層線形プローブ（ロジスティック回帰）を大幅に上回る性能を示した。「未知の葛藤（held-out-conflict）」分割（訓練時に見られなかったエッジを使用するテスト葛藤）において、CVPモニターは0.84から0.95のAUROCを達成したが、ベースラインは0.70–0.84であった。この性能差は、これらの汎化レジームにおいて最大（最大+0.197 AUROC）となった。
早期検知: 違反シグナルは、プロンプトの末尾および最初の応答トークン（位置0）においてさえ現れる。AUROCは最初の20トークンにわたって高い水準（0.89–0.93）を維持している。これにより、安全でないコンテンツが完全に生成される前に、早期のルーティング決定が可能になる。
プライオリティ・ハックの検知: モニターは、「プライオリティ・ハック」（アドバーサリアルな圧力フレーム）が安全な応答を違反へと反転させる状況を正確に予測する。プロンプトのテキストや生成前の隠れ状態のみに依存するベースラインを上回り、AUROC 0.91–0.95で、単なるアドバーサリアルなプロンプトと効果的な攻撃を区別した。
ステアリング能力: 学習された価値の方向へのステアリングは、独立した判定者の価値選好スコアを意図した方向へとシフトさせる。すべてのスケールにおける選択された設定において、この介入は保護された価値へのスコアを、[-1, 1] スケール上で0.25から0.66増加させ、ランダムな直交制御を大幅に上回った。

意義と主張
本論文は、一部の憲法に関連する優先順位は、単に出力行動として創発されるだけでなく、活性化空間のマージンとしてアクセス可能であることを主張している。教師あり学習の根拠をモデル自身の生成応答に置くことで、この手法はプロンプトのフレーミングから内部的な仲裁プロセスを分離している。結果は以下を示唆している：

内部的な葛藤解決は、活性化空間において線形にアクセス可能であり、価値によって整理されている。
これらの内部状態は、生成の初期段階でモニタリングし、潜在的な違反をフラグ立てすることができる。
同じ内部方向を使用してモデルのトレードオフに因果的な影響を与えることができ、学習された方向が特定の介入設定下でステアリング可能であるという限定的な結論を支持している。

著者らは、その範囲について謙虚な姿勢を保っており、主張は合成的な葛藤および判定者によって定義されたラベルに限定されると述べている。彼らは、マージンが計算のすべてを捉えている、あるいは行動から独立していると主張しているのではなく、出力レベルの評価を補完する、葛藤時の仲裁の構造化され、条項ごとに分解可能な読み出しを提供するものであるとしている。