🤖 machine learning

Where Paths Split: Localized, Calibrated Control of Moral Reasoning in Large Language Models

本論文は、功利主義や義務論といった特定の倫理的枠組みへと大規模言語モデルを誘導しつつ、その汎用能力を維持することで、大規模言語モデルの道徳的推論に対する微細で解釈可能な制御を実現する、収束・発散ルーティングと二重ログit較正を組み合わせる手法を導入する。

原著者： Chenchen Yuan, Zheyu Zhang, Gjergji Kasneci

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chenchen Yuan, Zheyu Zhang, Gjergji Kasneci

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、大規模で賑やかな鉄道駅だと想像してみてください。この駅の中には、AI が次に何を言うかを決めるために情報を運ぶ何千もの列車（データ経路）が絶えず動き回っています。通常、これらの列車は複雑な方法で合流したり分岐したりし、AI の「道徳的コンパス」は、それがこれまで読んだあらゆる意見のぼんやりとした混ざり合いに過ぎません。

時には、AI に厳格な規則遵守者（義務論）のように行動させたいときがあり、他の時には「最大多数の最大幸福」を計算する者（功利主義）のように行動させたいときがあります。問題は、AI の考えを変えるための現在の手法は、拡声器で指示を叫んだり、巨大で鈍いレバーで駅全体を操ろうとしたりするようなものだということです。それは不正確で、他の機能を壊すことが多く、AI がどの程度指示に従っているかを正確に知ることはできません。

この論文は、AI の道徳的推論を操る新しい外科的な手法として、収束・発散経路制御（Convergent-Divergent Routing: CDR） を紹介します。その仕組みを簡単なステップに分解して以下に示します。

1. 「切り替えポイント」（分岐点）の発見

研究者たちは、AI の脳内には、「規則遵守者」の線路と「計算機」の線路がしばらく並走した後、分かれる特定の場所があることを発見しました。

比喩: ニューヨーク行きの車とボストン行きの車が、しばらく同じ車線を共有するハイウェイを想像してください。その後、道路が分かれる特定の出口ランプに到達します。
革新性: ハイウェイ全体を操ろうとするのではなく、研究者たちは AI の層内のこれらの正確な分岐点を見つけ出しました。これらを「分岐点」と呼びます。

2. 「門番」戦略（二値制御）

分岐点を見つけると、彼らは単純なゲートを設置しました。

比喩: AI を「規則遵守者」にしたい場合、分岐点で「計算機」への道へのゲートを閉じます。「規則遵守者」の列車は進み続けますが、「計算機」の列車は、その特定の区間の線路に入ることをブロックされます。
結果: これだけで驚くほど効果的でした。不要な経路をブロックするだけで、モデル全体を再学習させることなく、AI は自然と望ましい道徳的枠組みのように思考し始めました。

3. 「微調整ダイヤル」（二重ロジット較正）

道路をブロックすることは、単純な「はい/いいえ」の選択には優れていますが、AI を 70% の規則遵守者と 30% の計算機にしたい場合はどうでしょうか？

比喩: AI の思考を、2 色の絵の具（青：規則、黄：結果）の混合だと想像してください。
- 従来の手法は、巨大なバケツの青い絵の具を追加しようとし、それがしばしば全体を泥臭く予測不可能な色にしていました。
- この論文では、精密な混合ダイヤルを使用します。彼らは AI の脳内の 2 つの特定の「方向」（2 つの明確なノブのようなもの）を特定し、これらが青と黄の量を制御していることを突き止めました。
- 彼らは二重ロジット較正（Dual Logit Calibration） という数式を用いて、これらのノブを必要な分だけ回し、最終的な色がユーザーの要求（例：70% 青、30% 黄）と正確に一致するようにします。

4. なぜこれが優れているのか

精度: 金槌ではなくメスを使うようなものです。道徳的判断が行われている特定の配線のみを操作し、AI の脳（数学、詩、雑学への回答能力など）の残りの部分は完全に手つかずのままです。
予測可能性: 古い手法では、「ダイヤル」を回すと AI が狂ったり動作を停止したりする可能性があります。この手法では、50% のスタイルを求めれば、正確に 50% が得られます。信頼性が高く、較正された制御です。
再学習不要: AI に新しいことを教える必要はありません。AI が稼働している間に、内部のギアを微調整するだけです。

結論

研究者たちは、この手法を実際の道徳的ジレンマ（有名な「トロッコ問題」や日常的な倫理的選択など）でテストしました。その結果、この手法は AI に厳格な規則ベースの視点から、あるいは結果ベースの視点から論じさせ、さらにユーザーが望む任意の比率でそれらを混合させることが可能であることがわかりました。重要なのは、AI が他のタスクを行う能力を失ったわけではなく、命令に応じて道徳的「ペルソナ」を切り替える達人になったということです。

要約すると、彼らは道徳的哲学が分岐する AI の脳内の正確なスイッチを見つけ出し、他のものを壊すことなく、特定の倫理的視点へと AI を導く精密なリモートコントロールを構築しました。

技術概要：分岐点：大規模言語モデルにおける道徳的推論の局所化・較正制御

問題定義

大規模言語モデル（LLM）が、受動的なチャットボットから能動的なエージェントや社会シミュレーターへと移行するにつれ、その倫理的行動を制御する需要は進化してきた。プロンプトエンジニアリングやスカラー制御ベクトルの追加など、既存のモデル行動の誘導法は、解釈性と較正保証の欠如に悩まされることが多い。具体的には、制御係数の有効範囲が不明確であり、結果として生じる特定の倫理的視点への準拠度は予測不可能である。著者らは、効果的な道徳的誘導には、ネットワーク内で倫理的枠組みが競合する箇所のみを編集する「局所化（localized）」された介入と、有界な選好重みを通じて予測可能な効果を生み出す「較正（calibrated）」された介入の両方が必要であると主張する。本論文は、道徳的ジレンマにおいてしばしば矛盾する処方を生み出す、規範的な倫理的枠組みのペア、すなわち「義務論（deontology：規則に基づく義務）」と「功利主義（utilitarianism：結果に基づく帰結）」に焦点を当てる。

手法

提案された手法「収束・発散ルーティング（Convergent-Divergent Routing: CDR）」は、モデルの微調整なしに推論時に動作する。これは主に 2 つの段階から構成される。

1. 収束・発散ルーティング（CDR）と二値制御

核心的な仮説は、倫理的枠組みが、経路が収束しその後発散するトランスフォーマーブロック内の特定の「分岐点」において競合するというものである。

分岐点の特定: この手法は、アテンションヘッドが倫理的枠組み間で共有される（収束する）が、その後のフィードフォワードネットワーク（FFN）ユニットが分岐するレイヤーを特定する。
- アテンションヘッド: 倫理的枠組みのラベルを予測するために、アテンションヘッドの表現上で線形プローブを訓練する。高い予測性能を持つヘッドを関連するものとしてマークする。
- FFN ベクトル: 著者らは、「義務論」などの指標語から導出された特定の倫理的方向と整合する FFN ベクトル（アップ射影行列の列）を特定する。
ゲーティング機構: 特定された分岐点において、この手法は共有アテンションヘッドから非対象 FFN ユニットへのフローをゲーティング（ブロック）する。これにより、共有ヘッドからの信号が非活性な倫理的枠組みの下流ユニットへ伝播するのを防ぎつつ、上流の計算はそのまま維持する。
二値制御: このゲーティング単独が二値スイッチとして機能し、明示的なプロンプトなしに対象となる枠組みにおける推論を大幅に強化し、モデルの出力を実質的に偏極させる。

2. 双対ログイト較正による微細制御

二値スイッチだけでなく、連続的かつ較正された制御を実現するために、著者は 2 段階のプロセスを導入する。

ペア方向の抽出: 二値制御下（一方の枠組みが抑制された状態）で得られた残差ストリームを用い、脳波（EEG）信号処理から適応された「共通空間パターン（Common Spatial Patterns: CSP）」を適用する。CSP は、2 つのクラス間の分散比を最大化しつつ共有分散を抑制することで、各分岐点レイヤーに対する判別方向（功利主義用 $u^{(l)}$ と義務論用 $d^{(l)}$ ）を分離する。
双対ログイト較正（DLC）: これは、デコーディングステップにおいて残差ストリームに適用される、閉形式の最小 $\ell_2$ $ℓ_{2}$ ノルム更新である。
- この手法は、残差ストリームを抽出された方向に射影することに基づいて方向的なログイトを定義する。
- 編集のノルムを最小化しつつ、結果としての方向的射影がユーザー指定の選好重み $(\alpha_U, \alpha_D)$ （ただし $\alpha_U + \alpha_D = 1$ ）と整合するように、更新 $\Delta h^{(l)}_t$ を求める最適化問題を解く。
- これにより、従来の誘導法で使用されていた無界のスカラー係数が、1-単体（1-simplex）上の有界な選好重みに置き換えられ、解釈性と予測可能性が保証される。

主要な貢献

局所化された介入: 本論文は、グローバルなベクトル追加ではなく、特定の「分岐点」（共有アテンションヘッドが異なる FFN ユニットへ発散する箇所）を標的とする道徳的誘導の機械論的アプローチを導入する。
較正された制御: CSP を適応し、双対ログイト較正を導入することで、モデルの倫理的傾向をユーザー指定の重み $(\alpha_U, \alpha_D)$ に一致させるよう連続的に調整できる微細な制御を可能にする。
解釈可能性: このアプローチは、倫理的推論がどのように操作されるかについて明確なメカニズムを提供し、枠組み間の競合を特定のアーキテクチャ構成要素にまで追跡可能にする。
汎用能力の保持: 編集の局所化された性質により、一般的な言語能力（雑学、数学、翻訳など）は、性能を低下させる一部のグローバルな誘導法とは異なり、大幅に保持される。

実験結果

この手法は、LLaMA-2-7B-Chat、Vicuna-7B-v1.5、Yi-1.5-6B-Chat を用いて、現実の道徳的ジレンマ（AITA データセット）で評価された。

二値制御: この手法は、モデルの行動を目標の枠組みへ成功裡に偏極させた。例えば、LLaMA において $\alpha_U=1$ （純粋な功利主義）に設定すると、功利主義的な出力率はベースラインの約 62% から約 84% に増加し、 $\alpha_U=0$ では約 20% まで低下した。
微細な較正: この手法は、入力選好重み $\alpha_U$ と観測された功利主義的傾向（ $U_{op}$ ）との間にほぼ単調な関係を示した。目標レートと観測レートの間の平均絶対誤差（MAE）は、ベースライン（プロンプトのみ、トップ-K ヘッド誘導、最良レイヤー後 FFN 比率誘導）よりも著しく低く、偏差は通常 5 パーセントポイント以内であった。
アブレーション研究:
- CSP を他の方向抽出手法（cPCA、PLS-DA）に置き換えると、較正誤差が増大した。
- ゲーティング機構（ブロッキング）を除去すると、モデルが高選好重みと低選好重みを区別する能力が大幅に低下し、特に Vicuna において顕著であった。
- 単一のレイヤーでの誘導（完全な分岐点論理なし）は、完全な CDR パイプラインよりも効果的ではなかった。
汎用能力: GSM8K、TriviaQA、翻訳タスクでの評価により、ほとんどの設定において汎用能力の低下は無視できるレベルであった。特定のモデルにおいて極端な選好重みの場合にのみ、わずかな低下が見られた。
人間評価: 人間の注釈者は、モデルの正当化が常に提示された倫理的枠組みと一致していることを確認した（LLaMA で 0.81、Vicuna で 0.85 の精度）。

意義と主張

著者らは、この研究が推論時に LLM を特定の倫理的枠組みへ誘導するための「信頼性が高く、解釈可能で、較正されたメカニズム」を提供すると主張する。その意義は以下の点にある。

「ブラックボックス」的な制御ベクトルを超え、トランスフォーマーにおいて倫理的推論が「どこで」「どのように」処理されるかという「機械論的理解」へと移行すること。
以前の研究におけるスカラー係数の不確実性に対処し、倫理的整合の度が予測可能かつ有界である「較正された制御」スキームを提供すること。
「局所化された編集」がモデルの一般的な知能を広く撹乱することなく、高レベルの推論スタンスを転換できることを実証すること。

本論文は、現在の焦点が義務論対功利主義の二値軸にあるものの、収束・発散ルーティングの枠組みは、より多元的な価値体系や複雑な道徳的スペクトルを探求する将来の作業への道筋を提供すると結論付けている。著者らは、責任ある使用と透明性の重要性を強調し、倫理的スタンスを誘導する能力が、高リスクな応用において選択的な枠組み付け（selective framing）のリスクを伴うことに言及している。