🤖 machine learning

Conditional Optimal Bridge for Riemannian Activation Steering

本論文は、残差ストリームのハイパースフィア上におけるシュレディンガー・ブリッジとして問題を定式化することで、既存のベースラインを凌駕しつつ分布外への性能劣化を回避する、原理に基づいたクエリ適応型のステアリング方向を導出する新しい活性化ステアリング手法である\textsc{Cobras}を導入する。

原著者： Seyed Arshan Dalili, Ajay Narayanan Sridhar, Vijaykrishnan Narayanan, Mehrdad Mahdavi

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Seyed Arshan Dalili, Ajay Narayanan Sridhar, Vijaykrishnan Narayanan, Mehrdad Mahdavi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたには、物語を書いたり、質問に答えたり、チャットをしたりできる、超スマートなロボットの脳（大規模言語モデル）があります。しかし、時々、この脳は不機嫌になったり、嘘をついたり、意地悪なことを言ったりすることがあります。これを直すために、科学者たちは通常、ロボット全体をゼロから再学習させるような「ファインチューニング」を試みます。これは非常に重労働で、時間がかかり、コストもかかります。

より軽量な新しいアイデアが「アクティベーション・ステアリング（活性化制御）」です。ロボットの脳を、巨大に光る地図だと考えてみてください。ロボットが思考するとき、その地図の上を小さな光る点（「アクティベーション」）が動き回ります。科学者たちは、もし特定の方向にその点を軽くつつけば、ロボットが突然、より役に立ち、誠実で、親切になることを発見しました。

古い「つつき方」の問題点
しばらくの間、研究者たちは「ワンサイズ・フィット・オール（万人向け）」のつつき方を使用してきました。彼らは地図上の単一の方向を計算し、どんな質問に対しても、あらゆる思考をその方向に押し込みました。

欠陥: これは、ハンドルを常に左に切ることで車を操縦しようとするようなものです。公園に行こうとしているならうまくいくかもしれませんが、食料品店に行こうとしているなら、あなたは衝突してしまうでしょう！
結果: この論文は、これらの古い手法が、ロボットが得意としていたことに対して、しばしば性能を低下させてしまうことを示しています。例えば、ロボットを「誠実」にしようとつつくと、数学の問題や一般知識の質問に対して、支離滅裂な回答を出し始めることがあります。なぜなら、その「つつき」は、投げかけられた特定の質問を考慮していないからです。

新しい解決策：Cobras
著者たちは、Cobras（Conditional Optimal Bridge for Riemannian Activation Steering）と呼ばれる新しい手法を紹介しています。固定された、あらかじめ設定された「つつき」ではなく、Cobrasはスマートで適応型のGPSのように機能します。

その仕組みを、楽しい比喩を使って説明しましょう：
ロボットの思考が、巨大で湾曲した球体（ビーチボールのようなもの）の上を歩く旅行者だと想像してください。

古い方法: あなたはすべての旅行者に、一つの矢印が描かれた地図を渡しました。「北へ歩け！」という指示です。もし旅行者がすでに北に向かって歩いているなら、それは素晴らしいことです。しかし、もし彼らが東に向かおうとしていた場合、その矢印は彼らを強制的に北へと向かわせ、彼らは道に迷ってしまいます。
Cobrasの方法: Cobrasは、旅行者が「今まさに」どこに立っているのかを見ます。そして、「良い行動」のゾーンへと向かうための、完璧に湾曲した経路を計算します。単に押すのではなく、導くのです。

秘伝のソース：シュレディンガー・ブリッジ
では、Cobrasはどうやって完璧な経路を知るのでしょうか？著者たちは、高度な数学的概念であるシュレディンガー・ブリッジを使用しました。

比喩: あなたには「良い」旅行者の雲と、「悪い」旅行者の雲があるとします。あなたは、最小限のエネルギーで「悪い」雲を「良い」雲へと移動させたいと考えています。
魔法: この最も効率的な経路を見つけることは、数学的に、ロボットを操縦する最善の方法を見つけることと同じであることを、論文は証明しています。これは大きな意味を持ちます。なぜなら、これまでのほとんどのステアリング手法は単なる推測（ヒューリスティック）であったのに対し、Cobrasは、人気の高い「対数密度比（log-density-ratio）」法（「良く、悪から遠ざかる」という高度な方法）が、実は堅固で厳密な数学的問題から導き出されていることを初めて示したからです。これは推測ではなく、一つの「解」なのです。

この論文が見出したこと（証明）
著者たちは、4つの異なるロボットの脳（Falcon-7B, Mistral-7B, LLaMA3.1-8B, Qwen2.5-7B）と、3つの異なる目標（役に立つこと、誠実であること、安全であること［脱毒］）についてCobrasをテストしました。

優れた結果: Cobrasは、一貫して他のすべての手法を上回る性能を示しました。例えば、「TruthfulQA」テストにおいて、Cobrasは、元のステアリングされていないモデルと比較して、Mistral-7Bの誠実さを29.5パーセントポイント、LLaMA3.1-8Bの誠実さを25.1パーセントポイント向上させました。
「クラッシュ」なし（OODパフォーマンス）: これが最も重要な部分です。彼らがロボットを、見たことがない質問（数学の問題や一般知識などの「分布外（Out-of-Distribution / OOD）」タスク）に対してテストしたとき、古い手法はしばしばロボットを失敗させました。しかし、Cobrasはロボットの賢さを維持しました。数学のスキルを壊すことなく、誠実さを向上させたのです。
「アブスティン（棄却）」ゲート: Cobrasにはセーフティスイッチがあります。もしロボットが、学習した内容とは大きく異なる質問（非常に特殊な、分布外のクエリなど）をされた場合、Cobrasは「よく分かりません、つつきません」と判断します。これにより、ロボットがデタラメを作り出すのを防ぎます。

この論文が否定していること
この論文は、固定された、クエリに依存しないステアリング・ベクトルが最善であるという考えに対して、明確に反論しています。固定されたベクトルは、訓練された特定の質問に対しては機能するかもしれませんが、未知の質問に対しては性能を低下させることを彼らは示しています。論文は、「すべてに対して一つの方向」というアプローチこそが、従来のメソッドが分布外（OOD）のタスクで失敗する理由であると示唆しています。

どの程度確かなのか？
著者たちは、これらの結果に対して非常に自信を持っていますが、言葉遣いには慎重です。

彼らは、4つのモデルと3つのタスクにわたって、これらの結果を測定しました。
彼らは、自分たちの手法が最適化問題（シュレディンガー・ブリッジ）の有効な解であることを数学的に証明しました。
彼らは、Cobrasが他の手法で見られる「分布外（OOD）による性能劣化」を回避することを実証しました。
彼らは、これがあらゆる可能な将来のシナリオに対する完璧に解決された問題であるとは主張していません。彼らは、限界についても述べています。例えば、この手法は計算コストが高いこと（経路を計算するのに時間がかかる）、およびロボットの思考が球体上に存在するという仮定に基づいていること（これはテストした層については正しいですが、すべてのロボットのすべての部分において正しいとは限りません）などです。

要約すると
Cobrasは、目隠しをした状態での突き飛ばしから、ガイド付きツアーへのアップグレードのようなものです。高度な数学を用いて、ロボットの脳を壊すことなく、より賢く、より安全にするための正確で湾曲した経路を計算します。これは、AIのアライメント（調整）を、単なる推測ではなく、計算可能で信頼できる科学へと進化させる一歩です。

技術要約: Cobras (Conditional Optimal Bridge for Riemannian Activation Steering)

問題提起

アクティベーション・ステアリング（Activation steering）は、大規模言語モデル（LLM）の推論時に特性を制御するための、ファインチューニングに代わる軽量な手法として台頭しています。これは、高次の特性が活性化空間における線形方向に対応するという「線形表現仮説」に基づいています。しかし、既存の手法には主に2つの限界があります：

ヒューリスティックな目的関数: ほとんどの手法は、対数密度比 ( $\nabla \log \frac{p_+}{p_-}$ ) の目的関数をヒューリスティックに最適化しており、適切に定義された最適化問題から原理的に導出されていません。
クエリ非依存性: 現在のステアリング信号は、通常、クエリに依存しません（固定されたベクトルや変換）。この硬直性は、分布外（OOD）入力に対して深刻な性能低下を招くことが多く、分布内のプロンプトに対して有益な方向が、OODクエリに対しては支離滅裂な出力や誤った出力を引き起こす原因となります。

手法: Cobras

著者らは、Cobras (Conditional Optimal Bridge for Riemannian Activation Steering) を提案します。これは、残差ストリームのハイパースフィア（超球面）上におけるシュレーディンガー・ブリッジ (Schrödinger Bridge; SB) 問題として、アクティベーション・ステアリングを再定義するものです。

1. リーマン幾何学の定式化

本手法は、トランスフォーマー層における残差ストリームの活性化がノルムの周囲に強く集中し、実質的にハイパースフィア $S = \{x \in \mathbb{R}^d : \|x\| = R\}$ 上に存在するという観察に基づいています。Cobrasは、以下の要素を用いて、このリーマン多様体内で完全に動作します：

接射影器 (Tangent Projectors): $\Pi_x = I - R^{-2}xx^\top$
測地線距離 (Geodesic Distance): $d_S(x, y) = R \arccos(R^{-2}x^\top y)$
指数写像および対数写像 (Exponential/Logarithm Maps): 多様体と接空間の間を移動するため。

2. シュレーディンガー・ブリッジの目的関数

単にベクトルを加算するのではなく、Cobrasは、望ましくない活性化の分布 ( $p_-$ ) を望ましい活性化の分布 ( $p_+$ ) へと、球面上での参照ブラウン運動からのカルバック・ライブラー（KL）ダイバージェンスによって定義される最小の「努力」で輸送する最適な確率過程を探索します。

最適化: この問題は、周辺分布 $P_0 = p_-$ および $P_T = p_+$ の下で $KL(P \| Q)$ を最小化するように構成されます。
解法: これは、Sinkhornアルゴリズムによって解くことが可能なエントロピー的最適輸送問題へと帰着し、双対ポテンシャル $\{\phi_j\}$ および $\{\psi_i\}$ を導き出します。

3. ステアリング方向の導出

この解は、確率微分方程式（SDE）を誘導します。このSDEに確率流ODE (Probability Flow ODE) を適用することで、著者らは以下の決定論的なドリフト項を導出します：
$v(x) \propto \nabla_S \log \frac{\hat{\psi}(x, t)}{\hat{\phi}(x, t)}$
ここで、 $\hat{\psi}$ と $\hat{\phi}$ は現在の活性化 $x$ で評価されたシュレーディンガー・ポテンシャルです。

原理的な導出: 論文では（Proposition 1）、輸送コストが消失する極限において、このドリフトが広く用いられているヒューリスティックな $\nabla_S \log \frac{p_+}{p_-}$ に収束することを証明しています。これにより、対数密度比の目的関数に対する、初の厳密な最適化に基づく導出が提供されました。
クエリ適応性: 決定的なのは、ポテンシャルが現在のクエリの活性化において評価されるため、結果として得られるステアリング方向が本質的にコンテキスト依存的であるという点です。

4. アルゴリズムの実装

Cobrasアルゴリズムは2つのフェーズで動作します：

オフライン: トレーニングサンプル ( $D_+, D_-$ ) をハイパースフィア上に投影し、Sinkhorn反復を通じてポテンシャルを計算するために静的なSB問題を解きます。
オンライン（推論）:
1. 非パラメトリック推定: カーネル密度推定（KDE）を用いて、任意のクエリポイントへポテンシャルを拡張します。
2. ODE積分: 球面上の測地線オイラーステップを用いて、確率流ODEを積分することでクエリの活性化をステアリングします。
3. ゲーティング機構:
  - 棄却ゲート (Abstain Gate): クエリのトレーニング分布への距離を、参照半径と比較します。クエリが遠い場合（OOD）、劣化を防ぐためにステアリングを減衰させます。
  - 強度ゲート (Strength Gate): クエリの平均的な対照方向との整合性に基づいてステアリングを調整し、すでに整合している入力への介入を減少させます。

主な貢献

原理的な導出: リーマン多様体上の適切に定義されたシュレーディンガー・ブリッジ最適化問題から、対数密度比のステアリング目的関数の初の導出を提供しました。
クエリ適応型ステアリング: ステアリング方向を特定のクエリに基づいて動的に計算する手法を導入し、「一律の方向」による失敗モードを回避しました。
実証的な優位性: 4つのモデル（Falcon-7B, Mistral-7B, LLaMA3.1-8B, Qwen2.5-7B）と3つのアライメント軸（Helpfulness, Truthfulness, Detoxification）において、一貫した優れた性能を示しました。

実験結果

著者らは、TruthfulQA (Truthfulness)、UltraFeedback (Helpfulness)、RealToxicityPrompts (Detoxification) に関して、およびOODベンチマーク (MMLU, GSM8K) においてCobrasを評価しました。

分布内性能: Cobrasは、すべてのモデルとタスクにおいて、一貫して最高の主要指標を達成しました。例えば、TruthfulQAにおいて、Mistral-7BではTrue×Infoスコアを+29.5ポイント、LLaMA3.1-8Bでは+25.1ポイント改善し、元のモデルを上回る性能を示しました。これは、ODESteer、CAA、SphericalSteerなどのベースラインをも凌駕しています。
OODの保持: 多くのベースラインが分布内の指標を向上させる代わりにOODの精度を犠牲にする（例：GSM8Kでの大幅な低下）中で、CobrasはOOD性能を未ステアリングのベースラインに近い、あるいはそれを上回るレベルで維持しました。これは、訓練サポートから遠い入力に対してステアリングを抑制する棄却ゲートによるものです。
多様性: Cobrasは、生成品質を低下させがちないくつかのベースライン（CAAやSphericalSteerなど）よりも、語彙の多様性（Dist-n指標）やパープレキシティを良好に保持しました。

意義と主張

本論文は、ヒューリスティックなアクティベーション・ステアリングと厳密な最適輸送理論の間の溝を埋めるものであると主張しています。その主な意義は以下の通りです：

理論的根拠: 一般的な対数密度比のヒューリスティックが、原理的なシュレーディンガー・ブリッジ定式化の極限ケースであることを確立しました。
堅牢性: 固定された方向によるステアリングに固有のOOD劣化問題を、介入を本質的にクエリ適応的にすることで解決しました。
汎用性: 様々なステアリング・パラダイム（CAA、ITI、Spherical Steeringを含む）を、単一の幾何学的最適化フレームワークの下に統合し、優れた実証的性能を提供しました。

著者らは、ペアごとの測地線距離とSinkhorn反復に伴う $O(N_+ \cdot N_-)$ の計算コストが、非常に大きな対照セットに対しては高価になる可能性があること、および固定された球面幾何学の仮定に依存していることを限界として挙げています。今後の課題として、階層的な輸送ソルバーや、より一般的なリーマン多様体の探索が示唆されています。