📊 statistics

The Information Geometry of Softmax: Probing and Steering

この論文は、AI の表現空間における自然な幾何学として情報幾何を導入し、線形プローブを用いて特定の概念を最適に操作しつつ他の概念への影響を最小化する「双方向制御（dual steering）」法を提案・検証することで、意味構造と幾何構造の関係を解明する。

原著者： Kiho Park, Todd Nief, Yo Joong Choe, Victor Veitch

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kiho Park, Todd Nief, Yo Joong Choe, Victor Veitch

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大で複雑な船（AIモデル）を特定の目的地（「he」から「she」への変更や、「犬」の画像を「猫」に変えるといった新しい概念）へと操縦しようとしていると想像してください。

長い間、研究者たちは、単に操舵輪を直線的に押すことでこの船を操縦しようとしてきました。彼らは、海が平坦で均一な、巨大な氷のシートのようなものだと想定していました。もし北に行きたいのであれば、ただ操舵輪を北へ押せばよいと考えていました。これが**ユークリッド的ステアリング（Euclidean steering）**と呼ばれるものです。

しかし、この論文は、AIモデルが航行している海は平坦な氷ではないと主張しています。それは、曲がった、凹凸のある風景であり、2つの点の「近さ」は、単に地図上でどれだけ離れているかではなく、その船の「振る舞い」がいかに似ているかに依存するのです。著者らはこれを**情報幾何学（Information Geometry）**と呼んでいます。

以下に、彼らの発見と新しい手法である**デュアル・ステアリング（Dual Steering）**の解説を、簡単な比喩を用いてまとめます。

1. 問題点：「平坦な地図」の罠

この論文は、現在のほとんどの手法が、AIの内部的な思考（表現）を、あたかも平坦で直線的な世界に存在するかのように扱っているという点から始まります。

比喩： 2つの色の絵の具を混ぜる場面を想像してください。もし赤と青を直線的に混ぜれば、紫になります。しかし、もしあなたが「確率」（例えば、雨が降る確率と晴れる確率）を混ぜているのであれば、数学的な仕組みは異なります。
問題： 研究者が何かを変えるために（例：「犬」から「猫」へ）、AIを直線的に押し進めると、他のあらゆる場所に絵の具が飛び散ってしまいます。直線的なプッシュがシステム全体のバランスを乱してしまうため、AIが突然「自転車」や「雲」について話し始めてしまうことがあるのです。これは「ターゲット外への漏れ（off-target leakage）」と呼ばれます。

2. 解決策：「曲がった地図」（情報幾何学）

著者らは、AIの「脳」が確率マシンとして機能していることに気づきました。AIが次にどの言葉を発するかを決定するとき、数値 way をパーセンテージ（確率）に変換するために、**ソフトマックス（Softmax）**と呼ばれる数学的ツールを使用します。

洞察： AIは確率を扱うため、その空間は曲がっています。この曲がった空間において、「最も直線的な」経路は直線ではなく、確率のルールに従った曲線となります。
比喩： 地球を考えてみてください。ニューヨークからロンドンへ飛ぶ最短経路は、地面を通る直線ではなく、表面に沿った曲線（大圏航路）です。もし地球を突き抜ける直線で飛ぼうとすれば、衝突してしまうでしょう。同様に、AIを「直線的な」経路で操縦しようとすると、その確率空間の曲がり具合に衝突し、予期せぬ概念に陥ってしまいます。

3. 新しい手法：「デュアル・ステアリング」

論文では、**デュアル・ステアリング（Dual Steering）**という、AIを操縦する新しい方法を紹介しています。AIを直線的に（ユークリッド的に）押すのではなく、確率空間の自然な曲線に沿って押し進める方法です。

仕組み：
- ユークリッド的ステアリング（旧来の方法）： 操舵輪を掴み、「猫」に向かって真っ直ぐ力任せに引きます。その際、ダッシュボードの上にある「犬」や「鳥」の置物を誤って倒してしまいます。
- デュアル・ステアリング（新しい方法）： 地形が曲がっていることを知っている特別な地図を使って航行します。これにより、「鳥」や「自転車」の置物に触れることなく、「犬」を「猫」へと変える経路を辿ります。
「デュアル（双対）」の概念： 論文では、AIのデータを2つの視点から説明しています。
1. 原始空間（Primal Space）： AIが見ている生の数値。
2. 双対空間（Dual Space）： AIが生み出す実際の確率（振る舞い）。
  著者らは、振る舞いをクリーンに変更するためには、この「双対空間（確率の世界）」でステアリングを行い、それを再び生の数値へと翻訳する必要があることを発見しました。

4. 彼らが証明したこと

著者らは、デュアル・ステアリングが「ゴルディロックス（ちょうど良い）」な手法であることを数学的に証明しました。

ターゲットとなる概念を正常に変更します（例：「犬」を「猫」に変える）。
被害を最小限に抑えます。 無関係なもの（「友達」や「自転車」など）の確率を、以前と全く同じ状態に保ちます。

5. 実世界のテスト

彼らは、実際のAIモデル（テキスト用のGemma-3や、画像用のMetaCLIPなど）を用いてテストを行いました。

テキストの例： 文章を「He is my...」から「She is my...」に変えるようAIに求めたとき、旧来の方法では、意図せずAIが「友人」や「叔父」といった話題を奇妙な形で話し始めてしまいました。新しい方法では、文章の構造や意味を損なうことなく、「He」を「She」へと完璧に変えることができました。
画像の例： 「猫」の画像を「犬」に変えるとき、旧来の方法では、時として「犬と猫のハイブリッド」や「自転車」が画像の中に混じってしまうことがありました。新しい方法では、背景や他のオブジェクトに一切手を加えることなく、猫を犬へと綺麗に入れ替えることができました。

まとめ

この論文は、AIモデルは平坦な地図の上に住んでいるのではなく、曲がった確率ベースの風景の中に住んでいると主張しています。もし直線的な経路で操縦しようとすれば、混乱を招きます。自然な曲線を尊重するデュアル・ステアリングを用いることで、他のあらゆるものを壊すことなく、AIの特定の考えをピンポイントで変えることができるのです。

注記： この論文は、モデルがどのように機能するかという幾何学的な側面、および線形プローブを用いた操縦方法に厳密に焦点を当てています。これは一般的なAIの安全性問題を解決すると主張するものではなく、臨床的または医療的な応用についても論じていません。これは純粋に、AIの「操舵輪」をより精密にし、意図しない副作用を減らすための研究です。

技術要約：Softmaxの情報幾何学：プロービングとステアリング

問題提起

AIモデルの解釈および操作に関する現在の多くのアプローチは、高次概念がモデルのベクトル表現空間における特定の方向に対応するという**線形表現仮説（linear representation hypothesis）**に依存している。この仮説は、概念（感情、真実性など）を特定し制御する手法（ステアリング）を可能にしてきたが、既存の手法はしばしば脆弱であり、直接的なファインチューニングよりも効果が低い。著者らが特定した主な限界は、表現空間が平坦なユークリッド幾何学を持つという暗黙の仮定である。本論文は、ソフトマックス分布（Transformer、LLM、CLIPのような対照学習モデルを含む）を利用するモデルにとって、表現空間の自然な幾何学はユークリッド幾何学ではなく、情報幾何学であると主張している。したがって、標準的なユークリッド演算（例えば、表現ベクトルにプローブベクトルを直接加算すること）は、意味構造を保持できなかったり、意図しない「オフターゲット」へのドリフト（無関係な概念へ確率質量が漏れ出す現象）を引き起こしたりする可能性がある。

手法

本論文は、表現ベクトル $\lambda$ が誘導する確率分布 $P_\lambda$ の近接性を反映すべきであるという考えを定式化している。

1. 情報幾何学的フレームワーク

著者らは、ソフトマックス分布間のカルバック・ライブラー（KL）ダイバージェンスによって誘導される幾何学が、ブレグマン（双対に平坦な）幾何学であることを確立している。この構造は、以下の二つの間の双対性を導入する：

原始空間 ( $\Lambda$ ): 表現ベクトル $\lambda$ の空間。
双対空間 ( $\Phi$ ): 期待値（平均埋め込み）の空間 $\phi(\lambda) = \nabla A(\lambda) = \mathbb{E}[\gamma | \lambda]$ 。ここで $A(\lambda)$ は対数正規化因子である。

本論文では、二つの自然な補間経路を区別している：

原始的補間 (e-geodesic): 原始空間における直線。これは逆KLダイバージェンスの加重和を最小化し、共有された高確率領域を強調するAND演算器として機能する。
双対的補間 (m-geodesic): 双対空間における直線。これは前方KLダイバージェンスの加重和を最小化し、両端の分布の線形混合物を作成するOR演算器として機能し、両方のエンドポイントの意味的特徴を同時に保持する。

2. 双対ステアリング (Dual Steering)

核となる手法上の貢献は、ターゲットとなる概念を示しながら、オフターゲットの概念への変化を最小限に抑えるように表現を修正する手法である双対ステアリングである。

ユークリッド的ステアリングの問題: 標準的なステアリングは、プローブベクトル $\beta_W$ （双対空間の要素）を原始表現 $\lambda$ に直接加算する。これは非ユークリッド幾何学における「型の不一致（type mismatch）」であり、しばにオフターゲットへのドリフトを引き起こす。
双対ステアリングの解決策: $\lambda$ を直接更新するのではなく、双対座標 $\phi(\lambda)$ に対してプローブベクトルを加算して更新を行う： $\phi(\lambda_t) = \phi(\lambda_0) + t\beta_W$ 。
理論的保証: 概念分解可能な分布（出力分布がターゲット概念の分布とオフターゲットの分布に分解できるという仮定）の下で、著者らは、Dual Steeringがターゲット概念を修正しつつ、オフターゲット分布のKLダイバージェンスを最小化する最小化因子を特定することを証明している。これにより、無関係なトークンの相対的な確率が効果的に保持される。

3. 実装

双対空間は有界凸集合であるため、双対座標における線形更新は実行可能領域を逸脱する可能性がある。これに対処するため、著者らは**正則化ニュートン更新（Regularized Newton Update）**を提案している：

対数正規化因子のヘッセ行列（アンエンベディング・ベクトルの共分散行列に対応）を用いて、双対座標の変化を近似する。
対応する原始空間でのステップを見つけるために、線形システム $\text{Cov}[\gamma | \lambda] \Delta \lambda = \epsilon \beta_W$ を解く。
共分散行列にティコノフ正則化（ $\alpha I$ ）を適用してランク不足（ソフトマックスが少数のトークンに高度に集中する場合に発生）に対処し、更新が定義可能であり、必要に応じて分布をより高いエントロピー領域へと押し上げるようにする。
巨大な共分散行列を明示的に反転させることなく、線形システムを効率的に解くために**共役勾配法（Conjugate Gradient）**を使用する。

主な結果

著者らは、Gemma-3-4B (LLM) および MetaClip-2 (Vision-Language) を用い、様々な二値概念（例：動詞 $\Rightarrow$ 三人称、dog $\Rightarrow$ cat、English $\Rightarrow$ French）についてDual Steeringを評価した。

オフターゲット概念の保持: 実験結果は、Dual Steeringがオフターゲット分布の保持において、ユークリッド的ステアリングを大幅に上回ることを示している。ユークリッド的ステアリングは、ターゲットを「father」 $\Rightarrow$ 「mother」へとステアリングする際に、「friend」のような無関係なトークンに有意な確率を割り当てるなどの「リーク（漏れ）」を引き起こしやすいが、Dual Steeringは反事実的なペアや中立的なトークンの確率質量を維持する。
堅牢性指標: Dual Steeringは、ターゲット概念の確率が1に近づく場合でも、オフターゲット分布に対してユークルド的手法よりも低いKLダイバージェンスと小さなランク差を達成する。
補間挙動: 可視化により、双対的補間（m-geodesic）は分布の線形混合として機能する一方で、原始的補間（e-geodesic）はエンドポイント固有の出力を抑制し、共有された特徴を優先することが確認された。

意義と主張

本論文は、内在的な情報幾何学の非ユークリッド構造が、幾何学的な操作をステアリングのような意味的なタスクに結びつける上で極めて重要であると主張している。

理論的洞察: 線形表現仮説は、堅牢であるためには（平坦なユークリッド幾何学ではなく）情報幾何学（特にブレグマン双対性）の文脈で理解されなければならないことを示している。
実用的有用性: Dual Steeringは、意図しない副作用を最小限に抑えながら表現を堅牢に操作するための、理論に基づいた手法を提供し、解釈可能性と制御手法の信頼性を向上させるためのテンプレートを提示している。
範囲: 結果はソフトマックスベースのモデルから導かれているが、著者らは、内在的な幾何学を利用するという高次のアイデアは広く適用可能であると考えている。彼らは、本研究が、モデルの中間層における制御手法の堅牢性に幾何学がいかに影響するかという将来の研究へのテンプレートとして機能することを明記している。

著者らは、「プロービングの仮定」（線形プローブがハイパープレーン全体にわたって概念を完全に捉えるという仮定）については、実際にはこの仮定が厳密には成立しない可能性があることを認めつつも、Dual Steeringが依然としてユークリッド的手法よりも経験的に優れていることを示し、謙虚な姿勢を保っている。