🤖 machine learning

Recoverable but Not Stationary:Local Linear Structures in Weights and Activations

本論文は、ニューラルネットワークの重みや活性化における線形構造は、グローバルで静的なタスク方向ではないものの、LoRA、ランダム探索、および活性化ステアリングのような手法による効果的な制御を可能にするほど、急速に進化しながらも十分に持続する強力な局所的低ランク幾何学を示すものである。

原著者： Irina Piontkovskaia, Sergey Nikolenko

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Irina Piontkovskaia, Sergey Nikolenko

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で、信じられないほど複雑な図書館（訓練されたAIモデル）を想像してみてください。その図書館は、ジョークを言い、数学の問題を解き、詩を書く方法を知っています。長い間、研究者たちは、もしこの図書館に新しい技を教えたり、悪い癖を直したりしたいなら、図書館の中にある「特定の通路」を見つけて、そこを歩けばよいと考えてきました。彼らは、この通路はいつ訪れても同じ目的地へと続く、固定された永久的な道であると考えていたのです。

しかし、この論文はこう言っています。「必ずしもそうではありません。」

以下に、著者が発見した内容を、シンプルな比喩を用いて解説します。

1. 「動く標的」問題

かつての考えでは、あらゆるタスク（例：「ジョークを書く」）は、静的な地図上に存在していました。もし忘れてしまったスキルを取り戻したいなら、その特定の地図を見つけ、直線的に進めばよいと考えられていました。

著者は、地図は静止しているのではなく、**漂っている（ドリフトしている）**ことを発見しました。

比喩： 友人の家に向かって歩いているところを想像してください。歩き始めると、自分がいる通りは実は横方向に動いているコンベアベルトの上です。もし、歩き始めた瞬間の「家のあった場所」に基づいて直進しようとしても、目的地を外れてしまいます。
発見： 忘れたタスクを修正するための「方向」は、固定された一本の線ではありません。それは、短く、動き続ける経路なのです。スキルを回復する最善の方法は、静的な方向を予測することではなく、回復の旅における「最初の数ステップ」そのものを辿ることです。

2. 「干し草の山の中の針」という神話

数十億ものパラメータを持つ巨大なAIにおいて、有用な変化を見つけ出すことは、山の大きさほどもある「干し草の山の中から一本の針を探す」ようなものだという説がありました。ランダムに推測しても、まず成功しないだろうと思われます。

著者たちはこう言います。「ルールさえ守れば、ランダムな推測は驚くほどうまく機能する。」

比喩： 巨大な壁に向かってダーツを投げているところを想像してください。あなたは、目に見えない小さな的（ブルズアイ）を射抜こうとしています。
- ダーツを1本だけ投げても、おそらく外れます。
- しかし、1,000本のダーツを投げ、その中で最も中心に近かったものだけを選べば、ほぼ確実に的を射抜くことができます。
- ただし注意点があります： ダーツは優しく投げなければなりません。もし強く投げすぎると（変化が大きすぎると）、壁の曲率に当たってあらぬ方向へ跳ね返ってしまいます。逆に弱すぎると、全く動きません。ランダムな推測が毎回正しい道を見つけ出せるのは、数学がうまく機能する「ゴールドロック・ゾーン（適温領域）」と呼ばれる、力の強さの絶妙な範囲内にある時だけです。
発見： 地図を知る必要はありません。小さなランダムな変化を加え、その中で最善のものを選べば、モデルを一から再学習させることなく改善することができます。

3. 「影」のつながり

この論文は、通常は無関係に見える2つのこと、すなわち**「脳を変えること（重み）」と「思考を変えること（活性化）」**を結びつけています。

比喩： AIの「脳」が、歯車（重み）を持つ機械だと想像してください。あなたが歯車を微調整すると、その歯車は壁に「影（活性化）」を落とします。
発見： 著者は、問題を解決するために歯車を適切に調整すると、その調整が落とす影が、研究者が通常手動で設計する「ステアリング・ベクトル（操舵ベクトル）」とほぼ同じ形になることを発見しました。
結果： あなたは歯車を微調整することで機械を修理でき、その微調整は自動的に思考のための「ハンドル（操舵輪）」を生み出します。ハンドルを別途作る必要はありません。歯車の調整が、あなたの代わりにハンドルを作ってくれるのです。

4. AIの「編集」にとっての意味

この論文は、AIの振る舞いが固定された一つの場所にピン留めされているという考えに異議を唱えています。

古い見方： 「タスクAは部屋1にある。タスクBは部屋2にある。これらは別々である。」
新しい見方： 「タスクAとタスクBはダンスのようなものである。音楽が流れるにつれて、ステップは変化していく。間違いを直すには、曲の始まりに戻るのではなく、次の数ステップのリズムに従う必要がある。」

「ルール」のまとめ

論文は、AIを微調整しようとするすべての人に向けて、3つの主要な教訓を提示しています。

固定された地図を探さない： 問題を解決するための方向は、解決が進むにつれて動いていきます。静的な計画ではなく、目の前の経路に従ってください。
ランダム探索は（慎重に行えば）機能する： 数学が機能する「線形」な領域内に収まるよう、変化を十分に小さく保つ限り、小さなランダムな微調整を試みることで、優れた変化を見つけることができます。
歯車と影は一致する： もし内部の歯車を修正すれば、外部の思考は自然とその修正に沿ったものになります。

この論文が主張して「いない」こと：

これは標準的な学習法（勾配降下法）に代わる完璧な置き換えであるとは言っていません。
すべてのタスクやすべてのモデルサイズに対して完璧に機能すると主張しているわけでもありません（特に小さなモデルや特定の「アダプター」において最も効果を発揮します）。
モデルを一から訓練するための新しい手法を提示するものではなく、むしろ訓練された後のモデルを理解し、微調整するための方法を提示しています。

要するに、AIの振る舞いは固定されたランドマーク（目印）ではなく、動く潮流です。それを航海するには、地図ではなく、流れに従う必要があります。

技術要約：回復可能だが非定常：重みと活性化における局所線形構造

1. 問題提起

タスクベクトル、LoRA、活性化ステアリング、および重みの周囲でのランダム探索といった、学習済みモデルの編集や適応に関する近年のアプローチは、共通の幾何学的仮定に基づいている。すなわち、学習された振る舞いは、重み空間または活性化空間における固定された低次元の線形方向に対応しているという仮定である。主流の仮説では、チェックポイントを通じて「タスク平面」が静的な部分空間として存在し、この平面に沿って移動することで、再学習なしにタスク固有の振る舞いの追加や削除が可能になるとされている。

しかし、これらの線形構造が真にグローバルかつ静的なものなのか、あるいは局所的で進化するものなのかは依然として不明である。さらに、高次元空間（例： $10^9$ パラメータ）におけるランダム探索の有効性は直感に反する。もし有用な方向が広大な干し草の山の中に隠れた希少な針のような存在であるならば、理論的にはランダムサンプリングは失敗するはずである。本論文は、これら線形構造の真の性質、すなわちその次元性、定常性、および重みの摂動と活性化ステアリングの関係を調査する。

2. 手法

著者らは、候補となる部分空間を測定するための基準となるグラウンドトゥルース（正解）の適応ベクトル（ $\Delta_{GD}$ ）を生成するために、「忘却後の回復（recovery after forgetting）」実験ループを採用している。このループは以下の3つのフェーズで構成される：

マルチタスク学習： 混合タスクを用いてモデルを訓練し、チェックポイント $\theta_{mt}$ に到達する。
忘却： 単一のタスクに対して継続的に学習を行い、他のタスクの性能が低下するまで進め、 $\theta_{forg}$ に到達する。
回復： 元の混合タスクに対して短期間再学習を行い、失われたタスクを回復させ、 $\theta_{rec}$ に到達する。

変位 $\Delta_{GD} = \theta_{rec} - \theta_{forg}$ がターゲットとなる適応を表す。著者らは、候補となる部分空間がどれだけ $\Delta_{GD}$ を捉えているかを測定し、それらの部分空間内でのランダム探索を行うことで、候補部分空間を評価する。

実験スケール

合成トランスフォーマー： 制御された4層128次元の因果的（causal）Transformerを用い、数字シーケンス・タスク（コピー、リバース、ソート、mod-add）で訓練。
LoRAアダプター： DistilGPT-2およびGPT-2のバックボーンに対し、ランク不足のアダプターを用いてファインチューニング。
大規模言語モデル (LLMs)： Qwen2.5 (0.5B, 3B, 7B) および OLMo-7B を用いた実験。

理論的枠組み

本論文は、ランダム探索の有効性と部分空間選択を説明するための理論的枠組みを構築している：

Best-of-N 定理： 局所線形領域においては、等方的なガウス型ランダム探索が、周囲の次元 $D$ に依存しない分散で有用な信号を捉えることを証明している。期待される利得は $\sqrt{\log N}$ （ $N$ は探索予算）に比例するが、 $D$ には依存しない。
信号密度 vs 質量： 固定されたステップサイズにおいて、適切に整列した小さな部分空間は、ターゲット方向を単に含んでいるだけの大きな部分空間よりも高い探索信号を生むことを命題として示している。これは信号密度の希釈（ $\|P_U a\|/\sqrt{r}$ ）によるものである。
Krylov 回復： 回復変位は、固定された方向ではなく、ヘッセ行列と初期勾配によって生成されるKrylov部分空間内に存在することを示す補題。これは、関連する部分空間が軌跡が展開するにつれて進化することを意味する。
押し出し恒等式 (Pushforward Identity)： 重みの摂動（ $\delta\theta$ ）と活性化のシフト（ $\Delta h$ ）の間の理論的な繋がりを、ヤコビアン $D_\theta h$ を通じて確立しており、有用な重みの移動がステアリングベクトルとして機能する「活性化空間における影」を持つことを示唆している。

3. 主な貢献と結果

A. 線形構造は局所的かつ移動しており、静的ではない

中心的な知見は、「タスク平面」仮説が誤りであることである。

静的な平面の失敗： 忘却されたチェックポイント（局所タスク平面）または忘却前（干渉前平面）で測定された部分空間は、回復変位をわずかな割合しか捉えられない（例：LoRA実験において、それぞれ約15%および2%未満）。
軌跡の整列： 回復方向は、軌跡の接頭辞（trajectory prefix）、すなわち回復パスの最初の数ステップによって形成される基底によって最もよく捉えられる。LoRA実験では、最初の10ステップの回復が全変位 $\Delta_{GD}$ の約77%を捉え、最初の20ステップでは約90%を捉えた。
ドリフト： 局所的なタスク部分空間の向きは、回復中に大きくドリフトする（主角の重なりは100ステップで1.0から約0.12–0.17へと低下する）。これは、関連する幾何学が固定された平面ではなく、動的な束（bundle）であることを裏付けている。

B. ランダム探索の有効性と次元の独立性

本論文は、なぜ高次元においてランダム探索が機能するのかについて理論的な正当性を与えている：

次元の独立性： 有用な方向への等方的なガウス型摂動の投影は、全パラメータ数に依存しない分散を持つ。
スケールの窓： ランダム探索は、損失関数が局所的に線形である特定の摂動スケール内でのみ効果的である（例：Qwen2.5-0.5Bにおいて $\sigma \approx 10^{-4}$ ）。この範囲を超えると、曲率が支配的となり、ランダムな移動は破壊的になる。
探索の質： 軌跡接頭辞の部分空間内で行われたランダム探索は、静的なタスク平面や等方的な空間内での探索を大幅に上回る。これは、「信号の密度」が部分空間の「質量」よりも重要であるという理論的予測を裏付けている。

C. 重みの摂動と活性化ステアリングの接続

著者らは、重みの編集と活性化ステアリングの間の繋がりを検証している：

勾配ステップとしてのステアリングベクトル： Qwen2.5-0.5Bにおける単一の勾配ステップは、その活性化空間への押し出し（pushforward）が、デコーダーの後期レイヤー（19–20）において対照的活性化加算（CAA）ステアリングベクトルと高い余弦類似性（ $\approx 0.58$ ）を持つ重み摂動を生み出す。
再利用性： この勾配誘発型の活性化シフトをクリーンなモデルに注入すると、ラベル付きの対照ペアから導出されたステアリングベクトルと同等の精度向上（BoolQで最大+10ポイント）が得られる。
ランダム探索の架け橋： 選択されたランダムな重み摂動（Best-of-N）もまた、ステアリングベクトルに変換可能であり、性能を向上させることができる。ただし、その効果はよりノイジーでタスク依存性が高い。

D. 大規模における低ランク幾何学

合成/LoRA： タスク勾配において明確な低ランク構造（実効ランク2–8）が観察される。
LLM： 億単位のパラメータスケールにおいて、低ランクの主張は部分的にしか確認されていない。一部の設定（例：Qwen-3B MLP）ではノイズと区別可能なランクを示しているが、他の設定（例：Qwen-7B）では実効ランクがサンプリングノイズと区別できないレベルであり、このスケールにおける単純なランク推定の難しさを示唆している。

4. 意義と主張

本論文は、訓練されたネットワークにおける適応に関する修正された幾何学的理解を提示している：

静的なタスクベクトルの否定： 関連する線形構造は、グローバルで固定されたタスク方向ではなく、進化する局所的な幾何学（Krylov的な軌跡の束）であり、パラメータ空間と活性化空間の両方に部分的に持続するものである。
手法の統一： 本研究は、勾配更新、ランダムパラメータ探索、および活性化ステアリングを、単一の微分幾何学的観点から統一する。成功するパラメータ摂動は、再利用可能な活性化方向を誘発し、ランダム探索が機能するのは、それがこれらの局所線形領域を効率的にサンプリングするためであると断じている。
実用的な示唆：
- マルチタスク学習： 逐次的な特化（specialization）は、局所タスク平面がドリフトするため脆弱である。同時並行的なスケジュールの方が堅牢である。
- 探索戦略： 有用な方向を見つけるには、静的なタスク部分空間ではなく、適応パスの初期の軌跡内を探索すべきである。
- ステアリング： 活性化ステアリングベクトルは重みの摂動（単一の勾配ステップであっても）から導出可能であり、重み空間の編集と活性化空間の制御の間の溝を埋めるものである。

著者らは謙虚な姿勢を崩しておらず、制御された設定においてランダム探索が特定のターゲットタスクに対して勾配降下法を上回ることはあるものの、それは不安定であり、勾配降下法の代替にはならないと述べている。結果は、局所線形構造に関するより深い分析のための出発点として提示されており、エビデンスのスケール（合成モデルや小規模なLoRAモデルで最も強力であること）や、数十億パラメータモデルにおける低ランク発見の限定的な性質といった限界についても言及されている。