📊 statistics

The Geometry of Updates: Fisher Alignment at Vocabulary Scale

本論文は、共通の語彙を持つLLMファミリーに対してスケーラブルなソース選択とタスク類似性の診断を可能にするために、カーネル平均埋め込みを通じてヘッド・フィッシャー整列（head Fisher alignment）を推定する、学習不要かつストリーミング効率の高い手法であるFisherSketchを導入するものであり、表現のみに基づく指標の限界やフル・フィッシャー行列の計算コストという課題を克服するものである。

原著者： John Sweeney

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： John Sweeney

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で高度に訓練された言語モデル（多くの言語を話せる超スマートなロボットのようなもの）を想像してみてください。次に、そのロボットに化学式（SMILES）を書いたり、タンパク質構造を理解したりといった、新しい特定のスキルを教えたいとします。

大きな疑問は、**「その新しいスキルを教えるために、既存のどのデータセットを使用すべきか？」**ということです。

通常、人々はロボットがデータを見たときにどのように「考えているか」（その内部の活性化状態）を見ることで、この問いに答えようとします。彼らは、「ロボットは化学式をタンパク質配列と同じように捉えているか？」と問いかけます。もし答えが「イエス」であれば、ロボットはその新しいタスクを容易に学習できると仮定します。

問題点：「学習の暗黒空間」
本論文は、ロボットの「考え方」だけを見ていることは、壁を触って暗い部屋をナビゲートしようとしているようなものだと主張しています。二つの異なる部屋で同じ壁を感じたとしても、それは家具（ゴール）が同じ場所にあることを意味しません。

著者らはこれを**「アクティベーション・ダーク（Activation-Dark）」**体制と呼んでいます。二つのタスクがロボットの内部センサー（活性化）には同一に見えたとしても、それらを解決しようとする際に発生する「エラー」は、全く逆の方向を指している可能性があります。もし間違ったデータでロボットを訓練すれば、たとえ「感じ方」が同じであっても、解決策を誤った方向へと押し進めてしまう学習をしてしまうかもしれません。

解決策：FisherSketch（更新のための「望遠鏡」）
著者らは、新しいツールであるFisherSketchを紹介しています。単にロボットが何を見ているかを見るのではなく、ロボットが問題を解決するために自分自身をどのように変えようとしているかを見るのです。

以下に、比喩を用いて核心となるアイデアを分解して説明します。

1. 「更新（Update）」こそが真実の物語である

ロボットがテストを受けている学生だと想像してください。

表現の類似性（従来の方法）： あなたは、学生が問題文を読んでいる時の「顔」を見ます。もし彼らが数学と歴史の両方で集中して真剣な表情をしていれば、あなたは彼らが両方とも得意だろうと推測します。
フィッシャー整列（新しい方法）： あなたは、学生が解答用紙に書き込む**「修正」**を見ます。
- 数学の場合、彼らは「もっと数字を足す必要がある」と気づきます。
- 歴史の場合、彼らは「もっと日付を書く必要がある」と気づきます。
- たとえ読んでいる最中の「顔」が同じに見えたとしても、彼らの「間違いを直すための計画」は全く異なります。

論文では、単に「顔（活性化）」を見るだけでは、「修正（更新）」を予測できないことが証明されています。二つのタスクは、見た目は同じでも、要求される変化は正反対になり得るのです。

2. 「語彙スケール」の挑戦

ロボットは膨大な語彙（128,000語以上）を持っています。すべての単語に対して「修正計画」を計算しようとすると、通常は地球上に存在する以上のメモリ（1タスクあたり61ギガバイト！）を必要とします。これは、数千もの異なるタスクに対して行うことは不可能です。

FisherSketchは、いわば**「魔法の圧縮テクニック」**です。

61GBもの膨大な修正計画を書き出す代わりに、それは小さな写真ほどのサイズである**16KBの「シグネチャ（署名）」**を作成します。
これは、データの「ストリーミング・パス」を一度通るだけで、巧みな数学的トリック（ランダム投影）を用いて、すべての内容を書き出すことなく、修正の方向性を推定することで実現されます。
これにより、以下の3つの要素を捉えます：
1. 活性化（Activations）： ロボットが見ているもの。
2. エラー（Errors）： ロボットがどこで間違っているか。
3. 結合（Coupling）： 「見ること」と「間違えること」がどのように相互作用しているか。

3. 「バーバライザー・シフト（Verbalizer Shift）」実験

彼らの主張を証明するために、著者らは「バーバライザー・シフト」と呼ばれる特定のテストを実施しました。

彼らはロボットに固定のプロンプトを与えました：「答えは……（The answer is...）」
そして、最後の単語（バーバライザー）だけを変更しました（例：「Yes/No」を「True/False」に変えるなど）。
結果： プロンプトが同一であるため、ロボットの内部的な「考え方（活性化）」は全く同じままでした。従来の手法によれば、「これらのタスクは100%同一である！」ということになります。
現実： しかし、最後の単語によって、ロボットの学習能力は劇的に変化しました。
FisherSketchは、この変化を正しく予測できました。なぜなら、これは「考え方」ではなく、**「エラーの幾何学（特定の単語がどのようにロボットの間違いを変えるか）」**を見ていたからです。従来の手法はこの点に対して盲目でした。

主な主張のまとめ

従来の手法は失敗する： CKA（内部の「思考」を比較するもの）のような指標は、たとえ「思考」が同じであっても「エラー」が異なる場合、ロボットが新しいタスクをうまく学習できるかどうかを予測できません。
新しい手法は機能する： FisherSketchは、データストリームから直接「フィッシャー整列（更新計画の類似性）」を推定します。
効率性： 膨大なデータを小さな16KBのシグネチャに圧縮するため、数千のタスクを瞬時に比較することが可能です。
正確性： Llama-3.1-8Bを用いたテストにおいて、FisherSketchは、活性化のみを見る手法よりも、ファインチューニングのための適切なソースデータを選択することにおいて遥かに優れていました。特に、「思考」は変わらないが「学習のゴール」が変わってしまうようなトリッキーなケースにおいて顕著でした。

要約すると、この論文はこう述べています。「ロボットが何を見ているかを聞くのではなく、どのように間違いを直そうとしているのかを聞け」。そして、最大のモデルであっても、新しいツールである「FisherSketch」を使えば、これを効率的に行うことができるのです。

技術要約：更新の幾何学：語彙スケールにおけるフィッシャー整列（Fisher Alignment）

1. 問題提起

本論文は、同じ語彙を共有しながらも予測対象が異なる（例：共通のトークナイザーをSMILES、タンパク質配列、またはゲノムデータに適応させる場合など）大規模言語モデル（LLM）ファミリーにおける、**学習不要なソース選択（training-free source selection）**の課題に取り組んでいる。

現在の転移可能性指標は、この「活性化ダーク（activation-dark）」な領域においてジレンマに直面している：

表現類似性指標（CKA、RSA、SVCCAなど）は、凍結された活性化に基づいて類似性を計算する。著者らは、これらがラベル条件付き誤差の幾何学を無視しているため、ヘッドレベルの転移に対して**識別不可能（non-identifiable）**であると主張している。モデルは同一の表現を共有していても、更新の方向が直交している可能性がある。
古典的な更新幾何学指標（フィッシャー整列など）は、理論的には必要な更新構造を捉えることができるが、語彙スケール（ $K \sim 10^5$ ）では計算コストが極めて高い。誤差の二次のモーメント行列（ $\Gamma_e$ ）を保存するには、タスクあたり約61 GiBを必要とし、大量の候補セットに対して厳密な計算を行うことは事実上不可能である。

核心となる問いは、「巨大な行列を実体化したり、潜在的に誤解を招く恐れのある活性化のみの信号に頼ったりすることなく、語彙スケールにおいてパラメータ更新の幾何学的適合性（フィッシャー整列）をいかに効率的に推定するか？」という点である。

2. 手法

理論的基礎

著者らは、線形ヘッドにおいて、サンプルごとの勾配 $g$ が、直前の活性化 $a$ とロジット空間の誤差 $e$ のクロネッカー積へと正確に分解できること（すなわち $g = a \otimes e$ ）を確立している。

表現指標の非識別性： 本論文は、表現のみの指標はヘッドレベルのフィッシャー整列を決定できないことを証明している（定理3.2）。著者らは、タスクが同一の表現（ $Z_i = Z_j$ ）を持ちながら、ラベル集合が互いに素であるために、ヘッドの勾配が直交する（ $A_F(i, j) = 0$ ）「証拠（witness）」を構築している。したがって、 $M(Z_i, Z_j)$ は、同一のタスクと直交するタスクを区別できない。
積カーネル・コサインとしてのフィッシャー整列： 中心的な理論的貢献（定理4.2）は、ヘッドのフィッシャー整列を、結合された $(a, e)$ $(a, e)$ 特徴空間におけるカーネル平均埋め込みのコサイン類似性として書き換えることである。
$A_F^{head}(i, j) = \cos(\mu_{ae, i}, \mu_{ae, j})$
ここで、 $\mu_{ae, k}$ $μ_{a e, k}$ は、積カーネル $k_{ae}((a, e), (a', e')) = (a^\top a')^2 (e^\top e')^2$ $k_{a e} ((a, e), (a^{'}, e^{'})) = (a^{⊤} a^{'})^{2} (e^{⊤} e^{'})^{2}$ の平均埋め込みである。
この分解により、転移可能性は以下の3つの要因に依存することが明らかになる：
1. 活性化の幾何学： 活性化の二次モーメント（ $M_a$ ）の類似性。
2. 誤差の幾何学： 誤差の二次モーメント（ $\Gamma_e$ ）の類似性。
3. 結合（Coupling）： 活性化と誤差が独立であるという仮定からの逸脱を測定する非分離比（ $\rho$ ）。

アルゴリズム：FisherSketch

語彙スケールでの実行可能性を高めるため、著者らはストリーミング形式のシングルパス推定器である FisherSketch を導入している。

ランダム・マクラリン特徴量（Random Maclaurin Features）： 全体の $O(d^2 K^2)$ の埋め込みを計算する代わりに、FisherSketch は、積カーネルの期待値を推定するために、因子化されたランダム射影（ラデマッハー・ベクトル）を使用する。
効率性： クロネッカー構造を利用して、 $a$ と $e$ に対して個別に射影を計算することで、サンプルあたりの計算複雑度を $O(mdK) $から$ O(m(d+K))$ に低減する。
部分化ランダム・アダマール変換（SRHT）： 高次元の誤差空間（ $K \approx 128,256$ ）に対して、射影コストを $O(mK) $から$ O(K \log K + m)$ に削減するために SRHT を使用する。
出力： この手法は、各タスクに対して、結合された活性化・誤差の幾何学をエンコードしたコンパクトな 16 KB のタスク・シグネチャ（ $\mathbb{R}^m$ におけるベクトル、ここで $m=4096$ ）を生成する。また、バイアスを低減するための分割サンプル推定用に、192 KB の小さなストリーミング状態を保持する。

3. 主な貢献

非識別性の証明： 誤差の幾何学やラベルのマッピングに関する仮定なしには、表現類似性指標（CKA、RSA、SVCCA）がヘッドレベルの転移を予測するには不十分であることを形式的に示した。
厳密な分解恒等式： ヘッドのフィッシャー整列が、結合された平均埋め込み間の積カーネル・コサインであるという厳密な証明を提供し、厳密な3要素分解（活性化、誤差、結合）を提示した。
FisherSketch： 複雑な更新の幾何学を 16 KB のシグネチャに圧縮し、語彙スケール（ $K=128,256$ ）の比較を、1 タスクあたり 192 KB のストリーミング状態で可能にする、スケーラブルで学習不要な推定器。
診断ツール： シグネチャを用いることで、研究者がタスクの類似性が、活性化、誤差、あるいはそれらの結合のいずれによって駆動されているかを切り分け、「活性化ダーク」な領域に対するプローブとして機能させることを可能にする。

4. 結果

語彙スケールのソース選択

100 のドメインにおける Llama-3.1-8B を用いた評価：

性能： FisherSketch は、45.7% の Top-1 ソース選択精度（ランダム・ベースラインの約10.9倍）を達成し、最大後悔（max regret）は 0.119 であった。
比較： 自然なドメインシフトにおいては、活性化のみのベースラインと同等の性能を示したが、特定の領域においてはそれらを大幅に上回った。
効率性： ストレージ要件を、厳密な $\Gamma_e$ の場合の約 61 GiB から 16 KB へと削減した。

識別性ストレス・テスト（バーバライザー・シフト）

固定プレフィックス・プロンプトを用い、異なるバーバライザー（例：「Yes/No」対「True/False」）間で活性化が同一となる制御実験において：

活性化のみの失敗： 活性化の類似性（ $Scov(M_a)$ ）は一定値に崩壊し（ランダム・ベースラインの性能である 20% Top-1）、情報を失った。
FisherSketch の成功： FisherSketch は 66.7% の Top-1 を達成し、ラベル条件付きの誤差の幾何学の変化のみによって引き起こされる転移の変動を、正常に予測した。
誤差のみの限界： 誤差のみの周辺分布（ $Scov(\Gamma_e)$ ）も良好な性能（72.2% Top-1）を示し、活性化の幾何学が一定である場合、誤差の幾何学が信号を駆動していることが確認された。

分子配列の概念実証

分子 SMILES ドメインにおいて、FisherSketch はクロスドメイン・パープレキシティの減少と有意に相関した（ $\rho_s=0.53, p=0.006$ ）のに対し、活性化のみの類似性は有意ではなかった（ $p=0.081$ ）。

推定器の検証

ViT-B/16 において、FisherSketch は結合類似性（ $\hat{S}_{ae}: 0.97$ ）および結合（ $\hat{\rho}: 0.95$ ）に関する厳密なフィッシャー整列に対して高い Spearman 相関を示した。この手法は、 $n=2000$ サンプルにおいて、厳密な計算に対して 89倍の高速化 を達成した。

5. 意義と主張

本論文は、従来の指標が「活性化ダーク」な性質のために機能しない、共有語彙を持つ LLM ファミリーにおける、実用的かつ学習不要なソース選択メカニズムを提供すると主張している。

運用的影響： これにより、表現の類似性ではなく、予測されたパラメータ更新の適合性に基づいた、自動化されたファインチューニングのソース選択、干渉を考慮した継続学習、および推論時のルーティングが可能になる。
理論的洞察： 転移の本質は、単なる表現ではなく、**更新（勾配）**の幾何学であることを明確にしている。論文は、表現指標は好ましい条件下では情報を提供し得るものの、誤差構造を明示的にモデル化しない限り、根本的な限界があることを論じている。
スケーラビリティ： 複雑な更新の幾何学を小さなシグネチャに圧縮することで、有限のラベル近似（LogME/LEEP など）や、計算負荷の高い厳密なフィッシャー計算の制約を超え、語彙スケールの転移可能性分析を可能にした。

著者らは、本手法の限界についても明記している。本手法は、共有された出力基底（語彙または整列されたタクソノミー）を前提としており、ヘッドレベル（または共有パラメータ）のフィッシャー整列に焦点を当てている。ヘテロジニアスな出力空間や、共有パラメータを持たないフルネットワークの比較については、別の手法や内部レイヤーの診断が推奨される。