💬 NLP

Matrix-Driven Identification and Reconstruction of LLM Weight Homology

本論文は、行列解析と大偏差理論を活用することで、大規模言語モデル間の重みのホモロジーを正確に検出し統計的に検証する、推論を必要としない新しい手法であるMDIRを提案し、LeaFBenchベンチマークにおいて完璧な性能を達成している。

原著者： Ruichong Zhang, Daniel Goldstein

公開日 2026-02-02

📖 1 分で読めます☕ さくっと読める

原著者： Ruichong Zhang, Daniel Goldstein

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、何十億もの小さな、互いに噛み合う歯車で構成された、二つの巨大で複雑な機械を持っています。一方の機械はオリジナルの設計図であり、もう一方は修正されたバージョンです。おそらく、誰かがオリジナルを取り出し、いくつかの歯車の配置を入れ替えたり、色を塗り替えたり、あるいはいくつかの部品を少し大きなものに交換したりしたのかもしれません。

ここで大きな疑問が生じます。この二つ目の機械は、本当に最初の一台から作られたものなのか、それとも単に見た目が似ているだけの新しい機械をゼロから作り上げたものなのか？

これが、論文「Matrix-Driven Identification and Reconstruction of LLM Weight Homology（行列駆動によるLLM重みのホモロジーの特定と再構成）」が取り組んでいる問題です。著者であるRuichong Zhang氏とDaniel Goldstein氏は、LLM（大規模言語モデル）に対してこの問いに答えるための新しいツール、MDIRを考案しました。

MDIRの仕組みを、簡単な比喩を用いて説明します。

1. 問題点：「似ているだけの」機械

AIの世界では、企業は既存のモデルをベースに微調整を行うことがよくあります。例えば：

ファインチューニング（微調整）： 新しいスキルを教え込む。
プルーニング（枝刈り）： モデルを小さく、高速にするために削ぎ落とす。
アップサイクル（再利用・拡張）： 小さなモデルを取り、それを巨大なものへと拡張する。
難読化（オブファスケーション）： 中にある数値（重み）をかき混ぜることで、変更を隠そうとする。

従来のメソッドは、モデルに質問を投げかける（ブラックボックス・テストのような方法）か、データが処理される際の「感じ方」を比較することで、これらの関係性を検出しようとしてきました。しかし、これらの手法は、二人の人間が親戚かどうかを判断するために、彼らに詩の朗読をさせるようなものです。もし二人が同じ詩を暗記していたとしても、たとえ血縁関係がなくても、声が似ているように聞こえる可能性があるからです。

2. 解決策：「DNA」チェック

MDIRは、モデルに言葉を語らせることはしません。その代わりに、機械の内部にある設計図（数学的な重み）を直接見ます。

モデルの重みを、巨大で複雑なDNA鎖だと考えてください。たとえ誰かがDNAを並べ替えたり（置換）、引き伸ばしたり（スケーリング）したとしても、根本的な「配列」は残ります。MDIRは、この配列を見つけ出すための特別な数学的レンズを使用します。

プロセス：

「指紋」スキャン： MDIRはモデルの「エンベディング（埋め込み）」層を調べます。これは建物の基礎を見ることに似ています。もし二つの建物が同じ基礎の上に建てられているなら、上層階がどのように違って見えても、基礎の石は一致するはずです。
「パズル」の解決： このツールは、モデルAのピースをモデルBに適合させようと試みます。「もし私がこれらの数値を回転させたり反転させたりしたら、完璧に一致するか？」と問いかけます。これには、歯車の並べ替え方を正確に見つけ出すために、有名なアルアルゴリズム（ハンガリアン法）を使用します。
「コイン投げ」テスト： これが最も巧妙な部分です。一致が見つかった後、MDIRは統計的な問いを投げかけます。「全く無関係な二つの機械が、偶然これほど完璧に一致する確率はどのくらいか？」
- 大偏差理論（Large Deviation Theory）という数学の一分野を用いて、MDRはp値を計算します。
- もしp値が極めて小さい場合（例えば1兆分の1など）、その一致は偶然ではなく、家族のような関係性があることの証明になります。
- 本論文では、これらのp値が非常に小さく（例： $10^{-1000}$ ）、偶然に起こることは事実上不可能であると主張しています。

3. MDIRができること（スーパーパワー）

論文では、MDIRが従来のツールにはできなかったいくつかのことを強調しています。

「かき混ぜ」を見抜く： 誰かが歯車の順番を入れ替えたり（置換）、あるいはその大きさを変えたり（スケーリング）して関係を隠そうとしても、MDIRは依然としてその繋がりを見つけ出すことができます。それは、まるでマスクを被り、後ろ向きに歩いている人であっても、その人を認識できるようなものです。
異なる「設計図」にも対応： MDIRは、語彙（知っている単語のセット）が異なるモデルや、層の数（高さ）が異なるモデル同士でも比較を行うことができます。共通の「共有語彙」を見つけ出すことで、比較を可能にします。
「家系図」を描く： MDIRは単に「これらは関係している」と言うだけではありません。それが「どのように」関係しているのかを示すことができます。例えば、ある小さなモデルが、大きなモデルの「最初の10層」と「最後の10層」で作られており、真ん中の層をスキップしていることを明らかにできます。どの部分がどこから来たのか、正確なマップを描き出します。
高速かつ軽量： テキストを生成するためにモデルを実行する必要はありません。ただ数値を見るだけです。つまり、スーパーコンピュータではなく、ノートパソコンでも実行できることを意味します。

4. 結果：パーフェクトなスコア

著者らは、ベンチマークであるLeaFBenchを用いて、他の手法と比較してMDIRをテストしました。

他の手法は80%から99%程度のスコアでした。
MDIRは、精度（Accuracy）において100%、AUC（曲線下面積）においても100%を記録しました。
簡単に言えば、関係性を見逃すことも、無関係なモデルを誤って関係があると告発することもありませんでした。

5. なぜこれが重要なのか（論文による主張）

論文は、MDIRを説明責任と透明性のためのツールとして位置づけています。

もしある企業が「自社でゼロからモデルを構築した」と主張しながらも、MDIRによって「競合他社のモデルの数値を少し入れ替えただけのコピーである」ことが示された場合、それは盗用（プラジャリズム）の証拠となります。
数学的に反論の余地がない、厳格な「決定的な証拠（スモーキング・ガン）」を提供することで、知的財産を保護します。

まとめ：比喩

二人のシェフを想像してください。

従来の方法： あなたは彼らに料理を作らせます。もし二人とも素晴らしいラザニアを作ったなら、彼らは親戚かもしれないと推測します。しかし、単に二人とも有名な料理本から学んだだけかもしれません。
MDIR： あなたは彼らのキッチンに入り、スパイスの瓶を調べます。シェフBの「秘密のスパイス」の瓶が、実はシェフAの瓶であり、ラベルが逆さまになっていて、瓶のサイズが少し大きくなっていることに気づきます。そして、全く無関係な二人のシェフが、全く同じユニークなスパイスの配合を、全く同じ形の瓶に入れている確率を計算します。その確率はゼロです。したがって、シェフBはシェフAからスパイスを盗んだに違いありません。

MDIRは、AIモデルにおけるその「スパイスの瓶の検査官」なのです。最終的な出力ではなく、数学的なDNAを見ることで、誰が誰を模倣したのかを証明するのです。

技術要約：行列駆動によるLLM重みのホモロジー（同源性）の特定と再構成

1. 問題提起

本論文は、大規模言語モデル（LLM）間における**重みのホモロジー（weight homology）**を検出するという課題に取り組んでいる。モデルの規模と複雑さが増すにつれ、モデルの重みの未帰属な再利用、複製、あるいは「アップサイクリング」（例：ファインチューニング、プルーニング、継続的事前学習）に関する懸念が強まっている。核心となる問題は、パラメータ $\theta_A$ と $\theta_B$ を持つ2つのモデル $A$ と $B$ が与えられたとき、重みの統計的特性のみに基づいて、それらが重みの系譜を共有しているか（すなわち、一方が他方から派生しているか）を判定する二値分類タスクとして定式化される。

著者らは、ホモロジーの定義に以下の様々な進化経路を含めている：

ファインチューニング: SFT（教師ありファインチューニング）およびRL（強化学習）を含む。
継続的事前学習: 追加データによる学習。
アップサイクリング: 小規模なモデルを大規模なモデルへと拡張すること（例：MoEへの拡張）。
プルーニング: チャネルやニューロンの削除によるモデルサイズの縮小。
変換: 置換（パーミュテーション）、スケーリング、および直交・ユニタリ変換を含む。

決定的な点として、本論文はホモロジー（共有された初期化/重み）と、ホモゲニティ（同様のデータによる学習に起因する出力の類似性）を区別している。同じデータを用いて異なる乱数シードで学習されたモデルは、ホモロジーであるとはみなされない。

2. 手法：MDIR

著者らは、モデルの推論を必要とせず、モデルの重みのみを対象とするホワイトボックス手法であるMatrix-Driven Identification and Reconstruction (MDIR) を提案している。MDIRは、行列解析、極分解、および大偏差理論（Large Deviation Theory; LDT）を活用して、以下の3つの目標を達成する：

重み行列間の直交関係を特定する。
置換およびスケーリング因子を検出する。
検出された関係の有意性に対して、厳密な統計的p値を提示する。

2.1 理論的基礎：不変変換

この手法は、現代のLLMが過剰パラメータ化されており、多くの異なるパラメータ構成が同一の入出力挙動を生み出すという観察に基づいている。これらの構成は、不変空間 $M_{inv}(\theta)$ を形成する。著者らは、「完全に不変な」変換（例：直交回転、置換、スケーリング）のリー群 $G$ を特定した。これらはモデルの機能を保存するものである。

理想的な条件下では、学習ダイナミクスは商空間 $M_{arch}/G$ に限定される。その結果、パラメータの $G$ -軌道に沿った成分（「 $G$ 座標」）は、学習を通じて一定に保たれる。もし2つのモデルがホモロジーであれば、それらの相対的な変換 $g_1^{-1}g_2$ は、群 $G$ の単位元 $e$ に近いものとなる。逆に、独立して初期化されたモデルは、相対的な変換が $G$ 全体にランダムに分布することになる。

2.2 アルゴリズムのステップ

MDIRのプロセスは以下のステップで構成される：

直交関係の推定:
一対の重み行列（例：埋め込み行列 $E$ と $E'$ ）に対し、 $\|E' - EU^T\|_F$ を最小化する直交行列 $U$ を求める最適化問題を解く。これは、 $E'^T E$ の**極分解（polar decomposition）**における直交因子を見つけることと同等である。
- 異なるトークナイザーへの対応: モデルが異なるトークナイザーを使用している場合、手法は共通の語彙セット $C$ に限定して変換を推定する。
置換の特定:
推定された直交行列 $\tilde{U}$ を分析し、ニューロンやチャネルの再配置などの特定の構造的パターンを検出する。手法は、 $\text{Tr}(P \tilde{U}^T)$ を最大化する置換行列 $P$ を見つけるための線形割当問題（ハンガリアンアルゴリズムを使用）を解く。このステップにより、ニューロンやチャネルが並べ替えられたかどうかが特定される。
統計的有意性（p値の推定）:
観察された整列が統計的に有意なものか、あるいは単なる偶然の産物かを判断するために、著者らは**大偏差理論（LDT）**を適用する。
- 帰無仮説: 重みは無関係であり、推定された直交行列はハール測度に従って直交群 $O(n)$ 上に一様に分布している。
- 指標: 置換と直交行列の積のトレース、 $\text{Tr}(P \tilde{U}^T)$ がテスト統計量として機能する。
- 計算: LDTを用いることで、偶然にこれほど高いトレース値が観測される確率は、トレースの二乗に対して指数関数的に減少する。p値は $p \le n! \cdot K \exp(-c^2/2)$ と推定される（ここで $n$ は埋め込み次元、 $c$ は観測されたトレース）。これにより、極めて小さなp値（例： $10^{-1000}$ ）を生成することが可能となり、ホモロジーの存在に関する厳密な統計的証拠を提供する。
層ごとの再構成:
異なるアーキテクチャを持つモデル（例：異なるレイヤー数）の場合、MDIRはレイヤーを反復的に処理して対応マップを再構成し、ベースモデルのどのレイヤーが派生モデルのどのレイヤーに対応するかを特定する。

3. 主な貢献

SOTA（最高水準）の性能: MDIRは、LeaFBench ベンチマークにおいて、異なるソースモデルに対して精度（Accuracy）およびAUCの両方で完全なスコア（1.000）を達成しており、Gradient、REEF、HuRef、PDFといった既存の手法を凌駕している。
統計的厳密性: ヒューリスティックな類似度スコアを出力して任意の閾値調整を必要とする従来の手法とは異なり、MDIRは真の統計的p値を出力するため、ヒューリスティックな閾値チューニングを排除できる。
推論フリーかつ低リソース: 本手法はモデルの推論を必要とせず、単一の行列ペアのみを比較するため、低リソースデバイスでの実行が可能である。
変換に対する堅牢性: 置換、スケーリング、および直交変換に対して不変である。異なるトークナイザーを使用している場合や、プルーニングやアップサイクリングが行われた場合でも効果を発揮する。
再構成能力: MDIRは特定の重みの対応関係（例：どのレイヤーがプルーニングされたか、あるいはどのようにニューロンが置換されたか）を再構成でき、フィンガープリント手法には欠けている解釈性を提供する。

4. 実験結果

論文では、以下を含む多様なモデルを用いてMDIRを評価している：

指示チューニング（Instruction Fine-tuning）および継続的事前学習: Llama-3.1-8BとLlama-3.2-1B、およびQwen2.5バリアント間のホモロジーを正常に特定した。
プルーニング: Llama-3.2-1Bおよび3BがLlama-3.1-8Bのプルーニング版であることを正しく検出し、具体的なレイヤーのマッピング（例：Llama-3.2-1BがLlama-3.1-8Bのどのレイヤーを保持しているか）を再構成した。
アップサイクリング: MoEモデルにおける関係性を特定した（例：Qwen1.5-MoE-A2.7BはQwen1.5-1.8Bから派生している）。
異なるトークナイザー: 元の重みを保持したまま新しいトークナイザー（GPT-NeoX）でモデルを再学習させたケースにおいて、有効性を実証した。新しい埋め込みが収束するにつれ、語彙が変化しているにもかかわらず、MDIRはホモロジーを正常に検出した。
敵対的堅牢性:
- ノイズ注入: MDIRはガウスノイズ注入に対して堅牢であり、ノイズレベルによってモデルの機能的性能（MMLU精度）が崩壊した場合でも、高い検出信頼性を維持した。
- 独立したモデル: 独立して開発されたモデル（例：DeepSeek-V3とKimi-K2）や、同じデータで異なる乱数シードを用いて学習されたモデルについては、ホモロジーがないことを正しく特定した。

5. 意義と主張

著者らは、MDIRがヒューリスティックな類似度指標から統計的に厳密な仮説検定へと、モデル監査のパラダイムを根本的に転換させるものであると主張している。

極端なp値: 本論文は、得られたp値（例： $10^{-104}$ ）は数値的なアーティファクトではなく、大偏差理論に裏打ちされた、高次元空間においてそのような重みの整列が偶然に起こる統計的な低確率を正確に反映したものであると述べている。
アカウンタビリティ（説明責任）: 本手法は、AI開発における透明性と説明責任を促進するためのツールを提供し、知的財産の侵害や不正なモデル複製を検出するのに役立つ可能性がある。
限界: 著者らは、MDIRはペアごとのホモロジー検出には優れているものの、複雑な**系統学的（phylogenetic）**な問い（例：3つ以上のモデル間の正確な進化ツリーや共通の祖先を決定すること）については、まだ解決していないことを謙虚に認めている。

要約すると、MDIRは、従来のブラックボックス型または類似度ベースの手法が見逃してしまう微細な進化関係を検出できる、数学的根拠に基づいた推論フリーかつ高精度な、LLMの重みの由来を検証するためのフレームワークを提供している。