技術要約：大規模言語モデルのための機能的ネットワーク・フィンガープリント (FNF)

1. 問題提起

大規模言語モデル（LLM）の開発には多大な資金と時間がかかるため、その商業的価値は極めて高く、オープンソースモデルの不正な流用を助長する要因となっています。ここで重要な課題となるのが、開発者が既存モデルの重みをコピーし、軽微なファインチューニングや難読化、あるいは構造的な拡張（「重みの再パッケージ化」と呼ばれる）といった表面的な修正を加えただけで、「独自のモデルをゼロから訓練した」と主張するケースです。

既存のフィンガープリント手法には、いくつかの限界があります：

• 侵襲的な手法： ウォーターマーキングやバックドア・トリガーのような技術は、モデルの性能を低下させる恐れがあり、すでにリリースされたモデルに対して適用することができません。
• 非侵襲的な手法： 出力解析や重みの類似性に基づくアプローチは、堅牢性に欠けることが多いです。具体的には、直接的な重みの比較に基づく手法は単純なパラメータの置換（パーミュテーション）に対して脆弱であり、静的な特徴表現（例：Centered Kernel Alignment）に基づく手法は、異なるアーキテクチャ、隠れ層の次元数、あるいは構造的な拡張（例：レイヤーの追加やMLP次元の拡張）を受けたモデル同士の比較に苦慮します。

したがって、モデルの有用性を損なうことなく、多様なアーキテクチャ、スケール、および難読化技術に対して、モデルの系譜（リネージ）を検出できる、トレーニングフリーでサンプル効率が高く、かつ堅牢な手法が求められています。

2. 手法：機能的ネットワーク・フィンガープリント (FNF)

提案手法である**機能的ネットワーク・フィンガープリント（Functional Network Fingerprint: FNF）**は、神経科学における機能的脳ネットワーク（FBN）に着想を得ています。これは、LLMが生物学的な神経システムのアナログとして計算を行う際、ニューロンのグループが統合されたネットワークとして一貫して共活性化するという、機能的結合の安定したパターンを示すという前提に基づいています。

コア概念：機能的活性化の一貫性 (FAC)

著者らは、同じ訓練系譜を持つモデル（たとえアーキテクチャやスケールが異なっていても）は、共通の「神経解剖学的ブループリント」を共有していると主張しています。その結果、それらのモデルは、同一の入力刺激を処理する際に、その機能的ネットワーク内において極めて一貫したニューロン活動のパターンを示します。対照的に、異なるデータや異なる目的で独立して訓練されたモデルは、この整合性を欠いています。

技術的パイプライン

1. 信号抽出： $N$ 個の入力シーケンスに対し、被害モデル（victim model）と疑わしいモデル（suspect model）の両方の特定のTransformerブロックの出力から、ニューロン信号を抽出します。
2. 機能的ネットワークの特定 (CanICA)： 本手法では、神経科学における標準的なツールである**正準独立成分分析（Canonical Independent Component Analysis: CanICA）**を用いて、機能的ネットワークを特定します。
   • 入力データは、二次的な相関を除去するためにPCAを用いて連結および白色化されます。
   • FastICAを適用して、空間マップ $A \in \mathbb{R}^{D \times K}$（ここで $K$ はターゲットとなる機能ネットワーク数）として表される独立した空間成分（機能的ネットワーク）を復元します。
3. タイムコースの生成： 特定された各機能的ネットワーク（空間マップ）について、バイナリマスクを適用して最も顕著なニューロンを選択します。これらのニューロンの入力シーケンス全体における平均活性を計算することで、1次元の機能的タイムコースを生成します。
4. 類似性の測定： 被害モデルと疑わしいモデルの機能的タイムコース間のスピアマン順位相関を計算します。
   • スピアマン相関は、絶対値ではなく機能的活動の「傾向（順位）」の一貫性に焦点を当てるために、ピアソン相関よりも選択されました。これにより、単調変換に対する堅牢性が確保されます。
   • すべての入力サンプルとネットワークペアにわたる平均一致スコアを算出し、類似性行列を作成します。

3. 主な貢献

• 新しいフィンガープリントのパラダイム： FNFは、静的な重みや埋め込まれた信号を利用するのではなく、LLMの固有の動的な機能活動を活用した、トレーニングフリーで非侵襲的な手法を導入します。
• 難読化に対する堅牢性： 本手法は、以下のような一般的なモデルの修正に対しても効果を維持します：
  • ファインチューニング： 大規模なデータセットを用いた広範なファインチューニング後であっても有効です。
  • プルーニング（枝刈り）： 構造的なプルーニング（深さや幅）および非構造的なプルーニングの両方に対応します。
  • パラメータの置換およびスケーリング： パラメータの次元を変更する重みの並べ替えやスケーリング変換に対しても有効です。
  • 重みの再パッケージ化： コアとなる重みを継承しつつ、アーキテクチャが拡張されたモデル（例：レイヤーの追加、隠れ次元の増加）における系譜を検出します。
• クロスアーキテクチャの互換性： 同一のアーキテクチャを必要とする従来の手法とは異なり、FNFは異なる隠れ層の次元や構造的構成を持つモデル間での比較が可能です。
• 解釈可能性： 活性化を機能的ネットワークへと分解することで、モデルの内部的な機能組織に関する洞察を提供します。

4. 実験結果

著者らは、WikiText-2データセットを用い、様々なモデルファミリー（LLaMA, Qwen, ChatGLM, Mistralなど）を用いてFNFを評価し、最先端のベースラインであるREEF（Centered Kernel Alignmentを使用）と比較しました。

• ファインチューニング： FNFは、数百億トークンの訓練を経た後でも、事前学習済みモデルとそのファインチューニング版モデル（例：LLaMA2-7B vs LLaMA2-7B-chat）の間で強い相関スコア（例：>0.9）を維持しました。
• 訓練データのバリエーション： 同一のアーキテクチャを持ちながら異なるデータでゼロから訓練されたモデル（例：OpenLLaMA vs LLaMA2）は、弱い相関を示し、共通の系譜がないことを正しく示しました。
• プルーニング： FNFは、パラメータの最大50%まで削減されたモデルにおいても、共通の起源を特定することに成功しました。対照的に、REEFは、大幅にプルーニングされたモデル（例：Wanda-sp プルーニング）において関係性を検出できませんでした。
• モデルのマージ： FNFは、ICAの線形混合仮定を利用することで、マージされたLLM（例：Evollm-jp-7b）の構成モデルを効果的に特定しました。
• 重みの再パッケージ化およびクロスアーキテクチャ：
  • FNFは、Mistral-11B（Mistral-7Bの拡張版）とSolar-10.7B（Mistral-7Bから派生）が共通の起源を持つことを正しく特定しましたが、アーキテクチャの不一致によりREEF（CKA）はこれを検出できませんでした。
  • クロスファミリーの比較（例：Qwen vs GLM）において、CKAは偽の高相関スコアを生成することがありましたが、FNFは低いスコアを出し、無関係なモデルを正しく区別しました。

5. 重要性と主張

本論文は、FNFがLLMの知的財産を保護するためのシンプルで非侵襲的かつ効果的なツールであることを主張しています。その重要性は以下の点にあります：

• 「重みの再パッケージ化」のギャップへの対処： 本手法は、コアとなる重みを保持したままアーキテクチャを変更して検出を回避しようとする「構造的拡張攻撃」に対して、明示的に検証された初めての手法です。
• 有用性の保持： 事後解析手法であるため、ウォーターマークを埋め込むための再訓練を必要とせず、モデル本来の性能を維持できます。
• スケーラビリティと効率性： 検証にはわずかなサンプルのみを必要とし、計算効率も高いです。
• 解釈可能性： 神経科学とAIを橋渡しし、単なるフィンガープリントを超えて、機能的脳ネットワークの観点からLLMを理解するためのフレームワークを提供し、モデルの解釈可能性を進展させる可能性があります。

著者らは、FNFを用いることで、モデルの所有者や第三者が、大幅なアーキテクチャや次元の違いが存在する場合であっても、疑わしいモデルが被害モデルの派生品であるかどうかを信頼性を持って判断できると結論付けています。