技術的概要：LLM DNA：機能的表現を通じたモデル進化の追跡

問題定義

大規模言語モデル（LLM）の急速な普及により、数百万ものモデルが存在し、その進化的関係が文書化されていない巨大で不透明な領域が生まれました。ファインチューニング、蒸留、または適応を通じてモデルがどのように進化するかを追跡することは、安全性監査（例えば、バックドアの転送を追跡）、モデルガバナンス（例えば、ライセンス遵守の検証）、およびマルチエージェントシステム設計にとって不可欠です。しかし、「LLM DNA」を定義する既存の手法には重大な限界があります：

• タスク特異性: 多くのアプローチは、モデルを特定のタスク（例えば、ルーティングやアンサンブル学習）に最適化された表現に圧縮しており、タスク間で一般化できず、モデルの本質的な特性を捉えられていません。
• 固定集合: 一部のタスク非依存の手法（例えば、EmbedLLM）は、固定されたモデル集合に対する表現を定義しており、新しいモデルが追加されるにつれて表現が変化するため、単一のモデルの本質的な性質となり得ません。
• 構造的依存性: トークン類似性やパラメータ相関に依存する出所特定手法は、異なるアーキテクチャとトークナイザーを持つ異質な LLM 間で一般化できないことがよくあります。

LLM の機能的挙動と進化的系譜を捉える安定した本質的な「DNA」を定義・抽出するための、原理的かつ形式的な枠組みが欠如しています。

手法

本論文は、生物学的 DNA に類似した、LLM の機能的挙動の低次元表現を数学的に定義・抽出する形式的枠組みであるLLM DNAを提案します。

1. 理論的基盤

著者は、離散入力シーケンスを連続的なログitベクトルに写像する関数として LLM を形式的に定義します。そして、LLM 関数空間 $\mathcal{F}$ から DNA 空間 $\mathcal{D}$ への双リプシッツ写像を通じて得られる低次元ベクトル $\tau_f$ をLLM DNAとして定義します。

• 双リプシッツ条件: この写像は、2 つの DNA ベクトル間の距離が、対応するモデル間の機能的距離によって有界であることを保証します（$c_1 \cdot d_H(f_1, f_2) \le d_\tau(\tau_{f_1}, \tau_{f_2}) \le c_2 \cdot d_H(f_1, f_2)$）。
• 性質: この定義は数学的に 2 つの重要な性質を保証します：
  • 遺伝: モデルへの小さな摂動（例えば、ファインチューニング）は、その DNA の小さな変化をもたらします。
  • 遺伝的決定論: 類似した DNA を持つモデルは、類似した機能的挙動を示します。
• 存在証明: ジョンソン・リンデンストラウス（JL）補題を用いて、著者は任意の有限集合の LLM に対して、関数空間の幾何学を保存するそのような低次元埋め込みが存在することを証明します。

2. 実用的抽出パイプライン：RepTrace

訓練なしで実用的に LLM DNA を抽出するために、著者はスケーラブルで訓練不要のパイプラインであるRepTraceを導入します：

1. 意味表現: 生文字列を比較する代わりに、このパイプラインは文埋め込みモデルを使用してモデル応答を意味ベクトルに変換します。これにより、意味的同等性（例えば、「holiday」対「vacation」）を処理でき、クローズドソース API とも動作します。
2. 確率的機能的距離: 完全な入力空間を評価することは不可能であるため、この手法は確率的機能的距離を用いて機能的距離を近似します。これには、代表的なプロンプトのセットをサンプリングし、応答を収集し、出力の連結された意味埋め込み間の期待ユークリッド距離を計算することが含まれます。
3. ランダム射影: JL 補題からの理論的洞察を活用し、高次元の機能的表現をランダムガウス線形射影を用いて低次元の DNA ベクトルに射影します。このステップは計算効率が良く、タスク固有の訓練を必要としません。

主要な貢献

1. 形式的定義と存在証明: 本論文は、LLM DNA を双リプシッツ表現として初めて形式的に数学的に定義し、JL 補題を用いてその存在を証明します。
2. 訓練不要の抽出枠組み: 異質な LLM（異なるアーキテクチャ、トークナイザー、サイズ）から DNA を抽出する一般化可能でスケーラブルなパイプラインであるRepTraceを提案します。これには再訓練や内部パラメータへのアクセスは不要です。
3. 実証的検証: 305 個の LLMに対する広範な実験により、LLM DNA が進化的関係を効果的に検出し、関係検出およびモデルルーティングタスクにおいて既存のベースラインを上回ることを示しました。
4. 進化的分析: 著者は DNA 距離に基づいて LLM の系統樹を構築し、アーキテクチャの転換（エンコーダ・デコーダからデコーダのみのへ）、時間的進行、および以前に文書化されていなかった系譜関係を明らかにしました。

実験結果

• 関係検出: 305 モデルのデータセットにおいて、LLM DNA は相関するモデルペアと独立したモデルペアを検出する際にAUC 0.992を達成し、Random、Greedy、PhyloLM（AUC 0.788）などのベースラインを大幅に上回りました。
• モデルルーティング: 訓練不要のモデルルーティングタスクにおいて、凍結された LLM DNA ベクトルは、EmbedLLM によって学習された埋め込み（精度 0.672 対 0.665）を上回り、DNA がタスク固有の最適化なしに本質的な機能的性質を捉えていることを示しました。
• 安定性: DNA 表現は、異なるデータセット（マンテル検定相関 $r > 0.75$）、ランダム入力、チャットテンプレートのバリエーションにおいて堅牢であることが証明されました。また、ファインチューニングがデータサイズとともに DNA 値を単調に変化させつつ、大域的な構造的パターンを保持することも示しました。
• 系統学的洞察: 構築された進化木は、既知のアーキテクチャの転換とリリースタイムラインと正しく一致しました。また、Microsoft の orca-2-13b と LMSYS の vicuna-7b-v1.1 を Llama ベースのクラスター内でクラスタリングするなど、曖昧な文書化にもかかわらず、文書化されていない関係を特定しました。

意義と主張

本論文は、LLM DNA が LLM エコシステムを理解するための原理的かつデータ駆動型の枠組みを提供すると主張しています。その意義は以下の点にあります：

• ガバナンスと安全性: モデルの系譜を検証する機能的な手法を提供し、ライセンス遵守の強制や、祖先モデルから子孫モデルへの安全性リスク（例えば、バックドア）の伝播を追跡するために不可欠です。
• スケーラビリティ: 再訓練や固定モデル集合を必要とする以前の手法とは異なり、RepTrace は新しいモデルの DNA を即座に抽出することを可能にし、LLM 景観の動的な性質をサポートします。
• 進化的洞察: LLM を進化する種として扱うことで、この枠組みは分野の歴史の可視化を可能にし、ファミリー間での明確な進化速度の違い（例えば、Qwen や Gemma は Llama よりも速く進化）を明らかにし、メタデータだけでは発見できない隠れたつながりを解明します。

著者は、現在の定義が DNA 部分配列に特定の数学的意味を割り当てていないものの、観察された安定性と遺伝の性質が、モデル管理、リスク軽減、および LLM の行動の標的化された修正に関する将来の研究のための堅固な基盤を提供すると強調しています。