modelDNA: Calibrated Lineage Verification and Merge Decomposition from Sampled Weight Fingerprints

AIモデルのためのDNA探偵

インターネット最大のAIの脳のライブラリ（Hugging Faceと呼ばれます）が、300万近いAIモデルの「家」が立ち並ぶ混沌とした都市であると想像してみてください。この都市では、誰でも家を建てることができますが、玄関のドアに「家Xの設計図から建てられました」という看板を掲げるかどうかは任意です。実際、これらの家の60%以上には看板すらありません。時には、ある建築家がゼロから新しい家を考案したと主張しても、実際には誰かの設計図をコピーし、上から塗りつぶしたり、2つの家を混ぜ合わせたりしただけであることもあります。

長い間、誰が誰をコピーしたかを突き止めるには、スーパーコンピュータと丸一週間の時間、そして多くの運を必要とする探偵が必要でした。もし、2つの企業が特定のAIの脳の所有権を巡って争いになったとしても、その判定を下すための中立的なツールはありませんでした。

そこで登場したのが modelDNA です。これは、家の中に住み込むことも、家全体をダウンロードする必要もない、フォレンジック・スキャナーのようなものだと考えてください。その代わりに、モデルの重みファイル（weight files）から素早く「指紋」を採取します。

「クイック・スキャン」の魔法

通常、標準的な70億パラメータのAIモデルをダウンロードすることは、海全体を飲もうとするようなものです。それは15GBという巨大なファイルです。modelDNAはよりスマートです。ファイルのわずか 100〜300MB を覗き見るだけで済みます。

どのようにして？ ファイルを巨大な本だと想像してください。modelDNAはすべての言葉を読む代わりに、どのページをめくるべきかを正確に教える秘密の地図を持っています。モデル内部の特定の数学的部分（パラグラフ）だけを読み取り、ユニークなIDカードを作成します。これには、グラフィックスカードを使わなくても、一般的なノートパソコンで約2分かかります。

このスキャナーは、数学の中に隠された4種類の異なる「手がかり（シグナル）」を探します：

1. リズム（The Rhythm）： アテンション層がどのように「鼓動」するか（標準偏差）。
2. 形（The Shape）： 数値の全体的なサイズと方向。
3. パターン（The Pattern）： 数値の具体的なサンプルを直接比較したもの。
4. スペクトル（The Spectrum）： 数値がシャッフルされても残る、データ内の隠れた周波数。

判決：「統計的に一致」であって「有罪」ではない

このツールは非常に慎重に設計されています。無実のモデルを模倣者だと非難するくらいなら、「確信が持てない」と言う方を選びます。スキャンを行う際、モデルの指紋を37種類の既知の「親」モデル（Llama、Mistral、Qwenなど）のデータベースと比較します。

その後、以下の8つの判決のいずれかを提示します：

• Exact Copy（完全なコピー）： 「これはクローンです。」
• Quantized Copy（量子化されたコピー）： 「これはクローンですが、小さな箱に収まるように縮小されています。」
• Fine-Tune（ファインチューニング）： 「これはその親の子供であり、新しいデータで学習されました。」
• Likely Merge（おそらくマージ）： 「これは2つ以上の親が混ざったものです。」
• Same Family (Unresolved)（同じ系統・未解決）： 「彼らは従兄弟のような関係ですが、どちらが直接の親であるかは特定できません。」
• No Match（一致なし）： 「これはデータベース内の誰とも無関係に見えます。」
• Insufficient（不十分）： 「判断するための手がかりが足りませんでした。」
• Abstention（棄権）： 「自信を持って判断できる状態ではありません。」

ツールが一致を見つけた場合、確率スコアを提示します。例えば、「重みはMistral-7Bから派生したものとして統計的に一致しており、確率は0.99です」といった具合です。単に「これはコピーです」と言うのではなく、「数学がそのストーリーと一致している」と伝えるのです。

「スムージー」の謎：マージの分解

modelDNAができる最もクールなトリックの一つは、**マージ分解（merge decomposition）**です。想像してみてください。誰かがイチゴのスムージーとブルーベリーのスミックを混ぜ合わせ、それを新しい「ベリー・ブラスト」味だと主張しているとします。イチゴがどれくらい、ブルーベリーがどれくらい入っているか分かりますか？

AIの世界では、人々はモデルを混ぜ合わせます（mergekitなどのツールを使用して）。modelDNAは、「ベリー・ブラスト」の指紋を見て、そのレシピを数学的に逆再生（リバースエンジニアリング）することができます。混合プロセスは線形（数字を加算するようなもの）であるため、ツールはパズルを解いて正確な割合を見つけ出すことができます。

テストにおいて、toolは「slerp」マージ（特定の種類の混合）のレシピを相関係数0.999で復元することに成功し、「dare_ties」マージの割合を元のレシピから0.011以内の誤差で特定しました。これらは、モデル全体をダウンロードすることなく、小さな指紋だけで行われました。

できないこと（ルール）

この論文は、このツールができないことについても非常に正直に述べています：

• 「心の読み取り」は不可： モデルが「蒸留（distilled）」（重みではなく、別のモデルの回答によって教えられたもの）されたかどうかを検出することはできません。教師モデルが生徒モデルの重みに触れていない場合、指紋には現れません。
• 「魔法の候補リスト」は存在しない： スムージーを分解するには、そこにどのようなフルーツが「入っている可能性があるか」を知る必要があります。もしmodelDNAにモデルの分解を依頼しても、可能性のある親のリストを提供しない場合、ツールは直接のレシピではなく、その「祖先（曾祖父など）」を推測してしまう可能性があります。
• 「完璧な証明」ではない： 決定的なハッカーが指紋を偽造しようとする可能性があることを、ツールは認めています。ツールは偽造を困難にするために4つの異なる手がかりを使用していますが、絶対に破られないと主張しているわけではありません。
• 「即時のディープラーニング」は行わない： モデルを実行してどのように質問に答えるかを見るのではなく、静的な数学ファイルのみを見ます。

実績

著者らは、既知の親を持つ15の実際のモデルを用いてこれをテストしました。これらを107個の「ハード・ネガティブ」（似ているが関連していないモデル）と対決させました。

結果は鮮明でした：

• AUROC 1.0： これは、本物のマッチと偽物を区別するための完璧なスコアです。
• 偽陽性ゼロ： 無関係なモデルを親だと誤認することはありませんでした。
• 13/13 正解： すべてのテストケースにおいて、トップの親を正しく特定しました。

しかし、論文ではこれは「小さな町」でのテスト（15モデル）であると注記しています。これまでの結果は完璧ですが、著者らは、これが将来的に間違えることが不可能であることを意味するものではないと慎重に述べています。彼らは、より確実にするために、より大きなテストを構築しています。

まとめ

modelDNAは、混沌としたAIの都市に秩序をもたらすツールです。それは断定的な非難をするのではなく、証拠を提示します。「数学的に覗き見たところ、このモデルはあのモデルの子供である確率が99%です」と伝えるのです。それは、検証されていない乱雑なインターネットを、コーヒーを淹れる間に血統を確認し、検証し、さらには分解さえできる場所へと変えるのです。