modelDNA: Calibrated Lineage Verification and Merge Decomposition from Sampled Weight Fingerprints

AI 模型的 DNA 侦探

想象一下，互联网上最大的 AI 大脑图书馆（被称为 Hugging Hugging Face）是一个由近 300 万个模型“房屋”组成的混乱城市。在这个城市里，任何人都可以盖房子，但门前的招牌是否写着“基于房屋 X 的蓝图建造”是可选的。事实上，超过 60% 的这些房屋根本没有任何标识。有时，一位建筑师声称他们从零开始发明了一座新房子，但实际上，他们只是复制了别人的蓝图，重新涂了层漆，或者把两座房子混合在了一起。

长期以来，要弄清楚谁抄袭了谁，需要一位拥有超级计算机、耗费整个周末时间并运气极佳的侦探。如果发生纠纷——比如两家公司争论谁拥有某个特定的 AI 大脑——当时并没有一个中立的工具来判定胜负。

modelDNA 登场了。把它想象成一个法医扫描仪，它不需要搬进房子，甚至不需要下载整个房子。相反，它只需对模型的权重文件进行一次快速的“指纹采集”。

“快速扫描”的魔力

通常，下载一个标准的 70 亿参数 AI 模型就像试图喝掉一整片海洋；它是一个巨大的 15 GB 文件。modelDNA 则更聪明。它只需要窥探文件中大约 100 到 300 MB 的部分。

它是如何做到的？想象这个文件是一本巨著。modelDNA 不会阅读每一个字，它拥有一张秘密地图，告诉它应该翻开哪些特定的页面。它只阅读恰到好处的段落（模型内部特定的数学部分）来创建一个唯一的 ID 卡。这在普通的笔记本电脑上大约只需 两分钟，且不需要显卡。

这个扫描仪会在数学中寻找四种不同类型的“线索”（信号）：

1. 节奏（The Rhythm）： 注意力层是如何“跳动”的（标准差）。
2. 形状（The Shape）： 数字的整体大小和方向。
3. 模式（The Pattern）： 直接对比数字的具体样本。
4. 频谱（The Spectrum）： 即使在数据被打乱的情况下依然存在的隐藏频率。

结论是：“统计学一致”，而非“有罪”

该工具的设计极其谨慎。它宁愿说“我不确定”，也不愿指控一个无辜的模型是模仿者。当它扫描一个模型时，会将指纹与数据库中 37 个已知的“父辈”模型（如 Llama、Mistral、Qwen 等）进行对比。

然后，它会向你交付 八种判决之一：

• 精确复制（Exact Copy）： “这是一个克隆体。”
• 量化复制（Quantized Copy）： “这是一个克隆体，但为了装进更小的盒子而缩小了体积。”
• 微调（Fine-Tune）： “这是那个父辈的后代，并在新数据上进行了训练。”
• 疑似合并（Likely Merge）： “这是两个或多个父辈的混合体。”
• 同族（未解析）（Same Family (Unresolved)）： “它们是表亲，但我无法判断哪一个是直接的父辈。”
• 无匹配（No Match）： “这看起来与我们数据库中的任何模型都不相关。”
• 信息不足（Insufficient）： “我没有获得足够的线索来做出判断。”
• 弃权（Abstention）： “我没有足够的信心发表意见。”

如果工具发现存在匹配，它会给出一个概率得分。例如，它可能会说：“这些权重在统计学上与源自 Mistral-7B 是一致的，概率为 0.99。”它从不直接说“这就是一个复制品”；它会说数学逻辑与那个故事相符。

“奶昔”之谜：拆解合并模型

modelDNA 能做的最酷的技巧之一是 合并分解（merge decomposition）。想象有人把草莓奶昔和蓝莓奶昔混合在一起，然后声称它是一种新的“莓果风味”。你能分辨出其中含有多少草莓和多少蓝莓吗？

在 AI 世界里，人们会将模型混合在一起（使用类似 mergekit 的工具）。modelDNA 可以观察“莓果风味”的指纹，并从数学上逆向工程出配方。因为混合过程是线性的（就像加法运算），该工具可以解开谜题以找到精确的百分比。

在测试中，它成功恢复了一个 “slerp” 合并（一种特定的混合类型）的配方，相关性达到了 0.999，并且在处理 “dare_ties” 合并时，其结果与原始配方的误差在 0.011 以内。它是在从未下载完整模型的情况下，仅通过那些微小的指纹完成的。

它不能做的事（规则）

该论文非常诚实地说明了这个工具不能做的事情：

• 无法“读心”： 它无法检测一个模型是否被“蒸馏”（通过另一个模型的回答来学习，而不是通过其权重）。如果老师从未触及过学生的权重，指纹就不会显示出来。
• 没有“魔法候选名单”： 要拆解一杯奶昔，你需要知道里面可能含有哪些水果。如果你要求 modelDNA 拆解一个模型，但没有提供可能的父辈列表，它可能会猜出“祖先”（曾祖辈）而不是直接的配方。
• 并非“完美证明”： 该工具承认一个有决心的黑客可能会尝试伪造指纹。虽然该工具使用了四种不同的线索来增加伪造难度，但它并不声称自己是不可破解的。
• 不是“即时深度学习”： 它不会运行模型来观察其回答问题的方式；它只观察静态的数学文件。

战绩

作者在 15 个真实模型 上测试了该工具，这些模型都有已知的父辈（由创建这些模型的组织所验证）。他们将这些模型与 107 个“硬负样本”（看起来相似但并无关联的模型）进行了对比。

结果非常犀利：

• AUROC 1.0： 这是区分真实匹配与伪造品的一个完美分数。
• 零误报（Zero False Positives）： 它从未指控一个无关的模型是其父辈。
• 13/13 正确： 它正确识别了每一个测试案例中的顶级父辈。

然而，论文指出这只是一个“小镇规模”的测试（15 个模型）。虽然目前的测试结果是完美的，但作者谨慎地表示，这并不意味着以后不可能出错。他们正在构建一个更大的测试集以确保万无一失。

底线

modelDNA 是一个为混乱的 AI 城市带来秩序的工具。它不会大声指责；它呈现证据。它会说：“基于我们窥探到的数学逻辑，这个模型看起来 99% 像是那个模型的后代。”它将一个杂乱、未经核实的互联网，变成了一个可以在冲泡一杯咖啡的时间内，即可完成谱系检查、验证甚至拆解混合的过程。