🤖 AI

LLM DNA: Tracing Model Evolution via Functional Representations

本文介绍了"LLM DNA"，这是一个基于数学原理且无需训练的框架，它通过提取低维功能表征来追踪未记录的进化关系，并在数百个大语言模型之间构建系统发育树。

原作者： Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象大型语言模型（LLM）的世界是一座容纳数百万本书籍的庞大而混乱的图书馆。有些书是原创杰作，有些是副本，有些是摘要，还有些是添加了新章节的改写版本。问题在于，这座图书馆没有清晰的目录。我们并不总是知道哪本书是从哪本书复制而来的，或者一本书是如何演变成另一本书的。这使得我们难以检查一本书是否遵守了规则（许可证），难以发现危险思想（如安全漏洞）是否从一本坏书中被复制，也难以理解这座图书馆是如何发展的。

这篇题为"LLM DNA"的论文提出了一种受生物学启发的解决方案：为每个 AI 模型赋予其独特的遗传密码。

核心理念：AI 遗传学

正如生物 DNA 能告诉我们你的父母是谁以及你继承了哪些特征一样，作者希望为 AI 模型创建一种"DNA"，以揭示其家族历史和功能性特征。

他们将这种LLM DNA定义为一个简短、紧凑的数字列表（向量），它像指纹一样起作用。如果两个模型是相关的（例如，一个是另一个的微调版本），它们的 DNA 应该非常相似。如果它们无关，它们的 DNA 应该截然不同。

工作原理（"RepTrace"流程）

作者构建了一个名为RepTrace的工具来提取这种 DNA。以下是该过程的简化说明：

试驾：他们不查看模型的内部代码（这通常是隐藏的，或者每个模型都不同），而是将模型视为黑盒。他们向模型输入一组随机问题或提示（就像驾驶考试）。
反应：他们记录模型的回答。
翻译：他们将这些文本答案转换为“语义图”（意义的数学表示）。例如，单词"vacation"和"holiday"是不同的字母串，但 DNA 系统理解它们意味着相同的事物。
压缩：他们使用一种数学技巧（随机投影）将海量信息压缩成一个微小、可管理的数字列表。这个列表就是DNA。

至关重要的是，这个过程是无需训练的。你不需要教系统如何寻找 DNA；它只是根据模型的行为来计算它。

他们的发现

研究人员在来自不同公司（如 Meta、Google 和 Alibaba）的305 个不同 AI 模型上测试了这一点。以下是他们的发现：

家族树：当他们比较不同模型的 DNA 时，他们可以绘制一棵“家族树”（系统发育树）。这棵树正确地将来自同一家族的模型（如所有的"Llama"模型）归为一组，即使研究人员没有告诉系统哪些模型属于哪个家族。
隐藏的联系：DNA 揭示了未正式记录的关系。例如，它显示某些声称基于某个家族版本的模型实际上与另一个版本更接近，或者来自不同公司的两个模型在“遗传”上惊人地相似。
进化速度：通过观察家族树的分支，他们可以看到哪些模型家族的进化速度快于其他家族。有些家族（如 Qwen）显示出快速变化，而其他家族（如 Llama）则更为稳定。
鲁棒性：即使他们改变了所问的问题或使用不同类型的模型来读取答案，DNA 仍然保持一致。这就像指纹一样，无论你轻按还是重按手指，它都保持不变。

为什么这很重要（根据论文）

作者建议这种"DNA"可用于三个主要的实际用途：

许可证检查：它可以帮助验证一个新模型是否非法复制了受保护的模型，即使创作者没有承认。
安全审计：如果“父”模型存在安全漏洞（如后门），其“子”代（后代）很可能也存在。DNA 树有助于审计员快速发现这些有风险的谱系。
模型选择：它帮助用户选择合适的模型。如果你需要一个非常稳定且不会经常改变行为的模型，你可以选择进化步骤较短的分支。如果你想要最新、最具实验性的功能，你可以选择进化迅速的分支。

结论

该论文认为，我们可以从数学上证明这种"DNA"的存在，并且它忠实地捕捉了 AI 行为的本质。通过将复杂、不透明的 AI 模型转化为简单、可比较的遗传密码，我们终于开始绘制、管理和理解人工智能爆炸式发展的生态系统。

技术摘要：LLM DNA：通过功能表示追踪模型演化

问题陈述

大型语言模型（LLM）的快速 proliferation 创造了一个庞大且不透明的领域，其中数百万个模型存在，但其演化关系 undocumented。追踪模型如何通过微调、蒸馏或适应而演化，对于安全审计（例如追踪后门转移）、模型治理（例如验证许可证合规性）以及多智能体系统设计至关重要。然而，现有定义"LLM DNA"的方法存在显著局限性：

任务特异性：许多方法将模型压缩为针对特定任务优化的表示（例如路由或集成学习），无法跨任务泛化或捕捉模型的内在特征。
固定集合：一些任务无关的方法（例如 EmbedLLM）将表示定义为相对于固定模型集合，这意味着随着新模型的添加，表示会发生变化，从而无法成为单个模型的内在属性。
结构依赖性：依赖令牌相似度或参数相关性的来源方法通常无法在不同架构和分词器的异构 LLM 之间泛化。

目前缺乏一个原则性的、形式化的框架来定义和提取稳定、内在的"DNA"，以捕捉 LLM 的功能行为和演化谱系。

方法论

本文提出了LLM DNA，这是一个形式化框架，用于数学定义并提取 LLM 功能行为的低维表示，类似于生物 DNA。

1. 理论基础

作者形式化地将 LLM 定义为将离散输入序列映射到连续 logits 向量的函数。他们将LLM DNA定义为通过从 LLM 功能空间 $\mathcal{F}$ 到 DNA 空间 $\mathcal{D}$ 的双 Lipschitz 映射获得的低维向量 $\tau_f$ 。

双 Lipschitz 条件：该映射确保两个 DNA 向量之间的距离受对应模型之间功能距离的有界约束（ $c_1 \cdot d_H(f_1, f_2) \le d_\tau(\tau_{f_1}, \tau_{f_2}) \le c_2 \cdot d_H(f_1, f_2)$ ）。
属性：该定义在数学上保证了两个关键属性：
- 遗传性：对模型的小扰动（例如微调）会导致其 DNA 发生微小变化。
- 遗传决定论：具有相似 DNA 的模型表现出相似的功能行为。
存在性证明：利用Johnson–Lindenstrauss (JL) 引理，作者证明了对于任何有限 LLM 集合，都存在这样的低维嵌入，从而保留了功能空间的几何结构。

2. 实际提取流程：RepTrace

为了在不训练的情况下实际提取 LLM DNA，作者引入了RepTrace，这是一个可扩展的、无需训练的管道：

语义表示：该管道不使用原始字符串进行比较，而是使用句子嵌入模型将模型响应转换为语义向量。这处理了语义等价性（例如"holiday"与"vacation"），并适用于闭源 API。
随机功能距离：由于评估完整输入空间不可行，该方法使用随机功能距离来近似功能距离。这涉及采样一组代表性提示，收集响应，并计算输出拼接语义嵌入之间的期望欧几里得距离。
随机投影：利用来自 JL 引理的理论见解，使用随机高斯线性投影将高维功能表示投影到低维 DNA 向量中。这一步计算高效，且不需要针对特定任务的训练。

主要贡献

形式化定义与存在性证明：本文首次提供了 LLM DNA 作为双 Lipschitz 表示的形式化数学定义，并利用 JL 引理证明了其存在性。
无需训练的提取框架：它提出了RepTrace，这是一个通用的、可扩展的管道，可从异构 LLM（不同的架构、分词器和规模）中提取 DNA，无需重新训练或访问内部参数。
实证验证：在305 个 LLM上的广泛实验表明，LLM DNA 能有效检测演化关系，在关系检测和模型路由任务中优于现有基线。
演化分析：作者基于 DNA 距离构建了 LLM 的系统发育树，揭示了架构转变（从编码器 - 解码器到仅解码器）、时间进程以及此前未记录的谱系关系。

实验结果

关系检测：在包含 305 个模型的数据集上，LLM DNA 在检测相关与独立模型对时达到了0.992 的 AUC，显著优于 Random、Greedy 和 PhyloLM 等基线（AUC 为 0.788）。
模型路由：在无需训练的模型路由任务中，冻结的 LLM DNA 向量优于 EmbedLLM 学习到的嵌入（准确率为 0.672 对比 0.665），证明了 DNA 在不进行特定任务优化的情况下捕捉了内在功能属性。
稳定性：DNA 表示在不同数据集（Mantel 检验相关性 $r > 0.75$ ）、随机输入和聊天模板变化中表现出鲁棒性。它还表明，微调会随数据量增加而单调地改变 DNA 值，同时保持全局结构模式。
系统发育见解：构建的演化树正确对齐了已知的架构转变和发布时间线。它还识别了未记录的关系，例如将 Microsoft 的 orca-2-13b 和 LMSYS 的 vicuna-7b-v1.1 聚类在基于 Llama 的簇中，暗示了它们的基础模型，尽管文档模糊。

意义与主张

本文主张 LLM DNA 提供了一个原则性的、数据驱动的框架，用于理解 LLM 生态系统。其意义在于：

治理与安全：提供了一种功能方法来验证模型谱系，这对于执行许可证合规性追踪以及追踪安全风险（例如后门）从祖先模型到后代模型的传播至关重要。
可扩展性：与需要重新训练或固定模型集合的先前方法不同，RepTrace 允许立即提取新模型的 DNA，支持 LLM 领域的动态性质。
演化洞察：通过将 LLM 视为演化的物种，该框架使得可视化该领域的历史成为可能，揭示了不同家族间显著的演化速度差异（例如 Qwen 和 Gemma 比 Llama 演化得更快），并发现了仅靠元数据无法揭示的隐藏联系。

作者强调，虽然当前的定义未赋予 DNA 子序列特定的数学含义，但观察到的稳定性和遗传属性为模型管理、风险缓解以及 LLM 行为的定向修改等未来工作奠定了坚实基础。