💬 NLP

Which Models Are Our Models Built On? Auditing Invisible Dependencies in Modern LLMs

本文介绍了 ModSleuth，这是一个智能体系统，它通过从公开制品中递归地重建并形式化现代大语言模型复杂且破碎的依赖图，揭示了关于许可义务、训练-评估耦合以及文档不一致性的关键见解。

原作者： Sanjay Adhikesaven, Haoxiang Sun, Sewon Min

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Sanjay Adhikesaven, Haoxiang Sun, Sewon Min

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你从一家高端熟食店买了一份精致的预制三明治。菜单上写着：“选用新鲜食材制作。”但你完全不知道面包是从哪里来的，是谁烘焙的，或者奶酪是否经过了一台之前用来制作其他东西的机器加工。在人工智能（尤其是大语言模型，LLMs）的世界里，这正是目前面临的问题。

现代 AI 模型不再仅仅是使用原始人类数据从零开始构建的。它们就像是完全由其他厨师的食谱、其他机器人切好的蔬菜以及其他机器人调制的酱料构成的烹饪杰作。

以下是这篇论文内容的简单拆解：

问题所在：“隐形成分”汤

过去，构建 AI 就像烤蛋糕：你收集面粉、鸡蛋和糖（原始数据）然后进行烘焙。而今天，它更像是组装一份复杂的餐点，其中面粉本身是由机器人磨碎的，鸡蛋是由另一个机器人分类的，而食谱是由第三个机器人编写的，这个机器人又向第四个机器人学习。

作者称之为**“递归依赖”（recursive dependency）**。

问题： 如果模型 A 使用了由模型 B 生成的数据，而模型 B 是用由模型 C 过滤的数据训练出来的，那么这条链条就会变得极其冗长且混乱。
困惑： 这些链条是隐藏的。一篇论文可能会说“我们使用了某数据集”，但它并没有提到该数据集是由另一家公司的特定版本模型所创建的。这就像三明治菜单上写着“火腿”，却没告诉你这块火腿来自一家经过特定、未列出机构检查的农场。
风险： 如果原始“成分”（模型 C）有一条严格的规则，比如“不得将我的输出用于训练其他机器人”，那么当这个成分经过模型 B 传递到模型 A 时，这条规则可能会丢失。这会造成法律纠纷、偏见结果，或导致“污染”数据，从而毁掉最终产品。

解决方案：ModSleuth（AI 侦探）

作者构建了一个名为 ModSleuth 的工具。你可以把它想象成一个超级强大的侦探，或者是一个 AI 供应链审计员。

ModSleuth 不仅仅是阅读最终的“菜单”（模型的论文），它还会走进厨房，检查收据，阅读供应商日志，并将每一个成分追踪回其源头。

它的工作原理（侦探的工具箱）：

它不只是阅读，它还在调查： 它使用一个 AI 智能体（数字侦探）来阅读技术报告、代码和模型卡（model cards）。
它解决了“名字游戏”： 有时一个模型在论文中被称为“Olmo 3”，但在代码中被称为“Olmo-3-Think”。ModSleuth 足够聪明，能意识到它们其实是同一个东西，只是换了个身份。
它绘制地图： 它构建一张巨大的视觉图（依赖图），展示模型 A 如何连接到模型 B，进而连接到模型 C，以此类推。

他们的发现（令人震惊的事实）

作者用 ModSleuth 测试了四个主要的 AI 模型。以下是这位侦探发现而人类忽略的事实：

“隐形之手”效应： 他们发现了深达 8 层 的依赖关系。例如，一个模型的训练数据是由一个分类器过滤的，而该分类器又是用一个模型生成的数据训练的，而那个模型又是用另一家公司的不同数据训练的。
“双面间谍”基准测试： 他们发现有些案例中，模型正在针对特定的数学题集进行测试，但该数学题集也被用于训练该模型。这就像一个学生在参加考试时，却在学习阶段偷偷拿到了标准答案。
“许可漏洞”： 他们发现某些模型正在使用带有严格“禁止重用”许可协议的模型所生成的数据。由于链条太长，最终模型的创建者并未意识到自己违反了规则。
“幽灵”依赖： 有时，论文说的是一套，代码显示的却是另一套。论文可能声称“我们使用了人类数据”，但代码却揭示他们实际上使用了由机器人生成的数据。

核心结论

论文指出，我们不能再仅仅依赖“菜单”（模型卡和论文）了。AI 生态系统过于复杂且相互交织，人类无法手动追踪。

ModSleuth 证明了：

AI 是一个巨大的网络： 几乎每个模型都以我们未曾察觉的方式与许多其他模型相连。
透明度已失效： 当前的文档过于扁平化和简单化，无法捕捉这些深层的、多层级的连接。
我们需要新的标准： 正如现在的食品标签必须列出过敏原和产地一样，AI 模型也需要一张“依赖图”，展示其所有成分是如何从源头一步步传导而来的。

简而言之，这篇论文说：“我们制造了一个侦探来寻找我们 AI 三明治中的隐藏成分，结果发现，这个厨房比任何人想象的都要混乱且错综复杂。”

技术摘要：ModSleuth —— 审计现代大语言模型中隐形依赖关系

问题陈述

现代大语言模型（LLM）的开发已演变成一个深度递归的生态系统，模型越来越多地依赖于其他模型来进行数据生成、过滤、改写、评估和偏好学习。与主要依赖原始人类数据的历史流水线不同，当前的工作流涉及复杂的、多阶段的依赖关系，其中上游人工制品（例如奖励模型、评判模型、合成数据生成器）会塑造下游模型的权重和开发决策。

核心问题在于这些依赖结构的透明度缺失。这些依赖通常具有以下特征：

碎片化： 信息散落在技术报告、模型卡片、代码仓库和数据集卡片中。
递归性： 一个模型可能依赖于一个其自身依赖关系仅在不相关的独立发布版本中记录的上游人工制品。
歧义性： 很难区分直接依赖（影响模型权重）与间接依赖（影响开发决策），或是在不一致的命名规范和版本之间协调人工制品的身份。

这种不透明性导致了具体的风险，包括许可证限制的无声传播、通过多跳路径传递的数据污染，以及评判模型与被评估系统具有共同祖先关系的循环评估偏差。现有的审计方法（如生态系统映射、基于权重的祖先推断）不足以应对这些问题，因为它们往往侧重于狭义的谱系概念，或者未能捕捉到诸如过滤和评估等非权重塑造的影响。

方法论：ModSleuth

作者引入了 ModSleuth，这是一个旨在从具有来源依据证据的公开人工制品中，递归重建 LLM 依赖图的智能体系统。该系统超越了简单的信息提取（现代智能体已能实现），转而解决依赖追踪中的语义和表示挑战。

核心设计原则

依赖关系的正式化：
- 直接依赖： 实质性影响目标模型训练或权重的上游人工制品（例如：初始化模型、合成数据生成器、OCR 系统、过滤模型）。
- 间接依赖： 不进入训练过程但实质性影响开发决策的上游人工制品（例如：评估模型、消融研究、方法论配方）。
- 排除项： 既不影响训练也不实质性影响开发的制品（例如：基准对比、模糊的灵感）将被排除。
通过操作进行表示：
关系不再使用固定的依赖标签，而是通过**操作（Operations）**来表示——即描述单个流水线事件（如生成、过滤、改写）的结构化边组。每条边包含一段自由格式的自然语言描述、一个粗粒度的依赖类型以及支持性的来源摘录。
通过格点进行身份解析：
为了处理不一致的引用（例如“Olmo 3 32B”与特定的检查点 ID），ModSleuth 使用了一个身份格点（Identity Lattice）。人工制品被组织成家族，其中包含用于处理不明确引用的根节点、用于部分解析的中间节点，以及锚定到具体 URL 的规范叶节点。这在不强制进行过早解析的情况下保留了不确定性。

ModSuth 流水线

该系统分为三个阶段运行，利用 Claude Code 作为其底层的智能体引擎：

来源收集： 收集目标 LLM 的官方公开人工制品（技术报告、模型/数据集卡片、代码仓库、发布博客），并将其组织成主题批次。
实体发现与解析： 提取被依赖的模型和数据集的提及，并将其映射到身份格点中。对于 Hugging Face 的人工制品，它使用确定性的元数据检索来验证规范 URL 并追踪派生关系。
依赖构建与协调： 将来源批次重新对照解析后的格点进行阅读，以构建有证据支撑的边。它合并描述同一关系的跨来源主张，并对不一致之处标记以供人工审查。

递归扩展： 系统递归地将此流水线应用于发现的上游人工制品，从而实现对多跳依赖（例如：目标模型 $\to$ OCR 模型 $\to$ OCR 模型的训练数据）的追踪。用户可以配置搜索策略（BFS、DFS 或束搜索）来控制覆盖范围。

核心贡献

ModSleuth 系统： 一种新型智能体框架，用于从异构公开来源中递归重建有证据支撑的依赖图。
递归追踪的正式化： 一种区分直接与间接依赖，并通过以操作为中心的逻辑关系来表示异构流水线角色的结构化方法。
大规模依赖图： 为四个具有丰富公开人工制品的 LLM 发布版本（Olmo 3, Nemotron 3, DR Tulu, SmolLM3）构建了依赖图，恢复了 1,060 个经过来源验证的依赖关系，并构建了深度高达 8 跳 的图。
审计工作流： 一种查询驱动的方法，将审计问题执行为图查询，从而揭示隐藏在单个文档中的风险模式。

结果与发现

应用于四个多样化的 LLM 发布版本后，ModSleuth 在恢复经验证的依赖关系方面显著优于基准 LLM 和智能体。

性能： ModSleuth（无界范围）恢复了 1,060 个经验证的关系，是表现最强的基准模型（GPT-5.5 Pro，314 个）的 3 倍 以上。即使在保守的深度-1 范围内，它也恢复了 484 个关系，超过基准模型 54%。
图规模： 合并后的图包含 2,526 个人工制品节点和 9,112 条边。
依赖构成：
- 直接 vs. 间接： 72% 的经验证边是直接依赖（影响权重/数据），28% 是间接依赖（影响开发）。
- 数据 vs. 权重谱系： 上游模型主要通过数据操作（生成、过滤、转换）而非权重谱系来塑造下游系统。
- 外部 vs. 内部： 75–82% 的经验证依赖对于目标组织而言是外部的，其中 Qwen、Llama 和 OpenAI 是最主要的上游家族。

定性发现

重建的图揭示了几个关键问题：

报告不足与不一致性： 论文、代码和模型卡片之间存在差异（例如，DR Tulu 的论文忽略了在其 ScholarQA 实现中发现的 Claude Sonnet 3.7 依赖）。
许可证相关路径： 许可证限制（如 Llama 社区许可证）通过合成数据流水线（例如，SmolLM3 的 FineMath 数据可追溯至 Llama 生成的标注）进行传播的多跳链条。
训练-评估耦合： 基准测试（如 IFEval, GSM8K, SWE-Bench）同时作为训练人工制品和评估目标出现，造成了结构性循环。
模型介导的选择： 上游模型（评判者、过滤器）决定了哪些示例被创建或保留，使得影响力集中在少数几个家族（Qwen, DeepSeek, Llama）。
代码级溯源： 关键依赖往往隐藏在训练脚本和 YAML 配置中，而非高层文档中。

重要性与局限性

重要性：
本文认为，LLM 依赖关系的缺乏透明度是结构性的，而非偶然的。ModSleuth 证明了现代 LLM 生态系统比此前认识到的更加互联且具有递归依赖性。这项工作通过将碎片化的公开证据转化为结构化、可查询的图，为审计、理解和治理这些生态系统提供了基础。它强调了当前的披露机制（模型卡片、数据表）在捕捉递归、多阶段依赖方面本质上过于扁平。

局限性：

下界： ModSleuth 识别的是来自公开人工制的 已声明 依赖。它无法恢复未记录的、专有的或内部的依赖。因此，生成的图代表了真实依赖结构的基于证据的下界。
地面真值（Ground Truth）： 完整的地面真值依赖图并不存在，这使得绝对召回率难以衡量。评估依赖于对报告证据的后验验证。
智能体偏差： 提取和验证流水线都依赖于 Claude Code，这可能会引入共享的模型偏差。
范围： 分析仅限于官方来源；排除了未经证实的第三方说法。

作者总结道，随着 LLM 流水线变得日益递归，透明度工作必须从扁平化的文档演变为能够显式表示依赖结构、证据和角色语义的模式。