🤖 AI

From Hugging Face to GitHub: Tracing License Drift in the Open-Source AI Ecosystem

本文介绍了对开源人工智能生态系统的首次大规模审计，揭示了 35.5% 的模型到应用的转换通过消除限制性条款导致了许可漂移，并引入了一种能够检测出 86.4% 此类冲突的规则引擎，以应对关键的治理挑战。

原作者： James Jewitt, Hao Li, Bram Adams, Gopi Krishnan Rajbahadur, Ahmed E. Hassan

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

原作者： James Jewitt, Hao Li, Bram Adams, Gopi Krishnan Rajbahadur, Ahmed E. Hassan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，人工智能的世界就像一个繁忙且热闹的大厨房，厨师们正在烹饪着有史以来最聪明的食谱。在这个厨房里，“食材”是海量的数据（如照片或文本），“食谱”是基于这些数据训练出的计算机模型，而“成品菜肴”则是人们实际使用的应用程序和工具。但问题在于：每种食材和食谱都附带了一套特定的规则，就像一份秘密合同。有些规则说：“你可以随心所欲地烹饪！”（宽松型），而另一些则说：“如果你出售这道菜，你必须分享你的新食谱，”或者“你不能将其用于军事用途”（限制型）。

问题在于，在创造美妙新菜肴的过程中，许多厨师并没有阅读这些合同。他们可能会拿走一种超级严格的食材，忽略其规则，并将其盛入一道声称对所有人免费开放的菜肴中。这制造了一个法律雷区，原始创造者可能会被起诉，而吃这些食物的人也可能在不知情的情况下陷入麻烦。科学家们称之为“许可证漂移”（license drift），即规则随着食物从储藏室移动到餐盘的过程中被剥离了。一支研究团队决定调查这个厨房到底有多混乱。

研究人员詹姆斯·朱伊特（James Jewitt）及其来自女王大学（Queen's University）的团队，决定对这个 AI 厨房进行一次巨大的、端到端的审计。他们不仅查看了几个货架，还扫描了惊人的 364,917 个数据集（原始食材）、160 万个模型（食谱）以及 14 万个 GitHub 项目（最终菜肴）。他们想要观察随着食材从数据阶段移动到模型阶段，最后进入人们日常使用的应用程序阶段时，规则是否得到了遵守。

他们的发现有点像是发现大多数厨师都在无视食材上的“禁止销售”标志。他们的研究揭示了一种大规模的“许可证漂移”模式，即限制性规则被系统性地抹除。具体而言，他们发现，当一个模型转化为软件应用程序时，35.5% 的情况下，新应用会丢弃原始模型的限制性规则，并将其重新标记为“宽松型”（对所有人免费）。这就像是一位厨师拿取了一种仅限家庭烹饪使用的珍稀受保护香料，将其加入餐厅菜单，并声称整道菜可以由任何人免费复制。

最令人震惊的部分在于这种“漂移”发生在最后阶段。当带有特定“机器学习”许可证（通常包含关于如何使用它们的特殊规则）的模型转化为应用程序时，99.6% 的这些特殊规则消失了。只有 0.4% 的最终应用程序保留了原始限制。这似乎表明，开发者将这些复杂的、规则繁多的模型视为简单的、免费的软件库，完全忘记了那些细则。

然而，团队并不仅仅是指出混乱，他们还构建了一个工具来帮助清理它。他们创建了一个名为 LicenseRec 的原型引擎。把它想象成一个超级聪明的厨房检查员，它可以阅读所有那些令人困惑的合同，并立即告诉你一道菜是否合法。他们测试了这个工具，发现它可以解决软件应用中 86.4% 的许可证冲突。这表明，大多数法律麻烦并不是因为食材无法混合，而是因为人们选错了菜肴的标签。

但工具的能力也是有限的。研究人员发现，大约有 14.2% 的冲突是“无法解决的”。这些就像是试图将一种“无肉”食材与一个“必须使用肉类”的食谱进行混合；无论如何重新贴标签都无法解决问题。如果原始食材严格禁止商业用途，你就不能直接在最终菜肴上贴一个“商业免费”的标签。在这种情况下，唯一的解决方案是回到源头，选择另一种完全不同的食材。

简而言之，这项研究表明，虽然我们拥有修复 AI 世界中大多数偶然法律错误的工具，但我们无法修复那些从一开始就固化在食材中的错误。研究人员得出结论，虽然像 LicenseRec 这样的自动化工具是向前迈出的一大步，但开发者仍需成为细心的侦探，在开始烹饪前检查每种食材的规则。如果没有人类的这种勤勉，AI 厨房仍然是一个规则不断被遗忘的危险之地。

技术摘要：从 Hugging Face 到 GitHub：追踪开源 AI 生态系统中的许可证漂移

问题陈述

开源 AI 生态系统面临着一个关键且未被量化的法律风险，即“许可证漂移”（license drift）——随着数字人工制品从训练数据集传播到训练好的模型，并最终进入下游软件应用，其法律和伦ん理义务被系统性地剥离。虽然近期的法律审查高度集中在训练数据的合法性上，但这种关注忽视了完整的供应链。现有文献仅绘制了该链条中孤立的片段（例如：数据集到模型，或模型到应用），缺乏端到端的实证审计。这一空白使得组织暴露在隐藏的许可证冲突、潜在诉讼以及未披露风险之中，因为在集成过程中，限制性条款经常在缺乏适当合规框架的情况下被丢弃。

研究方法

本研究对开源 AI 供应链进行了首次大规模、端到端的实证审计，涵盖了 364,917 个数据集、1,627,519 个模型和 136,375 个 GitHub 仓库。研究方法分为三个阶段：

数据收集与谱系构建：
- 来源： 通过 API 从 Hugging Face 平台采集元数据，并从 GitHub（通过代码搜索）获取数据。
- 关联： 作者构建了一个依赖图，将数据集链接到模型，并将模型链接到应用程序。
- 筛选标准： 为确保活跃使用，研究筛选了热门模型（定义为点赞数 >20），并通过静态分析验证其在 GitHub 仓库中的集成情况。具体而言，通过解析 Python 文件生成的抽象语法树（AST）来识别代码签名，以确认模型是被实际调用而非仅仅出现在注释中。
- 许可证提取： 使用 ScanCode 工具包从 Hugging Face 元数据和 GitHub 仓库中提取许可证，该工具能够检测单个仓库中的多种许可证。
许可证分类与建模：
- 分类： 根据自由软件基金会（FSF）和知识共享（Creative Commons）的原则，将数百个独特的许可证字符串整合为规范类别（如：宽容型、传染型、机器学习特定型、非商业型、相同方式共享型）。
- 冲突逻辑： 采用 Moreau 等人（2019）的框架，通过检查“权限”（Permissions）、“义务”（Duties）与“禁止事项”（Prohibitions）之间是否存在矛盾来定义兼容性。当上游许可证施加的义务与下游许可证禁止的行为相冲突时，即发生冲突。
LicenseRec 引擎：
- 开发了一种新型基于规则的引擎，用于自动检测冲突并解决冲突。
- 矩阵构建： 该引擎利用了一个增强型兼容性矩阵，该矩阵在扩展了传统 OSADL 和 EU Licensing Assistant 矩阵的基础上，纳入了针对现代机器学习许可证的具体规则（例如：基于用途的限制和再分发义务）。
- 解决机制： 对于检测到的冲突，引擎通过取所有上游许可证的兼容性集合的交集，来推荐一组有效的下游许可证。它会过滤掉无法解决的冲突（即没有任何有效许可证能满足所有上游义务的情况），并根据现实世界的频率对推荐结果进行排序。

核心贡献

端到端实证审计： 本研究提供了关于整个 AI 供应链（数据集 $\rightarrow$ 模型 $\rightarrow$ 应用）中存在系统性合规风险的首次定量证据，揭示了此前的孤立研究显著低估了违规规模。
LicenseRec 框架： 引入了一个具备 AI 感知能力的自动化框架，能够检测许可证冲突并推荐合规方案。该原型编码了近 200 个 SPDX 及模型特定的条款。
开放数据发布： 作者公开了完整的许可证谱系数据集以及开源的 LicenseRec 原型，以促进未来的研究与自动化合规。

关键结果

系统性许可证漂移： 审计揭示了一种向“宽容型许可”靠拢的“引力效应”，即限制性义务在传播过程中被逐步丢弃。
- 模型到应用的崩溃： 在关键的模型到应用阶段，35.5% 的转换违反了上游模型许可证。
- 保留率： 限制性类别表现出近乎完全的崩溃。例如，具有基于用途限制的 ML 特定型许可证在下游应用中的保留率仅为 0.4%。非商业（NC）许可证的保留率仅为 6.7%，而相同方式共享（SA）许可证的保留率为 1.7%。
- 宽容型稳定性： 相反，宽容型许可证表现出高度稳定性，从数据集到模型的阶段的 82.8% 保留率，上升到模型到仓库阶段的 91.9%。
违规模式： 冲突并非随机发生，而是遵循可预测的路径。ML 许可证 $\rightarrow$ 宽容型 的转换占了所有模型到仓库阶段违规行为的 84.9%。同样，相同方式共享 $\rightarrow$ 宽容型 占了数据集到模型阶段违规行为的 37.4%。
工具有效性（可修复性）：
- LicenseRec 成功解决了模型到仓库阶段 86.4% 的冲突，以及数据集到模型阶段 78.0% 的冲突。
- 这表明大多数违规是由次优的许可证选择（可修复的错误）而非根本性的不兼容引起的。
- 然而，数据集到模型阶段有 14.2% 的冲突是无法解决的（例如：在一个非商业数据集上训练的模型无法为了商业用途重新授权），这凸显了工具无法修复“内置”的上游不兼容问题。
矩阵对比： 本研究的 ML 感知矩阵检测到模型到仓库阶段的违规率为 35.5%，而传统矩阵（如 EU Licensing Assistant）仅检测到 3.2%，证明了传统工具在 AI 生态系统中的不足。

意义与主张

本文旨在为构建更负责任、更具法律稳健性的 AI 生态系统奠定基础。其主要意义在于：

量化风险： 提供了关于许可证冲突频率和来源的首次数据驱动理解，将讨论从轶事证据提升到了系统性分析。
强调治理差距： 指出模型到应用的集成阶段是一个关键的失效点，在此阶段，开发者系统性地忽略了上游义务，将复杂的受许可模型视为简单的宽容型库。
合规的双重路径： 研究结论指出，虽然像 LicenseRec 这样的自动化框架可以解决大部分声明错误和次优选择，但它们无法消除从上游组件继承的根本性不兼容。因此，开发者对整个供应链进行审查的尽职调查仍然不可或缺。这项工作认为，仅靠工具是不够的；需要自动化合规工具与人工监督相结合，才能减轻开源 AI 行业面临的生存级法律风险。