Where the Evidence Sits: An Evidence Map of Dataset Licensing and Data Provenance Gaps Across 29 Research Corpora and 17 Standards

每当研究人员下载一个数字文件来测试一项新理论，或者开发者复制一个数据集来训练人工智能时，他们都在步入一条往往隐形的监管链条。这些文件是现代发现的原材料，然而，规范其使用的规则却往往模糊不清。一个文件可能来自大学、政府档案馆或私营公司，而每个来源都有其自身的一套权限。有些允许任何人自由使用数据；有些则禁止商业用途或要求注明原作者。当一个文件被复制、移动或与其他文件混合时，这些权限必须随之转移。如果它们没有随行，持有该文件的人就无法得知自己是否被允许分享它、它的真实来源为何，以及它是如何生成的。缺乏这些知识，整个研究链条就会变得脆弱，建立在假设而非事实之上。

多年来，对这些数字收藏集的审计一直关注宏观层面。它们统计有多少大型数据集缺乏明确规则，并发现大多数主要收藏集都缺失必要的文书工作。然而，这些广泛的检查往往会忽略对实际持有单个文件的个人而言最重要的细节。它们将一个收藏集视为一个单一的盒子，假设如果这个盒子贴上了标签，里面的每一件物品都共享相同的规则。但在现实中，一个数据集可能包含来自数十个不同来源的文件，每个文件都有其独特的历史和法律地位。当一个文件从这个盒子里被提取出来并在新项目中使用时，外面的大标签就不再能说明完整的情况了。

独立研究员尤金·斯皮瓦克（Eugen Spivak）最近的一项研究将焦点从“盒子”转向了其中的“单个项目”。这项研究提出了一个简单但困难的问题：证据究竟存在于何处？证明文件来源及其权限的证据，是存在于整个收藏集的层面，还是记录在每一个特定文件之中？为了回答这个问题，研究人员检查了二十九个公开的数据集集合，涵盖了从机器学习到数字保存等多个领域。选择这些集合是为了代表不同的社群：那些通过压缩数据来节省空间的社群、那些训练人工智能的社群，以及那些为了长期保存数字格式的社群。研究还审查了十七种不同的标准和框架——本质上是研究人员用来描述其数据的规则手册和模板——以观察它们能够记录什么。

调查揭示了“可能实现”与“实际发生”之间存在的显著差距。被称为元数据标准的规则手册其实具有惊人的能力。许多标准已经具备了为单个文件附加特定权限、来源链接或数字指纹的技术能力。其中一些标准甚至可以记录对文件的评审或其创建过程的记录。然而，研究发现几乎没有人在使用这些功能。在所检查的二十九个集合中，没有一个集合携带了该集合本身的永久性唯一标识符，而这种工具本可以让研究人员在多年后仍能找到该数据的确切版本。在二十九个集合中，只有五个记录了针对每个单独文件的特定权限。在大多数情况下，权限要么完全缺失，要么以计算机无法读取的纯文本形式存在，要么被应用于整个集合，而不顾及内部文件的差异。

研究人员还测试了旨在检查这些记录的工具是否真的有效。即使一个文件已经以标准格式附带了权限，用于验证这些记录的软件也经常忽略它。例如，一种流行的标准允许文件拥有自己的许可协议，但检查该文件的软件并不验证该许可是否有效，甚至不验证它是否是一个真实的许可。它只是接受那里存在的任何文本。这造成了一种局面：技术已经存在以解决问题，但执行规则的工具尚未准备好使用它。研究结论指出，缺失的部分并非标准中缺乏词汇或能力，而是缺乏采用度和缺乏可靠的检查工具。

为了证明更好的系统是可能的，研究人员构建了一个小型且实用的工具包。该工具包允许构建者为集合中的每个文件创建一个简单的列表，注明其大小、唯一的数字指纹、来源及其特定权限。随后，工具包将此列表转换为标准软件可以读取的格式。在对三种不同类型的数据集进行测试时，该工具包成功记录了已知信息、未知信息以及规则冲突之处。它表明，虽然这项工作需要付出努力，但它是可以管理的。成本不在于处理数百万个文件，而在于收集不同来源和转换过程所需的人力时间。

研究结果表明，解决方案在于视角的转变。研究人员不应仅仅寄希望于数据集上的单一标签能涵盖一切，而需要记录在文件实际被使用的层面上。这意味着要为每个文件附加一份特定的记录，使其无论去往何处都能随行。该研究提出了九项具体的建议以实现这一目标。它要求数据集合的创建者发布针对他们发布的每个文件的详细列表；要求托管这些集合的平台停止用其自身的通用摘要覆盖创建者的记录；敦促技术标准的维护者更新其工具，以便真正检查这些文件层面的细节；最后，它要求科学论文的评审人员在接受一项研究之前，先检查这五项关键证据。

前行的道路是清晰的，但需要协同配合。追踪每个文件历史和权限的技术已经在规则手册中存在。挑战在于确保构建数据的人、托管平台以及检查工具都同意使用它。通过将证据从对集合的一般性描述转向对每个特定文件的具体记录，科学界可以确保今天的数字材料在未来仍能保持可信、可用且符合法律规定。这项研究并不声称已经解决了数据许可问题，但它精确地绘制了证据所在的位置，并表明这种差距源于实践而非可能性。