Measuring Latent Documentary Quality in Scholarly Communication: An Indicator Framework Based on PDF Validation and Technical Debt

想象一座图书馆，其中的每一本书都向公众开放，被列入一本巨大的目录，并受到全球学者的引用。从纸面上看，这似乎很完美。但如果这些书的页面是由几年后就会碎裂的材料制成的，或者如果文本是用机器无法读取的代码编写的，情况会怎样？在学术研究领域，我们几十年来一直致力于建立衡量一项研究有多开放、多可见以及多具影响力的系统。我们统计论文被引用的次数，或者检查它是否可以免费获取。这些是很有用的衡量标准，但它们只能告诉我们一篇论文是否能被找到。它们无法告诉我们这篇论文本身是否经得起时间的考验，或者它的结构是否允许计算机、盲人使用的屏幕阅读器以及未来的档案库真正理解并使用其中的信息。

这种差距正是研究人员凯马尔·亚伊拉（Kemal Yayla）的一项新研究关注的焦点。这项研究探讨了学术文章的“文献质量”（documentary quality）。这是一种高级的问法，即：承载研究内容的数字文件是否足够稳定，能够存续数十年，以及它的组织方式是否足以让机器进行处理？研究人员将数字文件不仅视为文字的容器，更将其视为一个需要特定技术特征才能保持可用性的脆弱对象。为了查明是否存在这些特征，该研究检查了由美国和加拿大图书馆运营的期刊所发表的 1,340 篇研究论文的最终版本。这些论文根据严格的技术标准进行了检查，以确保它们可以永久保存并能被辅助技术读取。结果揭示了一个令人震惊的现实：虽然这些论文很容易被找到，但文件本身却经常存在缺陷，从而威胁到它们的长期生存和可访问性。

研究首先收集了一组特定的文档。研究人员选择了属于“图书馆出版联盟”（Library Publishing Coalition）的期刊，这是一个由美国和加拿大图书馆组成的团体，它们运营着自己的学术期刊。这些期刊以开放和透明著称。研究人员随后提取了 2024 年至 2025 年间发表的文章的最终发布 PDF 文件。总共收集了 1,340 个文件。随后，这些文件通过了自动化测试工具，以检查其对三种不同技术标准的合规性。第一个标准被称为 PDF/A-1b，它是确保文档在未来能被任何计算机打开并阅读的基础规则手册。第二个标准是 PDF/A-2u，这是一个更严格的版本，要求文件携带自己的数字身份证，以便档案库能够自动识别它。第三个标准是 PDF/UA-1，这是一个关于可访问性的规则手册，确保文档具有逻辑结构，以便屏幕阅读器可以进行导航，并且文本可以被机器复制和搜索。

当测试开始时，结果是触目惊心的。在 1,340 份文档中，只有 18 份通过了基础的长期保存测试。没有一份通过更严格的数字识别测试。只有 10 份通过了可访问性测试。这意味着对于几乎每一篇检查过的论文来说，该文件都未能达到成为可靠、永久记录的最低要求。然而，这项研究认为，仅仅说“这些文件失败了”忽略了故事中最重要的部分。研究人员开发了一种看待这些失败的新方法，根据具体哪里出了问题以及是否可以修复，将它们分为九个不同的类别。

分析显示，这些失败并不尽相同。有些问题就像是箱子上缺失了标签。例如，几乎所有的文件都因为缺少一个告诉档案库其文件类型的特定数字声明而失败。这是一个小的、可修补的错误。这并不意味着论文的内容是错误的，只是意味着在最终导出过程中遗漏了一个元数据。这类错误被归类为“事后可修补”（post-hoc patchable），这意味着可以在不改变原始作品的情况下在稍后进行修复。相比之下，其他类型的失败则要严重得多。研究发现，98.4% 的文件未能通过可访问性测试，原因是缺乏逻辑结构。这意味着文本没有进行标记，无法告诉计算机标题在哪里结束、正文从哪里开始，或者表格从哪里开始、在哪里结束。这些是“仅限上游”（upstream-only）的问题。它们发生在文档最初创建的时候。一旦文件被保存为 PDF，这种结构性信息就无法再可靠地添加或修复。损坏在文件到达公众面前之前就已经造成了。

研究还观察了这些问题是否因学科或国家而异。结果显示，缺乏结构化标记是一个普遍问题。无论论文是关于生物学、历史还是工程学，几乎出现在每一份文档中。这表明问题不在于作者或特定的研究领域，而在于用于创建文件的软件和系统。然而，其他类型的错误确实存在差异。例如，关于文本是否可以被复制或搜索的问题在科学和数学论文中比在艺术或法律论文中更为常见。这可以理解，因为科学论文经常使用复杂的符号和特殊字符，这些字符对计算机正确处理起来难度更大。研究还比较了来自美国和加拿大的期刊。虽然这两组的整体通过率都很低，但具体的错误类型略有不同，加拿大期刊在基础保存检查方面表现稍好，但在可访问性检查方面表现较差。

这项工作的最重要启示是，我们不能仅仅通过查看论文的标题、摘要或被引用次数来判断一篇研究论文的质量。一篇论文可能被广泛阅读并备受赞誉，但其数字文件可能对盲人而言是无法阅读的，对计算机而言是无法搜索的，或者在五十年后无法打开。研究人员提出的新框架证明了我们可以衡量这些隐藏的缺陷。通过将技术错误分解为特定的类别，我们可以清楚地看到哪里出了问题以及需要在哪里进行修复。有些修复很容易，可以在论文发表后完成。而另一些则需要从根本上改变论文创建的方式。

这项研究并不是在指责图书馆出版业正在失败。事实上，它之所以使用图书馆出版作为案例，是因为这些机构理应是对保护和分享知识最为谨慎的。如果连在这样一个旨在追求完美的系统中，文件都如此破碎，那么在其他出版环境中问题可能会更加严重。这项研究并没有提供一个神奇的解决方案，但它提供了一张清晰的问题地图。它表明，我们用来评估科学的工具对文档本身的物理和技术健康状况是盲目的。在我们开始衡量文件是否稳定且易于访问之前，我们仅仅是在衡量学术记录的一半。研究结论指出，我们需要将数字文件视为一种关键的证据，需要对其进行自身的质量检查，以确保我们今天创造的知识在明天能够真正被世界所使用。