🔬 材料科学

No Value Is Better Than a Wrong Value: Finding and Handling Erroneous Data in Literature-Mined Datasets for AI

本文通过提出一种提取误差分类法以及一个结合了物理定律、统计共识和溯源检查的分层验证框架，旨在解决文献挖掘型人工智能数据集中存在错误数据这一关键挑战，从而显著提高模型准确性并防止材料科学及相关领域的错误发现。

原作者： Achyut Manoj, Advai Aiyer, Andrew Lee, Nayan Saini, Pragya Birla, Dibakar Datta

发布于 2026-10-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Achyut Manoj, Advai Aiyer, Andrew Lee, Nayan Saini, Pragya Birla, Dibakar Datta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

为了发现用于更快的计算机、更持久的电池或更有效药物的新材料，科学家们越来越多地转向人工智能。这些数字助手通过研究海量的数据集进行学习，希望能找到揭示哪些化学组合效果最好的模式。对于许多属性而言，例如电池能储存的能量或晶体折射光线的方式，这些数值仅存在于散落在数千篇已发表的科学论文中。研究人员已经开发出能够自动阅读这些论文的工具，将数值提取出来并转化为机器可以理解的数据库。然而，将印刷页面转化为干净的数字列表的过程远非完美。小数点可能会消失，单位可能会被混淆，或者一个数值可能会被错误地关联到另一种材料上。如果计算机从这些错误中学习，它不仅会产生微小的误差，还会自信地引导研究人员走向错误的方向，通常会将那些最极端且错误的数据选为最佳候选对象。

来自迪巴卡尔·达塔实验室（Dibakar Datta Laboratory）的一个研究小组致力于解决这一问题，他们并没有将数据错误视为罕见的故障，而是将其视为过程中的预期组成部分。他们专注于电光材料，即在施加电压时会改变其折射光方式的晶体。这些材料对于承载全球数据的光纤网络以及未来的量子计算机至关重要。该团队构建了一个从科学文献中提取这些材料数值的系统，但他们在设计时遵循了一个特定的哲学：没有数值好过错误的数值。他们发现，试图完美地提取每一个数字是不可能的，因此他们构建了一个多层安全网，旨在人工智能模型被“毒害”之前拦截错误。

研究人员发现，错误会在几个不同的阶段进入数据库。有时错误源于原始论文，即数值印错或从旧研究中错误复制。其他时候，错误发生在计算机程序尝试读取扫描文档时，例如将数字“0”误认为字母“O”，或者丢失了负号。即使文本被正确读取，计算机也可能将数值关联到错误的标签上，将一种材料的测量值与另一种材料混淆，或者遗漏了测量时的特定条件，如温度或压力。为了处理这个问题，该团队创建了一个五步过滤流程。第一步检查数据在表面上是否正确，确保单位准确且数值确实出现在原文中。第二步应用物理定律，检查数值在物理上是否可行，例如确保晶体的对称性规则未被违反，或者电池容量不超过其理论极限。

第三步寻找不同研究之间的共识。如果十篇论文都报告了同一种材料的某个数值，正确的数值应该聚集在一起，而随机错误则会表现为离群值。第四步使用一个基于其余数据训练的人工智能模型，来识别与类似材料相比显得异常的数值。最后一步是由人类专家进行的针对性审查，专家仅查看前几步标记为可疑的数值。这种方法使团队能够高效地处理错误，而不必让专家检查每一个数字。在最近的一次运行中，该系统拦截了 816 个候选值中的 402 个，并记录了每个被拒绝或留待进一步审查的具体原因。

尽管有这些严格的过滤器，研究人员发现错误仍然会溜进来。当他们将系统接受的数值与经过精心策划的参考集进行对比时，发现大约 27% 的接受数值仍存在缺陷。一些不需要参考数据库的简单检查（例如验证晶体的对称性规则是否得到遵守）拦截了其中 70% 的剩余错误。在一项已知确切错误数值的对照测试中，他们的分层系统以高精度发现了 81% 的错误。至关重要的是，他们证明了如果没有这个清洗过程，人工智能模型将会被完全误导。在未经清洗的数据中，前 20 个最大数值中有 89% 是错误。由于旨在寻找最佳材料的 AI 模型天生倾向于寻找最大的数值，未经清洗的数据库会导致研究人员走向最差的候选对象，将巨大的误差误认为是突破性的发现。

研究还揭示了第二个更微妙的问题。即使在移除错误数值后，研究人员发现许多记录仍然缺乏使其发挥作用所需的上下文信息。例如，两条记录可能列出了相同的材料和相同的数值，但一条是在高压下测量的，另一条是在室温下测量的，而由于文中缺失了压力信息，系统无法区分它们。这种缺乏上下文的情况（研究人员将其衡量为不可区分记录的比例）成为了限制 AI 学习能力的瓶社主要因素。该团队得出结论，数据驱动型科学的未来不仅取决于寻找更多的数字，还在于构建能够追踪自身质量、报告自身错误并存储每次测量特定条件的数据库。通过承认错误是不可避免的，并建立捕捉错误的系统，科学家们可以确保他们所依赖的人工智能是在向现实学习，而不是从一堆错误中学习。

技术摘要：宁缺毋滥（无值优于错值）

1. 问题陈述

材料科学、化学和医学领域的机器学习日益依赖于通过挖掘已发表文献构建的数据集，因为许多功能特性往往缺乏现成的结构化数据库。虽然自动化提取工具（基于规则和大型语言模型）可以处理数千篇论文，但它们并非无懈可疵。错误源于光学字符识别（OCR）失败、单位混淆、将数值错误归属于错误的材料或条件，以及将引用的数值作为新的测量值进行传播。

核心问题在于，这些错误不仅仅是噪声；它们往往具有系统性，并且会在 AI 模型进行逆向设计（即发现具有最大性能的材料）时，主导那些模型试图寻找的“极端”值。单个错误数值对模型训练梯度的扭曲程度，可能超过数千条正确记录的总和。本文认为，目标不应是建立一个无错数据库（这在规模化应用中是无法实现的），而是一个能够检测、标记并防止错误破坏 AI 模型的数据库。

2. 方法论：分层检测框架

作者提出了一个五层检测框架，按成本和数据需求递增排列，用于识别和处理错误数据。该框架通过构建电光（Pockels）系数数据库（基于文献）的案例研究进行了说明。

五个层级：

第 0 层（模式、单位与溯源）： 检查记录是否格式完备。它验证标签是否符合受控词表，检查单位维度，确保必要的上下文字段存在，并验证数值是否有原文片段支持（以防止幻觉）。它还会区分引用值与原始测量值。
第 1 层（物理学）： 这是唯一能够在不与其他数据对比的情况下拒绝数值的层级。它应用了：
- 硬性边界： 物理极限（例如，折射率 $\ge 1$ ，效率 $\le 100\%$ ）。
- 对称性规则： 利用纽曼原理（Neumann's principle）拒绝在晶体点群中被禁止的张量分量。
- 本构恒等式： 用于检测单篇报告内部的不一致性（例如，夹紧/非夹紧电光张量、压电系数与弹性常数之间的关系）。
第 2 层（跨源统计共识）： 使用稳健统计学（中位数和中位数绝对偏差）来识别同一属性多个报告中的离群值。它包含一个“数量级偏移修复”机制，用于纠正单位滑动（例如， $10^{-11}$ 与 $10^{-12}$ 之间的错误），前提是该错误是 10 的整数幂。它还计算“不可分辨比例”（ $\Phi$ ），以衡量有多少记录由于缺失上下文而导致相同的输入对应不同的输出。
第 3 层（基于模型的审计）： 在数据集上训练一个代理模型，并标记那些显著偏离模型“留一法”（out-of-fold）预测值的数值。该层级通过借鉴化学相似材料的力量，使其能够标记仅有单次报道的材料（即“长尾”部分）中的错误。
第 4 层（针对性人工审查）： 人类专家根据前几层生成的综合怀疑评分，对筛选出的数值清单进行审查。通过只关注最可疑的记录，从而最大限度地减少人工工作量。

如何处理被标记的数值：
该框架不会默默删除数据。被标记的数值会被分配五种结果之一：接受（带有权重）、修复（如果错误已被证实，如单位偏移）、暂存（等待审查）、降权（在训练中）或拒绝（如果违反了硬性物理约束）。每项决策都会记录其类型化的原因。

3. 核心贡献

错误分类学： 对错误进行了分类，基于其在流水线中产生的阶段（来源、转换、提取、上下文、协调）以及它们在数据中留下的特定“特征”（例如，数量级偏移、对称性违规、来源内冲突）。
分层检测框架： 一种结合了模式检查、物理约束、统计共识和模型审计的系统化方法，并明确说明了每一层级的功能与局限。
定量演示：
- 分析了一个电光流水线的实际生产运行情况。
- 对接受的数值与精选参考数据进行了审计。
- 展示了本构恒等式如何暴露张量数据中的单值错误。
- 使用已知地面真值的受控合成基准测试来衡量检测率。
对 AI 的影响分析： 定量评估了错误如何影响模型准确性、评估指标，以及至关重要的——对逆向设计（排序）的影响。

4. 结果

实际生产数据（电光流水线）

在最近的一次生产运行中，验证门槛拦截了 816 个候选值中的 402 个（49%），并为每个值记录了原因。
尽管设有门槛，但在与三个基准论文的精选参考数据进行审计后发现，112 个接受值中的 30 个（27%）仍存在缺陷。
简单的无参考检查（所有晶体类的对称性规则、标签检查和本构恒等式）抓住了 30 个缺陷记录中的 21 个（70%）。
在测量的 BaTiO $_3$ 和 KNbO $_3$ 张量上，本构恒等式成功捕捉到了注入的 10 个真实单值错误中的 8 个，并准确指向了损坏的数值。

受控合成基准测试

在注入 15% 错误率的基准测试中，组合的分层框架实现了 85% 的精确度下的 81% 召回率。
框架成功抓住了 96–98% 的标签交换和上下文错误，以及所有的单位/量级错误。
冗余依赖性： 共识机制（第 2 层）对于仅报告一次或两次的材料是失效的。然而，基于模型的审计（第 3 层）通过利用化学相似性，保持了对这些“单例（singletons）”的高召回率。
对逆向设计的影响： 若不进行清洗，数据集中最大的 20 个值中有 89% 是错误。经过清洗后，这一比例降至 1%。这证明了未经清洗的数据会导致 AI 发现流程选择错误作为“最佳”材料。

约束瓶颈：缺失的上下文

一旦错误数值得到控制，主要的限制就变成了测量条件的缺失。作者定义了一个“不可分辨比例”（ $\Phi$ ），用于衡量那些拥有相同记录特征但输出数值不同的记录比例。在他们的电光语料库中， $\Phi$ 的范围在 39% 到 72% 之间，这表明由于未提取到区分性的条件，模型无法从这些记录中学习。

5. 意义与主张

本文声称“宁缺毋滥（无值优于错值）”。其重要性在于将范式从寻求完美的提取转向构建具备错误韧性的数据库。

对于发现任务： 本文认为，错误处理必须先于逆向设计。因为优化算法会寻找极端值，而错误往往表现为极端离群值，因此未经清洗的数据会系统性地使发现过程偏向错误的材料。
对于建模： 清洗数据能使模型准确度恢复到与在无错数据上训练的模型水平相差约 3% 以内。相反，测试集中的错误会夸大评估指标并掩盖真实的改进。
对于领域发展： 作者倡导：
- 测量实际提取器的错误率（目前该领域缺乏此类数据）。
- 共享、机器可读的物理规则库。
- 能够报告自身质量（包括 $\Phi$ 和溯源信息）而非仅仅报告数值的数据库。
- 提升上游科学报告的质量（结构化数据表格）。

本文得出结论：一个知道哪些数值值得怀疑的数据库，比一个将所有数值都视为正确的更大数据库，对 AI 驱动的科学研究更有价值。