💻 computer science

Auditing and mitigating high-confidence false relation edges in LLM-assisted scientometric extraction

本文提出并评估了一种基于扰动的审计与缓解框架，该框架展示了实体噪声如何增加大语言模型生成的科学计量图谱中高置信度虚假关系的风险，并揭示了实体感知与证据感知的弃权策略在维护图谱完整性方面能有效优于简单的置信度过滤。

原作者： Ce Yin, yunqiu zhang

发布于 2026-09-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Ce Yin, yunqiu zhang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在浩瀚的人类知识库中，科学家和图书管理员正越来越多地转向人工智能，以整理激增的新研究成果。他们利用这些智能计算机程序来阅读数百万篇科学摘要，并提取出特定的事实：哪位研究人员发明了一种新方法，哪种软件工具被用于特定任务，或者一个发现是如何与另一个发现相联系的。这些提取出的事实随后被缝合在一起，以构建大规模的科学数字地图，帮助研究人员发现模式、追踪思想的历史，并评估不同领域的影响力。为了让这些地图发挥作用，事实之间的联系必须是准确的。如果计算机将一种方法与错误的任务联系起来，或者声称了一个并不存在的联系，整个地图就会变得扭曲，导致混乱而非清晰。

核心挑战在于这些系统如何处理句子的构建块：实体。在科学文本中，实体是一个特定的名称或术语，例如药物名称或研究技术。计算机必须首先正确识别这些名称，然后判断两者之间是否存在关系。吉林大学研究人员的一项新研究调查了当计算机出错时会发生什么。他们提出了一个关键问题：如果输入数据被损坏或轻微改变，人工智能是否仍会自信地虚构出一个并不存在的关系？他们的发现揭示了一个令人担忧的倾向：尽管接收到了破碎或不匹配的信息，系统往往仍坚持创建一个强有力的联系，实际上是在“幻觉”出可能误导整个科学界的各种事实。

为了测试这一点，研究人员使用两个不同的科学文本集合设计了一个受控实验。一个数据集包含涵盖广泛主题的通用科学摘要，而另一个则专注于糖尿病研究这一较窄的领域。他们选取了已知具有真实关系的实体对，并刻意引入了微小的错误。在某些情况下，他们移动了单词的边界，切掉一个字母或增加一个字母。在其他情况下，他们保持单词完全相同，但告诉计算机它属于不同的类别，例如将一种软件工具标记为化学化合物。目标是观察当人工智能面对从根本上说存在缺陷的证据时会如何反应。

结果显示，当输入数据被损坏时，计算机的性能显著下降，但其表现方式并非人们所希望的那样。系统并没有简单地说“我不知道”或拒绝建立联系，而是频繁地生成了特定的关系。更令人担忧的是，它在生成关系时表现出了极高的置信度。在通用科学数据集中，当研究人员引入这些错误时，这种自信但错误的连接率从约24%的基准线跳升至近49%。在糖尿病数据集中，风险也增加了，尽管整体数值较低，这表明科学领域本身的结构有时可以缓冲这些错误。研究发现，计算机不仅仅是在猜测；它是在基于无效证据自信地断言事实，研究人员将这种现象称为“实体-证据替代”。

研究人员发现，计算机依赖于它从训练数据中学习到的广泛模式，而不是眼前的特定证据。即使具体的名称不再匹配，系统也会看到一个看似合理的模式，并用一个自信的断言来填补空白。例如，如果文本提到了一个方法和一个任务，即使该方法或任务的具体名称已被搞乱，计算机也可能会将它们联系起来。系统的内部逻辑似乎优先考虑句子的整体轮廓，而非词汇本身的有效性，从而导致它产生了一个表面上看起来正确、实则建立在破碎基础之上的关系。

这种行为对我们如何构建知识地图有着严肃的影响。研究人员模拟了如果将这些错误的连接添加到科学事实网络中会发生什么。他们发现，这些自信的错误不仅仅是增加了几条错误的连线；它们改变了整个网络的结构。错误的连接在不相关的想法之间创造了新的路径，并改变了某些节点的权重，使得某些话题看起来比实际情况更具中心性或关联性。在现实场景中，这意味着寻找特定工具的研究人员可能会被引向错误的路径，或者一个科学领域的历史可能会因错误的链接而被重写。

为了解决这个问题，研究测试了一种名为“实体感知弃权”（entity-aware abstention）的新型安全机制。这种方法不再仅仅依赖计算机自报的置信度分数，而是要求系统对自己的工作进行双重检查。在最终确定一个联系之前，系统被指示验证它所链接的名称是否有效，以及是否有明确的文本证据支持该特定关系。当应用这种额外的检查时，保留下来的错误连接数量显著下降。在通用科学数据集中，这种方法比单纯过滤掉低置信度的答案更有效地降低了高置信度错误边的比例。研究表明，对于人工智能要成为科学领域可靠的伙伴，它必须学会识别何时自身的证据薄弱，并学会退后一步，而不是强行建立联系。

研究结论指出，虽然大型语言模型是组织科学知识的强大工具，但它们并非无懈可击。它们可能会被输入数据中的微妙错误所误导，从而产生自信但错误的结论，这些结论可能会在科学数据库中产生连锁反应。这项研究提供了一个审计这些系统的实用框架，表明检查构建块的有效性与检查最终答案同样重要。通过将置信度分数与对证据的直接检查相结合，科学家可以构建更稳健的系统，使其不太可能在不存在联系的地方凭空捏造联系，从而确保人类知识的地图保持准确且值得信赖。

技术摘要：审计并缓解 LLM 辅助科学计量提取中的高置信度虚假关系边

1. 问题陈述

本文探讨了在利用大语言模型（LLM）进行科学计量数据生产时存在的关键可靠性差距，特别是在用于知识图谱和科学图谱的关系提取领域。虽然 LLM 能有效地将科学文本转换为语义丰富的表示，但其输出高度依赖于上游实体识别的完整性。

研究识别的核心问题是实体噪声诱导的过度自信（entity-noise-induced overconfidence）：当上游实体证据受损（例如，通过边界偏移或类型替换）时，LLM 通常仍会以高报告置信度预测实质性关系。这些“高置信度虚假关系边”极具危险性，因为它们能够逃避下游过滤，并作为有效连接进入科学计量基础设施（如知识图谱、检索系统、评价指标），从而可能扭曲领域映射和研究评估。

研究指出，标准的准确率指标和仅基于置信度的过滤机制不足以检测这些失败，因为模型可能会依赖广泛的关系模式先验（relation-schema priors）和表面共现线索，即使在特定的实体级证据无效时，也会通过这些线索来“补全”一个关系。

2. 研究方法

作者开发了一个基于扰动的审计与缓解框架，用以量化并解决这一风险。

实验设计

数据集：
- SciERC： 主要实验设置，包含来自科学摘要的已标注实体和关系（开放科学模式）。
- Diabetes（糖尿病）： 来自 Heywhale Community 的边界条件设置，具有受限的生物医学关系模式，用以测试领域规则性的影响。
扰动条件： 将干净的正向关系转化为“预期为 NA（不适用）”的情况，通过确定性扰动实现：
- 边界噪声（Boundary Noise）： 对头实体或尾实体的提及进行单字符的扩展或截断。
- 类型噪声（Type Noise）： 将显示的实体类型替换为库存中另一个有效的类型，同时保留提及的字符串。
模型： 实验使用 DeepSeek v4 flash 和 Kimi K2.5（处于思考模式）进行。
流程： 该流水线遵循管道式提取方法，即先识别实体，然后再进行关系分类。研究评估了关系分类器在面对受损实体对时的表现。

指标

审计评估了超越标准准确率之外的表现，重点关注：

预期 NA 假阳性率 (Expected-NA False-Positive Rate, NA-FPR)： 受损实体对获得非 NA 标签的比率。
高置信度预期 NA 假阳性率 (High-Confidence Expected-NA False-Positive Rate, HC-NA-FPR)： 这些错误以置信度 $\ge$ 0.8 发生的比率。
报告置信度 ECE： 使用预期校准误差（Expected Calibration Error）来衡量自报告置信度与经验正确性之间的一致性。
关系图压力测试： 量化在保留虚假边时对下游图连通性、密度和度中心性的影响。

缓解策略

研究测试了实体感知弃权（Entity-Aware Abstention），这是一种筛选机制，其中模型的自身报告字段（实体有效性、证据可用性和逻辑依据）被用于拦截预测。该策略与仅基于置信度的过滤（仅根据低置信度分数进行拒绝）进行了对比。

3. 关键结果

实体噪声导致的风险放大

准确率下降： 在 SciERC 中，实体噪声使准确率从约 0.57（干净状态）降至 0.27–0.42 范围。在 Diabetes 数据集中，准确率下降并不显著，表明领域规则性缓冲了部分错误。
高置信度错误： 实体噪声显著增加了 HC-NA-FPR，尽管其幅度随噪声类型和领域而异。
- SciERC： 在所有噪声条件下，HC-NA-FPR 从 0.243（干净 NA）上升至 0.452–0.520。
- Diabetes： 增长主要由边界噪声驱动，它将 HC-NA-FPR 从 0.035 提升至 0.244–0.266，而类型噪声产生的增幅较小（0.067–0.136）。
校准失效： 即使对于这些无效预测，报告的置信度仍然很高（通常 >0.8），这表明在存在实体损坏的情况下，置信度分数是衡量正确性的糟糕代理指标。

机制证据：实体-证据替代

对模型输出的分析显示，在高置信度虚假边中：

模型在其内部有效性或逻辑依据字段中经常生成无效实体线索（例如，指出证据薄弱）。
然而，最终的关系标签仍被断言为实质性的。
这支持了**实体-证据替代（entity-evidence substitution）**假设：模型的决策是由强大的模式先验和共现模式驱动的，从而覆盖了微弱或无效的实体特定证据。

图层面影响

对 SciERC 关系图进行的压力测试表明，保留这些虚假边会导致：

显著增加断言边的数量（例如，在 DeepSeek 中从 351 增加到 807）。
改变了连通性（最大弱连通分量大小增加）和度中心性（改变了哪些提及显得处于中心地位）。
引入了广泛且可能具有误导性的标签（例如，“用于/Used-for”、“连接词/Conjunction”），模糊了方法与任务之间的联系。

缓解效果

实体感知弃权被证明优于仅基于置信度的过滤：

在匹配的覆盖率水平下（~90%），实体感知策略更有效地降低了保留的 HC-NA-FPR。
在 SciERC 中，混合策略（结合实体线索和证据检查）将保留的 HC-NA-FPR 从 0.488（仅置信度）降低至 0.415。
在 Diabetes 中，该比例从 0.151 降至 0.049。
这证实了直接检查实体有效性和文本证据，比依赖模型自报的置信度更为有效。

4. 核心贡献

定义了流水线层级的可靠性问题： 本文正式定义了在 LLM 辅助科学计量中，受损实体证据生成高置信度虚假关系边的风险。
透明的扰动协议： 引入了一种将干净正向关系、干净预期 NA 对以及特定噪声类型（边界 vs 类型）区分开来的方法，并报告了各自独特的风险特征。
下游风险量化： 通过关系图压力测试将提取错误与下游表示风险联系起来，量化了虚假边如何改变图拓扑结构和中心性。
实用的缓解策略： 验证了实体感知和证据感知弃权作为一种比仅基于置信度过滤更有效的筛选控制手段，为更安全地将 LLM 输出集成到知识图谱中提供了工作流。

5. 意义与主张

本文主张，为了使 LLM 提取的关系能够安全地用于科学计量基础设施（知识图谱、科学图谱、评价指标），在下游复用之前需要进行实体级验证。

可靠性审计： 该研究提供了一个可复现的审计框架，该框架超越了标准的基准准确率，旨在测试当上游实体证据存在缺陷时，流水线会如何表现。
置信度的局限性： 研究证明，在这种情况下，报告的置信度并不是安全的风险代理指标；模型可以对源自受损实体的错误关系表现出极高的置信度。
缓解措施： 研究结果支持一种工作流，即将实体有效性和证据可用性视为第一阶风险信号。作者认为，将这些检查与报告的置信度以及选择性的人工审查相结合，为缓解虚假边传播到科学知识结构中的风险提供了一条切实可行的路径。

由于效应值是针对特定的审计设置（SciERC、Diabetes、特定模型）而言的，且可能随不同的模型族、解码配置和关系模式而变化，因此本研究在泛化性方面保持了审慎态度。然而，实体-证据替代机制被视为这种失效模式的一个具有普适性的解释。