An Expert-independent Artificial Intelligence Method for Extracting and Prioritizing Decision Factors From Large-scale Textual Corpora
本文介绍了 FEDRA，这是一个利用基于 Transformer 的嵌入、聚类和图分析技术，在无需专家干预的情况下，从大规模科学文本中提取并优先排序决策因素的自主框架，并在一个废水处理选址案例研究中展示了高准确性和语义一致性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每天，科学家、工程师和决策者都面临着如山般的书面信息。成千上万的研究论文、技术报告和政策文件不断发布，每一份都包含了做出艰难抉择所需的拼图碎片。几十年来，将这一座文字大山转化为清晰优先事项的标准方法是询问人类专家。专家小组会聚在一起，阅读文献，并就什么事项最为重要进行投票，通常使用结构化调查或冗长的讨论来达成共识。虽然这种方法一直行之有效，但它速度缓慢、成本高昂，且完全依赖于所选参与者的特定个人。如果专家更换了，结果往往也会随之改变。此外，随着可用信息的增长速度超过任何人类团队的阅读速度，这种传统方法正开始遭遇瓶颈。
一种试图完全绕过人类瓶颈的新方法正在兴起。这种方法不再要求人类去决定什么是重要的，而是要求计算机阅读文档并自行寻找模式。其核心理念依赖于两项现代能力。首先，计算机现在可以理解句子的含义，而不仅仅是它们所包含的单词，通过将文本转换为上下文的数学表示来实现。其次，它们可以绘制不同想法如何共同出现，从而揭示在研究人员的思想中哪些概念是自然联系在一起的。通过结合这些工具，现在已经可以构建一个系统，直接从文本中提取决策最关键的因素，而无需任何人类专家进行投票或填写表格。
人工智能领域的独立研究员伊曼·穆萨德格（Iman Mosaddegh）开发了一个名为 FEDRA 的框架来测试这个想法。目标是创建一个能够自动阅读大量科学文献、识别影响特定决策的关键因素并按重要性对其进行排序的系统，且全程无需人工干预。为了验证这是否可行，研究人员将该系统应用于一个复杂的现实世界问题：选择废水处理厂的最佳位置。这是一个涉及平衡许多相互竞争的考量的决策，从到河流和道路的距离，到土地成本以及当地社区的需求。研究人员收集了 2012 年至 2026 年间发表的 25 份科学文献，总计超过 121,000 个单词。这一集合成为了计算机进行分析的原材料。
处理过程始于将这些文档的全文输入系统。计算机将文本分解为句子和段落，然后利用先进的语言模型来理解词汇背背后的含义。系统并非寻找特定的关键词，而是寻找频繁共同出现的想法集群。它识别出了 28 个文献中讨论的关于选址的重要不同因素。这些因素并非由研究人员预先编程，而是从数据中自然涌现出来的。随后，系统将这些因素组织成四个逻辑组：可达性与需求、环境与水文条件、工程与基础设施约束，以及社会经济考量。这种分组是基于这些因素在文本中相互关联的方式自动完成的。
一旦确定了因素，系统必须决定哪些因素是最重要的。它通过构建一个因素的网络图来实现这一点。在这个图中，每个因素都是一个点，线条连接了出现在相同句子或段落中的因素。系统随后分析了这个网络，以观察哪些因素是最核心的。与许多其他重要因素相连的因素会获得更高的排名，就像社交网络中一个与许多其他有影响力的人相连的受欢迎人士一样。这种方法使系统能够根据因素在文献中的结构重要性进行优先级排序，而不仅仅是计算单词出现的频率。系统识别出的排名第一的因素是靠近水体，紧随其后的是离道路的距离和人口密度。这些结果与人类专家传统上的结论高度一致，表明计算机成功地从文本中学习到了相同的经验教训。
为了验证结果，研究人员将计算机生成的列表与一个基准模型进行了对比，该基准模型作为一个对相同文档进行阅读的第二个独立阅读器。对比显示，两种方法之间存在强烈的共识。计算机成功识别出了基准模型发现的 29 个关键因素中的 28 个，成功率超过 96%。这些因素的排名也高度匹配，具有很高的统计相关性，表明计算机和基准模型在哪些因素最为关键的问题上达成了一致。系统还证明了它找到的因素在语义上是一致的，这意味着它创建的因素组在逻辑上是合理的。虽然系统确实遗漏了一个与文化遗产和美学相关的因素，但其整体表现足够稳健，足以表明它能够从非结构化文本中重建有意义的决策空间。
研究表明，自动发现决策因素是可能的，这为传统的专家小组提供了一种可扩展的替代方案。该框架被证明能够处理多样化的文档集，并在没有任何人工评分或预定义类别的情况下，提取出结构化、可解释的优先事项列表。然而，研究人员指出，该系统并非完全不受人类影响。输出的质量取决于输入文档的质量，且研究人员仍需决定包含哪些文档以及如何设置系统的参数。该系统并不取代人类在最终决策过程中的判断需求，但它为收集和组织那些为决策提供依据的证据提供了一个强大的工具。通过将海量的文本库转化为清晰、排名的因素列表，这种方法可以帮助各机构在从工程到公共政策的各个领域中做出更快、更一致的决策，前提是他们能够获取到扎实的书面知识体系进行分析。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。