Automating the Open Data Maturity Index with a Multi-Agent LLM System
本论文提出了一种多智能体大语言模型系统，通过研究、验证与裁决的协作工作流，实现了针对 2025 年官方响应 70.1% 的准确率，从而实现了开放数据成熟度指数评估的自动化，同时强调了需要重新制定问卷，将重点从自我报告的实践转向可发现的证据，以克服开放网络数据的局限性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每年，布鲁塞尔的一支专家团队都会坐下来，评判三十六个欧洲国家在共享公共数据方面的表现。他们会提出一系列长长的清单式问题：政府是否有开放数据的计划？国家网站是否易于使用？数据集是否真的可用？对于每个国家，由该国国家团队自行回答这些问题，然后由一名人工审核员对答案进行复核，以确保其真实性。这个过程缓慢、昂贵，且高度依赖信任。伦敦国王学院的研究人员提出的问题很简单：能否由一组人工智能智能体来承担这项工作？他们想知道，机器是否可以搜寻公开的网络，寻找证据并为这些国家评分，同时在保持足够公平和准确以获得信任的前提下完成任务。
研究人员构建了一个运作起来像是一个由三个数字智能体组成的小型委员会的系统。第一个智能体是“研究员”（Researcher），它阅读问题并在网上搜索证据。如果它发现了一份看起来像是答案的文件，它就会提议一个分数。第二个智能体是“验证员”（Verifier），扮演怀疑者的角色。它的唯一职责是试图证明“研究员”是错误的，即寻找能够反驳该主张的证据。如果这两个智能体无法达成一致，第三个智能体“裁决员”（Adjudicator）就会介入进行最终裁定。至关重要的一点是，该系统有一种表达“我不知道”的方式。如果智能体无法在公开网络上找到足够的证据，它们会被程序设定为拒绝回答该问题，而不是进行猜测。这非常关键，因为互联网充满了信息缺口；仅仅因为一个网站没有提到某项做法，并不意味着该做法不存在。
当研究小组在对八个国家样本进行测试、回答一千多个问题时，他们发现机器可以做得很好，但仅限于特定条件下。该系统成功回答了大约一半的问题，并且在它选择回答的问题中，其答案与人类专家的答案大致有十分之七的吻合度。然而，它拒绝回答另外一半的问题。这种拒绝并非源于智力不足，而是源于证据匮乏。系统非常擅长寻找证明某事存在的证据。如果一个国家拥有一项政策或网站上的一个功能，智能体就能找到相关文件并引用它。但面对询问“是否存在缺失”的问题时，系统则表现得极其吃力。如果一个国家没有某种做法，通常不会有一份公开文件写着“我们不从事此项活动”。智能体无法区分一个国家是确实没有这种做法，还是仅仅没有发布证明其做法存在的材料。
这一局限性揭示了当前评估设计中的一个深层问题。研究人员发现，系统的准确性在不同国家之间并不一致。它在那些已经在分享数据方面做得最好的国家表现最为出色。这些国家的网站内容丰富、详细，拥有许多公开文件，这为人工智能提供了充足的素材。而那些开放数据较少的国家，由于网站和文件较少，成为了系统最难应对的对象。事实上，系统对于数据开放程度较低的国家感到非常困惑，经常拒绝回答，或者更糟的是，因为将无关信息误认为证据而做出错误猜测。研究表明，一个国家越开放，机器对其进行评分就越容易，这创造了一个循环：系统对那些已经表现良好的国家最为准确。
研究人员还测试了设置一个“怀疑型”智能体是否必要。他们将“验证员”的角色从尝试反驳答案改为尝试证实答案。令人惊讶的是，这一改变几乎没有产生任何影响。系统并没有变得更准确，也没有变得更不准确。多个智能体的益处不在于它们持有相反观点，而仅仅在于它们多次搜索网络，收集了更多证据。智能体之间的辩论并未解决核心问题：互联网本身并不包含证明某种做法“缺失”所需的证据。
最后，这项研究表明，目前尚无法实现针对整个问卷的完全自动化评估，但一种混合方法是可行的。研究人员建议重写问题，要求提供“公开证据”而非“内部承诺”。与其询问政府团队“你们是否监测搜索词？”，不如将新问题改为“请向我们展示您发布的关于监测搜索词所得结果的报告”。这种转变将迫使证据必须存在于公开网络上，从而使机器能够进行验证。对于那些仍需依赖内部知识的部分，人类专家仍然是必要的。机器可以处理那半部分可以用公开文件回答的问题，并将剩下的问题标记出来交由人工审核。这不仅能加快处理速度，还能让评估更加诚实，确保一个国家的得分是基于其“实际发布的内容”，而非仅仅是其“声称做过的事”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。