TradeVerse: A Longitudinal Benchmark of Political Negotiation in International Trade
本文介绍了 TradeVerse，这是第一个源自世贸组织（WTO）会议记录的纵向基准测试，旨在通过预测产品代码、识别回应国家以及生成外交声明这三项任务，评估大语言模型理解多轮政治贸易谈判的能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在国际贸易的高风险世界中，协议很少在瞬间达成共识。相反，它们源于一个缓慢且往往充满争议的谈判过程，这一过程可能跨越数年。当一个国家对另一个国家的关税或法规提出质疑时，回应并非简单的“是”或“否”。它是一种对话，是一种立场不断变化、联盟不断形成、论点随多次会议演进的往复交流。几十年来，这些对话都被记录在世界贸易组织的会议纪要中，创造了一个关于现实世界外交的庞大纵向档案。直到最近，旨在阅读和理解人类语言的人工智能系统还仅在静态文档或孤立问题上接受测试。它们尚未被要求去处理这种复杂的、持续展开的多年度政治争端。
一项新研究介绍了一个旨在测试现代人工智能是否能真正理解这类长期政治推理的工具。研究人员构建了一个名为 TRADEVERSE 的基准测试，该基准重建了来自世界贸易组织记录的 1,170 项特定贸易关注事项。这些关注事项跨越了三十多年，涉及 6,933 场独立的会议和 26,219 份单独的陈述。该数据集涵盖了五个不同的委员会和 89 个不同的产品类别，范围从农产品到电子产品。其目标不仅是看计算机能否简单地总结文本，而是看它能否跟进一段可能始于五年前的对话，记住谁说了什么，并理解每个相关国家的战略立场。
研究人员设置了三个截然不同的挑战，以测试六种领先语言模型的智能水平。第一个任务要求模型查看整个贸易争端的历史，并识别正在讨论的产品。在现实世界中，贸易关注事项通常由一套对货物进行分类的具体代码系统进行分类。模型必须仅根据谈判文本来预测这些类别。结果显示，虽然模型擅长寻找正确的产品，但它们也容易倾向于猜测过多的可能性。它们往往会列出一系列相关的项目，而不是精准定位确切的项目，这表明当证据不是完全明确时，它们在通过扩大范围来规避风险。
第二个挑战是对匿名性和推断能力的测试。研究人员提取了会议记录，并移除了涉及的国家名称，用通用的占位符代替。随后要求模型猜测哪个国家正在对投诉做出回应。这是为了测试 AI 是否能根据论据本身——具体的法律、产品的性质以及辩护风格——来推断出答案，而不仅仅是通过识别国家名称。模型表现出了很高的准确性，在大多数情况下都能正确识别出回应国。然而，出现了一个显著的模式：模型在识别西方国家方面比识别非西方国家的能力更强。即使在所有国家名称都被隐藏的情况下，这种性能差距依然存在，这表明 AI 的训练数据包含了更多西方外交语言的案例，使得系统更容易识别这些模式。
最后一个或许也是最困难的任务是扮演谈判参与者的角色。研究人员向模型提供了争端的历史记录以及投诉方在最后一轮中所做的陈述。它们的任务是为回应国撰写总结性陈述。研究人员将生成的陈述与实际的历史记录进行了对比。虽然 AI 生成的文本听起来流利且符合外交礼仪，但往往缺乏现实世界回应中所包含的具体细节。模型可以模仿外交官的语气，但在复制现实国家用来捍卫其政策的精确且实质性的论点方面却显得力不从心。有趣的是，研究发现，贸易争端的谈判轮次越多，模型生成最终陈述的表现就越好。这表明，对话历史越长，AI 就拥有越多的上下文信息来理解它所扮演的角色。
研究结论指出，尽管当前的人工智能系统是阅读文本的强大工具，但在被要求推理现实世界政治谈判中漫长且演进的动态过程时，仍面临重大障碍。它们可以识别模式并模仿风格，但往往会忽略定义国际贸易争端的具体战略细微差别。研究人员已将其数据集和使用的工具向公众开放，希望这一新基准能帮助未来的系统学习如何应对人类外交中复杂且具有纵向特征的本质。这项工作强调，理解一场对话不仅仅是阅读页面上的文字，更是要追踪随着时间推移而展开的历史、关系以及不断变化的策略。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。