Digital Pantheon: Simulating and Auditing Coalition Formation with LLM Agents
本文提出了一种结合微调、偏好优化和检索增强生成的多智能体框架,用于以意识形态忠实度模拟党派政治联盟谈判,并引入了一种新颖的谱系追踪系统,以验证以政纲为锚定的内容如何预测现实世界的协议结果。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一个计算机不再仅仅是回答问题,而是像人类一样彼此争论的世界。这就是**生成式人工智能(Generative AI)**的领域,大型语言模型(LLM)是其中的主角。可以将这些模型想象成博学多才的图书管理员,他们几乎读过人类写过的所有著作。然而,这里有一个陷阱:由于它们被训练得要对每个人都礼貌且乐于助人,它们往往表现得像一个拒绝选边站队的中立裁判。它们很难成为某个特定团队的“铁杆粉丝”,这使得它们在模拟现实政治时表现糟糕,因为在现实中,政党会对自己的理念有着极强的忠诚度,并不断为胜利而战。
为了解决这个问题,科学家们正试图构建多智能体系统(Multi-Agent Systems)。想象一个坐满了不同计算机角色的房间,每个角色都被程序设定为扮演特定的政党。目标是让他们像真正的政治家在选举后那样进行谈判,以观察他们可能会组建什么样的政府。核心问题在于:我们能否让这些计算机角色既能坚守其“党派路线”,又不会意外地变得过于温和或凭空捏造事实?如果我们能成功实现这一点,我们就可以利用这些数字模拟实验在现实发生之前测试政治构想,从而帮助我们理解不同群体可能会如何妥协或冲突。
数字万神殿:AI时代的政治模拟器
在这篇论文中,作者介绍了一种模拟政治联盟组建的新方法,称为数字万神殿(Digital Pantheon)。他们想要解决一个特定的问题:标准的AI模型过于“温和”且中立,无法像真实的、固执的政党那样行事。如果你只是告诉AI,“假装你是N-VA党”,它通常在几句话之后就会忘记自己的角色,重新变回一个乐于助人的助手。为了解决这个问题,团队构建了一个系统,强制要求AI保持角色设定,植根于真实文档,并准备好进行谈判。
他们是如何打造数字政治家的
研究人员不仅仅是要求AI“扮演”一个政党;他们通过一个三步配方从根本上重塑了它的“大脑”:
- 剧本(监督微调/Supervised Fine-Tuning): 首先,他们教会了AI像政治家一样说话。AI不再说“该党提议X”,而是学会说“我们将执行X”。这被称为“方法派演员(Method Actor)”人格,即AI完全化身为该政党,而不仅仅是描述它。
- 态度(直接偏好优化/Direct Preference Optimization): 接下来,他们教会了AI具有一定的攻击性和党派色彩。他们向AI展示了优秀的、强硬的政治辩论案例和糟糕的、中立的案例,并训练它更倾向于选择强硬的案例。这确保了AI不会仅仅停留在中间地带,而是会为自己的立场而战。
- 规则手册(检索增强生成/Retrieval-Augmented Generation): 最后,为了防止AI编造事实(幻觉),他们为每个政党配备了专属的私人图书馆,里面存放着其官方的2019年选举纲领。在AI发表任何言论之前,它必须查阅其图书馆中的规则。如果图书馆里没有记载,AI就不能声称该内容存在。
谈判竞技场
团队建立了一个基于2019年比利时佛兰德斯选举的模拟系统。他们为最终组成政府的三大主要政党创建了数字智能体:N-VA、CD&V 和 Open Vld。
这些智能体进入了一个“轴辐式(hub-and-spoke)”谈判室。一个被称为**组阁人(formateur)**的核心角色充当裁判。各政党轮流陈述诉求、进行辩论并尝试寻找共同点。模拟过程运行了四轮谈判,旨在观察各政党是否能在AI不产生混乱或放弃立场的情况下,达成一项联盟协议。
侦探工作:追踪每一个词
这篇论文最令人兴奋的部分是他们如何判定究竟是“谁”在谈判中获胜了。由于AI可能是一个“黑箱”(难以窥视内部),作者发明了一种名为**多层信息谱系拓扑结构(Multi-Layered Information Lineage Topology, MILT)**的侦探工具。
想象最终协议中的每一句话都是一个线索。MILT工具将这句话向后追溯:
- 直接谱系(Direct Lineage): 这个想法是直接来自政党的原始纲领并在战斗中幸存下来的吗?(政党在此项中大获全胜)。
- 稀释谱系(Diluted Lineage): 政党最初提出了这个想法,但为了达成协议不得不对其进行了弱化处理?(他们仍获得认可,但程度较低)。
- 合成谱系(Synthesized Lineage): 两个政党混合了各自不同的想法以创造出新事物?(双方都获得认可)。
- 流水线人工制品或孤儿(Pipeline Artifact or Orphan): AI是否因为产生混乱而凭空捏造了某些东西?(无人获得认可;这是错误行为)。
通过追踪这些路径,他们创建了一个联盟影响力得分(Coalition Influence Score, CIS)。该得分通过累加政党成功推动的每一项条款来计算,从而为他们提供了一个清晰的排名,显示谁真正塑造了最终的协议。
他们的发现
当他们运行三次模拟时,结果表现出了惊人的稳定性和现实性:
- 赢家: N-VA 党始终处于领先地位,紧随其后的是 CD&V,然后是 Open Vld。N-VA党不仅赢得了胜利,而且在“直接谱系”类别中占据主导地位,这意味着他们的原始想法在谈判中最常得以保留。
- 现实检验: 团队将他们的模拟协议与2019年在现实世界中签署的实际政府协议进行了对比。他们发现,具有清晰“谱系”(可追溯至真实政党纲领)的想法更有可能出现在现实协议中。
- 模拟中约有 57.4% 的条款锚定在真实的政党纲领中。
- 然而,约有 28.9% 的内容属于“系统性错误”或幻觉——即AI捏造的现实世界中并不存在的内容。
- 教训: 模拟表明,当AI智能体被强制要求遵循其真实文档时,它们可以相当准确地预测现实世界的产出。例如,在“教育”领域,模拟非常准确(接地得分为 0.491);但在“财政与预算”领域,表现则较为挣扎(得分为 0.147),经常捏造出与现实不符的虚假数字或期限。
为什么这很重要
作者并非声称他们解决了政治问题,也不是说AI可以取代人类选民。相反,他们构建了一个透明的“试验台”。这个工具允许研究人员观察联盟是如何形成的,而不仅仅是观察结果是什么。它证明了,如果给予AI正确的工具(强大的个性、严格的规则手册以及追踪来源的方法),它可以模拟复杂的人类谈判而不至于迷失在自己的想象之中。
这项研究表明,虽然AI可以模仿政治妥协的结构,但在处理如预算等复杂话题的具体细节时仍显吃力。但通过使用像MILT这样的工具,我们现在可以将“真实的”政治胜利与AI的“白日梦”区分开来,使这些模拟成为在政治策略正式登上头条新闻之前进行探索的强大手段。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。