💬 NLP

Building Social World Models with Large Language Models

本文介绍了社会世界模型（Social World Model, SWM），这是一个利用大语言模型在无需显式标注的情况下预测社会信念随事件演化的框架，并在一个源自 Kalshi 和 Polymarket 等真实世界预测市场的新基准测试上展示了最先进的性能。

原作者： Haofei Yu, Yining Zhao, Guanyu Lin, Jiaxuan You

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haofei Yu, Yining Zhao, Guanyu Lin, Jiaxuan You

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测一群人会对一条突发新闻做出怎样的反应。他们会变得兴奋、恐惧，还是漠不关心？通常情况下，这极难预测，因为人类的信念是混乱、感性的，其变化的原因往往并不直观。

这篇论文介绍了一种名为社会世界模型（Social World Model, SWM）的新工具。你可以把它想象成一个由人工智能（具体来说是大型语言模型，即 LLM）驱动的“公众舆论水晶球”。

以下是论文通过简单的类比对该工具进行的解释：

1. 问题所在：“黑箱”中的公众舆论

作者认为，追踪社会思维方式就像是在没有温度计的情况下预测天气。

数据鸿沟： 通常，我们无法获得关于人们信仰什么的清晰数字。调查问卷反应迟缓，而社交媒体则充斥着噪音（机器人、喷子和信息茧房）。
谜团： 即使我们看到了信念的变化（例如，“人们突然认为某种新的加密货币会涨”），我们也往往不知道是哪一个具体的的新闻故事导致了这种变化。是政客的演讲？科学发现？还是仅仅是一个谣言？
挑战： 传统的计算机模型擅长数学（比如根据过去的数据预测股价），但不擅长理解数字背后的“故事”。它们无法“阅读”新闻并理解一条特定的标题是如何改变一个人的想法的。

2. 解决方案：“社会世界模型”

作者构建了一个将公众信念视为可以被推动或拉动的物理对象的系统。

“状态”（信念）： 想象一个测量人们对某事相信程度的温度计（例如，“特朗普会赢得选举吗？”）。温度计上的数字就是“状态”。
“事件”（推力）： 一条新闻故事就像一只手在推那个温度计。
目标： 该模型试图学习这条规则：如果我们拥有当前的信念（状态 A）并且发生了这个特定的新闻故事（事件），那么明天的信念会是什么（状态 B）？

3. 他们如何训练 AI（“后见之明”技巧）

这是论文中最巧妙的部分。通常，要教导一台计算机，你需要一位老师来告诉你：“这条新闻导致了那个信念的变化。”但作者并没有为每一个事件都配备人类老师。

相反，他们使用了一种**“后见之明”（Hindsight）策略**：

设置： 他们使用了来自预测市场（如 Polymarket 和 Kalshi）的数据。这些是人们在上面对结果进行真金白银投注的地方。赌注的价格是衡量人群信念的完美、实时的指标。
老师（“后验”）： 他们使用了一个超级聪明的 AI（一个冻结的 LLM）在事件发生之后去观察过去。这个 AI 扮演着侦探的角色，它观察信念的变化，并追问：“昨天哪条新闻最能解释这种变化？”
学生（“世界模型”）： 主模型（“学生”）试图预测未来。它的训练目标是去猜测那位“侦探 AI”会说什么。
- 类比： 想象一个正在考试的学生。他现在还不知道答案。但在考试结束后，一位天才导师告诉他：“你之所以答对这个问题，是因为你记住了这个特定的事实。”随后，学生学会了将该事实与答案联系起来，以便下次能够独立进行预测。

4. 他们的发现

团队使用数千个真实的投注市场测试了他们的模型。

超越专家： 他们的模型（SWM）在预测信念变化的方向（上升或下降）方面，表现优于标准的序列时间模型（这类模型仅观察过去的数据），甚至优于目前一些最先进的 AI 模型（如 GPT-5.5）。
“为什么”很重要： 当模型能够清晰地将新闻故事与信念转变联系起来时，效果最好。
- 成功案例： 当发生一个明确的事件（如和平协议的宣布）时，模型正确预测了信念会上升。
- 失败案例： 当市场因复杂的、隐藏的原因（如算法交易或模糊的传闻）而波动时，模型会感到吃力，因为它无法在新闻中找到清晰的“因果关系”。

5. 两种运行模式

论文描述了使用该工具的两种方式：

预报（气象员模式）： 模型观察今天所有的新闻，猜出哪一条最重要，并预测明天人群会持有怎样的信念。
模拟（“如果……会怎样”机器）： 你可以询问模型：“如果这条特定的假新闻是真的，公众舆论会发生什么变化？”模型可以在新闻实际存在之前，模拟其反应。

总结

论文声称，通过将真金白银的投注数据（一种非常诚实的信念衡量标准）与能够阅读并理解新闻的 AI 相结合，他们创建了一个可以预测社会思想如何变化的系统。它不仅仅是在猜测数字；它学习了特定故事如何拨动公众舆论之针的“规则”。

重要提示： 论文明确指出，这是一个用于理解和预测集体信念的工具。它警告说，虽然对于政策制定者预判反应非常有用，但如果被恶意利用，也可能被用来操纵舆论。作者并未声称它能 100% 准确地预测未来，也没有声称它解决了所有的社会科学问题。

技术摘要：利用大语言模型构建社会世界模型

1. 问题陈述

本文探讨了一个根本性的挑战：如何建模并预测社会信念如何响应现实世界事件（例如政策变化、科学突破或政治选举）而演变。尽管大语言模型（LLMs）拥有常识知识和社会智能，但将其应用于该领域面临三个具体的障碍：

可量化性与数据稀缺性： 社会信念是语义性的，难以捕捉为结构化、高保真的时间序列数据。传统的来源（如调查或社交媒体）存在噪声、偏差和代表性不足的问题。
语义复杂性： 社会转型是由细微的心理和文化背景驱动的，而非由显式的、编码化的法则驱动。传统的统计或符号模型往往无法捕捉这些隐性的转换规则。
缺乏显式归因： 即便观察到了信念转变，特定事件与转变之间的因果联系也往往是模糊的。在缺乏显式的“事件-转变”标签的情况下，模型难以学习社会动态的底层机制。

核心研究问题是：LLM 能否建模社会信念对事件的响应动态？

2. 方法论：社会世界模型 (SWM)

作者提出了社会世界模型 (SWM)，这是一个生成式框架，将集体信念视为语义状态 ( $s_t$ )，并将社会事件视为外生动作 ( $e_t$ )。该模型学习一个状态转移函数 $P_\theta(s_{t+1} | s_t, e_t)$ 。

2.1 数据基础：SWM-Bench

为了解决数据稀缺问题，作者引入了 SWM-Bench，这是一个源自真实世界预测市场（Kalshi 和 Polymarket）的基准测试。

原理： 预测市场价格是公众舆论的高保真、聚合信号，它过滤了噪声，并反映了基于财务风险的理性决策。
格式： 社会信念被定义为一个二进制命题 $q$ ，其具有市场隐含概率 $v_t \in [0, 1]$ 。状态 $s_t$ 是近期价格的轨迹窗口，而事件空间 $E_t$ 由候选新闻文章组成。

2.2 架构与训练范式

SWM 框架利用 LLM 作为三个核心模块的骨干，采用后验引导训练范式，旨在无需人工标注的情况下解决归因标签问题。

潜在事件归因： 将驱动信念转变的真实事件视为潜在变量 $Z_t$ 。模型通过对单个假设事件进行条件化来近似转换过程。
先验归因器 ( $P_\eta$ )： 一个前瞻性模型，根据转变发生之前可获得的上下文对候选事件进行评分。
后验归因器 ( $Q_\phi$ )： 一个冻结的、事后观察的 LLM，它观察已实现的结局 ( $s_{t+1}$ ) 并确定哪个候选事件最能解释该转变。它充当提供伪标签的“教师”。
社会世界模型 ( $P_\theta$ )： 转换引擎，学习在给定特定归因事件的情况下预测 $s_{t+1}$ 。

训练目标：
训练过程最小化一个由两部分组成的损失函数：

世界模型损失 ( $L_{wm}$ )： 训练 $P_\theta$ 在以后验 $Q_\phi$ 归因的事件为条件时预测转换 $s_{t+1}$ 。
归因损失 ( $L_{attr}$ )： 使用 KL 散度将事后归因从 $Q_\phi$ 蒸馏到先验归因器 $P_\eta$ 中。

这种方法允许模型通过执行逆向推理来学习因果机制：后验识别原因，而先验学习在无法获取未来信息的情况下预测该原因。

2.3 推理模式

解耦的架构支持两种不同的模式：

预测： 通过对先验归因器的不确定性进行边际化，来预测未来的市场轨迹 ( $\hat{s}_{t+1} = \sum P_\eta \cdot E[P_\theta]$ )。
模拟： 直接以特定（真实的或假设的）事件为条件，来估计“如果……会怎样”的信念转变，从而绕过归因器。

3. 核心贡献

SWM-Bench： 第一个从真实预测市场中提取的评估基准，将社会信念转化为涵盖政治、金融和加密货币的可量化时间序列格式。
社会世界模型框架： 一种利用 LLM 捕捉由语义驱动的、隐性社会动态转换规则的新颖架构，超越了传统的序列预测。
后验监督训练： 一种通过将社会推理（归因）与动态建模解耦来解决归因标签问题的训练范式，实现了无需显式人工标注的学习。

4. 实验结果

实验在 SWM-Bench（Kalshi 和 Polymarket 数据集）上进行，将 SWM 与时间序列模型（如 Autoformer、iTransformer）以及基于 LLM 的基线模型（提示词工程和微调模型）进行了对比。

性能： SWM 在 Kalshi 数据集上达到了最先进的结果 (SOTA)，超越了包括 GPT-5.5 和各种时间序列模型在内的强力基线。在 Polymarket 数据集上，它展示了极具竞争力的表现，特别是在方向准确性方面。
方向准确性： 在归因子集（即存在明确新闻驱动因素的部分）中，SWM（先验）实现了最高的方向准确性（Polymarket 为 0.685，Kalshi 为 0.845）。
消融研究：
- 模型规模： 更大的 LLM 骨干（从 0.6B 到 8B）一致地提升了性能，这表明容量对于将文本事件转化为数值动态至关重要。
- 归因： 主要瓶颈在于先验归因器隔离正确因果冲击的能力。当使用预言机后验（Oracle Posterior）进行推理时，性能显著提高，这表明一旦识别出事件，转换模型 ( $P_\theta$ ) 是高度准确的。
- 事件稀疏性： 因果信号通常集中在单个事件中；使用单事件 ( $m=1$ ) 的后验引导选择与全集性能相当。

5. 意义与主张

本文声称 SWM 提供了一种建模和预测集体共识演变的全新管线。通过将社会动态锚定在预测市场中，并利用 LLM 的推理能力，该框架为定量数字社会学提供了一个可扩展的工具包。

作者将这项工作定位为参数化社会世界模型的一步。他们强调，虽然该模型擅长捕捉由明确外部事件驱动的信念转变（如 Kalshi 所见），但在具有高内生性或算法噪声的市场中仍面临挑战（如 Polymarket 所见）。这项工作并不声称解决了所有的社会预测问题，而是建立了一个基础框架，用于理解特定事件如何驱动公众舆论的转变，并为理解社会信念动态的机制提供可解释的洞察。

伦理说明： 作者承认此类模型如果被恶意使用（例如用于针对性的虚假信息）会带来风险，并主张进行透明的防御性部署，以检测集体信念中不自然的转变，而非操纵它们。