💬 NLP

Large Emotional World Model

本文介绍了大型情感世界模型（Large Emotional World Model, LEWM），这是一个将人类情感作为核心状态变量以预测未来情感与物理状态的新型框架，在世界状态预测、情感理解及通用推理任务中展现出了显著的性能提升。

原作者： Changhao Song, Yazhou Zhang, Hui Gao, Chang Yang, Peng Zhang

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Changhao Song, Yazhou Zhang, Hui Gao, Chang Yang, Peng Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何开车。如果你只向它展示物理定律，它会学到如果撞上一堵砖墙，汽车就会停止。这就是“物理世界”。但如果你想让这个机器人在充满人类的城市中驾驶，仅靠物理学是不够的。它需要理解，如果一名司机突然加塞，另一名司机可能会生气、猛踩刹车或大声叫喊。如果机器人无法预测这种“情绪”，它就无法预测接下来会发生什么。这就是被称为“世界模型”（World Models）领域中的重大课题。科学家们一直试图构建一种数字大脑，它不仅能看到正在发生的事情，还能模拟未来将如何展开。长期以来，这些数字大脑就像物理引擎：擅长移动方块和球体，却极不擅长理解人类的行为动机。它们缺失了那个秘密成分：情感。

这篇论文介绍了一种名为**大型情感世界模型（Large Emotional World Model, LEWM）**的新型数字大脑。来自天津大学的宋昌浩及其团队意识到，要预测人类世界的未来，你必须先预测情感。他们构建了一个庞大的新数据集，名为 EWH（Emotion-Why-How，即“情感-为什么-如何”），它就像一个包含 10,850 个短视频故事的图书馆。每个故事都展示了一个人、他们在之前的感受、他们的行为、他们的感受如何变化，以及接下来发生了什么。把它想象成一本“选择你自己的冒险”类书籍，情节的转折完全取决于角色是快乐、愤怒还是悲伤。

利用这个图书馆，LEWM 被训练成像侦探破案一样分两步思考。首先，模型会问：“基于刚刚发生的事情，这个人接下来的感受会是如何？”它预测情绪。第二，它会问：“既然我知道了他们的感受，那么他们接下来会做什么？”通过将情绪置于中间环节，该模型可以洞察到：同样的交通事故，如果司机心情愉悦，可能会演变成一场冷静的交谈；如果司机很愤怒，则可能演变成一场激烈的争吵。实验结果令人印象深刻：在他们这个新的情感数据集上，LEWM 的准确率比以往的模型高出了高达 45.72%。它在理解一般性情感方面也变得更强了（在一项测试中提升了 17.47%），甚至在回答有关政治和科学的复杂问题时，也变得更加聪明，且并未丧失对物理世界的理解能力。这篇论文表明，通过教导人工智能去关注情感，我们不仅是在让它变得更友好，更是在让它更好地预测真实人类世界的运作方式。

技术摘要：大型情感世界模型 (Large Emotional World Model, LEWM)

问题陈述

目前的世界模型主要旨在学习控制状态转移的物理定律（例如，物体运动、空间连续性）。虽然这些模型在模拟物理世界方面非常有效，但它们无法捕捉“人类世界”，即行为、决策和交互深受内部情感动力学影响。现有的模型很少将情感视为状态转移中的显式因果因素。因此，它们无法准确预测以人为中心环境中的未来状态，例如，同样的物理事件（如交通事故）根据智能体的心理状态（如合作解决与敌对对抗）会导致截然不同的演化轨迹。

研究方法

1. 数据集构建：情感-为什么-如何 (Emotion-Why-How, EWH)

为了解决情感状态转移数据匮乏的问题，作者构建了 EWH，这是首个以情感动力学为中心的世界模型数据集。

数据来源： 2,258 段来自 TikTok/抖音的第一视角视频，以及 1,583 集来自八部电视剧（如《老友记》、《办公室》）的内容，涵盖了家庭、职场、旅行等多样化场景。
结构： 该数据集包含 10,850 个感知情感的转移元组。每个元组被形式化为 $T = \langle(S_0, E_0), H, (S_1, E_1)\rangle$ $T = ⟨(S_{0}, E_{0}), H, (S_{1}, E_{1})⟩$ ，其中：
- $S_0, S_1$ ：可观测状态（同步的视频、音频、图像）。
- $E_0, E_1$ ：情感状态（标记为中性、快乐、悲伤、愤怒、恐惧、惊讶、厌恶）。
- $H$ ：中间的行为轨迹。
“为什么-如何”逻辑： 该结构明确地将“为什么”（行为的情感原因）与“如何”（情感转移对未来状态演化的影响）联系起来。
流水线： 一个包含四个阶段的流水线，涉及视频分割、情感感知转移挖掘（使用 Qwen3.5-VL 和 GPT-5）、样本构建以及严格的质量控制（自动过滤 + 人类验证）。

2. 模型架构：大型情感世界模型 (LEWM)

LEWM 是一个多模态编码器–LLM–多模态解码器的框架，它将未来预测分解为两个耦合步骤：

多模态世界状态编码： 可观测状态 ( $V, A, I$ ) 和当前情感 ( $E_t$ ) 通过特定模态的编码器进行编码，并投影到 LLM 的嵌入空间中。行为轨迹 ( $H_t$ ) 被标记为文本。
情感感知转移建模（分解预测）：
- 步骤 1（情感预测）： 模型首先根据当前上下文预测未来的情感状态 ( $\hat{E}_{t+1}$ ): $p(E_{t+1} | S_t, E_t, H_t)$ 。
- 步骤 2（状态预测）： 预测的情感被用作调节信号，引导未来世界状态的预测： $p(S_{t+1} | S_t, E_t, H_t, \hat{E}_{t+1})$ 。
- 这种设计假设未来状态是由情感转移介导的，而不仅仅是外部观察。
自回归生成： 模型使用专门的生成标记 ([IMG], [VID], [AUD]) 来自回归地生成未来的多模态状态。
优化： 一个多任务损失函数共同监督未来情感分类、自回归标记生成以及多模态未来状态预测（通过嵌入空间距离）。

核心贡献

情感世界建模的形式化： 本文引入了将情感作为关键状态变量集成到世界模型中的概念，以同时捕捉物理状态演化和情感诱因。
EWH 数据集： 创建了第一个明确以情感状态转移为中心的世界模型数据集，弥补了静态情感识别与动态世界建模之间的鸿沟。
LEWM 架构： 提出了一种分解预测框架，将世界状态预测以预测的情感状态为条件，证明了这种方法在不牺牲通用推理能力的情况下提高了性能。

实验结果

世界状态预测

EWH (情感世界)： LEWM 在 12 项任务中的 10 项上取得了最佳性能。与基线模型 WorldGPT 相比，其视频预测性能提升高达 45.73%，音频预测性能提升高达 24.75%。
WorldNet (物理世界)： LEWM 在物理世界设置中也表现出持续的增益（最高 3.94%），特别是在音频预测方面，这表明情感动力学为物理转移提供了补充性的线索。
消融实验： 移除情感调节（“无情感”）一致地降低了性能。使用“预知未来”（真实情感）获得了最高的增益，表明随着更准确的情感预测，仍有巨大的提升潜力。

情感理解

MELD： LEWM 在情感分析的加权 F1 分数上提升了 17.47%，并在细粒度情感识别方面取得了显著进步。
泛化能力： 该模型在具有挑战性的 28 类 GoEmotions 基准测试中表现优于其骨干网络，表明学习情感转移可以获得可迁移的情感表示。

通用推理

基准测试 (MMLU, HellaSwag, VQAv2, NExT-QA)： LEWM 在通用推理任务上与基线模型 WorldGPT 保持相当。值得注意的是，它在政治学 (MMLU) 上取得了 6.10% 的提升，在动物识别 (VQAv2) 上取得了 5.95% 的提升，证明了情感建模不会损害甚至可能增强通用推理。

反事实分析

干预实验（在保持状态和行为不变的情况下替换输入情感）显示，LEWM 在不同模态的未来状态预测中产生了结构化的、非零的变化。高唤醒度的情感引发了更大的差异，证实了模型将情感视为未来状态预测中的一个活跃变量。

意义与主张

本文声称，将情感纳入世界模型能够实现对以人为中心环境更真实的模拟。通过超越物理状态预测并对情感动力学进行建模，LEWM 扩展了智能体的预测理解能力。这项工作为能够更好地建模人类行为、交互和决策的“社会化落地智能体”奠定了基础。作者强调，他们的方法不仅是静态地分类情感，而是将情感的动态演化建模为未来世界状态的因果驱动力。