AffectVerse: Emotional World Models for Multimodal Affective Computing
AffectVerse 是一个多模态大语言模型，它通过整合情感世界模块，利用跨模态时序想象与信念聚合执行短视界潜在情感预测，从而捕捉情感动态并在九个基准测试中实现卓越性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在电视上看一场求职面试。候选人开始说话，声音微微颤抖。他们的笑容显得有些僵硬，像戴了面具。人类观众不会等到句子说完才猜测这个人的感受。相反，我们的大脑会立即启动“如果……会怎样”的模拟：“如果他们继续这样说话，会崩溃吗？还是只是紧张？”随着新线索的出现，我们会实时更新猜测（即我们的“信念”）。
当前用于情感识别的计算机模型，有点像只在事件结束后才拍照的摄影师。它们审视整个视频、音频和文本，然后说：“好吧，那是悲伤。”它们错过了情感如何逐步构建的动态过程。
本文介绍了 AffectVerse，这是一种新的 AI 模型，试图更像人类观察者那样思考。它不只是观察已发生的事，而是学习基于所见内容去想象即将发生的事。
以下是其工作原理的简化步骤：
1. 核心理念：“情感世界模块”
将 AI 的大脑想象为拥有一个名为**情感世界模块（EWM）**的特殊“想象引擎”。标准 AI 模型仅读取过去，而这个引擎执行以下三项操作：
步骤 1：时间旅行者（跨模态时序想象）
想象你在看电影，屏幕突然黑了一秒。人类可能会根据音乐和演员的面部表情猜测接下来发生什么。AffectVerse 在数学上实现了这一点。它审视迄今为止看到的视频和音频，并尝试预测几秒后的视频和音频会是什么样子。它并非真的看到了未来，而是创建一个未来的“幽灵”版本来测试其理解力。- 类比： 这就像棋手向前看三步。他们尚未走出这些棋步，但会模拟它们以理解棋局的走向。
步骤 2：总结者（MAMA 信念聚合）
AI 现在生成了这些“幽灵”未来片段。但它无法将整个电影再次输入大脑。因此，它使用一个名为MAMA的智能过滤器，将所有这些想象中的未来时刻压缩成几个“信念令牌”。- 类比： 这就像新闻主播总结突发新闻。他们不是朗读整篇稿件，而是告诉你接下来可能发生什么的“头条”。这些头条就是“信念”。
步骤 3：注入（信念注入）
最后，AI 将这些“信念头条”重新插入其主要对话中。现在，当 AI 判断这个人的感受时，它不仅仅是在看过去，也在考虑自己对未来的预测。- 类比： 这就像侦探不仅查看犯罪现场（过去），还对嫌疑人可能是谁有一个直觉（未来的信念）。这种直觉帮助他们更快、更准确地破案。
2. 它是如何学习的（训练过程）
该模型通过一种巧妙的技巧进行训练。它被展示一段视频片段，但屏幕被提前切断（就像“无剧透”版本）。
- AI 必须猜测视频其余部分听起来和看起来是什么样子。
- 如果猜对了，它会获得奖励。
- 这迫使 AI 学习情感随时间变化的模式（例如，微笑如何变成皱眉，或者平静的声音如何变得颤抖）。
一旦学会了这种“未来预测”技能，它就不再需要屏幕被切断。在观看完整视频时，它利用同样的技能来建立对情感更强大、更准确的理解。
3. 结果
研究人员在九个不同的数据集（包含视频、音频和文本的集合）上测试了 AffectVerse。
- 结果： AffectVerse 的表现显著优于其他顶级模型（如 AffectGPT 和 Qwen2.5-Omni），平均提升了约 2.5% 到 5%。
- 意义： 论文表明，通过教导 AI“想象”互动的接下来几秒钟，它在理解复杂、变化的情感方面变得更为出色。与仅查看静态快照的模型相比，它能更好地处理音频或视频缺失或中断的情况。
总结
简而言之，AffectVerse 是一个不仅观察当下，还不断模拟 immediate 未来的 AI。通过“想象”情感可能如何展开，它构建了对一个人感受的更稳健的“信念”，从而实现更智能、更准确的情感识别。它将情感识别从一张静态照片变成了一部动态电影。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。