Modeling Story Expectations: A Generative Framework using LLMs
本文介绍了一种利用大语言模型从想象的故事续写中提取可解释特征的生成式框架,证明了这些由大语言模型衍生的预期能够有效预测人类信念和实际叙事结果,同时与读者参与度显著相关。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下你正坐在沙发上,完全沉浸在一场电视节目或一本书中,无法自拔。你不仅仅是在看正在发生的事情,你还在不断地猜测接下来会发生什么。英雄会幸存吗?反派会被抓获吗?浪漫之情会绽放吗?这种“接下来会怎样?”的感觉是我们不断阅读或观看的重要原因。但长期以来,科学家和故事讲述者一直很难衡量这些猜测。你无法轻易要求一百万人写下他们为下一章所能想象到的每一种可能性。这就像试图用双手去捕捉烟雾一样。
走进这篇论文,它就像一个数字水晶球。作者 Hortense Fong、George Gui 和 Bo Yang 决定使用一个超级聪明的计算机大脑(称为大语言模型,简称 LLM)来替我们进行猜测。把这个 LLM 想象成一个超级热衷于阅读的读者,它已经“吞噬”了超过 12.5 万本书的内容。因为它读了这么多,所以它知道故事通常是如何发展的。
魔术技巧:构想未来
他们是这样做的。他们选取故事中的某个时间点(比如第一章结束时),然后问计算机:“好,请想象 50 种这个故事在第二章可能延续的方式。”计算机并不仅仅写出一个结局,它写出了 50 个略有不同的版本,创造了一个完整的可能性云团。
从这 50 个想象中的未来中,研究人员不仅观察了文字,还提取了特定的“风味”或特征。他们观察了诸如:
- 效价 (Valence): 下一章是会变得快乐还是悲伤?
- 唤醒度 (Arousal): 是高能量且令人兴奋,还是低能量且平静?
- 速度 (Speed): 情节会移动得快还是慢?
- 迂回度 (Circuitousness): 故事会走直线路径,还是走蜿蜒曲折的道路?
他们将这 50 个想象中的章节视为一群人在为他们认为会发生的事情投票,然后通过平均这些选票来获得一个“预测”,即一个典型读者所预期的内容。
计算机猜对了吗?
大问题在于:这种计算机猜谜游戏是否真的与人类的真实想法相匹配?作者通过两种方式测试了这一点。
首先,他们进行了一项针对 263 名真实人类的受控实验。这些人阅读短篇故事,并被问到:“你认为下一章的感觉会是如何?”研究人员将人类的答案与计算机的“50 个想象中的章节”进行了比较。
- 结果: 计算机的表现出奇地好。当人类说他们预期一个高能量的章节时,计算机想象出的章节也是高能量的。这种联系很强,尽管并不完美(计算机的预测比人类狂野的猜测更趋向于“压缩”或不那么极端)。
- 陷阱: 计算机擅长猜测“平均”感觉,但不擅长猜测人们有多么“不确定”。人类有着广泛的怀疑范围;计算机的猜测则显得过于自信且集中。
其次,他们查看了来自一个拥有 937 本书和 8,399 个章节的在线阅读平台的真实数据。在这里,他们无法询问读者在想什么,所以他们使用了一种被称为“理性预期”的逻辑技巧。这假设如果你了解故事是如何运作的,你的猜测应该与最终发生的事情相匹配。他们将计算机想象中的章节与最终被写出来的实际章节进行了比较。
- 结果: 计算机的预测是实际发生情况的有信息量的预测因子。如果计算机预言了下一个快速节奏的章节,那么实际的下一章通常也是快速节奏的。这在情绪、速度,甚至在“紧张感”或“悬念强度”等复杂事物上都是成立的。
为什么这很重要:“下一章”因素
这篇论文最令人兴奋的部分是,当他们观察人们对故事的参与度(如点击“继续”、投票或评论)时发现的情况。
他们发现,了解读者预期接下来会发生什么,与了解他们刚刚读到了什么一样重要。
- 在人类调查中,如果一名读者预期下一章是高唤醒度(高能量)的,他们更有可能表示想要继续阅读。即使他们刚刚读完的章节很平静,情况也是如此。
- 在现实世界的数据中,同样的情况也发生了。如果计算机预测下一个章节是高能量或快节奏的,读者就更有可能进行投票和评论。
论文明确排除了我们只关心“此时此刻”正在发生什么的观点。它表明,我们的“前瞻性信念”(我们对未来的猜测)驱动着我们的行为。这不仅仅关乎当前的场景,更关乎下一个场景的承诺。
这篇论文并没有说
了解这一点很重要,这并不是在说它们。作者非常谨慎,没有说他们解决了人类行为的奥秘,也没有说计算机是一个完美的读心者。
- 他们并不声称计算机的预测与人类的思想完全相同。计算机的猜测是“不完美但有信息量的”。它们捕捉到了方向和大致的氛围,但忽略了一些人类感受到的细微差别和不确定性。
- 他们并不说这证明了改变故事的结局会导致更多的参与。他们发现了强烈的联系(关联),但由于故事是复杂的,会同时改变许多变量,因此他们不能确定是否由某一个特定特征作为唯一的因果关系。他们建议这种方法有助于研究人员为未来的实验提出更好的问题。
- 他们也并不声称这适用于目前所有的媒体类型。他们的研究侧重于文本(书籍和故事)。他们承认电影和音乐拥有视觉和声音元素,而他们基于文本的计算机大脑目前还看不见也听不到这些。
底线
这篇论文表明,我们可以使用一个“超级读者”计算机来模拟我们作为观众在思考故事未来时的想法。这是一种新的、可扩展的方法,可以窥探我们大脑中的“如果……会怎样”区域。通过理解读者预期接下来会发生什么,创作者和平台或许终于能够理解为什么有些故事让人欲罢不能,而有些故事却在中途被弃之不读。它不是一个解决一切问题的魔杖,但它是理解我们在翻开下一页之前所构建的那个故事的一个强大的新工具。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。