💬 NLP

CASPER in the Machine: Insights into Character Variety in LLM-Generated Stories

本文通过应用叙事学定义来分析人物塑造的八个复杂维度，研究了由大语言模型生成的故事与人类创作的故事之间的异同，旨在确定人工智能模型是否能产生在多样性和深度上与人类作者相媲美的人物。

原作者： Anneliese Brei, Abhisheik Sharma, Nicholas Sanaie, Lu Wang, Snigdha Chaturvedi

发布于 2026-06-23✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Anneliese Brei, Abhisheik Sharma, Nicholas Sanaie, Lu Wang, Snigdha Chaturvedi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图破解谜题的文学侦探：机器人作家能否创造出像人类作者那样真实且多样化的角色？

这篇名为《机器中的卡斯珀》（CASPER in the Machine）的论文，就是这项调查的报告。研究人员构建了一个名为 CASPER（角色描绘分类器）的特殊工具，作为放大镜，近距离观察故事中角色的“灵魂”。

以下是他们的研究发现，使用了简单的类比：

1. 工具：角色的“X光机”

在此项研究之前，人们主要关注角色做了什么（他们的职业、性别或是否“善良”）。但研究人员想知道角色是如何被构建出来的。

他们使用了一个基于传统叙事理论（类似于角色构建的食谱）的框架，该框架观察 8 对特定的特质。你可以把这些想象成一组天平，角色在其中一端或另一端被称重：

程式化 vs. 自然（Stylized vs. Natural）： 角色是像卡通超级英雄（夸张）还是像你在杂货店可能遇到的邻居（写实）？
连贯性 vs. 不连贯（Coherent vs. Incoherent）： 角色表现得像一个始终如一的人，还是会随机切换人格？
完整性 vs. 片段化（Whole vs. Fragmented）： 我们了解角色的完整背景和感受，还是他们只是一个缺失部分的剪影？
字面意义 vs. 象征意义（Literal vs. Symbolic）： 角色仅仅是一个人，还是暗中代表了一个宏大的概念（如“希望”或“贪婪”）？
复杂性 vs. 单一性（Complex vs. Simple）： 他们是否有冲突的欲望（比如既想勇敢又感到恐惧），还是只有单一的特质？
透明度 vs. 晦涩度（Transparent vs. Opaque）： 我们确切知道他们在想什么，还是他们是一个神秘的黑匣子？
动态 vs. 静态（Dynamic vs. Static）： 他们在故事过程中会改变和成长，还是从头到尾都是同一个人？
封闭 vs. 开放（Closed vs. Open）： 故事为他们的生活画上了完美的句号，还是让他们的未来悬而未决？

2. 实验：“味觉测试”

研究人员收集了大量的故事“自助餐”：

200 个人类编写的故事： 收集自在线写作社区（经过仔细检查，确保不是由 AI 编写）。
4,400 个 AI 生成的故事： 由 7 种不同的 AI 模型（从小型到超大型不等）创建，使用的是与人类故事完全相同的提示词。

他们将所有这些故事输入到 CASPER 工具中，以观察这些角色的表现如何。

3. 发现：AI 做对了什么（以及做错了什么）

“安全第一”策略

发现： 人类作家喜欢留白。他们经常创造那些故事没有完美结局，或者保持一定神秘感的角色。
AI 的差异： AI 模型就像是过度礼貌的管家。它们讨厌工作做到一半。它们几乎总是会把所有的线索都理顺。如果一个人类角色可能会在不确定的未来中走向夕阳，AI 角色则会得到一个整洁、圆满的结局。AI 通过确保角色的故事是完整的来“求稳”。

“成长爆发”偏见

发现： AI 角色更有可能具有动态性。它们几乎总是以悲剧开始，以快乐结束，或者以虚弱开始，以强大结束。
AI 的差异： 人类描写那些固执、困惑或保持原样不变的角色，因为这就是现实生活的样子。然而，AI 似乎认为每个故事都需要一个“道德教训”，即角色学习并成长。它就像是在试图为每一个故事都写一篇寓言。

“刻板印象”陷阱

发现： AI 角色更具程式化（像原型人物）且较少具有字面意义（仅仅是普通人）。
AI 的差异： 如果你要求一个“英雄”，AI 会给你一个经典的、夸张的英雄。人类更擅长描写那些混乱、无聊或有着古怪细节的普通人，而不符合某种模具。AI 倾向于依赖熟悉的套路，而不是创造独特的、古怪的个体。

规模并不重要（很大程度上）

发现： 你可能会认为一个超级聪明、庞大的 AI（如 700 亿参数的模型）会写出更复杂的角色。
AI 的差异： 令人惊讶！ AI 大脑的大小并没有真正改变它所编写的角色类型。一个小型的 AI 和一个巨大的 AI 产生的角色模式非常相似。它们都有同样的“安全第一”和“成长爆发”习惯。

家族谱系

发现： 不同的 AI 家族（如 Llama, Phi, Mistral）拥有不同的“个性”。
AI 的差异： Phi 系列模型似乎生成了最多样化的角色组合（就像一盒各种口味的巧克力）。而 Llama 家族则最具重复性（就像一盒全是同一种口味的巧克力）。

4. 大局观

论文得出结论，虽然 AI 在讲故事方面正在变得更好，但它的思考方式仍然与人类不同。

人类能够接受模糊性、神秘感以及不改变的角色。我们接受未完成的结局。
AI 则痴迷于清晰度、整洁的结论以及通过学习获得教训的角色。它把每个故事都当作一份结构化的教学计划，而不是生活的一瞥。

简而言之： 如果你想要一个感觉像是一份包装完美、带有明确寓意的礼物，AI 是你的朋友。如果你想要一个感觉像是混乱、不可预测且开放式的、充满人性体验的故事，你仍然需要人类作家。

技术摘要：机器中的 CASPER

问题陈述

随着大语言模型（LLMs）越来越多地被用于创意写作和虚构故事生成，一个关键问题随之而来：机器生成的叙事与人类创作的叙事之间是否存在性质上的差异？虽然近期的研究已经从情节发展和叙事结构的角度考察了 LLM 生成的故事，但在理解这些模型如何刻画角色方面仍存在显著空白。现有的自动化分析往往依赖于人口统计学属性或人格特质等基础特征，未能捕捉到定义故事基调、主题和文化共鸣的更深层的艺术细微差别。作者认为，当前的方法缺乏足够的粒度来判断 LLM 生成的角色是否具有与人类作家相同的多样性、深度和艺术意图。

方法论

为了解决这一问题，作者引入了 CASPER（角色刻画分类器），这是一个基于叙事学理论设计的框架，旨在自动分析短篇小说中的角色刻画。

1. 理论框架

CASPER 没有采用模糊且主观的“扁平”与“圆形”角色二分法，而是利用了 Hochman (1985) 提出的分类法。该框架通过八组类别对来评估角色，其中每个主要类别都与其对立面进行对比：

程式化 (Stylization) vs. 自然主义 (Naturalism)： 刻意的理想化/人工化 vs. 逼真的生活化。
连贯性 (Coherence) vs. 不连贯性 (Incoherence)： 行动/言语的一致性 vs. 矛盾/碎片化。
完整性 (Wholeness) vs. 碎片性 (Fragmentariness)： 具有完整人格的整合性存在 vs. 仅有部分面向且存在缺失的个体。
写实性 (Literalness) vs. 象征性 (Symbolism)： 故事世界中的个体 vs. 抽象概念/主题的体现。
复杂性 (Complexity) vs. 简单性 (Simplicity)： 拥有多种冲突特质 vs. 由一两个主导特质定义。
透明性 (Transparency) vs. 晦涩性 (Opacity)： 清晰的内心世界（思想/动机） vs. 隐藏/模糊的内心世界。
动态性 (Dynamism) vs. 静态性 (Staticism)： 明显的成长/转变过程 vs. 根本性的不可改变性。
封闭性 (Closure) vs. 开放性 (Openness)： 具有明确结局的叙事弧线 vs. 未解决的命运/意义。

2. 数据集构建

作者构建了一个高质量、具有可比性的语料库：

人类创作的故事： 从 r/shortstories 收集的 200 篇短篇小说，通过 AI 检测器确保其并非由 LLM 生成，并将其映射到四种类型：家庭、浪漫、科幻/奇幻以及悬疑/惊悚。
LLM 生成的故事： 由 8 种不同的 LLM（涵盖 GPT、Llama、Phi、Mistral 四个家族，规模从 3B 到 70B 参数不等）生成的 4,400 篇故事。
可比性： 为确保公平比较，作者使用 Llama-70B 根据人类故事生成写作提示词，随后利用这些提示词引导目标 LLM 生成故事，从而确保主题和类型的对齐。

3. 分类流水线

标注： 作者聘请文学专家对 100 篇故事（50 篇人类，50 篇 LLM）进行人工标注，以建立基准真相（ground truth）。评分者间一致性（Cohen's $\kappa$ ）为中等水平（0.56）。
自动化分类： 作者采用了“LLM 作为评判者”的方法，使用 Llama-70B 和 GPT4o-mini。他们系统地测试了各种提示策略（零样本学习、带有不同布局的上下文学习、李克特量表），以确定每个类别的最佳设置。
最佳实践： 研究发现，使用针对每个类别进行单独推理调用的二元分类方法效果最好。研究根据相对于人类标注的表现，选择了特定的提示模板（例如，用于“程式化”的重复 ICL，以及用于“动态性”的零样本学习）。

关键结果

通过将 4,400 篇 LLM 生成的故事与人类创作的故事进行对比分析，揭示了明显的模式：

封闭性与安全性： 与人类经常留下开放式弧线的角色相比，LLM 更有可能生成具有封闭叙事弧线（明确结论）的角色。这表明 LLM 通过处理完所有悬念来“求稳”。
程式化与动态性： LLM 生成的角色在统计学上比人类角色更倾向于程式化（典型化/原型化）和动态化（经历明显的成长）。LLM 倾向于创造符合原型且通过情感转变来传达道德教训的角色。
透明性与连贯性： 人类和 LLM 都压倒性地偏好连贯、完整且透明的角色。这表明在神秘感或困惑度方面缺乏多样性，尽管作者指出这可能受到关注主角的影响。
模型规模： 与预期相反，模型规模并不显著影响角色刻画。较小和较大的模型在各类别中的分布几乎一致，仅在程式化程度上有微小差异。
模型家族多样性： Phi 系列生成的角色分布最为多样，而 Llama 系列生成的则最少多样。Mistral 模型表现出对更具程式化且更不连贯角色的偏好。
类型影响： 类型显著影响角色类型。例如，家庭题材的故事呈现出写实但通常具有象征性的角色，而科幻/奇幻故事则表现出最高的程式化和象征性比例。
推理变异性： 当使用相同的提示词多次运行时，写实性和封闭性表现出最高的生成变异性，这表明 LLM 在一致遵循关于角色应该是多么写实或如何解决的上下文线索方面存在困难。

贡献与意义

本文做出了三个主要贡献：

框架适配： 它成功地将基于理论的叙事学方法（Hochman 的分类法）转化为自动化框架（CASPER），用于分析 LLM 生成的故事，为追踪未来模型的角色刻画演变提供了工具。
精选语料库： 它发布了一个精心策划的包含 4,400 篇 LLM 生成和 200 篇人类创作的短篇故事数据集，确保了跨类型和主题的研究具有可比性。
经验分析： 它提供了一种详细、细粒度的比较，不仅对比人类与 LLM 的角色，还深入分析了在艺术框架内角色是如何被刻画的。

意义：
作者声称，他们的工作挑战了“更大的模型必然产生更像人类或更多样化角色”的假设。相反，他们证明了当前的 LLM 在创作风格上存在特定的偏向，即倾向于“安全”的叙事（封闭性）、原型化的角色（程式化）和道德成长（动态性）。通过识别这些模式，本文为理解当前生成式 AI 在创意领域的局限性和风格倾向提供了更深层的理解，表明虽然 LLM 可以模仿叙事结构，但它们目前仍缺乏拥抱模糊性和人类角色全方位复杂性的艺术自由。