💬 NLP

LLMs Exhibit Significantly Lower Uncertainty in Creative Writing Than Professional Writers

该论文通过信息论分析指出，大语言模型在创意写作中表现出显著低于人类作家的不确定性，这种因对齐策略导致的“不确定性差距”是模型输出流于陈词滥调的关键原因，未来需建立能区分破坏性幻觉与建设性模糊的新对齐范式以提升创作质量。

原作者： Peiqi Sui

发布于 2026-02-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Peiqi Sui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的现象：为什么现在的 AI 写故事，总觉得少了点“人味儿”，读起来有点平淡、老套？

简单来说，作者发现：AI 写故事时太“确定”了，而人类作家恰恰是因为“不确定”才显得有才华。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这篇论文的核心观点：

1. 核心比喻：完美的“自动驾驶”vs. 充满惊喜的“探险家”

想象一下，AI 就像一个开了“自动驾驶”且设定了“最安全路线”的司机。

当它要写故事时，它总是选择那条最熟悉、最不容易出错、大家都能猜到的路。
比如，主角遇到了困难，AI 会立刻想到“他去找了警察”或者“他找到了宝藏”，因为这是概率最高的答案。
结果：故事很通顺，但毫无惊喜，像白开水一样，读起来很无聊（论文里叫"trite"和"cliché-ridden"，即陈词滥调）。

而人类作家更像是一个在迷雾中探险的旅人。

人类在写作时，内心充满了“不确定性”：主角接下来会做什么？也许他会逃跑，也许他会崩溃，也许他会做出一个疯狂的举动。
这种“不知道下一步会发生什么”的犹豫、模糊和意外，正是故事张力的来源。
结果：故事充满了惊喜、悬念和深度，读者会被吸引，因为他们在和作者一起“猜”结局。

论文发现： AI 写的故事，其“意外程度”（不确定性）只有人类作家的 1/2 到 1/4。AI 太想“猜对”了，反而失去了创造力。

2. 为什么 AI 变得这么“胆小”？

这就好比 AI 被老师（训练者）严厉地教育过：

老师的要求：“你要准确！不要胡说八道！不要编造事实！要听话！”
AI 的反应：为了不被批评（为了减少“幻觉”和错误），AI 学会了只说最安全、最普通的话。它被训练得不敢冒险，不敢写那些模棱两可、充满歧义的句子。

但在文学创作的世界里，“模棱两可”恰恰是艺术的核心！

就像诗人济慈（John Keats）说的：真正的才华，是能够忍受不确定性、神秘和怀疑，而不急于寻找一个确定的答案。
AI 现在的训练方式，恰恰把它训练成了那个“急于寻找答案”的人，所以它写不出好故事。

3. 实验：用“惊讶值”来衡量

作者们做了一个聪明的实验：

他们让 AI 读一段人类写的故事开头，然后让 AI 猜接下来会发生什么。
同时，他们把人类作家真正写出来的后续段落，也拿给 AI 看，问 AI：“这段话让你感到惊讶吗？”
结果：
- 当 AI 自己写后续时，它很自信，觉得“我写的肯定没错”，所以它不惊讶。
- 当 AI 读人类写的后续时，它经常大吃一惊：“哎呀，原来可以这样写？我完全没想到！”
- 这说明：人类的故事充满了 AI 无法预测的“惊喜”，而 AI 的故事全是它自己能预测到的“套路”。

4. 一个反直觉的发现：越“不确定”，质量越高

通常我们认为，写东西要清晰、明确。但在写小说时，适度的“混乱”和“不可预测”反而代表高质量。

比喻：这就好比做菜。如果一道菜的味道完全符合你的预期（比如你吃辣，它就只放辣椒），那叫“合格”。但如果一道菜让你尝到了意想不到的层次感（比如辣中带甜，或者突然有一丝酸），那才叫“美味”。
研究发现，人类作家的故事往往处于一个**“甜蜜点”：既不是完全混乱（那是胡写），也不是完全 predictable（那是流水账），而是在“可预测”和“不可预测”之间找到了完美的平衡**。
现在的 AI 因为太追求“安全”，完全跑偏到了“完全可预测”的那一边，所以写出来的东西虽然通顺，但缺乏灵魂。

5. 结论与未来：我们需要什么样的 AI？

这篇论文并不是说 AI 不能写故事，而是指出目前的 AI 在对齐（Alignment） 过程中走错了路。

目前的 AI 被训练成“事实核查员”或“客服”，必须准确、确定。
但未来的 AI 如果想成为伟大的“作家”，需要学会**“拥抱不确定性”**。
新的方向：我们需要一种新的训练方法，让 AI 明白：在写故事时，有时候“不知道”比“知道”更好，“模糊”比“清晰”更有艺术感。 它需要学会区分“医疗诊断中的错误（这是坏事）”和“诗歌中的隐喻（这是好事）”。

总结

这就好比，AI 现在是一个只会背标准答案的优等生，而人类作家是敢于在考卷上写诗、甚至画画的艺术家。

这篇论文告诉我们：如果想让 AI 写出打动人心的好故事，我们不能再逼它“求稳”了，得教它学会**“在迷雾中跳舞”，学会享受那些“不确定”**的美妙瞬间。只有这样，AI 才能真正理解什么是创造力。

这篇论文《LLMs 在创意写作中表现出的不确定性显著低于专业作家》（LLMs Exhibit Significantly Lower Uncertainty in Creative Writing Than Professional Writers）深入探讨了大型语言模型（LLM）在创意写作领域的核心局限性。文章提出，LLM 在创意写作中表现出的“平庸”和“陈词滥调”，其根本原因在于模型被过度优化以消除不确定性，而文学理论认为不确定性恰恰是创造性表达的必要条件。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

核心矛盾：当前的 LLM 对齐策略（Alignment Strategies）旨在减少幻觉、提高事实准确性并遵循指令，这导致模型倾向于输出确定性高、概率分布集中的内容（Mode Collapse）。然而，文学理论（如济慈的“消极能力”、艾略特的“不确定性”）指出，不确定性（Uncertainty）、模糊性（Ambiguity）和不可预测性是文学丰富性和深度创作的基石。
研究假设：LLM 在创意写作中表现不佳（如情节重复、缺乏张力、陈词滥调）是因为它们系统性地回避了人类作家所具备的“建设性不确定性”。
核心问题：
1. LLM 生成的故事是否比人类原作具有更低的不确定性？
2. 这种不确定性差距在创意写作领域是否比功能性领域（如新闻、论文）更显著？
3. 不确定性是否与写作质量呈正相关？

2. 方法论 (Methodology)

作者提出了一种基于**信息论（Information-Theoretic）**的框架，通过量化“人类 - 模型不确定性差距”来验证假设。

实验设计：
- 任务：故事续写（Story Completion）。给定一个上下文 $T_1$ ，比较人类原作续写 $T_2$ 与模型生成续写 $\hat{T}_2$ 的不确定性。
- 评估者：使用同一个 LLM 作为生成器（Generator）和评估器（Evaluator）。即利用模型 $P_\theta$ 计算人类文本 $T_2$ 在给定上下文下的对数概率，以此衡量人类创作相对于该模型的“惊讶度”（Surprisal）。
- 控制变量：确保人类续写和模型生成的长度完全一致，消除长度偏差。
数据集：
- The New Yorker：2010-2019 年发表的专业短篇小说，代表高质量、高编辑标准的文学虚构。
- Tell-Me-A-Story：由专业作家在研讨会中创作的高质量故事集。
- Ghostbuster（用于跨领域对比）：包含创意写作、新闻和 essays 的混合数据集。
不确定性度量指标：
1. Token Entropy (NLL)：平均 Token 负对数似然，衡量单个 Token 的不可预测性。
2. Perplexity (PPL)：序列困惑度，衡量整体序列的预测难度。
3. Pointwise Mutual Information (PMI)：衡量上下文 $T_1$ 对续写 $T_2$ 的预测能力。低 PMI 意味着续写不依赖于上下文的强先验，具有更高的创造性偏离。
4. Conditional PMI (CPMI)：针对高熵 Token 的阈值化 PMI，捕捉关键决策点的不确定性。
模型范围：测试了 28 个不同架构和规模的模型（包括 OLMo, Llama, Qwen, Mistral, Gemma, Phi 等），涵盖 Base（基座）、Instruct（指令微调）和 Thinking（推理增强）版本。

3. 关键贡献 (Key Contributions)

理论形式化：首次将文学理论中的“不确定性”概念与信息论中的熵（Entropy）和惊讶度（Surprisal）相结合，形式化了 LLM 在创意写作中的局限性。
量化差距：通过大规模实验，实证了人类写作与 LLM 生成之间存在显著的“不确定性差距”（Uncertainty Gap），且该差距在指令微调后进一步扩大。
质量相关性分析：揭示了不确定性并非噪音，而是高质量写作的特征。发现了写作质量与不确定性之间存在“倒 U 型”关系（Sweet Spot），即最优质量出现在高熵但未达到混乱的区间。
对齐策略的反思：指出当前的 RLHF 和 KL 散度正则化惩罚了长尾分布，导致模型为了“安全”和“准确”而牺牲了文学所需的模糊性和多样性。

4. 主要结果 (Results)

普遍的不确定性差距：
- 在所有模型和数据集上，人类写作的不确定性显著高于模型生成。
- NLL 比率（Human/Model）：人类文本比模型生成文本惊讶 2.03 到 3.9 倍。
- Perplexity 比率：人类文本的困惑度是模型的2.76 到 8.82 倍。
- PMI 差异：模型生成的文本表现出更强的上下文依赖性（ $\Delta$ PMI 为负值），意味着模型过度依赖提示词中的先验，缺乏叙事上的偏离。
对齐加剧了差距：
- Instruct 模型和Thinking 模型的不确定性差距比其 Base 版本更大。
- 指令微调（Instruction Tuning）和推理增强（Reasoning）虽然提高了任务遵循能力，但进一步压缩了概率分布，导致输出更加同质化和可预测。
- 例如，Gemma-3 系列模型在 Instruct 版本中表现出极大的不确定性差距，暗示其分布极其刚性。
领域特异性：
- 虽然不确定性差距在所有领域（新闻、论文）都存在，但在创意写作中最为显著。
- 在创意写作中， $\Delta$ PMI 差距比在新闻或论文中宽 25-30%，表明模型在需要模糊性和多义性的文学语境中，过度依赖上下文预测的问题尤为严重。
不确定性与质量的相关性：
- 正相关：Token 级不确定性（NLL/PPL）与写作质量评分呈弱正相关。
- 倒 U 型曲线（Sweet Spot）：回归分析显示，写作质量在中等偏高熵水平时达到峰值。人类作家通常处于这个高熵区间，而大多数对齐后的 LLM 被限制在低熵区间（左侧），导致质量受限。
- PMI 的负相关：上下文依赖性（高 PMI）与低质量相关，说明过度遵循提示词会导致陈词滥调。

5. 意义与启示 (Significance)

重新定义“幻觉”：论文区分了“破坏性幻觉”（如医疗诊断错误）和“建设性模糊”（文学隐喻、开放式结局）。当前的对齐策略无法区分两者，导致模型为了安全而扼杀了文学创造力。
对齐范式的转变：未来的 LLM 对齐需要引入**“不确定性感知”（Uncertainty-Aware）**机制。模型不应仅仅追求事实准确，而应学会在创意写作中容忍甚至生成特定的不确定性。
人机协作的未来：如果 LLM 继续以当前的低不确定性模式运行，将导致文化同质化（Cultural Homogenization）和“文本末日”（Textpocalypse），即大量平滑但缺乏作者声音的平庸内容。
跨学科融合：该研究展示了将人文学科理论（文学批评）与机器学习（信息论）结合的重要性，为计算创造力（Computational Creativity）提供了新的理论框架。

总结：这篇论文有力地证明了 LLM 在创意写作中的失败并非因为缺乏知识，而是因为缺乏“不确定性”。要让人工智能真正具备创造力，必须打破当前追求绝对确定性的对齐范式，重新引入文学创作所必需的模糊性、不可预测性和开放性。