💬 NLP

POLARIS: Guiding Small Models to Write Long Stories

该论文介绍了 POLARIS，这是一种低计算量 GRPO 训练方案，它结合了 LLM-as-a-judge 奖励与人类参考注入，使像 Qwen3.5-9B 这样的小型模型能够生成高质量的长篇故事，在保持强大的长度遵循能力和泛化能力的同时，足以媲美规模大得多的模型。

原作者： Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 POLARIS 论文的解释，通过简单的概念和富有创意的类比进行了拆解。

核心问题：小作家容易“累”

想象你有一个非常聪明但体型较小的机器人作家（一个“小模型”）。如果你让它写一个短篇故事，它表现得很好。但如果你让它写一部长篇小说，两件坏事就会发生：

它会放弃： 在故事还没写完之前，它就停止写作了。
它会失去理智： 随着篇幅变长，故事变得混乱、重复或枯燥乏味。

那些昂贵且庞大的超级计算机（如“前沿模型”）可以很好地写长篇故事，但对大多数人来说使用成本太高了。这篇论文的作者提出了一个问题：“我们能否教会一个便宜的小型机器人，在不需要超级计算机的情况下，写出高质量的长篇故事？”

解决方案：POLARIS

他们创建了一种名为 POLARIS 的训练配方。你可以把它看作是一种特殊的“教练教学法”。他们并没有只是让机器人独自练习，而是在它的训练营里加入了两种“秘密配料”。

配料 1：“严厉的编辑”（LLM 评委）

通常在训练 AI 时，你会使用一个简单的“评分卡”，它只说“好”或“坏”。这就像老师给学生打了一个“C”的成绩，却没告诉他们为什么。

POLARIS 使用了一个 前沿 LLM 评委（一个非常先进的 AI）来扮演 严厉的编辑。

运作方式： 这个编辑不仅仅是给出一个分数，它还会阅读故事并填写一份详细的 量表（Rubric）（一份检查清单）。
检查清单： 它会观察 16 个不同的维度，比如“角色的声音是否清晰？”（好）或者“故事是否变得重复了？”（坏）。
类比： 想象一个写作工作坊，一位著名作家阅读了你的故事，并给了你具体的意见：“你的对话太生硬了，”或者“结尾感觉太仓促了。”机器人通过这些具体的笔记进行学习，而不仅仅是学习一个笼统的分数。

配料 2：“人类锚点”（人类参考注入）

这是最独特的部分。在典型的训练组中，机器人生成 5 个不同的故事，然后计算机从中挑选最好的一个进行学习。但有时，这 5 个故事都平庸至极，导致机器人陷入了编写“还可以但并不优秀”的故事的死循环。

POLARIS 在每个小组中都加入了一个 人类锚点。

运作方式： 对于每一个提示词（Prompt），系统都会强制要求机器人将一个 真实的人类撰写的作品 与它自己的尝试放在一起对比。
类比： 想象一群学生正在尝试解决一道数学题。通常情况下，他们只将自己的答案彼此对比。但在这种课堂上，老师会在黑板上展示一个 完美的解题范例。学生们不仅仅是在瞎猜；他们有一个“北极星”作为目标。即使机器人没有完全模仿人类的故事，看到那个高质量的范例也能保持机器人的“雄心壮志”，防止它满足于低质量的写作。

结果：能“以小博大”的小模型

作者使用这种方法，在一个约 1,400 篇短篇故事的数据集上，训练了一个标准的 90 亿参数模型（Qwen3.5-9B）。

惊喜之处： 尽管这个机器人的训练故事长度最高仅为 4,000 字，但它学会了如何撰写长达 12,000 字（长了 3 倍！）的故事，且没有损失质量。
对比情况：
- 对比基础模型： 它比未经训练的版本要好得多。
- 对比巨型模型： 它的表现几乎可以媲美规模是其 3 倍（270 亿参数）且更加昂贵的模型。
- “压力测试”： 大多数小模型在被要求写长篇故事时都会崩溃。POLARIS 是唯一一个能保持强韧的小模型，它能保持故事的连贯性，并真正完成要求的长度。

为什么这很重要

论文认为，“长度泛化”（即写出比训练长度更长内容的能力）是一个极佳的压力测试。

隐喻： 如果你训练一名跑者去跑 1 英里的比赛，当他跑到 2 英里时可能会精疲力竭。如果他能不间断地跑完 3 英里，这证明他拥有真正的耐力，而不仅仅是短时间的爆发力。
POLARIS 证明了，通过正确的“教练指导”（严厉的编辑和人类锚点），一个小模型也可以拥有巨型模型的耐力。

总结

POLARIS 是一种聪明的、低成本的训练方法，它通过以下方式教会小型 AI 模型撰写长篇且具有创造性的故事：

通过一个聪明的 AI 编辑提供 详细、具体的反馈。
展示 高质量的人类范例 来保持其追求卓越的目标。

其结果是，一个既小巧又实惠的 AI，能够像那些庞大、昂贵的模型一样撰写长篇故事，且无需依赖超级计算机。

技术摘要：POLARIS —— 指导小模型进行长篇故事创作

问题陈述

小型开源语言模型（例如 9B 参数规模）在长篇创意写作方面表现极差。当被要求生成具有实质长度的故事时，这些模型通常会出现两种失败模式之一：要么远未达到要求的长度，要么随着生成的推进，输出质量急剧下降。这与能够在数千个 token 范围内保持连贯性和风格一致性的前沿模型形成了鲜明对比。现有的针对长篇生成的强化学习（RL）方法通常依赖于昂贵的基础设施，包括大型基座模型、持续预训练、定制训练的奖励模型或海量数据集。本文探讨了一个问题：一个小型的开源模型是否可以在没有如此大规模投入的情况下，在这一领域具备竞争力。

方法论

作者提出了 POLARIS（基于 LLM 作为评判者的奖励与锚定参考注入的策略优化，用于故事创作），这是一种专门为长篇创意写作设计的低计算量 GRPO（群体相对策略优化）方案。该方法应用于 Qwen3.5-9B 基座模型，使用了约 1,388 个由 100 本商业购买的短篇小说选集衍生的“提示词-故事”对。

该方案依赖于两项主要的的技术创新：

1. 结构化 LLM-as-a-Judge 奖励

POL1ARIS 没有训练单独的标量奖励模型，而是在每个 GRPO 步骤中采用一个前沿 LLM（Gemini 3 Flash）作为在线评判者。该评判者使用一个包含 16 个维度的结构化故事质量准则：

正面维度 (6个)： 提示词履行度、叙事弧线、角色深度、语调、场景实现和主题丰富度。
负面维度 (10个)： 违反提示词、连贯性断裂、语言平庸、过度概括、过度解释、结构漂移、对话问题、机械错误、可预测性以及辞藻堆砌。
兜底项： 用于处理未建模的卓越表现或失败的加分与减分项。

原始分数经过归一化处理，并结合了针对重复、长度不匹配和空白输出的辅助惩罚。至关重要的是，奖励函数包含一个次线性长度缩放因子，以防止在短输出上出现奖励通胀，并辅以剪切机制以稳定训练。

2. 人类参考注入 (HRI)

为了解决开放式 RL 中的停滞问题——即策略展开（rollouts）可能会收敛到相似的奖励分数，从而导致学习停止——作者引入了 HRI。

机制： 对于每个 GRPO 组，将一个人类编写的故事（通过当前策略进行教师强制）作为第 $(k+1)$ 个成员插入。
功能： 该人类参考作为一个高奖励锚点，维持了组内的奖励方差，并提供了向更强写作能力的稳定梯度压力。
实现： 参考文本使用与策略展开相同的奖励函数进行评分，但其不参与组内平均值和标准差的计算。其优势值通过一个预热调度进行缩放，以抑制来自演示轨迹的梯度贡献，确保更新是一个带有偏差的演示增强型 GRPO 步骤，而非无偏的在策略估计。

核心贡献

低计算量方案： 作者证明了 9B 模型可以在 4 台 A100 GPU 上训练约 48 小时（总成本约 500 美元），即可获得具有竞争力的长篇写作性能。
结构化准则优于标量奖励： 通过使用结构化的、多维度的 LLM-as-a-judge 取代训练好的奖励模型，该方法避免了需要单独训练奖励模型流水线的需求，并能针对特定的叙事质量提供细粒度的反馈。
人类参考注入： 引入 HRI 作为一种防止开放式任务中学习停滞的机制，提供了一种简单且有效的方法，无需为每一步都提供完整的专家轨迹即可实现锚定策略更新。
长度泛化： 训练数据完全由长度在 4,000 字以内的故事组成。尽管如此，最终的模型 POLARIS–9B 在处理请求高达 12,000 字（3 倍于训练长度）的故事提示时，仍展现出了鲁棒的性能。

结果

评估涵盖了涉及超过 160,000 次成对判断的五个基准测试，包括分布内（ID）和分布外（OOD）的提示词及准则。

相对于更大模型的性能： POLARIS–9B 的表现与规模为其三倍的开源模型（如 Qwen3.5-27B, Gemma 4 31B）相当。在 EQ-Bench Creative 测试中，它在 15 个模型中排名第 3，仅次于前沿模型（GPT-5.4, Claude Opus 4.6）和人类参考。
长度遵循度： 不同于许多在 8–12k 字时要么质量退化要么无法达到请求长度的较大规模开源模型，POLARIS–9B 能够同时保持准则质量和长度遵循度。它在 8–12k 字时实现了 0.72 的长度遵循比例，同时保持了故事质量，而像 Gemma 4 31B 这样的基准模型通常为了维持质量而写得明显较短。
人类评估： 在针对 60 个“提示词–故事”对的盲测人类评估中，标注者更倾向于 POLARIS–9B 而非基座 Qwen3.5-9B（胜率 67.5%）。与 Qwen3.5-27B 的比较在统计学上是不可区分的（胜率 51.2%），人类评论强调了 POLARIS–9B 具有更强的氛围感、语调和场景实现能力。
失败模式： 论文指出，虽然 POLARIS–9B 避免了其他模型中出现的“质量崩溃”和“长度失控”现象，但它仍可能遭受风格过载（过度使用术语或沉重的文笔）和局部连贯性失效（细节矛盾）的问题。

意义与主张

论文声称，长度泛化是衡量创意写作模型的一个有意义的压力测试。一个仅仅学习表面模式的模型，在需要数千个 token 持续维持叙事连贯性和弧线完成度的长篇故事中会表现出退化。POLARIS–9B 尽管仅在最高 4k 字的数据上训练，却能在 8–12k 字时保持强大的准则得分，这表明所提出的带有 HRI 和结构化评判的 GRPO 方案是使小型模型在具有软奖励的开放式任务上实现对齐的有效路径。

作者将这项工作定位为“规模优先”方法的实用替代方案，表明通过正确的训练方案，小型开源模型可以在无需大规模计算基础设施或专有数据的情况下，在长篇创意写作领域媲美规模大得多的对手。研究结果表明，在该领域区分不同的模型，不仅需要评估聚合质量，还需要特别关注质量和长度遵循度在远距离迁移条件下的表现。