💬 NLP

HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing

该论文提出了基于树状工作流的评估方法 Tree-of-Writing (ToW) 及包含 12 种体裁的大规模中文写作基准 HoWToBench，旨在解决现有指标在评估大语言模型长篇开放写作能力时的不一致性与偏差问题，并验证了 ToW 在鲁棒性、与人类判断的高相关性以及对输入长度干扰的抗噪能力方面的显著优势。

原作者： Andrew Zhuoer Feng, Cunxiang Wang, Yu Luo, Lin Fan, Yilin Zhou, Zikang Wang, Xiaotao Gu, Jie Tang, Hongning Wang, Minlie Huang

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Andrew Zhuoer Feng, Cunxiang Wang, Yu Luo, Lin Fan, Yilin Zhou, Zikang Wang, Xiaotao Gu, Jie Tang, Hongning Wang, Minlie Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给大语言模型（LLM）举办一场"人类写作能力大考"，并且发明了一套全新的"树状评分法"来当考官，还准备了一份极其专业的"题库"。

我们可以把整件事想象成这样一个场景：

1. 为什么要搞这个？（背景与痛点）

以前，我们评价 AI 写的文章好不好，就像是用尺子去量云彩。

旧方法太死板：以前的评分标准（比如 BLEU、ROUGE）就像是在玩“找茬游戏”，只看 AI 写的字和参考答案有多少重合。但这就像评价一首诗，只看它有没有用“爱”和“梦”这两个词，完全忽略了意境和情感。
AI 当裁判不靠谱：后来大家让 AI 自己当裁判（LLM-as-a-judge），但这就像让一个没有主见的和事佬来打分。它经常把“语言流畅度”、“逻辑性”、“情感表达”这些不同的维度混在一起，最后给个平均分。结果就是，它今天觉得“逻辑”最重要，明天觉得“文采”最重要，打分忽高忽低，非常不稳定（论文里叫“协商不一致”）。

2. 核心发明：Tree-of-Writing (ToW) —— “树状评分法”

为了解决 AI 裁判“和稀泥”的问题，作者发明了一个叫 **Tree-of-Writing **(ToW) 的框架。

想象一下，ToW 就像是一个经验丰富的“老编辑”在审稿：

不是乱打分：老编辑不会把所有优点缺点混在一起算个平均数。他会把文章拆解成一棵树。
树根是总分：最上面是最终得分。
树干是三大支柱：
1. **内容 **(Content)：文章说了什么？逻辑通不通？开头结尾好不好？
2. **格式 **(Format)：分段对不对？标题有没有？有没有乱用列表？
3. **印象 **(Impression)：读起来感觉怎么样？有没有感染力？
树叶是细节：在“内容”这棵枝干下，又分出“逻辑”、“情感”、“修辞”等小叶子。
动态权重（关键创新）：这是 ToW 最聪明的地方。它知道不同文章类型，重点不一样。
- 如果是写诗，它会给“情感”和“修辞”很高的权重，给“逻辑”低权重。
- 如果是写合同，它会给“逻辑”和“格式”极高的权重，给“情感”几乎零权重。
- 比喻：以前的裁判是拿着一个固定的食谱做菜，不管做川菜还是粤菜都放一样的盐。ToW 则是根据你点的菜，动态调整盐量，这样打出来的分才公平、精准。

3. 新题库：HOWTOBENCH —— “写作奥林匹克”

为了测试 AI 到底行不行，作者们建了一个叫 HOWTOBENCH 的超级题库。

规模巨大：里面有 1300 多道题，涵盖了 12 种文体（从写小说、写诗，到写公文、写合同、写演讲稿）。
难度分级：
- **Level 1 **(补全)：给你一段话，让你把中间缺的补上。（像做填空题）
- **Level 2 **(大纲写作)：给你一个大纲，让你扩写成文。（像根据提纲写报告）
- **Level 3 **(自由创作)：只给一个题目，让你自由发挥。（像真正的创作，最难）
真材实料：这些题目和参考答案（Human Reference）都是由人类专家写的，不是 AI 生成的。这就像是用米其林三星大厨的手艺作为标准，来考核 AI 厨师。

4. 考试结果：发现了什么？（主要发现）

用这套新系统去考 10 个顶尖的大模型（比如 GPT-4, Claude, DeepSeek 等），发现了一些有趣的现象：

AI 很擅长“填空”，但不擅长“创作”：
- 在有详细背景信息（Level 1）的情况下，AI 表现很好。
- 一旦让它自由发挥（Level 3），很多模型就“掉链子”了，文采和逻辑都大幅下降。
字数多不代表写得好：
- 以前大家觉得 AI 写得越长越好。但研究发现，输入给 AI 的信息越多，它写出来的东西反而可能越差（负相关）。
- 比喻：这就像给一个厨师堆了太多食材，他反而不知道做什么菜了，最后端上来一盘大杂烩。这说明 AI 不能靠“堆料”来凑字数，它需要真正的理解力。
ToW 很抗揍：
- 如果把文章里故意加一些乱码、重复句子或者改变格式，传统的评分方法（包括其他 AI 裁判）很容易被骗，给高分。
- 但 ToW 像是一个火眼金睛的考官，能一眼看出这些“花招”，稳稳地给低分。它非常稳健。

5. 总结

这篇论文的核心思想就是：评价 AI 写作，不能只看它“像不像”人类，而要看它“懂不懂”人类。

旧方法：像用复印机比对，看字迹重不重合。
新方法 (ToW + HOWTOBENCH)：像请了一位懂行、有经验、会根据不同文体灵活调整标准的资深编辑来打分。

这套系统让 AI 的写作能力评估变得更透明、更稳定、更像人类专家，为未来 AI 真正写出打动人心的好文章指明了方向。

这是一篇关于大语言模型（LLM）写作能力评估的学术论文 HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing 的详细技术总结。

1. 研究背景与问题 (Problem)

尽管 LLM 在文本生成方面取得了巨大进展，但评估其生成“人类水平”写作的能力仍面临严峻挑战，主要体现在以下方面：

现有指标的局限性：传统的基于参考的指标（如 BLEU, ROUGE）无法捕捉语义的细微差别和创造性；而基于 LLM 的评估方法（LLM-as-a-judge）在处理开放式、长篇幅写作时存在显著缺陷。
“谈判不一致性” (Negotiation Inconsistency)：现有的 LLM 评估器通常将多个子特征（如流畅度、逻辑性、指令遵循）的评分进行简单平均或隐式聚合。这种聚合过程缺乏透明度，导致评估结果在不同运行间不一致，且容易受到提示词偏差的影响。
评估维度的单一性：现有基准大多将写作视为“指令遵循游戏”（Mimicking Game），仅关注是否满足显式要求，而忽视了虚构叙事、说服性演讲等任务中隐含的意图、情感深度和整体风格。
缺乏高质量基准：缺乏涵盖多种体裁、具有专业级人类参考文本的大规模中文写作基准。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了两个核心贡献：Tree-of-Writing (ToW) 评估框架和 HOWTOBENCH 基准数据集。

2.1 Tree-of-Writing (ToW) 评估框架

ToW 模拟了人类决策过程，将写作评估建模为一个树状结构，通过显式建模子特征的聚合权重来解决“谈判不一致性”。

树结构定义：
- 根节点 (Root)：最终总分。
- 一级节点：包含三个主要维度：内容 (Content, $V_C$ )、格式 (Format, $V_F$ ) 和 印象 (Impression, $V_I$ )。
- 叶子节点：每个一级节点下包含更细粒度的特征（如内容的逻辑、情感、开头结尾；格式的段落、标题；印象的整体主观质量）。
动态权重分配 (Negotiator)：
- 引入一个“谈判者 (Negotiator)" LLM，根据具体的写作指令（体裁、任务类型等）动态生成聚合计划 (Aggregation Plan)。
- 该计划明确指定了每个子特征在最终评分中的边权重 (Edge Weights)。权重范围在 -1 到 1 之间，且总和为 1。
- 优势：避免了隐式聚合带来的随机性，提高了评估的可解释性和可复现性。
评分机制：
- 内容节点：结合规则（Rubric）和参考文本（Reference），由专家 Agent 打分（1-10 分）。
- 格式节点：采用混合方法，部分使用正则表达式（Regex）检测标题层级和列表格式，部分由 LLM 评估结构合理性。
- 印象节点：作为叶子节点直接由 LLM 评估整体主观质量。
- 聚合：通过深度优先遍历（DFS）和加权求和计算最终得分。

2.2 HOWTOBENCH 基准数据集

这是一个大规模、高质量的中文写作基准，旨在评估 LLM 生成人类水平写作的能力。

数据规模：包含 1302 个写作指令，覆盖 12 种体裁（如小说、诗歌、散文、议论文、报告、公文、合同等）。
任务分类：设计了三种难度递增的任务模式，反映不同的上下文提供程度：
1. 补全 (Completion)：提供部分文本，要求补全缺失部分（高约束）。
2. ** guided 写作 (Guide)**：提供大纲或详细背景信息，要求扩写（中约束）。
3. 开放式生成 (Open)：仅提供主题或一句话指令，无背景信息（低约束，高创造性）。
数据构建：
- 来源：从专业作家网站、政府公文网等爬取高质量人类写作。
- 反向构建 (Reverse Construction)：基于高质量人类参考文本，通过 LLM 反向生成指令和背景信息（类似回译），确保指令与参考文本的高度匹配。
- 质量控制：经过 36 名人类专家（文学、新闻、教育等领域）的多轮筛选和 pairwise 比较，最终数据通过率为 96.85%。

3. 关键贡献 (Key Contributions)

提出了 ToW 框架：首次将树状结构和显式权重分配引入 LLM 写作评估，有效解决了 LLM-as-a-judge 中的“谈判不一致性”问题，显著提升了评估与人类判断的一致性。
构建了 HOWTOBENCH：发布了首个涵盖 12 种体裁、包含三种任务模式的大规模中文写作基准，填补了该领域高质量中文评估数据的空白。
揭示了评估的新发现：
- 长度悖论：发现输入/输出长度与内容质量评分呈负相关（特别是在 Guide 和 Open 任务中），打破了“越长越好”的刻板印象，表明 LLM 无法仅靠堆砌信息来提升写作质量。
- 鲁棒性：ToW 对文本扰动（如重复、删除、体裁转换）表现出更强的鲁棒性，而传统指标和 Auto-Planning 方法容易受到干扰。
- 体裁敏感性：不同模型在不同体裁上的表现差异巨大，通用模型在结构化任务（如信件）表现较好，但在高创造性任务（如小说）上表现下降明显。

4. 实验结果 (Results)

与人类判断的一致性：
- ToW 在 HOWTOBENCH 上的系统级排序与人类专家排序的 Pearson 相关系数高达 0.93，显著优于 BLEU (0.75)、ROUGE (0.46) 以及现有的 LLM-as-a-judge 方法（如 Auto-Planning 的 0.88）。
- 消融实验证明，内容、格式和印象三个维度缺一不可，移除任一维度都会导致相关性下降。
模型性能分析：
- 在 10 个主流 LLM（包括 GPT-4o, Claude-3.5, DeepSeek-R1/V3, Gemini-2.0 等）的评估中，DeepSeek-R1 和 GPT-4o 表现领先。
- 难度梯度明显：大多数模型在“补全”任务上表现优异，但在“开放式生成”任务上性能大幅下降（例如 GPT-4o 在 Open 任务上比 Completion 任务下降了约 18.8%）。
鲁棒性测试：
- 在文本扰动测试中，ToW 的分数下降趋势符合人类直觉（质量下降），而 Auto-Planning 和 BLEU 等指标在某些扰动下甚至出现分数上升或波动，显示出其脆弱性。

5. 意义与影响 (Significance)

评估范式的转变：从单一的“指令遵循”评估转向全方位、分层级的写作能力评估，更贴近人类对“好文章”的复杂认知。
解决评估黑盒：通过显式权重和树状结构，使 LLM 评估过程变得透明、可解释且可复现，为未来自动化评估系统的设计提供了新标准。
推动模型发展：HOWTOBENCH 揭示了当前 LLM 在长文本、高创造性及复杂逻辑写作方面的短板，为模型训练（如 RLHF、SFT）提供了明确的优化方向。
实际应用价值：该框架和基准可直接应用于内容创作辅助、教育评估、公文写作辅助等实际场景，帮助筛选和监控生成式 AI 的写作质量。

总结：HoWToBench 和 ToW 框架通过引入树状决策结构和大规模高质量基准，显著提升了 LLM 写作能力评估的准确性、一致性和鲁棒性，为衡量大模型是否真正具备“人类水平”的写作能力提供了强有力的工具。