ConCISE: A Reference-Free Conciseness Evaluation Metric for LLM-Generated Answers

本文提出了一种名为 ConCISE 的新型无参考指标，通过结合 LLM 生成的摘要压缩率与去冗余词压缩率，实现了对大语言模型生成回答中冗余内容的自动化量化评估，从而无需依赖人工标注即可衡量回答的简洁性。

要点

这篇论文介绍了一个名为 ConCISE 的新工具，它就像是一个专门给大语言模型（LLM）的“废话”量尺。

想象一下，你问一个 AI 助手：“今天天气怎么样？”

• 理想的回答：“今天晴天，气温 25 度。”（简洁、有用）
• 糟糕的回答：“关于您询问的天气情况，根据最新的气象数据，今天是一个阳光明媚的日子，气温大约在 25 摄氏度左右，这是一个非常舒适的温度，适合外出活动，当然，如果您不喜欢晒太阳，也可以待在室内……"（啰嗦、重复、浪费钱）

现在的 AI 模型经常喜欢“掉书袋”，说很多废话。这不仅让用户读得累，对于按“输出字数”收费的付费模型来说，还意味着用户要掏更多的钱。

为了解决这个问题，作者们（来自澳大利亚联邦银行）发明了 ConCISE。它的核心特点是：不需要参考答案，就能自动判断 AI 回答得是否啰嗦。

ConCISE 是如何工作的？（三个“魔法”步骤）

传统的评分方法通常需要人类先写一个“标准答案”来对比，但这太贵太慢了。ConCISE 不需要标准答案，它自己当裁判，通过三个“魔法”来给 AI 的回答“瘦身”并打分：

1. 魔法一：提炼精华（抽象总结）

   • 比喻：就像把一杯加了冰块的柠檬水，通过魔法把冰块和多余的水分抽走，只留下最浓缩的柠檬汁。
   • 操作：ConCISE 让另一个 AI 把原来的长回答“改写”成一段更短、更精炼的话。如果改写后的话和原话意思一样，但短了很多，说明原话里有很多废话。

2. 魔法二：剪枝留干（提取总结）

   • 比喻：就像修剪一棵树，把那些长得乱七八糟、不结果的树枝剪掉，只留下主干。
   • 操作：ConCISE 让 AI 从原回答中直接“挑”出最重要的句子。如果挑出来的句子很少，但意思没变，说明原回答里有很多“枝叶”（废话）。

3. 魔法三：大扫除（删词压缩）

   • 比喻：就像给一个塞满杂物的行李箱做整理，把那些“虽然能装但没必要带”的多余物品（比如重复的形容词、客套话）全部扔出去，只保留核心物品。
   • 操作：ConCISE 让 AI 尝试从原回答中删掉尽可能多的词，同时保证意思不变。删掉的词越多，说明原回答越啰嗦，得分越低。

最后，ConCISE 把这三个步骤的结果平均一下，算出一个**“简洁度分数”**。分数越高，说明 AI 回答得越干脆利落。

实验结果：它管用吗？

作者们找了一堆来自维基百科的问答数据，让人类专家给这些回答的“简洁度”打分（1 到 5 分），然后拿 ConCISE 去算分，看看两者是否一致。

• 结果：ConCISE 的打分和人类专家的打分高度一致（相关性很高）。
• 对比：以前的一些方法（比如直接让 AI 给个 0-10 分），往往不太准，甚至有时候人类觉得啰嗦，AI 却觉得很好。但 ConCISE 像是一个经验丰富的编辑，能精准地识别出哪些是“废话”。

为什么这个工具很重要？

1. 省钱：对于按字数收费的 AI 服务，能自动识别并减少废话，直接帮用户省钱。
2. 省心：不需要人类专家去写“标准答案”来对比，完全自动化，适合大规模使用。
3. 提升体验：让 AI 的回答更像是一个干练的助手，而不是一个喋喋不休的演说家。

总结

这就好比给 AI 请了一位**“金牌编辑”**。以前我们不知道 AI 是不是在说废话，现在有了 ConCISE，我们就能自动检测出 AI 是否“话多”，并鼓励它“少说废话，多说干货”。这对于让 AI 变得更聪明、更实用、更经济，是一个非常重要的进步。

技术摘要

ConCISE：一种用于大语言模型生成答案的无参考简洁性评估指标

技术总结

1. 研究背景与问题 (Problem)

随着大语言模型（LLMs）在问答和对话系统中的广泛应用，生成内容的质量变得至关重要。然而，LLMs 经常生成冗长、啰嗦的回答，其中包含大量冗余或不必要的细节。这种现象带来了以下问题：

• 用户体验下降：冗长的回答降低了清晰度和用户满意度。
• 成本增加：对于按输出 Token 数量收费的专有模型，冗余内容直接增加了开发者和用户的成本。
• 评估缺失：现有的评估指标（如 BLEU、ROUGE）依赖参考文本且关注词汇重叠，无法有效捕捉“冗长性”；而现有的无参考指标多关注事实性或相关性，缺乏对简洁性的直接量化。

因此，亟需一种**无需人工标注参考文本（Reference-Free）**的自动化指标，用于量化 LLM 生成回答中的非核心内容，评估其简洁性。

2. 方法论 (Methodology)

论文提出了 ConCISE（Conciseness Evaluation Metric），这是一种完全自包含、无需黄金标准（Gold Standard）参考的简洁性评估框架。其核心思想是利用 LLM 自身的能力来模拟人类对“简洁性”的判断，即识别并量化回答中的非本质内容。

ConCISE 的计算基于三个维度的压缩比率，最终取三者的平均值：

1. 抽象摘要压缩比 (Abstractive Summary Compression)：
   • 利用 LLM 对原始回答生成一个抽象摘要（改写并概括核心思想）。
   • 计算原始回答与抽象摘要之间的长度差异比率。
2. 抽取式摘要压缩比 (Extractive Summary Compression)：
   • 利用 LLM 从原始回答中直接抽取最相关的句子。
   • 计算原始回答与抽取式摘要之间的长度差异比率。
3. 去词压缩 (Word-Removal Compression)：
   • 利用 LLM 尽可能多地移除原始回答中的非本质词汇，同时保留核心语义和实体。
   • 计算被移除的 Token 数量占原始长度的比例。

关键约束与验证：
在生成上述三种变体时，系统会强制要求 LLM 验证变体是否满足：

• 语义等价性：核心含义必须与原始回答一致。
• 命名实体保留：所有关键实体（如日期、地点）必须保留。
• 如果生成的变体比原文长或语义丢失，该部分的压缩值将被视为 0。

计算公式：
$$\text{ConCISE} = \frac{1}{3} \left[ \left(1 - \frac{|A| - |AS|}{|A|}\right) + \left(1 - \frac{|A| - |ES|}{|A|}\right) + \left(1 - \frac{|A| - |RW|}{|A|}\right) \right]$$
其中 $|A|$ 为原始回答长度，$|AS|$、$|ES|$、$|RW|$ 分别为对应变体与原文的长度差。

3. 实验设计 (Experimental Design)

• 数据集：使用了 WikiEval 数据集（基于维基百科的问答对）。为了模拟不同简洁度的回答，研究者使用 GPT-4o 将原始回答改写为包含冗余信息的“啰嗦版本”。
• 人类评估基准：
  • Likert 量表：3 名人类标注者对回答的简洁性进行 1-5 分评分。
  • 成对比较：标注者判断两个回答中哪一个更简洁。
• 基线模型 (Baselines)：
  • GPT Score：直接让 LLM 对简洁性进行 0-10 打分。
  • GPT Ranking：直接让 LLM 在两个回答中选择更简洁的一个。
• 评估模型：使用了多种 LLM（GPT-4o, Claude-4, Gemini-2.0, Mistral-Large-2）作为 ConCISE 的“裁判”以验证鲁棒性。

4. 实验结果 (Results)

• 与人类评分的相关性：
  • ConCISE (基于 GPT-4o) 与人类 Likert 评分的 Spearman 秩相关系数 ($r_s$) 为 0.628，Kendall 系数 ($\tau$) 为 0.523，且统计显著性极高 ($p < 0.001$)。
  • 相比之下，直接打分的基线模型 GPT Score 与人类评分的相关性极低且为负值 ($r_s = -0.108$)，表明直接打分难以准确反映人类对简洁性的判断。
• 成对比较准确率：
  • 在判断“哪个回答更简洁”的任务中，ConCISE 与人类判断的一致率高达 94%（不同模型版本均表现优异）。
  • 基线模型 GPT Ranking 的一致率仅为 39%，表现远不如 ConCISE。
• 鲁棒性：使用不同架构的 LLM（如 Claude, Gemini, Mistral）作为 ConCISE 的底层引擎时，均取得了显著优于基线的结果，证明了该方法的通用性。

5. 主要贡献 (Key Contributions)

1. 提出 ConCISE 指标：首个专门针对 LLM 生成回答简洁性的**无参考（Reference-Free）**评估指标，无需人工标注的“黄金标准”答案。
2. 验证有效性：通过 WikiEval 数据集和人类评估，证明了 ConCISE 能有效识别冗余，且与人类对简洁性的判断高度一致（显著优于直接打分和简单的成对比较基线）。
3. 方法论创新：结合了抽象摘要、抽取式摘要和去词压缩三种技术，通过模拟人类“去除非本质信息”的过程来量化简洁性，填补了现有评估体系在“冗长性”维度上的空白。

6. 意义与局限性 (Significance & Limitations)

意义：

• 降低成本：为对话式 AI 系统提供了一种自动化的、低成本的简洁性监控工具，有助于优化 Token 消耗。
• 提升体验：帮助开发者识别并过滤冗长回答，提升用户满意度。
• 通用性强：不依赖特定领域的参考文本，适用于各种开放域问答场景。

局限性：

• 上下文依赖性：“非本质内容”的定义因领域而异（例如金融领域的合规披露看似冗余但至关重要）。当前的通用模型可能无法完美区分特定领域的必要细节。
• 提示词偏差：目前使用统一提示词生成三种变体，未来研究可探索分离提示词以减少模型在生成过程中的相互干扰。

结论：
ConCISE 为 LLM 生成内容的简洁性评估提供了一种实用、高效且与人类判断高度对齐的新范式，特别适用于缺乏人工标注参考数据的实际应用场景。