💬 NLP

Measuring AI "Slop" in Text

本文通过专家访谈开发了一套分类法和可解释的维度，旨在解决人工智能“废料”（slop）缺乏标准定义的问题，并证明了虽然二元判断具有主观性，但它们与连贯性和相关性等潜在因素相关，从而能够实现对人工智能生成文本更好的评估。

原作者： Chantal Shaib, Tuhin Chakrabarty, Diego Garcia-Olano, Byron C. Wallace

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Chantal Shaib, Tuhin Chakrabarty, Diego Garcia-Olano, Byron C. Wallace

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网是一个巨大且繁忙的集市。长期以来，摊主们（人类）售卖的是新鲜的手工制品。但最近，大量廉价、量产的商品涌入其中。它们从远处看还算不错，但近看之下，却感觉单薄、重复且空洞。在 AI 的世界里，人们开始将这种低质量、AI 生成的垃圾称为**“slop”（废料/注水内容）**。

这篇论文就像是一支由专家组成的团队，试图建立一本针对这种“slop”的质量控制手册。他们想要回答两个大问题：究竟是什么让一段文本感觉像是“slop”？ 以及 我们能否构建一台机器来自动识别它？

以下是他们研究结果的拆解，使用了简单的类比：

1. 定义“Slop”（分类学）

研究人员并没有凭空猜测什么是 slop。他们采访了 19 位专家——包括作家、记者、哲学家和 AI 科学家——以获得一个清晰的定义。他们意识到 “slop” 不仅仅是一种问题；它是三种主要问题的结合，就像一顿糟糕的饭菜，既太咸、又太淡，还盛在脏盘子里。

他们将这些问题组织成了一个名为**分类学（Taxonomy）**的清单：

信息效用（“空碗”问题）：
- 密度（Density）： 文本充满了词汇，但实际含金量极低。它就像一碗汤，90% 是水，只有 10% 是肉汤。
- 相关性（Relevance）： 文本谈论的内容与所问的问题无关。这就像你点了一个汉堡，结果对方却给你讲了一场关于奶牛历史的讲座。
信息质量（“变质食材”问题）：
- 事实性（Factuality）： 文本在编造事实或弄错事实（幻觉）。
- 偏见（Bias）： 文本听起来过于机械化或过于中立（本应具有人类气息时），或者采取了一种奇怪的、片面的立场。
风格质量（“糟糕的呈现方式”问题）：
- 重复与模板化（Repetition & Templatedness）： AI 不断重复同样的话，或者反复使用完全相同的句子结构，就像一台坏掉的唱片机。
- 冗长（Verbosity）： 它用 100 个词来表达原本只需 10 个词就能说清楚的内容。它是“辞藻华丽”而非“富有智慧”。
- 连贯性与语调（Coherence & Tone）： 思想逻辑不通，或者语调感觉很怪（比如一个机器人试图讲笑话）。

2. 人类测试（标注 Slop）

为了验证他们的清单是否奏效，他们聘请了专业的文字编辑来阅读 150 篇新闻文章和 100 篇问答（Q&A）段落。他们要求编辑们标出文本中具体的“糟糕（sloppy）”部分。

令人惊讶的结果：
即使是专家，也并不总是在什么才是 “slop” 上达成一致。

主观性问题： 一位编辑可能认为一段文本是 “slop”，是因为它太啰嗦了；而另一位编辑则认为它没问题。
关联性： 然而，当编辑们确实一致认为某段文本是 slop 时，通常是因为该文本缺乏相关性（没有回答问题）或密度（内容太空洞）。
领域差异：
- 在新闻领域，slop 主要体现在风格和语调不好（过于正式、过于重复）。
- 在问答领域，slop 主要体现在事实错误或结构混乱。

3. 机器能识别吗？（自动检测）

研究人员尝试测试目前的 AI 工具是否能在没有人类帮助的情况下自动标记这种 slop。他们测试了三项内容：

标准数学指标： 他们使用了传统的数学工具（如统计词长或检查重复词汇）。
- 结果： 这些工具在识别“冗长”文本方面表现尚可，但它们无法捕捉到更微妙的东西，比如“这是否相关？”或“这是否有意义？”。
AI 奖励模型（Reward Models）： 他们使用了经过训练、用于评估写作质量的高级 AI 模型。
- 结果： 这些模型可以区分“好”与“坏”的写作，但它们无法专门识别人类定义的这种特定的 “slop”。它们忽略了其中的细微差别。
AI 法官（LLM 作为评判者）： 他们要求强大的 AI 模型（如 GPT-5 等）阅读文本并判断：“这是 slop 吗？”以及“标出糟糕的部分”。
- 结果： 它们失败得很惨。 这些 AI 法官表现得很糟糕。它们经常完全漏掉 slop，或者标错了部分。它们往往只关注“冗长”问题，而忽略了其他一切。

总结

论文得出结论：虽然我们已经有了一个关于 slop 长什么样的人类定义的清单（它主要是关于无关、空洞或重复），但我们目前还没有一个可靠的机器人能够自动发现它。

目前，如果你想知道一段文本是否是 “slop”，你仍然需要人类去阅读并运用判断力。自动化的工具就像是一个只能发现大石头、却会错过隐藏在沙子里的珍贵宝石（或微小且烦人的垃圾）的金属探测器。

该论文并未声称：

它没有说我们应该禁止 AI 写作。
它没有声称这种方法能解决未来的 AI 问题（它只是说这是一个开放性的挑战）。
它不建议将此用于医疗或法律决策。
它严格专注于定义问题，并展示目前的自动化解决方案尚未准备好解决这一问题。

技术摘要：衡量文本中的 AI “废料”（Slop）

问题陈述
“Slop”（废料）一词已出现，用于描述由大语言模型（LLM）生成的通用、低质量内容，其特征是缺乏事实依据、信息密度低以及存在结构性缺陷。尽管该术语在公共讨论中广泛存在，且在 AI 用于写作和信息获取任务的过程中具有相关性，但目前对于如何定义和衡量“slop”尚无统一的标准。现有的 AI 文本检测方法侧重于区分人类与机器的来源，而“slop”是一种适用于任何文本来源的质量指标。此外，现有的文本质量指标（如 BLEU、ROUGE）和自动评估模型往往无法捕捉构成“slop”的具体风格与实质性缺陷，例如模糊性、缺乏观点或结构模板化。

研究方法
作者采用多阶段方法对“slop”进行概念化、操作化和评估：

分类法开发： 通过对 19 位自然语言处理（NLP）、写作、新闻学、语言学和哲学领域的专家进行访谈，作者得出了“slçop”的初步定义和分类法。通过定性内容分析和演绎编码，作者将专家的定义映射到可衡量的概念上，并将其归纳为三个主题：
- 信息效用（Information Utility）： 密度（相对于长度的实质性内容）和相关性（与任务/提示词的一致性）。
- 信息质量（Information Quality）： 事实性（准确性/幻觉）和偏见（必要主观性的存在/缺失）。
- 风格质量（Style Quality）： 结构（重复性、模板化）、连贯性、语气、流畅度、冗余度和词汇复杂度。
数据收集与标注： 该框架通过在两个数据集上进行跨度级（span-level）标注进行了验证：
- 新闻文章： 来自 Russell 等人 (2025) 的 150 篇文章（人类撰写 vs. 由 Claude 3.5, GPT-4o, o1-pro 生成）。
- 检索增强问答（RAG QA）： 100 段来自 MS MARCO 的文本，其回答由 Llama-4, OLMo-2, Mistral-7B, GPT-4o 和 Gemma-2 生成。
- 专业校对人员对特定“slop”代码的文本跨度进行了标注。使用 Cohen's $\kappa$ 、Gwet's AC1 和 Krippendorff's $\alpha_{MASI}$ 测量了标注者间的一致性。
潜在维度分析： 使用逻辑回归模型来确定哪些标注的跨度级代码可以预测二元“slop”判断。研究分析了这些人类判断与自动指标之间的相关性。
自动测量评估： 作者评估了以下方法的有效性：
- 线性模型： 使用标准自动文本指标（如压缩率、主观性词典、可读性得分）来预测“slop”。
- 奖励模型： 测试写作质量奖励模型（WQRM）与“slop”标签的匹配程度。
- LLM-as-a-Judge（以 LLM 作为评判者）： 在零样本（zero-shot）和少样本（few-shot）设置下，通过提示 GPT-5, Deepseek-V3 和 o3-mini 来识别二元“slop”标签并提取“slop”跨度。

关键结果

主观性与一致性： 二元“slop”判断具有一定的主观性，标注者在整体文档标签上的表现出较差到一般的一致性（ $\kappa \approx -0.15$ 至 $0.29$）。然而，在修正了流行度（AC1）以及专注于特定代码时，一致性有所提高。事实性、偏见和结构代码实现了可靠标注（$AC1 > 0.5$），而认知负荷较高的构建块（如连贯性、密度和相关性）则表现出中等至具有挑战性的一致性。
预测效度： 标注的“slop”跨度数量与整体“slop”判断强相关（ $\rho \approx 0.63$ ）。在不同领域，相关性、密度和语气是判定文本为“slop”的最强预测因子。
领域特定性： 特定维度的重要性随任务而异。对于新闻文章，风格质量（连贯性、语气）和效用（密度、相关性）是显著因素。对于问答（QA）任务，事实性和结构是“slop”判断的主要驱动力。
自动方法的失效：
- 线性模型： 虽然使用现有自动指标的线性模型实现的 AUPRC 大约是流行度基准的两倍（新闻为 0.52，MS MARCO 为 0.55），但它们不足以完全捕捉信号。值得注意的是，5 个显著的“slop”特征中有 3 个（相关性、事实性、连贯性）缺乏可靠的自动指标。
- 奖励模型： WQRM 与“slop”标签部分对齐，但未能完全捕捉该概念，其与二元“slop”判断的相关性较低（0.15–0.25）。
- LLM 评判者： 具备推理能力的 LLM（GPT-5, o3-mini）无法可靠地识别“slop”。与人类相比，它们显著低估了“slop”标签（0.03–0.08 vs. 0.34），并且在跨度提取方面表现挣扎（精确度 $\approx$ 0.08–0.14）。此外，LLM 在其理由中倾向于过度代表“密度”问题，而低估了连贯性、语气和偏见。

意义与主张
本文声称通过经过验证的分类法，首次系统地尝试对 LLM 生成文本中的“slop”进行定性表征。作者认为，“slop”不同于简单的 AI 检测；它是一种质量衡量标准，可以应用于人类写作，但在 AI 输出中尤为普遍。

研究强调，目前的自动化评估实践不足以衡量“slop”。标准指标无法捕捉文本是否真正有用或是否相对于分类法中确定的具体缺陷而言写得好。虽然作者证明了沿所识别的轴线（信息效用、质量和风格）增加问题会增加文本被判定为“slop”的可能性，但他们得出结论：实现完全自动化和可扩展的“slop”测量方法仍是一个开放性挑战。所提出的分类法为指导未来改进 LLM 奖励模型和质量评估提供了框架，特别是在人类偏好判断至关重要的主观任务中。

1. 定义“Slop”（分类学）

2. 人类测试（标注 Slop）

3. 机器能识别吗？（自动检测）

总结

类似论文