💬 NLP

Detecting undisclosed LLM-generated content in parliamentary texts

本文提出了一种用于检测议会文本中未披露的 LLM 生成内容的具有可解释性的分类器，揭示了自 2022 年以来英国和瑞典此类用法在稳步增加。

原作者： Minerva Suvanto, Andrea McGlinchey, Peter J. Barclay, Mattias Wahde

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Minerva Suvanto, Andrea McGlinchey, Peter J. Barclay, Mattias Wahde

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个繁忙的图书馆，英国和瑞典的政治家们在这里撰写演讲稿、动议和官方声明。多年来，这些文件完全由人类之手（或者至少是人类的大脑在键盘上敲击）书写。但最近，一个全新的、无形的幽灵开始在图书馆里游荡：这就是大语言模型（LLM），也就是驱动像 ChatGPT 这样的聊天机器人的同一种人工智能。

这篇论文就像是一组侦探，他们构建了一个特殊的“测谎仪”，旨在查明政治家们是否在未告知任何人的情况下，偷偷让这个 AI 幽灵来撰写他们的演讲稿。

以下是他们调查过程的简化版故事：

1. 谜团：沉默的幽灵

在许多职业中，比如新闻工作者或学生写论文，如果你使用了 AI，你应该举手说明：“我用机器人辅助了写作。”但在议会的世界里，规则是模糊的。并没有严格的法律强制要求政治家必须说：“嘿，我刚才请一位 AI 帮我起草了这份文件。”

研究人员担心，如果政治家们使用 AI 来撰写演讲稿却不承认，这可能会损害公众的信任。这就像一位厨师为你端上一道菜，却没告诉你这道菜其实是机器人做的，而那个机器人不小心在甜点里放了盐。

2. 侦探的工具：“玻璃盒”

为了抓住这个幽灵，研究人员没有使用那种给出答案却无法解释其原理的神秘“黑箱”机器，而是构建了一个**“玻璃盒”**分类器。

你可以把它想象成一个放大镜，它不仅仅是简单地判定“有罪”或“无罪”，它还能向你展示究竟是哪些词汇和句子结构引起了怀疑。

如何训练： 他们提取了 2022 年之前（当时 AI 还未流行）的旧演讲稿，因为这些稿件百分之百是人类创作的，所以他们掌握了“真人类”样本。接着，他们将这些演讲稿喂给 AI，并要求 AI 进行重写。现在，他们拥有了一个“人类”堆和一个“AI”堆。
训练过程： 他们教会了他们的“玻璃盒”如何识别两者之间细微的差异。他们发现，AI 的写作方式往往呈现出略微不同的模式——比如使用“United Kingdom”而不是“UK”，或者拥有非常特定的句子节奏。

3. 调查：检查近期文件

一旦侦探工具准备就绪，他们便将其投入到 2021 年至 2026 年间的新演讲稿中进行检测。他们从两个维度观察这些演讲稿：

整篇演讲稿： 整份文件闻起来是否有 AI 的味道？
段落层面： 演讲稿中是否仅有一个段落闻起来像是由 AI 写的？（也许政治家写了开头，但让 AI 写了中间部分）。

4. 发现：幽灵无处不在（且正在增长）

结果清晰且稳定：

趋势： 在英国和瑞典，这些文本中使用 AI 的比例自 2022 年以来一直在稳步上升。
数据： 到 2026 年，检测器发现英国约有 2% 的演讲稿以及瑞典约有 6.5% 的演讲稿很可能是完全由 AI 撰写的。
“隐藏”的部分： 当他们观察单个段落时，数字甚至更高。在英国，超过 15% 的近期动议包含至少一个看起来像是 AI 撰写的段落。在瑞典，这一比例超过了 9%。
沉默： 最令人震惊的部分是：这些文本中没有任何一份承认使用了 AI。 没有一个文本说：“我们在这里使用了聊天机器人。”

5. 为什么这很重要（根据论文观点）

论文认为，这种缺乏诚实的行为是一个问题。

信任： 如果选民发现他们的政治家在不说明情况的前提下使用 AI 来撰写言论，这可能会让他们感到被背叛。
错误： AI 有时会编造事实（幻觉）或带有偏见。如果政治家在使用 AI 时没有仔细检查，他们可能会在无意中传播虚假信息或冒犯性的观点。
“认知特洛伊木马”： 论文提到，依赖 AI 可能会让政治家停止进行批判性思考，让他们在不知不觉中让 AI 代替了思考的重任。

6. 结论

研究人员得出结论：虽然使用 AI 本身并不一定是“坏事”，但隐瞒使用行为是。 他们发现，政治家们越来越多地使用 AI 来撰写他们的官方文本，但他们并没有遵循那些暗示应当保持透明度的（通常是模糊的）准则。

他们建议，议会需要停止模棱两可，开始制定明确、严格的规则：“如果你使用了 AI，你必须说明。”否则，图书馆里的这个“幽灵”将继续在黑暗中撰写演讲稿。

技术摘要：检测议会文本中未披露的 LLM 生成内容

问题陈述
大语言模型（LLM）在人机交互中的快速整合引发了对政治话语透明度的广泛担忧。尽管国际议会联盟（IPU）和英国政府等机构建议在议会文本中披露 AI 的使用情况，以维持公众信任并防止误导信息或偏见的传播，但此类披露在官方记录中基本缺失。这种透明度的缺乏使得评估政治家及其助手在起草动议和声明时利用 AI 的程度变得十分困难。此外，现有的检测方法通常依赖于“黑盒”神经网络，这类方法缺乏在涉及可能损害名誉的高风险决策中所要求的可解释性。

方法论
作者提出了一个框架，用于检测来自英国（西敏寺）和瑞典（议会）议会文本中未披露的 LLM 生成内容。该方法依赖于一种被称为“可解释置信度增强感知器”（Interpretable CONfidence-enhanced Perceptron, ICON）的全可解释线性“玻璃盒”分类器。

数据收集与生成：
- 人类编写（类别 0）： 从 2014 年至 2020 年间发布的议会记录中提取文本，作为人类写作的基准真相（属于前现代 LLM 时代）。
- LLM 生成（类别 1）： 为了模拟真实的用法，作者采用了两步提示程序。首先，由 LLM（Gemini 3.1 Flash-Lite）对人类编写的文本进行摘要处理。其次，将这些摘要作为提示词，由 LLM（Gemini 和 GPT-5 mini）生成全文。这产生了一个平衡的基础数据集，包含每种语言（英国和瑞典）各 1,400 篇人类编写文本和 1,400 篇 LLM 生成文本。
- 前向测试集： 收集了 2021 年以后发布的未标记文本，以评估现实世界的 LLM 使用情况。2021 年初/2022 年的文本作为留出集，用于衡量在 LLM 大规模普及前的假阳性率（FP）。
分类模型 (ICON)：
- 该分类器利用从分词文本中提取的 n-gram 特征（一元语法和二元语法）。
- 它采用线性决策函数 $s = \alpha + \sum w_i f_i$ ，如果总和 $s \geq 0$ ，则将文本分类为 LLM 生成（类别 1）。
- 权重（ $w_i$ ）和偏置项（ $\alpha$ ）基于训练类别的特征频率进行初始化，并通过改进的感知器训练方法进行优化，该方法是在整个数据集上计算误差，而非逐样本计算。
- 可解释性： 模型根据分类总和的量级（ $|s|$ ）提供置信度评分，并允许可视化特定特征（例如特定的单词或二元语法）对决策的驱动作用，从而避免了深度神经网络的黑箱性质。
评估策略：
- 研究在两个层面评估检测效果：(1) 将整个议会动议作为一个单一单元进行分类；(2) 对动议中的单个段落进行分类。
- 在分类总和上应用置信度阈值（ $T$ ），以尽量减少假阳性，特别是在段落级分析中。

关键结果

分类器性能： 训练后的分类器在留出测试集上表现优异，F1 分数分别为 0.940（英国）和 0.969（瑞典）。至关重要的是，在预 LLM 时代的文本上的假阳性率极低（英国为 0.062，瑞典为 0.043），表明其在防止误判人类写作方面具有鲁棒性。
检测未披露的使用情况： 将分类器应用于前向测试集（2021–2026 年）显示，两个议会中检测到的 LLM 使用率均稳步上升：
- 全文检测： 当对整个动议进行分类时，检测率从 2021 年的接近零上升到 2026 年英国的约 2.1%，以及瑞典 2025–2026 年的 6.5%。
- 段落级检测： 当分析单个段落时，检测率更高，这表明 LLM 通常被用于生成文本的特定部分，而非整个文档。到 2026 年，约 15.5% 的英国动议和 9.4% 的瑞典动议包含至少一个被标记为 LLM 生成的段落。
趋势： 数据显示，从 2022 年底/2023 年开始，检测到的使用率出现大幅增长，这与先进 LLM 的公开发布相吻合。
披露情况： 通过对检测到的文本进行与 AI 相关的关键词（如“ChatGPT”、“LLM”、“AI”）的手动搜索，确认这些文本中均未包含任何关于 AI 使用情况的披露。

意义与主张
本文声称提供了关于英国和瑞典议会文本中未披露 LLM 使用量日益增长趋势的首个系统性证据。通过使用可解释的“玻璃盒”分类器，作者认为，与源自黑盒模型的发现相比，他们的研究结果在涉及高风险政治背景时更具辩护力，因为分类的具体原因可以被检查和可视化。

作者强调，其结果表明存在违反现有（尽管通常是非强制性的）透明度准则的行为。他们指出，虽然 LLM 可以作为有用的工具，但未披露的使用可能会侵蚀公众信任、引入微妙的偏见，并可能导致传播误导信息或“认知卸载”（即人类监督程度降低）。研究结论认为，目前的缺乏披露是“对透明度原则的严重违反”，并呼吁建立更明确、可操作的指南，并要求在议会流程中予以遵守。论文也谦虚地指出了局限性，例如语言差异可能影响跨语言的可比性，以及人类编辑 AI 输出可能导致检测边界模糊的“灰色地带”的可能性，但仍坚持认为所检测到的趋势是鲁棒且具有统计学显著性的。