Traceable by Design: An LLM Pipeline and Dashboard for EU Regulatory Consultation Analysis
本文提出了一种可追溯的、基于大语言模型(LLM)的流水线及交互式仪表板,用于自动化分析大规模监管征询意见提交内容,通过提取带有原文证据的落地主题标注,并在关于欧盟委员会《数字公平法案》的案例研究中展示了其能够揭示超出预定义分类法之外的见解。
原始论文根据 CC0 1.0(http://creativecommons.org/publicdomain/zero/1.0/)发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,欧盟正计划制定一套全新的互联网规则手册,名为**《数字公平法案》(Digital Fairness Act)**。在编写最终规则之前,他们向公众提出了一个问题:“你们怎么看?”这被称为“公众咨询”。
问题在于:人们提交了 4,322 份回复。其中有些是输入在线表单的简短笔记,有些则是长达数页的 PDF 文档。试图通过人工阅读并理解所有这些内容,就像试图用消防栓喝水一样——人类根本无法完成,否则会被信息淹没,甚至会遗漏重要内容。
本文介绍了一个智能数字助手(一个 AI 流水线和一个仪表板),旨在阅读所有这些回复,识别人们在讨论什么,并能够精确地证明它是在哪里找到这些信息的。
以下是该系统的运作方式,通过简单的解释说明:
1. “智能图书管理员”流水线
你可以将这个系统想象成一位高度组织化、反应极快且永不疲倦的图书管理员。
- 输入: 图书管理员接收两种类型的“书”:需要使用特殊相机(称为 OCR)进行“阅读”的杂乱扫描版 PDF,以及整洁的电子网页表单。
- 清洗: 在阅读之前,图书管理员会先“清扫地面”。他们会移除页码、页眉、页脚以及扫描文档时经常出现的乱码文本。他们还会检查页面是否可读。如果某个页面过于混乱,他们会进行标记,但仍会尝试处理剩余部分。
- 切分: 图书管理员将长篇文档切割成细小、易于管理的“段落块”。他们只保留那些有意义且包含足够有用词汇的段落块。
- 阅读(AI 部分): 这是“大语言模型”(操作系统的“大脑”)介入的地方。它阅读每个干净的段落,并提出两个问题:
- 这个主题是关于什么的?(例如:“这是关于不公平订阅的问题吗?”)
- 哪句确切的话能证明这一点?
2. 金科玉律:“展示你的证据”
大多数 AI 工具擅长做总结。如果你问它们:“人们对密码怎么看?”它们可能会回答:“人们担心安全性。”
本系统拒绝进行这种概括。 它遵循一条严格的规则,称为**“逐字溯源”(Verbatim Grounding)**。
- 类比: 想象一位在法庭上的侦探。如果侦探说:“嫌疑人在现场。”法官会要求查看照片证据。侦探不能只说:“我觉得是这样。”
- 在此处的运作方式: 每当 AI 发现一个主题时,它必须复制并粘贴原始文档中证明该主题的确切句子。它不能编造摘要。如果找不到确切的引用,它就不会做出任何主张。这确保了如果决策者想要核查工作,他们可以点击一个按钮,直接看到原始文档中的那个句子。
3. 仪表板: “控制室”
结果会显示在一个名为“仪表板”的网站上,它充当了决策者的控制室。
- 大局观: 你可以看到所有主题的分布图。有些是“预设主题”(欧盟已经知道的主题,如“欺骗性设计/暗黑模式”);另一些是“涌现主题”(AI 发现的新主题,即欧盟并未明确询问的主题,如“年龄验证”或“数字所有权”)。
- 钻取功能: 你可以点击特定主题(如“支付处理器审查”),查看哪些公司或国家提到了它。
- 可追溯性: 如果你在屏幕上看到一个统计数据,你可以通过系统将其追溯到原始 PDF 中的特定段落。没有任何信息是隐藏的。
4. 为什么这很重要
作者在《数字公平法案》的数据上测试了这一工具。
- 结果: 该系统处理了 4,322 份文档,发现了 15,368 个特定主题,并由 20,951 条确切引用作为支撑。
- 惊喜之处: 因为系统并没有被强迫仅限于固定的主题列表,它发现了新的关注点,而人类使用简单的清单可能会遗漏这些关注点。例如,它注意到人们正在担心“支付处理器审查”(银行拦截向某些网站的付款)和“数字所有权”(人们到底拥有哪些数字物品)。
- 灵活性: 该系统是“领域通用型”的。这意味着如果欧盟明年想针对另一项法律进行咨询,他们不需要重新构建机器。他们只需要更改“说明书”(提示词/Prompt)并喂入新的文档即可。
总结
本文描述了一个将混乱的公众反馈转化为清晰、有序且可证实的关注点列表的工具。它不仅告诉你人们在想什么,还向你展示了他们究竟在哪里表达了这些想法,从而确保决策者可以信任这些证据,因为他们可以看到对话的“源代码”。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。