💻 computer science

A Risk-Oriented Verification and Validation Framework for Hallucination Detection in Public-Sector LLM Systems

本文提出了一种面向风险的验证与确认框架，通过引入一个用于指导延迟处理或人工升级等操作决策的综合风险指数，将公共部门大语言模型中的幻觉检测从一个纯粹的技术挑战转变为一个治理问题，从而确保法律确定性与行政问责制。

原作者： Nguyen Binh

发布于 2026-07-10✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nguyen Binh

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你雇佣了一位超级聪明、速度极快的机器人助手，来帮助你的市政府回答有关法律、税收以及如何获取驾照的问题。这个机器人由大语言模型（LLM）驱动，非常擅长表现得自信且书写流畅。但问题在于，它有时会编造事实。它可能会发明一条虚假的法律，命名一个不存在的政府部门，或者给出一个并不真实的截止日期。在技术领域，我们称之为“幻觉”（hallucination）。

在私人领域，如果机器人给了你一个错误的电影推荐，这只是令人恼火；但在公共部门，如果机器人告诉你要向错误的机构提交税务表格，或者引用了一条不存在的法律，这可能会毁掉你的生活、浪费你的金钱，甚至让政府陷入法律纠纷。

旧方法的问题
大多数研究人员一直试图通过观察机器人的“大脑”内部来解决这个问题。他们试图让机器人“思考”得更深入，重新训练它，或者检查它是否会给出两次相同的答案（自一致性）。本文认为，这种方法就像是在试图通过摇晃一个黑盒来修理它。在现实世界中，政府通常使用的是无法看到内部结构的机器人（黑盒 API），并且无法对其进行重新训练。此外，机器人可能会表现得极其自信，并始终给出同一个错误的答案，从而骗过“摇晃两次”的测试。

新思路：基于风险的安全网
与其试图让机器人变得完美（作者认为目前这还不可能），不如采用另一种方法：将幻觉视为一种治理风险，类似于我们检查防火安全或数据安全的方式。

作者建议了一种新的框架，它就像是俱乐部里的一位聪明的保镖，专门负责把关政府的回答。其工作原理如下：

1. 五点清单（基于槽位的分解）
想象一下，机器人的回答不仅仅是一大块文本。该框架将回答分解为五个特定的“槽位”或类别，就像飞行的检查单一样：

所需文件： 我需要哪些材料？
主管机关： 谁是正确的联系对象？
处理时限： 需要多长时间？
费用： 需要多少钱？
法律依据： 什么法律规定了这一点？

该框架会对每个类别分别进行检查。关于邮票价格的一个错误可能只是令人烦恼，但关于“适用哪项法律”的错误则是一场灾难。

2. 三个危险信号
对于每个类别，系统都会运行三个快速检查，以查看机器人是否正在产生幻觉：

“声音摇摆”测试（跨样本不稳定性）： 系统向机器人提出同一个问题五次。如果机器人在“法律依据”方面给出了五个不同的答案，说明它在“摇摆”。这是一个红旗信号。
“出示收据”测试（引用覆盖率）： 机器人是否指向了一个真实、官方的文件来支持其主张？如果它说“根据法律 X”，但数据库中并不存在法律 X，那么得分就是零。
“规则手册”测试（基于规则的验证）： 答案是否违反了基本规则？例如，如果机器人说截止日期是“下周二”，但法律规定截止日期必须以“工作日”计算；或者它指出的市长并没有签署该文件的权力。

3. 幻觉风险指数 (HRI)
系统将这三个测试结合起来，形成一个名为“幻觉风险指数”（HRI）的分数。你可以把它想象成电子游戏中的“危险度计”。

低分 (< 0.20)： 答案是安全的。通过。 机器人可以直接将答案发送给你。
中分 (0.20 至 0.35)： 答案有些摇摆。警告。 机器人发送答案，但会加上一个巨大的警告标签：“嘿，请核实此部分内容！”
高分 (0.35 至 0.50)： 答案具有风险。推迟。 机器人会拦截答案。在人工检查之前，它不会发布任何正式内容。
极高分 (≥ 0.50)： 答案非常危险。路由。 机器人立即停止操作，并将整个问题转交给人类工作人员。不允许有任何机器人回答。

关键安全覆盖规则
作者非常谨慎地指出，分数并不是一切。他们建议了特定的“覆盖规则”，这些规则充当了紧急制动器。例如，如果机器人编造了法律依据（虚假法律），那么无论分数是多少——系统必须立即将其路由给人类。这可以防止系统被一个自信地犯错的机器人所误导。

该框架并非用于什么
重要的是要理解本文并未声称什么。

它并未声称发明了一种阻止机器人撒谎的新方法。它并没有修复机器人的大脑。
它并未声称已在数百万个真实案例中进行了测试。所呈现的结果是基于模拟场景和说明性示例，而非大规模数据集。
它并未表示这适用于能够看图或听声的机器人（多模态）。它仅专注于文本。

核心结论
作者提议，与其追求一个“完美的”机器人这一不可能实现的梦想，政府应该建立一个能在机器人犯错前将其拦截的安全系统。通过将回答分解为微小的部分、对照规则进行检查，并使用风险评分来决定何时呼叫人工，该框架提供了一种负责任地使用这些强大工具的方法。它将问题从“机器人是否正确？”转变为“这个答案是否足够安全可以发送？”

这种方法被建议作为将 AI 融入严谨、规则导向的政府环境的一种方式，确保即使机器人产生幻觉，系统也能在造成法律噩梦之前将其拦截。

技术摘要：面向风险的公共部门 LLM 系统幻觉检测验证与确认框架

问题陈述
本文探讨了在部署于公共部门行政与法律系统中的大语言模型（LLM）中，应对“幻觉”（即生成流畅但缺乏事实依据的内容）这一关键挑战。与消费级应用不同，公共部门的输出具有法律效力；程序性指导错误、虚假法律引用或错误的权限指定可能会损害法律确定性、行政责任制以及公民信任。

作者认为，现有文献主要将幻觉视为一个技术准确性问题，依赖于以模型为中心的检测方法（如自一致性采样、语义熵）或检索增强生成（RAG）。这些方法通常不适用于公共部门的部署，因为它们往往假设可以访问内部模型状态、具备再训练能力或特定的推理参数——而这些条件在调用黑盒 LLM API 时很难满足。此外，当前的方法侧重于检测准确性而非检测背后的治理影响，未能将风险信号转化为操作决策（例如，何时上报至人类官员）。

方法论
本文提出了一个面向风险的验证与确认（V&V）框架，该框架将幻觉重新定义为一种可控的运营与治理风险，而非单纯的模型优化问题。该方法具有模型无关性，仅依赖于可观测的输出、权威外部来源和基于规则的约束，使其适用于黑盒环境。

该框架通过四个相互关联的阶段运行：

基于槽位的行政分解（Slot-Based Administrative Decomposition）：
将 LLM 的响应分解为五个具有行政意义的“槽位”（Slots），对应于程序性要素：
- 所需文件
- 主管机关
- 办理时限
- 费用
- 法律依据
  这种分解实现了细粒度的风险定位，承认高影响槽位（如法律依据）中的错误比低影响槽位（如支持性文件）中的错误更具后果性。
槽位级风险信号检测：
针对每个槽位计算三个定量指标：
- 槽位不稳定性得分（SIS）： 通过对同一查询生成多个独立响应来衡量跨样本的不稳定性。高方差表示存在认识论上的不确定性。
- 引用覆盖率得分（CCS）： 评估槽位内容是否得到有效权威来源（如法定文本）的明确支持。在高风险槽位中，得分为零被视为关键指标。
- 规则违反得分（RVS）： 针对预定义的结构和管辖权约束进行的二元检查（例如，验证所引用的法律是否存在，或某机构是否具有管辖权）。
聚合为幻觉风险指数（HRI）：
槽位级信号被聚合为一个综合的幻觉风险指数（HRI）。这是一个加权和，其中权重 ( $w_i$ ) 反映了特定槽位的行政影响。公式结合了调节系数 ( $\alpha, \beta, \gamma$ ) 来平衡不稳定性、缺乏引用和规则违反情况：
$HRI = \sum_{i} w_i \cdot (\alpha \cdot SIS_i + \beta \cdot (1 - CCS_i) + \gamma \cdot RVS_i)$
HRI 是一个操作风险评分，而非正确概率。
操作决策工作流：
根据阈值将 HRI 映射到预定义的操作状态：
- 通过 (PASS) (HRI < 0.20)： 直接交付。
- 警告 (WARN) (0.20 ≤ HRI < 0.35)： 附带澄清说明的条件性响应。
- 延迟 (DEFER) (0.35 ≤ HRI < 0.50)： 暂不发布权威性主张；隔离高风险槽位。
- 路由 (ROUTE) (HRI ≥ 0.50)： 强制上报至人类官员。
- 覆盖规则（Override Rules）： 特定条件（例如，法律依据的 RVS=1）会触发立即上报，无论综合得分如何，以防止统计聚合导致的虚假保证。
ISO/IEC 式 V&V 产物：
该框架将幻觉管理形式化为标准的软件保证产物，包括具有明确目标、前提条件和定量验收标准的测试用例，确保了可审计性和可追溯性。

核心贡献

治理重构： 将范式从“检测幻觉”转向“管理幻觉风险”，使 LLM 部署符合公共部门的问责制与审计要求。
黑盒兼容性： 为无法进行模型再训练或内部检查的环境提供了可行的验证机制。
细粒度风险量化： 引入了 HRI——一个综合指标，能将异构的技术信号转化为可由审计员和决策者理解的治理导向指数。
比例化人工监督： 建立了根据风险水平触发人工干预的工作流，在运营效率与制度安全性之间取得平衡。
标准化： 将幻觉管理整合进现有的 ISO/IEC 式 V&V 流程中，促进其在政府采购与质量保证框架内的采用。

结果与评估
本文通过涉及民事身份登记、许可申请和社会福利查询的说明性场景展示了该框架。评估表明该框架如何处理这些场景：

它成功识别了高风险输出（例如，伪造的法律引用或错误的机构），这些输出在传统的以模型为中心的检查中可能会被判定为“自洽”。
它展示了 HRI 如何区分低影响的信息不一致与高影响的程序性错误，从而触发适当的“DEFER”或“ROUTE”行动。
研究验证了该框架能够在危险输出到达官方渠道之前将其拦截，将不透明的模型行为转化为可量化、可控的操作风险。

意义与主张
本文声称其主要意义在于提供了一种务实的、符合治理逻辑的方法，用于在不破坏法律可预测性的前提下，在公共部门部署 LLM。作者认为：

信任建立在控制之上，而非无误性之上： 对 AI 的制度信任不应依赖于对完美准确性的宣称，而应依赖于识别和管理失败的透明、可审计的程序。
风险差异化至关重要： 并非所有幻觉都是同等的；框架的基于槽位的方法确保了治理资源能够集中在最具后果性的程序要素上。
集成是可行的： 通过将幻觉风险映射到标准的软件保证实践中，该框架消除了 AI 应用的制度障碍，允许公共机构在遵循既定行政法原则和问责制的前提下利用 LLM。

作者谦逊地指出，本研究依赖于演示性场景而非大规模的定量基准测试，且该框架是作为 RAG 等模型层缓解策略的补充而非替代。未来的工作建议包括实证阈值微调以及向多模态语境的扩展。

技术摘要：面向风险的公共部门 LLM 系统幻觉检测验证与确认框架

类似论文