技术摘要：CitizenQuery 基准测试

问题陈述

“公民查询”（Citizen queries）——即公众针对政府政策、服务和指导（如福利、税收、移民）提出的问题——是大型语言模型（LLMs）的一个高风险应用场景。虽然 LLM 有潜力提供具备上下文感知能力、易于获取且快速的信息服务，但其在公共部门的部署受到幻觉和错误信息风险的阻碍。对于依赖此类建议的个人而言，对公民查询做出不准确的响应可能会导致严重的、往往是隐形的负面后果。目前，缺乏专门设计用于衡量 LLM 在公民查询背景下性能的标准基准数据集或评估套件，这使得政府和利益相关者难以评估 AI 集成到公共服务中的可信度。

方法论

数据集构建：CitizenQuery-UK

作者引入了 CitizenQuery-UK，这是一个包含 22,066 个合成公民查询-响应对的新型基准数据集。

• 来源材料： 该数据集完全源自 gov.uk 的文本信息，该网站是该基准测试权威事实的唯一来源。
• 生成过程：
  • 语料库构建： 抓取了 2,781 个 gov.uk 页面，并将其组织为三层分类法（首页 $\rightarrow$ 领域 $\rightarrow$ 子领域）。
  • 查询合成： 为了确保自然化的措辞，查询生成基于来自在线公共论坛（主要是 Reddit）的真实世界数据，以模拟口语化、富含上下文的用户输入，避免了典型合成生成中那种枯燥的措辞。
  • 模型： 使用 Qwen 2.5 72B-Instruct 模型生成问答对，并结合了特定的角色设定（根据年龄、受教育程度、数字素养、职业、收入和地区而变化）及元数据进行约束。
  • 质量保证： 采用了一套严格的人工标注协议，由三名标注员对分层样本进行审查，以优化生成提示词，确保响应在事实上有据可查且易于理解。通过 Cleanlab Studio 生成了毒性和偏见评分，但认为其与核心目标基本无关，且毒性水平保持在较低水平。
• 数据集结构： 数据集包含 16 个主领域下的 139 个子领域。提示词分为程序性、指令性、信息性和比较性。每个条目都包括查询、预期答案（地面真值/ground truth）以及详尽的元数据。

评估流水线

作者提出了一种改编自 FActScore 和 SAFE 架构的评估方法，由三个主要部分组成：

1. 弃权检测 (AB)：

   • 利用微调后的分类器 (LibrAI/longformer-action-ro) 来识别模型是否拒绝回答或无法回答查询。
   • 作者调整了标准的标注方案，将“免责声明”（标签 3）视为“通过”而非“弃权”，因为在政府建议中，使用免责声明是标准且受鼓励的做法。
   • 应用置信度阈值 ($AB_{th} = 0.925$) 以尽量减少假阳性。

2. 原子化事实生成 (AFG)：

   • 将预期响应 ($a_i$) 和模型生成的响应 ($\hat{a}_i$) 分解为原子化的事实/断言。
   • 使用基于检索的少样本提示策略，利用经过指令微调的 LLM ($M_{AFG}$) 将句子分解为细粒度的、可验证的组件。
   • 地面真值的原子事实是预先计算好的，以确保一个固定的参考点。

3. 原子化事实验证 (AFV)：

   • 使用 LLM 作为评判者 ($M_{AFV}$) 来验证模型的断言是否得到地面真实事实的支持。
   • 指标：
     • F1@K： 计算相对于地面真实事实 ($K$) 的精确率和召回率的调和平均值。它惩罚冗余（重复事实）和过度冗长的模型，奖励信息密度。
     • 冗长度 ($\Delta K$)： 测量模型生成的断言数量 ($\hat{K}$) 与地面真实事实数量 ($K$) 之间的差异。正值表示过度生成；负值表示遗漏。

关键结果

该基准测试在 零样本 (Zero-Shot) 和 少样本 (Few-Shot) 条件下评估了 11 个 LLM（包括 Llama、Claude、Gemini、Qwen 和 OpenAI 系列）。

• 性能概况：

  • 事实性： 中位数 F1@K 得分通常很高（通常 >0.90），表明模型通常回答正确。然而，平均得分低于中位数，揭示了“长尾”效应，即表现较差的情况和高方差的存在（标准差在 0.18 到 0.36 之间波动）。
  • 模型家族： 闭源模型如 Claude-4.5-Haiku 显示出高准确性但也伴随高冗长度。开源权重模型（如 Qwen3-32B、Llama-3.3-70B）的表现与闭源模型相当。Kimi-K2-Instruct 显示出较低的事实性和较高的弃权率。
  • 少样本影响： 与预期相反，提供少样本示例通常会 降低 平均 F1@K 得分并增加方差，同时略微减少了冗长度。在某些情况下，模型生成的更多信息，但这些信息在事实上的支持度却较低。

• 关键行为发现：

  • 低弃权率： 模型很少拒绝回答（速率 <1.5%），即使在不确定时也是如此。
  • 高冗长度： 模型一致存在过度生成信息的问题（$\Delta K$ 为正且显著，例如 Claude-4.5-Haiku 在零样本下的 $\Delta K$ 为 +16.63）。
  • 方差： 高标准差表明，虽然模型通常是正确的，但其失效模式是不可预测的，从而带来了可靠性风险。

重要性与主张

本文声称 CitizenQuery-UK 提供了第一个用于评估公民查询任务中 LLM 可信度的循证框架。其重要性在于：

1. 为公共部门采用提供证据： 它为政府在集成 AI 之前评估 AI 准确性提供了一种机制，从理论假设转向了实测性能。
2. 强调“冗长 vs. 可靠性”的权衡： 结果表明，当前的 LLM 优先考虑生成信息而非承认不确定性。在涉及高风险的公民查询时，这种“乐于表达”的倾向结合高方差，创造了一种用户可能会过度信任不准确或过时信息的风险。
3. 呼吁承认局限性（Fallibility）： 作者认为，公共部门中可信的 AI 需要能够承认自身局限性的模型，而不是过度生成可能错误的断言。
4. 为未来治理奠定基础： 该基准测试完全基于开放数据构建，为可以指导公共部门 AI 政策和采购决策的集中化评估套件奠定了基础。

作者总结道，尽管 LLMs 展现出了潜力，但它们目前存在的向高方差和过度生成倾向，使得它们在没有显著提高可靠性和承认不确定性机制的情况下，不适合直接部署。