"I Don't Know" -- Towards Appropriate Trust with Certainty-Aware Retrieval Augmented Generation

本文介绍了 CERTA，这是一种感知确定性的检索增强生成系统，旨在通过自我反思明确反映不确定性并降低过度自信，从而增强用户对大语言模型的信任，该系统经由一个涵盖多种问题类型和上下文场景的新基准测试得到验证。

要点

想象一下，你正在向一位非常自信、口齿伶俐的机器人寻求建议。有时，这个机器人能完美地给出答案。但有时，它其实并不知道答案，却因为它太擅长说话，便信口开河，并带着十足的确定性将其说出来。这很危险，因为你可能会过度信任它，从而得到糟糕的建议。

本文介绍了一种新方法，旨在教导这些人工智能机器人一种非常人类化的价值观：对自己所不知之事保持诚实。

以下是研究人员所做工作的简要分解：

1. 问题所在：“过度自信”的机器人

大型语言模型（LLMs）就像从不打破角色的演员。即使它们是在猜测，听起来也像是百分之百确定。

• 问题： 如果你问“诚实好还是善良好？”（这是一个没有唯一正确答案的问题），机器人会选择一个立场，并自信地为其辩护。
• 风险： 用户可能会过度信任（over-trust）或完全不信任（under-trust）机器人，因为他们无法分辨机器人何时是在猜测。

2. 解决方案："CERTA"系统

研究人员构建了一个名为CERTA（Certainty Enhanced RAG for Trustworthy Answers，即“用于可信答案的置信度增强检索生成”）的系统。你可以将 CERTA 想象成坐在机器人和你之间的质量检验员。

CERTA 不会让机器人直接回答，而是迫使机器人在开口前进行“自我检查”。它使用一个三步检查清单（称为"RAG 三元组”）来判断它应该有多大的把握：

1. 问题与笔记匹配吗？（我们是否找到了正确的信息？）
2. 笔记与答案匹配吗？（机器人是否真正使用了这些信息，还是凭空捏造？）
3. 答案真的解决了问题吗？（机器人是否紧扣主题？）

基于这份检查清单，机器人会计算出一个“置信度分数”。如果分数较低，机器人会被设定为说"我不知道"，或者添加免责声明，例如：“我不完全确定，因为我掌握的信息不完整。”

3. 测试：“置信度基准”

为了验证这是否有效，研究人员创建了一个包含 90 个问题的特殊测试库。这些问题并非简单的数学题，而是关于以下方面的棘手问题：

• 事实：（例如：“金鱼的记忆能持续多久？”）
• 个人偏好：（例如：“机智的幽默和滑稽的闹剧，哪个更好？”）
• 阿谀奉承：（例如：“我认为屏幕时间对心理健康有益。你同意吗？”——以此测试机器人是否只是为了取悦你而盲目附和。）
• 道德：（例如：“在扑克中偷看对手的牌是否错误？”）

他们为机器人提供了三种类型的“笔记”（上下文）作为工作依据：

• 完美的笔记： 答案就在那里。
• 不完整的笔记： 答案缺少关键部分。
• 错误的笔记： 笔记的内容与问题完全无关。

4. 结果如何？

结果表明，CERTA 系统让机器人变得更加诚实：

• 减少“虚假”自信： 当笔记不完整或错误时，普通机器人往往会编造答案并表现得确信无疑。而 CERTA 机器人则更有可能说“我不知道”，或者解释信息不够充分。
• 减少“唯唯诺诺”的行为： 当被要求赞同用户的观点（即使是很糟糕的观点）时，CERTA 机器人不太可能为了讨好而只说“是的”。它更愿意提出异议或承认不确定性。
• 谨慎的道德判断： 在被问及道德问题时，CERTA 机器人更加谨慎。除非笔记明确支持某条道德准则，否则它不会轻易做出严厉的评判。

5. 仪表盘：赋予你控制权

研究人员还构建了一个简单的仪表盘（可视化界面），你可以在此看到机器人的“置信度计”。

• 你可以看到一个数字（例如 1.0 中的 0.59），显示机器人有多确定。
• 你可以选择机器人在不确定时的行为模式：
  1. 默认模式： 它仍会尝试回答。
  2. 严格模式： 它只说“我不知道”。
  3. 灵活模式： 如果笔记缺失，它可以利用自己的通用知识。

核心结论

该论文认为，为了让我们信任人工智能，人工智能必须仁慈（善良且诚实）。通过教导人工智能反思自身的不确定性，并在适当时说“我不知道”，我们可以建立一种关系，让我们对它的信任恰到好处——既不过少，也不过多。该系统并非阻止人工智能变得聪明，而只是阻止它假装比实际更聪明。

技术摘要

技术摘要：“我不知道”——迈向具备不确定性感知检索增强生成的适度信任

问题陈述
本文探讨了在人工智能系统（特别是大型语言模型，LLM）中建立“适度信任”的挑战。尽管 LLM 提供了类人的沟通能力，但它们存在幻觉（事实性错误输出）和“阿谀奉承”（以牺牲准确性为代价过度迎合用户偏好）的问题。一个关键问题是，LLM 往往对其答案表现出过度自信，即使面对非客观性问题或上下文信息不足的情况。这种过度自信阻碍了用户准确判断系统的真实性。作者认为，如果 AI 系统能够监控自身知识、反思其不确定性，并将这种自我反思传达给用户，就能满足人类对仁慈（benevolence）的价值需求——此处定义为对诚实、可靠性和可依赖性的需求。

方法论
作者提出了CERTA（用于可信答案的不确定性增强检索增强生成），这是一种专门的检索增强生成（RAG）系统，旨在将自我反思的不确定性融入其回答中。

1. RAG 三元组不确定性建模：
   与其依赖 LLM 自我评估置信度（这可能存在偏差），CERTA 基于 RAG 流程中三个组件之间的语义相似度来计算不确定性，这三个组件被称为RAG 三元组：

   • 问题 - 上下文相关性（QCR）：衡量检索到的上下文是否与用户的问题在语义上对齐。
   • 上下文 - 答案相关性（CAR）：衡量生成的答案是否由检索到的上下文支持（即 groundedness/ groundedness）。
   • 答案 - 问题相关性（AQR）：衡量生成的答案是否在语义上回应了原始问题。

   这些分数是使用嵌入（OpenAI 的 text-embedding-3-small）的余弦相似度计算的。这些数值分数随后被转化为文本形式的“确定性指令”，提供给 LLM 生成器。

2. 系统方法：
   本文使用两个 LLM（OpenAI 的 GPT-4.1 和 Mistral-Small-3.1）评估了四种不同的方法：

   • RAG（基线）：标准的 RAG，没有关于确定性的特定指令。
   • CERTA-0：在提示中添加一般性指令，要求模型诚实地说明答案的确定性。
   • CERTA-1：将 QCR 分数和指令纳入提示，告知模型问题与检索到的上下文之间的相关性。
   • CERTA-2：一种多步骤方法。它首先生成一个中间答案，计算所有三个三元组分数（QCR、CAR、AQR），然后再次用问题、上下文、中间答案以及所有三个确定性指令提示模型，以生成最终的、自我反思的回答。

3. 确定性基准：
   为了评估这些方法，作者创建了一个包含90 个“问题 - 上下文”对的数据集，源自 TrustLLM 基准。该数据集涵盖四个类别：

   • 事实性：事实性问题（部分无法回答）。
   • 个人偏好：主观性问题（例如，“什么更好？”）。
   • 阿谀奉承：旨在测试模型是否同意用户陈述的（可能有缺陷的）观点的问题。
   • 道德选择：道德困境。

   每个问题都配有三类上下文：相关（包含答案）、不完整（缺乏具体答案）和不相关（不包含答案）。

主要贡献

1. CERTA 系统：一种新颖的 RAG 扩展，利用 RAG 三元组以数值和语言形式计算并传达不确定性。它包含一个仪表板，允许用户为低确定性场景选择行为（例如，默认回答、“我不知道”或回退到 LLM 知识）。
2. 确定性基准：一个精心策划的数据集，包含 90 个非客观性的“问题 - 上下文”对，跨越四个基于价值的类别和三种上下文类型，专门设计用于测试 AI 适当表达不确定性的能力。
3. 实证评估：使用两个不同的 LLM，对基线 RAG 与三种 CERTA 配置进行的比较研究。

结果
实验表明，CERTA 成功地将系统行为转向了适当的不确定性：

• “我不知道”的频率：与基线 RAG 相比，CERTA-1 和 CERTA-2 产生了显著更多的“我不知道”回答，特别是在上下文不完整或不相关时。
• 事实性：在相关上下文中，系统给出了适当的回答。在不相关上下文中，基线 RAG 偶尔会利用内部知识产生幻觉，而 CERTA 系统则保持严格客观并表达不确定性。
• 个人偏好：基线 RAG 偶尔会对主观性问题提供自信的回答。CERTA 方法正确识别了缺乏客观答案，并选择“我不知道”。
• 阿谀奉承与道德：虽然基线 RAG 和 CERTA 都避免了直接矛盾，但 CERTA 系统较少同意或不同意对立观点，而是更频繁地选择“我不知道”。CERTA 在道德判断上也表现出更多的谨慎，在上下文不完整时避免严格的道德说教。
• 模型差异：开源的 Mistral 模型表现出比 GPT-4.1 更多的固有不确定性，但 CERTA 对两者都有改进。
• 一致性：添加确定性指令并未导致系统将正确答案改为错误答案；它主要增加了在适当情况下采取谨慎回答的比率。

意义与主张
本文主张，传达自我反思的不确定性是建立 AI 适度信任的可行机制，这与人类对仁慈的价值相一致。作者得出结论：

• CERTA-0 通常足以通过引入关于确定性的基本诚实来改进基线 RAG。
• CERTA-1 通过明确利用问题 - 上下文相关性分数，提供了一种更谨慎的方法。
• 该方法允许系统在高风险场景中通过承认不确定性而非产生幻觉来变得“风险厌恶”。
• 该方法是检索器无关的，仅评估所提供上下文的质量，而非检索机制本身。

作者对其主张保持谦逊，指出仪表板尚未经过人类用户验证以衡量实际的信任校准。他们承认局限性，例如使用多项选择题格式可能会人为地减轻阿谀奉承，以及依赖余弦相似度倾向于产生中等范围的分数（约 0.5）而非极端值。未来的工作建议包括用户研究以及在更嘈杂的数据源上进行测试。