Can machines be uncertain?

本文从功能主义和行为视角出发，探讨了符号、连接及混合架构如何实现认知与主观不确定性，并特别提出某些不确定性状态是以“问题”而非“命题”为内容的探究性态度。

要点

这篇文章探讨了一个非常有趣的问题：机器（AI）真的会感到“不确定”吗？ 还是说，它们只是像一台精密的计算器，永远在给出确定的答案，哪怕那个答案可能是错的？

作者路易斯·罗萨（Luis Rosa）认为，我们不仅希望 AI 能给出答案，更希望它们知道什么时候该停下来思考，什么时候该说“我不知道”或“我不太确定”。这种能力对于真正的智能至关重要。

为了让你轻松理解，我们可以把 AI 想象成一家超级餐厅，而“不确定性”就是厨师对菜品口味的把握。

---

1. 核心概念：两种“不确定”

作者首先区分了两种不同的“不确定”，这就像区分**“食材不新鲜”和“厨师心里没底”**。

• 客观的不确定（Epistemic Uncertainty）：食材的问题

  • 比喻：餐厅收到的食材本身就很模糊。比如，送来的鱼看起来像鲈鱼又像鳕鱼，标签也丢了。这时候，数据本身是不确定的。
  • AI 的情况：如果 AI 训练用的数据里，人类标注员对同一条评论是“真诚”还是“讽刺”意见不一，那么数据本身就充满了不确定性。但这不代表 AI 自己“犹豫”，它可能只是机械地根据规则选了一个答案。

• 主观的不确定（Subjective Uncertainty）：厨师的心态

  • 比喻：食材很新鲜，但厨师看着这道菜，心里想：“嗯，这道菜的味道有点拿不准，也许咸了，也许淡了，我不敢保证 100% 好吃。”厨师自己处于一种犹豫、不确定的状态。
  • AI 的情况：这是作者真正关心的。我们想知道 AI 系统本身是否拥有这种“我不确定”的态度，而不仅仅是它处理的数据有问题。

---

2. 不同类型的 AI 如何表现“不确定”？

作者把 AI 分成了三类，就像餐厅里不同的烹饪流派：

A. 符号型 AI（Symbolic AI）：像拿着食谱的严谨大厨

这类 AI 基于明确的规则（如果 A 则 B）。

• 概率式不确定：大厨看着食谱说：“根据规则，这道菜有 90% 的概率是咸的，10% 的概率是淡的。”它会在心里记下一个数字 <咸，0.9>。
• 提问式不确定：大厨看着食材，直接在心里问了一个问题：“这道菜到底该放盐还是放糖？”它把这个问题 <放盐还是放糖？> 记在脑子里，暂时不给出答案。
  • 关键点：这种“提问”本身就是一种不确定，不需要先算出概率。就像你问“外星人存在吗？”，如果你连候选答案（比如“火星人”）都还没想好，你就是在纯粹的“提问式不确定”中。

B. 连接型 AI（Connectionist AI / 神经网络）：像凭直觉的创意大厨

这类 AI（比如现在的深度学习模型）没有明确的规则，而是像大脑神经元一样，通过无数连接权重来“感觉”答案。

• 分布式不确定：这是最神奇的。大厨的整个“直觉网络”处于一种模糊状态。比如，对于“熊是不是哺乳动物”这个问题，它的神经网络权重设置得让它既不完全认定是，也不完全认定不是。它就像在两个答案之间摇摆，这种摇摆是分散在整个网络结构里的。
• 点式不确定：大厨直接端出一盘菜，上面写着“我有 85% 的把握这是熊”。这就像输出了一个概率值。

C. 混合型 AI：既看食谱又凭直觉

结合了上述两者，既能处理明确的逻辑，又能利用神经网络的直觉。

---

3. 最大的陷阱：内部犹豫 vs. 外部表现（层级分裂）

这是文章最精彩的部分。作者提出了一个**“层级分裂”**的难题。

场景：
想象一个超级餐厅（大系统），里面有一个实习厨师（子 AI 系统，比如神经网络）。

• 实习厨师尝了一口汤，心里想：“嗯，这汤有点淡，我有 80% 的把握需要加盐，20% 的把握不需要。”（实习厨师内心是不确定的）。
• 但是，餐厅的经理（大系统的控制算法）规定：“只要实习厨师觉得加盐的概率超过 80%，就直接在菜单上写‘这道菜很咸’，不许犹豫。”
• 结果：顾客看到的菜单上写着“这道菜很咸”（表现得非常确定），完全看不出实习厨师内心的犹豫。

问题来了：
这个餐厅（大系统）到底算不算“不确定”？

• 观点一（第二方案）：算！因为里面的实习厨师确实犹豫了。餐厅只是无视了自己的犹豫，像个“盲目自信”的人。
• 观点二（第一方案，作者支持）：不算！因为真正的“不确定”必须体现在行为上。如果一个系统最终表现得像 100% 确定，那它就是确定的。实习厨师的犹豫如果没有影响到最终决策，那对整体系统来说，那种犹豫就不存在。

作者的结论：
作者倾向于观点二。他认为，如果我们说一个 AI“不确定”，那它必须在行为上表现出犹豫（比如回答时加上“可能”、“也许”，或者在决策时停下来）。如果它内部虽然有点概率波动，但最后拍板时像个铁头娃一样直接给出肯定答案，那我们就不能说它是“不确定”的。

---

4. 为什么这很重要？

想象一下，如果 AI 没有这种“不确定”的能力：

• 危险：就像那个只会“非黑即白”思考的猎人。如果他在洞穴里听到一点动静，要么 100% 确定有老虎（然后吓得乱跑），要么 100% 确定没老虎（然后大摇大摆走进去被吃掉）。
• 智能：真正的智能是**“在证据不足时保持谨慎”**。一个聪明的 AI 应该会说：“根据目前的信息，这里有老虎的可能性很大，但我不能 100% 确定，所以我先退后观察一下。”

总结

这篇文章告诉我们：

1. AI 可以“不确定”，但这不仅仅是数据模糊，而是系统本身的一种态度。
2. 这种不确定可以是算出来的概率（90% 可能是），也可以是纯粹的提问（我不知道答案是什么）。
3. 最关键的判断标准是行为：如果 AI 内部虽然有点“纠结”，但最后表现得像个“杠精”一样直接给出绝对答案，那它就不是真正的不确定。
4. 我们要造出真正聪明的 AI，就必须让它们学会**“承认自己不知道”**，而不是为了显得聪明而胡乱下结论。

就像我们人类一样，承认无知，才是智慧的开始。

技术摘要

论文技术总结：机器能否产生不确定性？

论文标题：Can machines be uncertain? (机器能否产生不确定性？)
作者：Luis Rosa (华盛顿大学圣路易斯分校)
领域：人工智能 (AI)、认知科学、哲学

1. 研究问题 (Problem)

本文旨在探讨人工智能系统是否具备“不确定性”（uncertainty）的能力，以及它们如何具体实现这种状态。

• 核心动机：理想的 AI 系统不应盲目“草率下结论”，也不应在信息充足时表现出无谓的犹豫。AI 需要在“应当不确定”的时候表现出真正的认知不确定性。
• 关键区分：作者严格区分了两种不确定性：
  • 认识论不确定性 (Epistemic Uncertainty)：指系统所掌握的信息或数据本身是不确定的、模糊的（例如训练数据有噪声）。
  • 主观不确定性 (Subjective Uncertainty)：指认知系统本身持有的一种态度，即系统对某个问题没有确定的立场或信念。
  • 研究目标：不仅关注数据的不确定性，更关注 AI 系统是否能在其认知架构层面表现出主观的不确定性（即系统“认为”自己不知道）。
• 哲学背景：文章试图在不预设 AI 拥有“意识”或“完整心智”的前提下，通过功能主义和行为主义的角度来界定 AI 的不确定性。特别指出，某些不确定性状态本质上是疑问性态度 (Interrogative Attitudes)，其内容是对问题的提问，而非对命题的置信度（Credence），因此不能简单还原为命题态度。

2. 方法论 (Methodology)

作者采用概念分析与架构分类相结合的方法：

1. 架构分类：将 AI 系统分为三类进行逐一分析：
   • 符号 AI (Symbolic AI)：基于显式规则和符号操作。
   • 连接主义 AI (Connectionist AI)：基于人工神经网络 (ANNs)。
   • 混合系统 (Hybrid Systems)：结合上述两者（如大型语言模型）。
2. 实现层面分析：
   • 认知层面 (Cognitive Level)：分析系统内部的信息处理、符号结构或权重分布。
   • 行为层面 (Behavioral Level)：分析系统的可观察输出（如回答、决策）。
3. 思想实验与案例构建：通过构建具体的 AI 运行场景（如医疗诊断、动物分类、概率预测），测试在不同架构下“不确定性”是否被真正实现，以及内部状态与外部行为是否一致（即是否存在“层级分裂”）。
4. 功能主义标准：依据刘易斯 (Lewis) 和普特南 (Putnam) 的功能主义观点，判断一个状态是否为“不确定性”，取决于该状态在系统中是否发挥了特定的因果功能（例如导致犹豫、拒绝断言或触发进一步的信息搜索）。

3. 关键贡献与发现 (Key Contributions & Results)

3.1 符号 AI 中的不确定性实现

符号系统可以通过两种方式实现不确定性：

• 概率性不确定性 (Probabilistic Uncertainty)：
  • 系统输出带有数值置信度的符号结构（如 <命题 p, 0.9>）。
  • 条件：这种结构必须在系统内部产生特定的因果后果（例如，当置信度为 0.9 时，系统不应断言非 p，且应能进行概率运算）。
• 范畴性/疑问性不确定性 (Categorical/Interrogative Uncertainty)：
  • 系统存储或处理疑问句形式（如 ?D(a)，意为“患者 a 患有疾病 D 吗？”），而非概率值。
  • 意义：这种不确定性不可还原为置信度，是系统直接面对未知问题的态度。
• 层级分裂问题：符号系统可能在内部计算中表现出概率不确定性（认知层面），但在输出层被强制转换为确定性陈述（行为层面，如直接输出“是”而非“可能是”）。

3.2 连接主义 AI (ANNs) 中的不确定性实现

神经网络的不确定性实现更为复杂，分为分布式和点对点式：

• 模型不确定性 (Model Uncertainty) - 分布式实现：
  • 不确定性内嵌于网络的权重和激活阈值中。
  • 特征：当输入特定对象（如“熊”）时，网络既不完全激活“哺乳动物”输出，也不激活“非哺乳动物”输出（例如输出向量处于中间状态或模糊状态）。
  • 结论：这种分布式的不确定性既是认识论的（信息不足），也是主观的（系统本身未做出决定）。
• 概率性/疑问性不确定性 - 点对点实现：
  • 通过输出层的激活向量直接编码概率值（如 <0.85> 表示 85% 置信度）或疑问。
  • 局限性：这种状态本身如果没有在更大的认知系统中引发相应的因果反应（如导致系统犹豫或停止决策），则可能不构成真正的“主观不确定性”。

3.3 核心论证：层级分裂与“第一解决方案”

文章最核心的贡献在于解决了层级分裂 (Level Splits) 问题：即子系统（如神经网络或符号模块）表现出内部不确定性，但整体系统（包含该子系统的更大认知架构）却表现出确定性行为。

• 两种解决方案：
  1. 第二解决方案：承认子系统是不确定的，但整体系统“忽略”了这种不确定性（即系统有缺陷，未响应自身的不确定性）。
  2. 第一解决方案 (作者支持)：如果子系统的不确定状态没有在整体系统中发挥“不确定性”应有的因果功能（如导致犹豫、拒绝断言），那么整体系统根本不存在主观不确定性。子系统的内部状态只是数据，而非系统的态度。
• 结论：作者主张第一解决方案。判断 AI 是否“不确定”，不能仅看其内部是否有概率值或模糊权重，必须看其整体行为是否表现出犹豫、自我修正或拒绝断言。如果整体系统直接跳到了结论，那么无论内部计算多么复杂，该系统在功能上就是确定的。

3.4 混合系统

混合系统（如 LLMs）可以结合上述所有方式实现不确定性，既可以通过符号规则处理概率，也可以通过神经权重处理分布式的模糊性。

4. 研究意义 (Significance)

1. 理论意义：

   • 澄清了 AI 哲学中关于“信念”与“不确定性”的讨论，指出不确定性不仅仅是概率分布，更是一种疑问性态度。
   • 提出了判断机器是否具有主观不确定性的功能主义标准：必须考察该状态在系统整体因果链条中的作用，而非仅仅考察其内部表示形式。
   • 解决了“层级分裂”带来的归因难题，确立了以整体系统行为为最终判据的原则。

2. 实践意义：

   • AI 安全与对齐：如果 AI 系统内部计算显示“不确定”，但输出却表现得“绝对自信”（Overconfidence），这不仅是技术缺陷，更是认知架构上的“不诚实”或功能失效。
   • 系统设计：提示开发者在设计 AI 时，不仅要让模型输出概率值（如 Softmax 概率），还要确保这些概率值能真正影响系统的决策逻辑（例如，在低置信度时触发“我不知道”的回答，而不是强行猜测）。
   • 评估标准：为评估 AI 的“智能”提供了新维度——真正的智能包含在证据不足时保持“不确定”的能力，而不仅仅是计算概率的能力。

总结

Luis Rosa 的这篇论文通过细致的架构分析，论证了机器在功能上可以是不确定的，但这种不确定性必须体现在系统的整体因果功能和行为表现上，而不仅仅是内部数据的模糊性。文章有力地反驳了仅凭内部概率分布就认定机器具有主观不确定性的观点，强调了“行为即态度”的功能主义立场，为构建更可靠、更符合人类认知直觉的 AI 系统提供了重要的理论框架。