⚡ electrical engineering

Breaking the Epistemic Trap: Active Perception Under Compound Uncertainty

本文针对安全关键强化学习中一种被称为“认知陷阱”的协同失效模式（即智能体无法同时估计状态与学习动力学），提出了一种自适应安全架构，该架构通过引入新的耦合度量、主动信息寻求策略以及自适应约束，将安全重新定义为信息问题。

原作者： Chayan Banerjee, Ethan Goan

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Chayan Banerjee, Ethan Goan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《打破认知陷阱：复合不确定性下的主动感知》的解释，使用通俗易懂的类比语言进行翻译。

核心问题：“困惑机器人”困境

想象你在开车，但突然有两件坏事在同一时刻发生：

你的 GPS 坏了：你不知道自己在地图上的确切位置（这是部分可观测性）。
你的引擎行为怪异：由于隐藏的机械故障，汽车打滑或加速方式与往常不同（这是动力学偏移）。

在机器人学和人工智能领域，研究人员通常将这两个问题视为独立的。他们构建的系统要么擅长修复坏掉的 GPS，要么擅长处理打滑的引擎。

论文的核心观点：作者认为，当这两个问题同时发生时，会创造一种特殊且危险的情况，他们称之为"认知陷阱"。

认知陷阱：恶性循环

把机器人想象成一个穿着沉重、僵硬靴子的人在黑暗房间里行走。

如果这个人滑倒了，他会问：“我是因为站错了位置（GPS 坏了）而绊倒，还是因为靴子坏了（引擎坏了）？”
陷阱：要判断靴子是否坏了，他需要确切知道自己在哪里。但要确切知道自己在哪里，他需要知道靴子的行为表现。

他们陷入了一个死循环。不先解决另一个问题，就无法解决其中一个问题。论文将这种现象称为认知耦合。这不仅仅是问题相加（1 + 1 = 2）；它们相互倍增并造成混淆（1 x 1 = 100）。

证据：
作者用虚拟机器人（数字步行者）对此进行了测试。

当机器人传感器损坏时，它稍微慢了下来。
当机器人引擎响应延迟时，它慢得更多了一些。
但当两者同时发生时？机器人不仅仅是慢了下来；它彻底摔倒了。失败程度比预期高出 77%。论文称这是一种“超加性”失败，意味着这种组合比其各部分之和危险得多。

旧方法 vs. 新方法

旧方法（被动控制）
当前的 AI 系统表现得像一位谨慎的司机，只是减速并等待。他们希望雾气散去或引擎自行修复。他们依赖“最坏情况假设”（假设绝对最坏的情况会发生）。

缺陷：在认知陷阱中，等待不起作用。机器人感到困惑，仅仅等待只会让它更加困惑。这就像站在黑暗中，希望靴子能神奇地自行修复。

新方法（主动感知）
作者提出了一种新策略：停下来并调查。
机器人不应该只是向前开，而应该说：“我很困惑。我需要弄清楚出了什么问题。”它应该执行特定的“诊断动作”来收集信息。

类比：想象你听到车里传来奇怪的声音。与其为了忽略它而开得更快，不如靠边停车，打开引擎盖检查引擎。你正在主动寻求信息以打破困惑的循环。

解决方案：“困惑计”（κ）

为了实现这一点，作者发明了一种名为复合不确定性系数（κ）的工具。你可以将其想象为机器人仪表盘上的"困惑计"。

低困惑（绿色区域）机器人知道它在哪里以及它如何移动。它正常行驶。
中等困惑（黄色区域）机器人有点不确定。它小心驾驶，但继续移动。
高困惑（红色区域/陷阱） “困惑计”飙升。机器人意识到它无法信任自己的感官或自身的机械结构。

在红色区域会发生什么？
机器人会切换目标。它不再试图快速到达目的地。相反，它的新目标是信息。

它可能会停止移动。
它可能会以特定方式摆动腿或轮子，以观察地面的反应。
它可能会转动传感器，观察特定物体以校准其位置。

一旦它收集到足够的数据来判断是轮子松了还是仅仅迷路了，“困惑计”就会下降，它就可以安全地恢复旅程。

"MaxInfoRL"策略

论文提出了一条关于机器人应如何思考的新规则，称为MaxInfoRL。

旧规则：“最大化你的速度并到达目标。”
新规则：“通过平衡速度、风险和收集信息来最大化你的安全性。”

如果机器人感到困惑，“收集信息”部分就变成了最重要的任务。这就像一名侦探停止追捕嫌疑人，转而首先核实其不在场证明。

为什么这很重要

作者认为，为了让 AI 在现实世界中安全（例如雪暴中的自动驾驶汽车或做出决策的医疗机器人），我们不能仅仅构建“坚韧”的系统。我们需要那些知道何时感到困惑，并有勇气停下来提问的系统。

他们提议建立一个新的“测试赛道”（基准），以观察机器人是否真的能做到这一点。他们希望测试机器人能否识别自己何时陷入“认知陷阱”，并成功利用主动调查从中脱身，而不是直接撞毁。

总结

问题：当机器人既不知道它在哪里，也不知道它的身体如何运作时，它会陷入困惑的循环并导致灾难性失败。
原因：这两个问题相互助长，使机器人无法判断哪一个才是真正的问题。
解决方法：给机器人一个“困惑计”。当读数过高时，告诉机器人停止追求速度，转而追求智慧。让它执行特定的测试，在继续之前弄清楚出了什么问题。
目标：从那些只是寄希望于最好的“被动”机器人，转变为那些为了安全而战略性地寻求真相的“主动”机器人。

技术摘要：打破认知陷阱：复合不确定性下的主动感知

1. 问题定义：认知陷阱

该论文指出了在安全关键领域（如自动驾驶、医疗决策支持）部署强化学习（RL）时存在的一个关键局限。现有文献将动力学偏移（系统物理特性的变化）和部分可观测性（状态信息不完整）作为独立的挑战加以解决，但作者认为，当两者同时发生时，会产生一种被称为认知陷阱的协同失效模式。

在这种机制下，智能体面临一种循环依赖：

若不知晓系统动力学，则无法准确估计其状态。
若没有准确的状态信息，则无法准确学习系统动力学。

传统方法采取被动认知立场，假设这些不确定性是独立的，或依赖于最坏情况边界。作者证明，这种假设会导致“超加性”失效，即组合后的性能下降幅度远超各单独下降幅度之和。核心问题在于，智能体无法区分错误是源于位置错误（状态不确定性）还是机械故障（动力学不确定性），从而导致推理瘫痪。

2. 方法论：自适应安全架构

为了解决认知陷阱，作者提出将安全重新定义为信息问题，并引入自适应安全架构。该框架将范式从被动鲁棒性转变为主动感知，即智能体通过策略性地探测环境来消除不确定性。

2.1 量化陷阱：复合不确定性系数 ( $\kappa$ )

作者引入指标 $\kappa$ 来量化状态 ( $s$ ) 与动力学 ( $\theta$ ) 不确定性之间的耦合程度。

理论基础： $\kappa$ 定义为条件互信息 $I(s; \theta | b_t)$ ，用于衡量联合信念 $b_t$ 中状态与动力学之间的信息论纠缠程度。
可处理近似：由于计算完整联合信念不可行，他们推导出了一个上界代理指标： $\kappa \approx \sigma_\theta + \sigma_s$ $κ \approx σ_{θ} + σ_{s}$ 。
- $\sigma_\theta$ ：来自冻结的动力学预测器集成（frozen ensemble）的归一化预测误差，用于捕捉认知动力学不确定性。
- $\sigma_s$ ：结合部分观测损失（被遮蔽的传感器）和动作延迟的赤字指标，用于捕捉状态可观测性赤字。
机制检测： $\kappa$ $κ$ 将运行划分为三种机制：
1. 低赤字 ( $\kappa < \tau_{low}$ )：不确定性相互独立；标准的鲁棒/POMDP 方法足以应对。
2. 过渡期：中等耦合；智能体在任务进展与不确定性消除之间进行平衡。
3. 高赤字 / 认知陷阱 ( $\kappa > \tau_{high}$ )：被动观测失效；系统必须切换至主动信息寻求模式。

2.2 主动解决：动力学信息寻求 (DIS)

当 $\kappa$ 指示陷入陷阱时，智能体从标准的奖励最大化切换至动力学信息寻求 (DIS)。

区别：与寻求状态信息的经典主动感知不同，DIS 执行专门设计用于隔离和识别偏移动力学参数 ( $\theta$ ) 的动作。
目标函数：作者提出了MaxInfoRL目标，这是一个复合策略 $\pi^*$ ，在任务奖励、信息增益和安全风险之间进行权衡：
$\pi^* = \arg \max_\pi \mathbb{E}_\pi [R_{task} + \alpha(\kappa) \cdot IG(\theta) - \lambda \cdot R_{risk}]$
在此公式中，权重 $\alpha$ 是 $\kappa$ 的单调递增函数，随着耦合度上升，优先考量信息增益 ($IG$)。

2.3 自适应安全约束

安全约束并非静态，而是由 $\kappa$ 调节的动态变量。随着认知耦合度的上升，安全预算 ( $\delta(\kappa)$ ) 收紧，迫使智能体在收集诊断信息期间保守运行。这形成了一个闭环系统，其中不确定性量化 (UQ) 模块不断更新 $\kappa$ ，驱动机制选择器调整策略行为。

3. 关键结果

作者通过在 120 种实验配置下使用模拟双足机器人 (Walker2D-v5) 的概念验证实验，验证了其框架。

超加性失效：在结合部分可观测性（被遮蔽的传感器）和动力学偏移（动作延迟）的高严重性设置中，性能下降了77%。
- 单独效应：部分可观测性导致 19% 的下降；动力学偏移导致 27% 的下降。
- 加性预期：约 46% 的下降。
- 实际结果：77% 的下降（超加性崩溃）。
检测能力： $\kappa$ 指标成功检测到了这些失效的发生。在复合不确定性机制 (C4) 中， $\kappa$ 飙升至 0.496（基线为 0.036），显著超过了各单独压力源数值之和。
时间敏感性：超加性效应在时间不确定性（动作延迟）下最为显著，其失败率几乎是静态物理偏移的三倍，凸显了在反馈回路延迟时交叉验证状态与动力学的困难。

4. 意义与主张

该论文声称提供了一条原则性路径，使决策系统能够通过识别自身的无知并采取策略性行动来解决它，从而在不确定性下运行。

范式转变：这项工作超越了“被动鲁棒性”（遵守最坏情况边界），转向“主动感知”，论证了在开放世界中的安全需要主动的信息管理。
结构洞察：它确定了认知陷阱是一种区别于孤立挑战的结构失效模式，解释了为何当动力学和可观测性挑战同时出现时，传统的鲁棒 RL 和 POMDP 求解器会失效。
未来路线图：作者概述了通往可行实施的路径，包括：
- 双集成设计：在在线更新的同时保持稳定的先验。
- 因果结构先验：降低参数空间的维度。
- 基础模型 (FMs)：提供鲁棒的初始化和世界建模，降低智能体信念的初始熵。
- 新基准：他们提出了POMDP-Robust-Gym，这是一个旨在明确测试复合不确定性和超加性失效模式的基准套件，而当前的基准（如 POPGym, Robust-Gymnasium）未能充分解决这些问题。

论文结论指出，在安全关键领域实现“随时安全”需要将信息论目标、因果抽象和基础模型先验相结合，以打造不仅鲁棒，而且智能自适应的智能体。