技术摘要：PATCH —— 基于动作块条件化潜空间补丁创新监测的技术

问题陈述

基于学习的机器人操控策略，特别是那些利用动作分块（如使用 Transformer 的 Action Chunking）的技术，在生成连续、细粒度控制序列方面取得了显著进展。然而，将这些策略部署在开放、动态的工作空间中仍然具有脆弱性。现有的运行时监测器通常依赖于全局观测异常、策略不确定性或帧级视觉变化。这些方法难以区分与任务相关的执行风险（例如，障碍物阻挡了计划中的运动）与良性视觉变化（例如，无关的静态杂物、瞬时遮挡或机器人即时路径之外的干扰）。

当前的方法经常会对非关键性的视觉变化触发误报，或者无法检测到位于机器人意图遍历的具体区域内的持续障碍物。核心挑战在于开发一种监测系统，该系统能够判断视觉演变是否既是针对当前活跃动作块（action chunk）异常的，又局部于策略将要使用的区域，而不仅仅是检测全局性的异常观测。

目前的方案频繁在非关键视觉变化上触发误报，或无法检测到位于机器人意图遍历的具体区域内的持续障碍物。核心挑战在于开发一种监测系统，该系统能够判断视觉演变是否既是针对活跃动作块异常的，又局部于策略将要使用的区域，而非仅仅检测全局性的异常观测。

方法论：PATCH 框架

本文介绍了 PATCH（Action-Chunk-Conditioned Latent Patch Innovation Monitor，基于动作块条件化的潜空间补丁创新监测器），这是一个旨在实现部署时干预的系统。PATCH 通过根据机器人的当前动作块定义一个“投影执行走廊”（projected execution corridor），并监测该特定区域内是否存在持续的外部偏差来进行工作。

1. 问题公式化

在每个控制步 $t$，监测器接收活跃策略标识 $\pi_t$、动作块 $U_t$ 以及传感器数据（顶视图和腕部视图图像、关节状态及受力情况）。其目标是仅当投影执行走廊（受近期运动影响的图像区域）包含无法由正常的机器人条件化执行所解释的**持续外部潜空间创新（latent innovation）**时，才触发干预。

2. 核心组件

PATCH 监测器由四个集成组件组成：

• 机器人条件化潜空间动力学（Robot-Conditioned Latent Dynamics）：
  使用冻结的稠密视觉编码器，系统将顶视图和腕部视图图像编码为潜空间场。一个轻量级的空间卷积神经网络（ConvNet）在给定近期信念历史、腕部上下文、机器人状态和活跃动作块的情况下，预测预期的顶视图潜空间状态 ($\mu_t, \sigma_t$)。这种预测建立了“正常”演变的基准。创新得分被定义为观测到的潜空间状态相对于此预测的负对数似然。

• 自运动滤波（Self-Motion Filtering）：
  为了防止机器人的自身运动（手臂运动、夹爪运动、接触或持握物体）触发误报，PATCH 计算一个自运动支持图 ($S_t$)。该图将机器人的几何形状和工具中心点（TCP）扫掠轨迹投影到顶视图图像中。观测到的创新通过 $S_t$ 进行过滤，确保可以由机器人自身执行解释的变化被抑制。

• 投影执行走廊（Projected Execution Corridor）：
  活跃的动作块被解码为预期的机器人轨迹，并映射到 TCP 路径。该路径被投影到顶视图图像中，并进行扩张以满足执行容差，最后与潜空间补丁网格对齐，形成投影执行走廊 ($P_t$)。这限制了监测范围，使其仅聚焦于与即将进行的任务相关的特定区域。

• 信念记忆与证据积累（Belief Memory and Evidence Accumulation）：
  信念记忆模块通过保留低创新或可由自身解释的观测潜空间来维持稳定的上下文，但在存在外部创新时，则用预测的正常潜空间填充信念。这可以防止持续的外部物体成为新的“正常”状态。
  系统将外部创新证据与投影走廊相交，以生成局部化的证据得分 ($\rho_t$)。系统应用时间累积和滞后（hysteresis/latching）机制来抑制瞬时变化。只有在走廊内产生的持续性创新才会生成结构化的干预信号 ($I_t$)。

3. PATCH-Router 干预接口

干预信号 $I_t$ 被传递给 PATCH-Router，它在干预时间尺度上运行（比控制循环慢）。该路由器使用触发信号、局部化证据区域、证据得分和活跃策略上下文来选择干预模式：

• 保持（Hold）： 保留抓取状态和策略状态。
• 自我恢复（Self-Recovery）： 如果执行恢复技能可以在不改变已保留状态的前提下解决局部区域问题，则执行该技能。
• 同伴机器人干预（Peer-Robot Intervention）： 如果当前机器人必须保持状态且同伴机器人可以触及障碍物，则将控制权路由至另一台机器人。
• 人工干预（Human Intervention）： 如果无法进行自动化恢复，则请求人工帮助。

至关重要的是，只有当活跃区域内的局部化证据清除时，才会触发原始策略的恢复，而非通过固定超时触发。

核心贡献

1. 提出了动作块条件化监测的范式： 本文提出了一种监测范式，该范式专门检测位于活跃策略投影执行走廊内的持续外部偏差，超越了全局观测变化或策略不确定性的局限。
2. PATCH 监测器： 一种潜空间补丁监测器，能够预测走廊内的视觉演变，剔除自运动引起的改变，并将持续的无法解释的残差累积为部署时的干预信号。
3. 真实机器人评估： 在真实机器人滚动数据上进行了全面的评估，包括组件消融实验，以及展示了 PATCH-Router 在面对扰动时进行监测驱动型干预和策略恢复的能力。

实验结果

作者在配备两台 AgileX Piper 手臂的真实机器人平台上对 PATCH 进行了评估，执行的任务包括毛巾折叠和杯子入架等。

• 离线基准测试（动作走廊触发）：

  • 基准模型： 与 PCA-kmeans（全局 OOD）、RND-A（动作条件化预测误差）、FIPER 式（标量失败预测）和 DINO-Latent Innovation（稠密补丁变化）进行了对比。
  • 性能表现： PATCH 实现了最高的平衡准确率 (0.96) 和针对持续性障碍物的真阳性率 (TPR$_{C4}$ = 0.97)，同时在无关静态变化 (FPR$_{C2}$ = 0.04) 和瞬时障碍物 (FPR$_{C3}$ = 0.07) 上保持了极低的假阳性率。
  • 消融实验： 去除投影走廊或自运动滤波会显著增加对瞬时变化和无关变化的误报，证实了这些组件对于实现选择性干预的必要性。

• 在线真实机器人部署：

  • 在存在工作空间扰动（例如，障碍物进入路径、架子被撞倒）的闭环实验中，PATCH 展示了优于 FIPER 式和基于 VLM 监测器的性能。
  • 任务完成率： PATCH 实现了 85% 的任务完成率，显著优于 FIPER 式 (30%) 和 VLM 监测器 (15%)。
  • 恢复能力： PATCH 能正确识别证据清除并以 90% 的准确率恢复原始策略，而其他监测器在区分持续性阻塞与状态清除方面表现挣扎。

重要性与主张

本文声称 PATCH 为机器人操控中的运行时监测提供了一种更稳定且符合上下文相关的机制。通过利用活跃动作块来定义投影执行走廊，该系统有效地将任务相关的风险与良性的视觉噪声区分开来。

作者强调，动作块为局部化运行时监测提供了有用的感知结构。该系统允许进行干预驱动的恢复，即机器人可以暂停、委托给同伴或人类，并在特定的局部扰动解决后恢复原始策略，而不是重置整个任务。

局限性： 作者指出，PATCH 目前假设工作空间是从固定相机视角观察到的已校准环境。这限制了其在视角大幅变化、相机运动、严重遮挡以及工作空间对齐可能发生偏移的非结构化移动平台操作中的鲁棒性。未来的工作需要通过在线校准来扩展该方法在移动平台上的应用。