技术摘要：潜在动作为何失效，以及如何预防

问题陈述

潜在动作模型（LAMs）旨在通过压缩帧间变化，从未标记的视频中学习动作相关的表征，从而解决现实世界机器人中动作标注数据集稀缺的问题。然而，在“野外”视频中，观测数据不仅包含智能体的内源状态，还包含外源状态（例如背景杂乱、相机运动、光照变化）。这些外源因素引入了与智能体动作无关的帧间转换。

先前的工作观察到，在标准重建目标下训练的 LAMs 往往无法与真实动作对齐。相反，潜在动作未能学习动作动力学，而是虚假地编码了外源噪声。尽管存在经验性的补救措施（例如辅助监督、多视角数据），但尚无统一的理论分析来解释为何标准目标在外源噪声存在时会失效，也为何特定的辅助目标能缓解这种失效。

方法论

作者提出了一个基于**外源块马尔可夫决策过程（Ex-BMDP）**的统一理论框架，用于分析潜在动作学习。

1. 理论框架：Ex-BMDP

作者扩展了标准的块马尔可夫决策过程（BMDP），以显式地建模外源噪声。在此表述中：

• 潜在状态 $x$ 被分解为内源状态 $s$（由智能体控制）和外源状态 $\xi$（独立于智能体的动作）。
• 转移函数和初始分布被解耦：$T(x'|x, a) = T_s(s'|s, a)T_\xi(\xi'|\xi)$。
• 观测值通过确定性发射映射 $o = h(s, \xi)$ 生成，其中包含一个视觉编码器 $f$。

2. 线性 LAM 分析

为确保理论的可处理性，作者首先分析了线性 LAM设定，其中：

• 观测转换是加性的：$o' = o + \phi_\xi(a) + \epsilon$，其中 $\phi_\xi(a)$ 是动作效应，$\epsilon$ 是由状态变化（$\xi \to \xi'$）引起的外源噪声。
• 逆动力学模型（$\psi_{IDM}$）和前向动力学模型（$\psi_{FDM}$）是线性映射。
• 标准目标是最小化重建误差 $L_{LAM} = \mathbb{E}[\|o' - \hat{o}'\|_2^2]$。

3. 辅助目标

作者在 Ex-BMDP 框架内重新表述了两类现有的辅助目标：

• 跨外源重建（$L_{X-exo}$）： 利用共享相同内源状态但来自不同外源状态（$\xi, \tilde{\xi}$）的成对观测值来强制一致性。
• 外源鲁棒目标预测（$L_{\xi-robust}$）： 使用对外源变化具有鲁棒性的目标 $y$（例如真实动作或光流）来监督潜在动作（即无论 $\xi$ 如何，$y$ 保持相似）。

主要贡献

1. “未来泄露”的识别

作者证明，在外源噪声存在的情况下最小化标准重建目标 $L_{LAM}$ 会导致未来泄露。

• 机制： 由于前向模型 $\psi_{FDM}$ 必须重建包含未来外源状态 $\xi'$ 的未来观测值 $o'$，而 $\xi'$ 不可作为输入，因此潜在动作 $z$ 被迫编码关于 $\xi'$ 的信息。
• 结果： 命题 4.2 表明，$L_{LAM}$ 的全局最小化器都不允许潜在动作独立于 $\xi'$。因此，$z$ 吸收了来自未来帧的外源信息，减少了用于编码实际动作动力学的容量。

2. 视觉编码器敏感性的作用

分析表明，潜在空间中噪声的能量由视觉编码器对外源变化的敏感性决定。

• 噪声能量与外源状态切换的频率以及发射函数 $h$ 对 $\xi$ 的敏感性成正比。
• 实验结果表明，像 DINOv2 这样以物体为中心且对背景变化具有鲁棒性的编码器，与原始像素输入相比，显著降低了这种敏感性，从而实现了更好的动作对齐。

3. 辅助目标的理论依据

该论文提供了证明，展示了辅助目标如何通过强制跨外源状态的一致性来减轻外源干扰：

• 跨外源重建： 在线性假设下，最小化 $L_{X-exo}$ 等价于典型相关分析（CCA）。这抑制了随特定外源状态变化的转换分量，同时保留了跨外源状态持续的分量（即由动作驱动的转换）。
• 外源鲁棒预测： 命题 4.8 证明，预测一个对外源状态具有 $\eta$-鲁棒性的目标 $y$，为不同外源状态下潜在动作的不匹配提供了显式界限。最小化该损失迫使潜在动作无论背景如何都保持一致。

实验结果

线性 LAM 实验

使用具有受控外源切换概率（$p_{switch}$）的合成数据：

• 未来泄露验证： 实验证实潜在动作编码了未来的外源状态。在推理期间交换下一帧的外源状态时，重建输出会偏移以匹配交换后的帧，证实了这种“捷径”行为。
• 噪声敏感性： 随着观测对外源变化的敏感性（$\alpha$）增加，动作预测的归一化均方误差（NMSE）恶化，验证了编码器敏感性与失效之间的理论联系。
• 辅助有效性： 在标准损失中添加 $L_{X-exo}$ 或 $L_{\xi-robust}$ 始终改善了动作对齐，并降低了潜在动作在不同外源状态下的方差。

非线性（实际）LAM 实验

为了测试泛化性，作者在具有乘法外源噪声（违反线性假设）的网格世界数据集上训练了一个非线性 LAM（带有 CNN/UNet 的 VQ-VAE）：

• 普通 LAM： 随着噪声强度增加，模型编码了外源区域，导致高一致性损失和低外源区域均方误差（意味着它预测了噪声）。
• 增强 LAM： 使用 $L_{X-exo}$ 或 $L_{\xi-robust}$ 训练的模型在所有噪声水平下都保持了高外源区域均方误差（忽略噪声）和低一致性损失。
• 结论： 即使违反了线性和加性假设，关于未来泄露的理论见解以及一致性强制目标的优势仍然成立。

意义与主张

该论文声称提供了在外源噪声存在下潜在动作学习失效的统一理论分析。其主要意义在于：

1. 解释失效模式： 它正式将“未来泄露”识别为标准重建目标削弱动作学习的机制，而不仅仅是经验性地观察该现象。
2. 统一补救措施： 它证明了不同的辅助目标（多视角、动作监督、光流）共享一个共同的理论机制：它们强制潜在动作跨外源状态保持一致。
3. 指导设计： 它强调了视觉编码器对外源因素敏感性的关键重要性，表明鲁棒的特征提取器是有效 LAM 的先决条件。

作者总结道，虽然他们的理论证明依赖于线性假设，但在非线性模型上的实证验证表明，这些原则可扩展到实际、现实世界的潜在动作学习场景中。