💻 computer science

Latent Actions from Factorized Transition Effects under Agent Ambiguity

本文介绍了观测转换分解（Observed Transition Factorization, OTF）及其变体 OTF-LAM 和 OTF-LAM-Dino，这些方法将模糊的观测转换分解为可重用的原语，以学习鲁棒的类动作潜层表示，从而在无需监督的情况下，在复杂的、充满干扰的环境中超越基准模型。

原作者： Heejeong Nam, Chandradithya S Jonnalagadda, Harshit Aggarwal, Eric Xu, Randall Balestriero

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Heejeong Nam, Chandradithya S Jonnalagadda, Harshit Aggarwal, Eric Xu, Randall Balestriero

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Latent Actions from Factorized Transition Effects under Agent Ambiguity》的通俗易懂版解释，采用了日常生活的类比。

核心问题： “嘈杂的厨房”

想象一下，你正试图通过观看一位厨师的视频来学习烹饪。然而，这段视频非常混乱。当厨师正在切洋葱（这是你关注的核心动作）时，摄像机在晃动，一只狗正从地板上跑过，风还在吹动窗帘。

在人工智能领域，这被称为智能体歧义（Agent Ambiguity）。

智能体（The Agent）： 厨师（你想要控制的对象）。
动作（The Action）： 切洋葱。
歧义（The Ambiguity）： 视频同时展示了所有的变化（洋葱在动、狗在动、窗帘在晃）。

旧的 AI 模型试图通过观察整个混乱的视频来猜测“切菜”这个动作。它们经常会产生混淆，误以为狗的奔跑也是烹饪食谱的一部分，或者无法分辨出是厨师在移动还是摄像机在晃动。

解决方案：将视频拆解为“乐高积木”

作者提出了一种名为 OTF-LAM 的新方法。与其试图一次性猜出整个动作，不如将视频的变化拆解成一个个小的、可复用的碎片，就像是在整理一堆混杂在一起的乐高积木。

他们称这些碎片为观测到的转换原语（Observed Transition Primitives）。

与其看到“厨师在切菜”，AI 看到的是：“一小块像素向左移动”、“一个边缘向下偏移”以及“背景模糊”。
这些就是乐高积木。它们是简单且可复用的运动模式，无论出现在厨师、机器人还是卡通人物身上，这些模式都适用。

它是如何工作的：两步走的过程

第一步：“积木分类器”（OTF）
首先，AI 观看成千上万个视频，学习将图像中的每一次微小变化归类到其词汇表中的特定“积木”中。

类比： 想象一位图书管理员，他并不关心书的内容是什么，只关心书页是如何翻动的。他将每一次翻页都归入一个类别：“快速翻动”、“缓慢滑动”或“撕裂”。
AI 学习到，“快速翻动”看起来既像人类手部翻书，也像机器人手臂转动旋钮。这使得这些“积木”具有可复用性。

第二步：“厨师助手”（OTF-LAM）
一旦积木被分类好，AI 就需要弄清楚哪些积木是由厨师（智能体）引起的，哪些是由狗或风引起的。

类比： AI 查看当前的场景（厨房），并问道：“既然厨师手里拿着刀，那么这些‘运动着的积木’中，哪些很可能是由厨师造成的？”
它挑选出相关的积木，忽略噪声（狗），并将它们组合成一个单一的“动作信号（Action Signal）”。这个信号告诉 AI：“厨师正在切菜。”

“冻结的 DINO”技巧（OTF-LAM-Dino）

论文还介绍了一个更聪明的版本，叫做 OTF-LAM-Dino。

类比： 想象你在预测一段视频的下一帧。通常，AI 会尝试重绘每一个像素（洋葱的颜色、桌子的纹理）。这很难，因为光照可能会变，或者桌子看起来会有所不同。
技巧： 这个版本不再尝试重绘像素，而是使用一个已经理解物体“形状”和“结构”的“冻结”专家（DINOv2）。AI 只需要预测结构如何变化，而不是精确的颜色。
这就像是通过观察棋盘上的位置（结构）来预测下一步棋，而不是试图重新画出那些木质棋子的样子（像素）。这让 AI 能够更好地忽略干扰。

他们证明了什么？

作者在两个主要方面测试了该方法：

Moving MNIST（“数字”测试）： 他们向 AI 展示了数字移动的视频。他们在 0–4 的数字上进行训练，然后在它从未见过的 5–9 数字上进行测试。
- 结果： 因为 AI 学习的是运动模式（积木）而非具体的数字外观，所以它在处理新数字时表现完美。这证明了“积木”是可复用的。
DCS（“机器人”测试）： 他们使用了一个复杂的机器人模拟环境，其中机器人在背景移动时需要跑步或行走。
- 结果： 新方法（OTF-LAM）比旧方法能更好地学习如何控制机器人。它成功地忽略了干扰性的背景，专注于机器人的运动。

总结

这篇论文的核心观点是：“不要试图从混乱的视频中猜测整个动作。相反，要将视频的变化拆解成小的、可复用的‘运动积木’。先对这些积木进行分类，然后再找出哪些属于你想要控制的智能体。”

通过这种方式，AI 在存在大量干扰的复杂现实世界环境中，能够更好地学习如何行动。

技术摘要：基于分解转移效应的潜在动作研究（解决智能体歧义问题）

1. 问题陈述

潜在动作模型（Latent Action Models, LAMs）旨在直接从观测转移（例如，视频帧 $x_t$ 到 $x_{t+1}$ ）中学习类动作的代理（proxies），而无需显式的动作标签。虽然在智能体是变化主导来源的受控设置中非常有效，但在复杂的场景中，LAMs 面临显著的智能体歧义（agent ambiguity）。在存在干扰物、移动背景、相机动态或关节化物体（articulated objects）的环境中，视觉转移 $\Delta x_t$ 是智能体控制的运动与不受控的外生因素的混合体。

标准的 LAMs 将整个转移压缩为一个单体化的潜向量。由于缺乏监督，模型缺乏区分哪些观察到的变化归因于智能体，哪些归因于干扰物的依据。这种歧义导致潜空间将可控运动与环境特定的噪声纠缠在一起，从而阻碍了迁移能力和下游策略学习。现有方法通常依赖于以物体为中心的先验或分割技术，这引入了僵化的假设并限制了可扩展性。

2. 方法论

作者提出了观测转移分解（Observed Transition Factorization, OTF），这是一种自下而上的方法，它不将视觉转移视为一个需要被压缩的单一事件，而是将其视为一种由可重用的**观测转移原语（observed-transition primitives）**组成的稀疏组合。该框架由两个主要阶段组成：

2.1. 观测转移分解 (OTF)

第一阶段学习一个共享的局部运动效应词表。

输入构建： 通过对连续帧应用梯度变换（或 Sobel 算子）并计算差值来构建运动观测 $o_t$ 。这强调了可观测的变化，同时减少了对静态外观和物体身份的依赖。
分块向量量化： 将运动输入划分为空间补丁（patches）。每个补丁通过 VQ-VAE 式的目标函数被编码并量化到大小为 $K$ 的离散码本中。
原语（Primitives）： 码本学习可重用的观测转移原语（例如：局部位移、边缘偏移、类旋转残差、接触变形）。至关重要的是，这些原语代表的是视觉效应，而非纯粹的物理运动或物体身份。
因子表示： 对于每个转移，模型输出一组结构化的因子 $E_t = \{e_{t,k}\}_{k=1}^K$ ，其中每个因子 $e_{t,k}$ 由码本条目、占据图（空间支持域）和激活强度组成。
训练目标： 训练分解器使用选定的原语和当前帧 $x_t$ 作为外观参考来重建运动观测 $o_t$ ，在最小化重建损失的同时，结合标准的 VQ 损失和一个确保码本多样性的正交正则项。

2.2. OTF-LAM：动作抽象

一旦 OTF 模块预训练完成，将其冻结，并在其提取的因子之上训练潜在动作模型。

状态感知抽象： 模型利用因子 $E_t$ 和当前状态 $x_t$ 来形成紧凑的潜在动作 $z_t^{act}$ 。
门控机制： “动作抽象模块”将每个因子转换为状态感知的标记（token）。门控网络根据当前上下文为每个因子分配相关性权重 $\alpha_{t,k}$ ，从而有效地选择哪些观测转移原语与智能体的动作相关。
预测： 聚合后的潜在变量 $z_t^{act}$ 被用于标准的逆向-前向动力学框架，以预测下一个观测（或残差更新）。

2.3. OTF-LAM-Dino

引入了一种无解码器变体，以进一步分离可重用组件与环境特定细节。

冻结表示： 模型不在像素空间进行预测，而是在冻结的 DINOv2 表示空间中预测未来状态。
架构： 视觉编码器（DINOv2）和 OTF 运动原语提取器均被冻结。可学习的部分仅限于 DINO 特征空间内的动作聚合器和前向动力学预测器。这迫使模型专注于抽象与控制相关的转移结构，而非重建像素级纹理。

2.4. 策略学习

为了将学习到的潜在空间与现实世界的控制相连接，使用了少量的动作监督。行为克隆策略将潜在动作 $z_t^{act}$ 映射到真实动作，并通过动作解码器将预测的潜在变量映射回地面真值动作，利用当前观测来解决关于该运动作用于哪个物体的歧义。

3. 核心贡献

观测转移分解 (OTF)： 一种新颖的方法，在尝试推断潜在动作之前，将复杂的视觉转移分解为一组稀疏且可重用的局部原语。这使得学习目标从“恢复真实动作”转向了“构建观测到的转移效应”。
OTF-LAM 和 OTF-LAM-Dino： 两种利用分解转移接口的架构。OTF-LAM-Dino 特别展示了将可重用的转移词表与冻结的视觉状态表示（DINOv2）相结合，可以通过作为针对像素级干扰因素的正则化项来提高下游性能。
零样本迁移能力： 实证证据表明，学习到的运动原语可以在不同的视觉载体（例如，Moving MNIST 中不同的数字类别）和具身形态（例如，从 Walker 到 Cheetah 的 Distracting Control Suite）之间实现零样本迁移，这表明码本捕捉的是通用的转移结构而非环境特定的模板。
对歧义的鲁棒性： 该方法证明，通过分解转移，可以在存在干扰物的情况下实现更鲁棒的潜在动作学习，在复杂设置中优于或匹配单体化 LAM 基准模型。

4. 实验结果

论文在 Distracting Control Suite (DCS)（Cheetah-Run 和 Walker-Run）和 Moving MNIST 上评估了该方法。

可重用性： 在跨形态和跨载体迁移实验中，OTF 词表表现出比单体化 VQ-VAE 基准模型显著更低的性能下降。例如，在 DCS 中，在 Walker-Run 上训练的 OTF 词表在零样本应用于 Cheetah-Run 时保持了较高的重建质量，而单体化基准模型的误差大幅增加（相比 OTF 约 20% 的下降，单体化模型下降了高达 71%）。
下游策略学习：
- 在 DCS 上，OTF-LAM 和 OTF-LAM-Dino 取得了与 LAPO、FLAM 和 HiLAM 等基准模型相当或更优的回报。
- OTF-LAM-Dino 持续优于基于解码器的 OTF-LAM，这表明在冻结的表示空间中进行预测对于控制任务比像素重建更有效。
- 该方法成功地将潜在动作蒸馏到策略中，使其能够匹配甚至超过基准模型，即使视觉转移中包含显著的干扰噪声。
消融实验： 关于码本大小 ( $K$ ) 的研究表明，虽然较大的词表通常有助于复杂的环境（如 Cheetah-Run），但性能并非严格单调，这表明存在一个取决于环境和架构的最优容量。

5. 意义与主张

论文声称，分解后的观测效应是观测驱动的潜在动作学习在面对智能体歧义时的一种更优的中间表示。

视角转变： 作者认为，在仅靠观测的学习条件下，最可靠的目标不是真实的动作本身，而是观测到的转移效应的结构。通过将转移视为可重用原语的组合，模型可以分离可控运动与干扰物，而无需依赖僵化的以物体为中心的先验。
泛化性： 结果表明，学习一个“视觉转移效应词表”比学习每个转移的单一、单体化潜在动作能更好地实现跨不同智能体和视觉领域的泛化。
研究范围限制： 作者明确指出，其工作是在受控设置和 DCS 干扰环境下的评估。他们承认，将此扩展到更丰富、更多样化的视频游戏领域（例如，滚动摄像机、多样化的非智能体动力学）仍是未来的工作。他们并未声称解决了在没有任何监督的情况下进行通用逆向动作恢复的问题，而是证明了分解后的中间表示能显著提高所学习的潜在动作接口的鲁棒性和可迁移性。