🤖 machine learning

FlexLAM: Resolving the Bottleneck Trade-off in Latent Action Learning

FlexLAM 通过使用通过嵌套 Dropout 训练的、具有变长且满足前缀有效性的潜在动作来取代固定容量的瓶颈，从而解决了潜在动作学习中固有的权衡问题，使单个模型能够在无需架构更改或重新训练的情况下，动态地平衡信息保留与细节表现。

原作者： Takanori Yoshimoto, Yang Hu, Naruya Kondo, Tatsuya Matsushima

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Takanori Yoshimoto, Yang Hu, Naruya Kondo, Tatsuya Matsushima

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人通过观察人们做事的视频来理解世界是如何运作的，而从未见过机器人自身的“肌肉指令”（动作）与这些视频相连。

这就是**潜在动作模型（Latent Action Models, LAMs）**所面临的挑战。它们试图将一段视频的过渡过程（即两帧画面之间发生了什么）压缩成一个微小的、秘密的代码——即“潜在动作”——以便机器人稍后可以利用这个代码来决定该做什么。

FlexLAM 这篇论文指出，目前创建这些代码的方式是破碎的，因为它使用的是一个**“一刀切”的行李箱**。

问题所在：僵硬的行李箱

想象一下，你有一个正好能装下 10 件物品的行李箱。

场景 A： 你需要装一只牙刷。如果你强行把它塞进一个 10 件物品容量的行李箱，你会剩下 9 个空位。机器人会被所有的空白空间和多余的噪声搞糊涂。
场景 B： 你需要为一周的旅行打包一整个衣柜。如果你强行把它塞进一个 10 件物品容量的行李箱，你就不得不扔掉一半的衣服。机器人会因此错过发生的关键细节。

在 AI 世界中，这就是瓶颈权衡（Bottleneck Trade-off）：

如果代码太小（行李箱太紧），你会丢失机器人判断动作所需的线索。
如果代码太大（行李箱太松），机器人会被过多的信息淹没，尤其是在它没有足够示例（标签）进行学习时。

现有的模型强迫每一个视频过渡都进入同一个固定大小的行李箱，而不论那个动作是简单的（如摄像机平移）还是复杂的（如手抓取杯子）。

解决方案：神奇的可扩展行李箱 (FlexLAM)

作者创建了 FlexLAM，它用一个神奇的、可扩展的行李箱取代了僵硬的行李箱。

FlexLAM 并没有强迫 AI 在预先设定好固定大小，而是教会 AI 采用分层打包的方式：

核心层（The Core）： 它总是先打包最重要、最本质的细节（即“前缀”）。
细节层（The Details）： 只有当情况足够复杂、确实需要时，它才会添加额外的细节层。

这就像是俄罗斯套娃或压缩文件（Zip-File）。

如果你只解开第一层，你会得到发生事情的大致轮廓。
如果你解开更多层，你会得到更具体的细节。
至关重要的是，AI 会在训练期间学习如何这样做。它学会了前几个“标记”（tokens，即代码的组成部分）对于理解动作是最重要的，而后面的标记只是额外的细节。

他们是如何测试的

研究人员通过两种主要方式测试了 FlexLAM：

1. “稀缺标签”测试（DMLab 游戏）
他们给了 AI 非常少的“正确动作”示例来学习（就像给一个学生只给 5 道练习题而不是 50 道）。

结果： 僵硬的模型（Fixed-K）在标签稀缺或任务棘手时表现得一塌糊涂。它们要么忘记了动作，要么被噪声搞混了。
FlexLAM 的胜利： 由于 FlexLAM 学会了优先处理最重要的信息，即使在拥有相同“空间”的情况下，它的表现也优于任何僵硬的模型。这就像是一个学生学会了先学习最重要的章节，而不是试图一次性背下整本书。

2. “现实世界”测试（Ego4D）
他们在现实世界的视频上测试了 FlexLAM（例如人们在厨房里走动或机器人移动物体）。

结果： 与旧的僵硬模型相比，FlexLAM 能更清晰地重建视频过渡。它可以用极少的标记显示出动作的模糊低细节版本，也可以用更多的标记显示出清晰高细节的版本，而且都是由同一个模型完成的。

核心启示

FlexLAM 证明了你不需要构建一个新的、复杂的机器人大脑来解决这个问题。你只需要改变行李箱的打包方式。

通过使用一种被称为**“嵌套丢弃”（Nested Dropout）**的技术（这是一种高级说法，意指在训练期间随机隐藏行李箱的后半部分），AI 学会了前半部分必须完美，而后半部分可以稍后填充。

简而言之：

旧方法： 为所有事物准备一个固定大小的盒子。对简单事物不好，对复杂事物也不好。
FlexLAM 方法： 一个聪明的盒子，从小开始，仅在需要时增长。它先学习“大意”，然后再学习“细节”。
益处： 它在数据较少时表现更好，能更好地处理复杂场景，并且让你在实际使用时可以选择想要多少细节，而无需重新训练整个系统。

论文结论指出，这种“可变长度”的方法是一种简单的、即插即用的升级，它能让 AI 模型变得更聪明、更高效，而无需改变其架构。

技术摘要：FlexLAM

问题陈述

潜在动作模型（Latent Action Models, LAMs）旨在通过将观测转换 $(o_t, o_{t+1})$ 压缩为潜码，从而在无动作的视频数据与下游决策制定之间建立桥梁，并利用有限的有标签数据将这些潜码与可执行动作对齐。现有 LAMs 的一个核心设计约束是固定容量瓶颈（fixed-capacity bottleneck）：无论转换过程多么复杂，每个转换都被迫通过一个长度固定的 $K$ 长度潜码。

作者指出，这种固定容量设计中存在一个本质的瓶率权衡（bottleneck trade-off）：

紧凑型编码（低 $K$ ）： 虽然高效，但过度压缩的编码可能会丢弃关键的转换线索，导致难以将潜在表示与可执行动作对齐，尤其是在有标签数据稀缺的情况下。
宽松型编码（高 $K$ ）： 虽然保留了更多的转换变化，但过度宽松的编码会引入噪声和干扰帧差异。当对齐标签稀缺或分布狭窄（例如来自单一任务）时，转换器（translator）必须努力从无关的变化中区分出可执行的信号，从而导致对齐过程变得脆弱。

现有方法将容量视为一个需要调优的全局超参数，但作者认为，转换的复杂度是可变的，单一的固定预算无法为所有转换或对齐机制提供最优方案。

方法论：FlexLAM

FlexLAM 通过使用保留前缀训练（retained-prefix training）实现的变长潜在动作接口，解决了这一权衡问题。其核心创新在于架构无关性，仅修改了瓶颈训练过程，而保持周围的 LAM 流水线（编码器、解码器、转换器和下游评估器）保持不变。

核心技术组件

保留前缀训练（Retained-Prefix Training）：
不同于为每个转换训练一个单一的固定长度代码 $z_t = (z_{t,1}, \dots, z_{t,K})$ ，FlexLAM 从均匀分布 $p(k) = \text{Unif}\{0, \dots, K\}$ 中采样一个保留前缀长度 $k$ 。
- 前 $k$ 个 token 被保留为学习到的潜在变量。
- 剩余的后缀槽位（ $j > k$ ）被一个共享的可学习空值潜码（null latent） $z_\emptyset$ 取代。
- 解码器以当前观测 $o_t$ 和这个填充了空值的表示 $\tilde{z}^{(k)}_t$ 为条件来重建 $o_{t+1}$ 。
前缀有效的潜在动作（Prefix-Valid Latent Actions）：
这种训练机制确保了潜在代码的每一个前缀都是转换解码和动作对齐的有效表示。
- 信息密度： 较早的 token 会暴露在更密集的训练压力下（在更多样本中被保留），从而鼓励它们捕捉紧凑、高层级的转换结构。
- 残差细节： 只有当前缀长度 $k$ 较大时，较后的 token 才会增加细粒度的细节。
- 对齐稳定性： 通过在同一代码的部分视图上训练转换器，模型学会基于核心转换结构而非依赖后缀变化的差异来进行动作对齐，这在标签稀缺或分布狭窄时至关重要。
推理时的灵活性：
在推理阶段，模型可以在不重新训练的情况下，在任何 token 预算 $k \le K$ 下运行。序列模型仅生成前 $k$ 个 token，转换器使用填充了空值的表示来解码动作。这允许在单个模型内实现延迟与性能之间的动态权衡。

主要贡献

对瓶颈权衡的表征： 本文正式识别了固定容量接口如何导致转换复杂度与表示预算之间的失配，并在标签稀缺或分布狭窄的对齐机制下导致特定的失效模式。
保留前缀训练： 作者引入了一种训练策略，使每个转换代码的前缀都成为有效的潜在动作。这使得单个模型能够跨越多个 token 预算，并提高了潜在-动作接口的鲁棒性。
经验优越性： 通过广泛的实验，作者证明了单个 FlexLAM 模型在所有评估的 token 预算（ $k \in \{4, 16, 64\}$ ）下均优于分别训练的固定容量基准模型（Fixed- $K_k$ ），证明了这种改进源于更好的学习到的接口，而非仅仅是获得了中间预算的使用权。

实验结果

评估侧重于 DMLab 环境（模拟）和 Ego4D（真实世界视频）。

1. 标签稀缺下的样本效率（DMLab）

设置： 转换器使用极度稀缺的标签进行训练（仅为数据集的 0.025%）。
结果： FlexLAM 在所有 token 预算下始终优于分别训练的 Fixed- $K$ 基准模型。值得注意的是，FlexLAM@64（在全容量下评估）击败了 Fixed- $K_{64}$ ，这表明保留前缀训练提升了表示本身的质量，而不仅仅是提供了灵活性。

2. 来自狭窄来源的对齐（DMLab）

设置： 转换器使用来自单一、低回报任务（“Lasertag One Opponent Large”）的标签进行训练，代表了一个狭窄的分布。
结果： 固定容量基准模型，特别是高容量模型，在来源狭窄时性能显著下降（有时甚至低于随机策略）。FlexLAM 保持了鲁棒性，避免了高容量代码在窄监督下的“脆弱性”。

3. 真实世界重建（Ego4D）

设置： 在多样化的真实世界第一视角视频上的转换重建。
结果： 与发布的固定瓶颈 villa-X-LAM 参考模型相比，FlexLAM 实现了更优的重建指标（PSNR, SSIM, LPIPS）。此外，在 FlexLAM 模型内部，增加保留前缀长度 $k$ 会逐步恢复更精细的视觉细节，验证了前缀有效的结构。

4. 跨具身迁移

结果： 在一种场景/具身（如人类双手）中学习到的潜在动作成功迁移到了不同的场景或具身（如机器人夹持器），保持了独立于视觉身份的运动结构。

5. 推理时的权衡

延迟 vs. 性能： FlexLAM 支持动态 token 预算。将前缀长度 $k$ 从 64 减少到 16 可使延迟降低 $3.6\times$ ，同时保留 95% 的下游回报，为在资源受限的硬件上部署提供了实用的机制。

意义与主张

本文声称，变长潜在动作构成了一个对固定容量瓶颈的无需修改架构、即插即用式升级。

核心洞察： 改进不仅仅是因为能够在推理时选择不同的预算。相反，保留前缀训练过程本身产生了一个更好的潜在-动作接口，该接口在面对标签稀缺和分布偏移时更加鲁棒。
范围： 作者将 FlexLAM 定位为一种在表示层面的解决方案，旨在改善视频与动作之间的接口。他们明确表示，这并不是在提出一种新的策略架构或直接的 VLA（视觉-语言-动作）模型对比，而是针对发生在策略学习之前的瓶颈问题。
局限性： 受控的下游对比仅限于 DMLab 系列，而真实世界的对比使用了外部参考而非受控基准。作者承认，未来的工作需要将这些表示层面的收益与现实世界中可执行策略的迁移以及在视觉模糊转换下的动作选择联系起来。

总之，FlexLAM 通过训练模型具备“前缀有效性”，解决了潜在动作学习中压缩与信息保留之间的紧张关系，从而创建了一个更稳定且更具适应性的接口，用于将视频转换与可执行动作进行对齐。