💻 computer science

LEEVLA: Seeing What Matters in Latent Environment Evolution for Vision-Language-Action

该论文提出了 LEEVLA，一种通过引入包含漂移引导动态优先级排序（以识别显著区域）和结构化特征流生成（以建模其潜在演变）的任务感知“何处-如何”训练框架，从而增强机器人在复杂动态场景中性能的视觉-语言-动作架构。

原作者： Qi Lyu, Baicheng Liu, Xudong Wang, Jiahua Dong, Lianqing Liu, Zhi Han

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Qi Lyu, Baicheng Liu, Xudong Wang, Jiahua Dong, Lianqing Liu, Zhi Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人拿起一个黑色的碗。目前大多数机器人的大脑（被称为视觉-语言-动作模型，即 VLA 模型）就像一个试图通过逐字阅读教科书来备考的学生，他们对书中的每一个词都投入同样的精力。他们同时观察碗、桌面、机器人的手臂以及背景墙纸，将每一个像素都视为同等重要。问题在于？他们会被静态的物体（如墙壁）分散注意力，从而忽略了对任务至关重要的真正线索。此外，他们还依赖人类告诉他们具体该看哪里，这就像是在考试前由老师直接指着答案解析一样。

LEEVLA 应运而生，这是一个能够通过观察其内心世界中事物是如何“变化”的，而不是仅仅盯着一张静态图片来学习如何“看见重点”的新型机器人大脑。

“哪里”与“如何”

论文提出，机器人不应该去猜测图像的哪些部分是重要的，而应该学习如何追踪环境在其隐藏的高维“潜空间”（可以理解为机器人的内部梦境世界，它在那里模拟未来）中是如何演变的。

LEEVLA 使用了两个主要技巧来提升性能：

1. “漂移检测器”（看哪里）
想象你正在观看一段机器人手臂抓取碗的视频。背景（墙壁、地板）几乎不动。然而，碗和手臂却在发生位移和变化。

旧的方法： 机器人以平等的注意力看待墙壁和碗。
LEEVLA 的方法： 它使用了一种称为**漂移引导动态优先级排序（DGDP）**的机制。它会询问两个问题：
- 这个部分在移动吗？（动态位置优先级排序）。如果图像的一个区域变化很快，它就会获得更高的评分。
- 这种变化是否符合指令？（语义漂移引导）。如果指令是“拿起黑色的碗”，机器人会检查这个移动中的区域的“含义”是否正向“碗”偏移，并远离“背景”。
如果一个区域在移动但与任务无关（比如随风摇摆的窗帘），机器人会忽略它。如果一个区域在移动且与任务相关（比如那个碗），机器人就会放大关注。这有助于机器人将其“脑力”仅集中在对任务真正有意义的部分。

2. “有序流”（如何思考）
一旦机器人知道该看哪里，它就需要弄清楚场景接下来会如何变化。

问题： 标准模型通常通过按直线（从左上到右下）读取像素来预测未来。这就像是通过随机顺序阅读故事中的每第三个词来理解故事；这会破坏原本属于一体的事物之间的联系。
LEEVLA 的解决方案： 它使用结构化特征流生成（SFFG）。它不再采用直线路径，而是将未来的预测组织得像一场小组项目。
- 原型到外围（P2P）： 它找到一组相似事物的“中心”或“原型”（例如碗的中心），并预测边缘（外围）相对于该中心会如何变化。这保持了空间关系的完整性。
- 互邻对比（MC）损失： 这就像是一个“真相过滤器”。在机器人的内部梦境世界里，有时看起来相似的东西会被混淆成并不相关的物体（噪声邻居）。这个工具会检查：“这两个东西是否都同意它们是邻居？”如果它们没有达成共识，机器人就会将它们视为不同的事物。这让机器人的内部世界地图保持清晰且一致。

论文说了什么（以及没说什么）

作者谨慎地指出，他们并不是在建议机器人需要通过水晶球预见未来。相反，他们认为训练机器人预测其内部表示中“特征如何演变”有助于它更好地理解任务。

他们明确反对依赖人类来选择特定的“上下文线索”（例如给机器人提供一张仅包含碗的预分割图像）。他们发现，这限制了机器人发现可能重要的未知因素的能力。LEEVLA 试图通过观察数据中的“漂移”来自动寻找这些线索。

结果：奏效了吗？

论文报告称，他们在两个主要基准测试上进行了测试：LIBERO（一组机器人操控任务）和 CALVIN（一个长程任务套件）。

在模拟环境中： 结果看起来很有前景。在 LIBERO 基准测试中，大型版本的模型（LEEVLA-large，拥有 70 亿参数）实现了 98.2% 的平均成功率，击败了包括 OpenVLA (76.5%) 和 $\pi$ 0 (94.1%) 在内的其他顶尖模型。较小的版本（LEEVLA-mini，0.5 亿参数）表现也非常好，平均成功率达到了 97.5%，高于其他小型模型。
在现实世界中： 他们在真实的机器人手臂（UR5）上测试了大型模型，执行诸如放置物体、按按钮和关闭抽屉等任务。在这些现实世界的实验中，LEEVLA 实现了 78.5% 的平均成功率，而标准的 OpenVLA 模型仅为 40%。

作者指出，通过明确引导机器人关注任务关键证据，并组织其对未来的推理方式，该模型在面对新情况时具有更强的泛化能力。然而，他们强调这些是基于其特定测试的实验结果，而非适用于所有机器人问题的通用解决方案。

核心结论

LEEVLA 就像是一个不再对着整个房间发呆，而是开始观察“动作”的机器人。它学会了忽略无聊、静态的背景，并将精神力量集中在那些以符合指令的方式发生变化的场景部分。通过组织其内部预测以尊重物体的自然结构，它似乎能更好地掌控任务需求，从而在计算机模拟和现实世界机器人手臂实验中都取得了更高的成功率。

LEEVLA 技术总结：在视觉-语言-动作（VLA）中观察重要的潜在环境演化

问题陈述

视觉-语言-动作（VLA）模型旨在将多模态输入（视觉观测、本体感受和语言指令）直接映射为机器人动作。然而，现有方法在处理复杂的动态场景时面临两个主要局限性：

均匀的 Token 处理： 大多数方法对所有视觉 Token 进行统一对待，无法区分任务关键证据与静态、无关的背景信息。这稀释了监督信号和推理能力。
依赖人工选择的因子： 当前的推理机制通常依赖于外部的人工选择上下文线索（例如，子目标图像、分割图、深度图）。这限制了搜索空间，引入了来自辅助模型的计算开销，并导致模型过度强调已知因子，而忽略了潜在的、未知但与任务相关的因子。因此，当物体外观发生变化或相似物体出现在不同模态中时，这些模型难以实现泛化。

方法论

作者提出了 LEEVLA（潜在环境演化 VLA），一种旨在直接在潜在特征空间中进行推理的架构。LEEVLA 不依赖外部条件，而是将动作视为高维空间中环境状态如何演化的驱动力。该框架由两个核心组件组成，构成了任务感知的“何处–如何”训练策略：

1. 漂移引导的动态优先级划分 (DGDP)

该模块解决的是**“何处关注”**的问题。它能在训练期间自动识别显著且与指令相关的区域，而无需外部标注。DGDP 结合了两种机制：

动态位置优先级划分 (DPP)： 通过测量时间 $t$ 与 $t+T$ 时刻特征块之间余弦相似度的变化，来量化空间区域的动态性。表现出强时间变异性的区域（例如，机器人交互区域）会获得更高的权重，而静态背景则会被降低权重。
语义漂移引导 (SDG)： 确保模型关注那些语义演化与语言指令保持一致的区域。它根据补丁（patches）与语言 Token 的相似度计算指令相关性得分。所谓“语义漂移”，是指该相关性得分随时间的变化。语义向任务相关方向漂移的补丁会被优先考虑，而向无关背景语义漂移的补丁则会被抑制。
集成： 每个 Token 的最终优先级权重 $\beta_i$ 是动态性得分和语义漂移因子的非线性组合，确保模型专注于与预期操作具有因果联系的动态区域。

2. 结构化特征流生成 (SFFG)

该模块解决的是**“如何演化”**潜在表示的问题。它防止了标准扁平化 Token 预测中经常出现的局部特征结构损坏问题。

从原型到外围 (P2P) 预测： 为了保持空间语义连续性，模型对多视图特征进行联合聚类。随后，模型按簇成员到簇质心的欧几里得距离（从原型到外围）对其进行排序。预测损失被应用于这一有序序列中，从而确保属于同一语义单元的特征被共同预测，从而维持局部上下文。
互邻域对比 (MC) 损失： 为了处理潜在空间中的噪声聚类和非对称亲和性，作者引入了一种对比损失。它基于高置信度的、相互关系的邻域关系（二阶邻居）构建正样本对。这过滤掉了伪连接，并在语义相似的特征之间维持了拓扑一致性。

训练目标

总损失函数结合了三个部分：

动作回归损失 ( $L_{action}$ )： 预测的连续动作块与真实值之间的 L1 损失。
P2P 预测损失 ( $L_{P2P}$ )： 强制执行结构化状态演化。
互邻域对比损失 ( $L_{MC}$ )： 保留语义邻域拓扑。

至关重要的是，DGDP 和 SFFG 仅在训练期间使用。它们不会在测试时增加额外的推理成本或内存开销，因为推理时的 Token 流保持不变。

核心贡献

漂移引导的动态优先级划分 (DGDP)： 一种通过动态位置优先级划分 (DPP) 和语义漂移引导 (SDG) 自动发现任务相关区域的机制，使模型能够专注于动态活跃且与指令对齐的特征。
结构化特征流生成 (SFFG)： 一种结合了从原型到外围 (P2P) 预测和互邻域对比 (MC) 损失的策略，用于引导模型学习结构化的潜在演化，同时保持拓扑一致性。
最先进的性能： 大量实验表明，显式的任务证据引导和结构化潜在推理显著增强了 VLA 模型的泛化能力和长程推理能力。

实验结果

作者在两个规模上评估了 LEEVLA：LEEVLA-mini（基于 miniVLA 初始化，约 0.5B 参数）和 LEEVLA-large（基于 OpenVLA-7B 初始化，约 7B 参数）。

LIBERO 基准测试： LEEVLA-large 在空间、物体、目标和长程任务中实现了 98.2% 的平均成功率，超越了包括 OpenVLA (76.5%)、CoT-VLA (81.1%) 和 OpenVLA-OFT (97.1%) 在内的强有力基准模型。LEEVLA-mini 也超越了小规模基准模型，实现了 97.5% 的平均成功率。
CALVIN 基准测试： 在 CALVIN ABC-D 任务上，LEEVLA-large 达到了 4.34 的平均成功率，优于 OpenVLA (3.80) 和 $\pi_0$ (3.87)。
真实世界评估： 在使用 UR5 机械臂进行的物理实验中（任务包括放置物体、按压按钮、关闭抽屉），LEEVLA-large 实现了 78.5% 的平均成功率，显著高于 OpenVLA 的 40%。
消融研究： 移除任何组件（P2P、MC、DPP 或 SDG）都会导致性能下降。特别地，添加 DGDP 带来了最大的单项增益（比不含该组件的基准提升了 1.5%），凸显了将监督重点放在交互中心区域的重要性。

意义与主张

论文声称，显式的任务证据引导和结构化潜在推理对于可扩展的 VLA 都是至关重要的。通过直接在潜在空间中进行推理而非依赖手工设计的外部条件，LEEVLA 避免了受限搜索空间和辅助模型依赖的局限性。

作者强调，该方法使模型能够：

发现传统方法可能错过的任务关键但未知的因子。
共同利用为同一物体纠缠在一起的语义、外观和几何线索。
在专注于任务关键区域与保持全局场景感知之间保持平衡（通过全局调节因子 $\alpha$ ）。

这项工作证明，将动作视为潜在空间中环境演化的驱动力，并通过动态优先级划分和结构化流进行引导，可以在不增加推理延迟的情况下，实现更鲁棒、更具泛化能力的机器人策略。