💻 computer science

Latency-Tolerant Cloud-Edge Collaborative Vision-Language-Action Models via Emergent Representational Specialization

本文介绍了 CloudEdgeVLA，这是一个云边协作框架，通过训练云端编码器生成鲁棒且缓慢变化的任务特征，并利用轻量化边缘头将其与实时局部观测进行集成，从而解决了视觉-语言-动作模型中的延迟-控制冲突，并在现有方法失效的显著网络延迟情况下实现了高成功率。

原作者： Daojie Peng, Fulong Ma, Bingtao Wang, Sheng Wang, Jun Ma

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daojie Peng, Fulong Ma, Bingtao Wang, Sheng Wang, Jun Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个机器人不再仅仅是笨重的金属盒子，而是能够理解你的声音、像我们一样观察世界，并能真正为你做事的好帮手。这就是“视觉-语言-动作”（VLA）模型的梦想。把它们想象成机器人的大脑，结合了一个巨大的知识库（语言）、一双敏锐的眼睛（视觉）和一双手（动作）。问题在于，这些大脑太庞大了。它们如此巨大且沉重，以至于无法装进一个小型的、由电池驱动的机器人中。因此，科学家们尝试将大脑进行拆分：沉重的思考过程发生在遥远的强大“云端”计算机中，而机器人则在自己的身体上保留一套微小的、快速的反射系统。

但问题在于，云端很遥远，发送信息需要时间。如果机器人等待云端说“拿起杯子”，可能杯子已经掉在地上了，或者机器人已经移动了位置。这就像是在玩一款视频游戏，你的控制器连接着地球另一端的服务器；当你按下“跳跃”指令时，你可能已经掉下悬崖了。大问题是：我们如何让机器人既足够聪明，能使用巨大的云端大脑，又足够敏捷，能对现实世界做出反应，而不至于陷入僵死状态？

这正是开发 CloudEdgeVLA 的研究人员试图解决的问题。他们意识到，以往尝试拆分机器人大脑的方法之所以失败，是因为它们试图强迫云端和机器人保持完美的同步，而当网络缓慢或不稳定时，这几乎是不可能的。与其对抗延迟，他们决定教机器人的大脑学会与延迟“共处”。

以下是他们的新系统是如何工作的，这里用一个简单的类比：想象机器人是一名快递员，而云端是一位坐在遥远高塔里的睿智的老导航专家。在旧的方法中，快递员会等待专家每秒钟喊出一次新的方向。如果风把专家的声音吹走了（网络延迟），快递员要么就站在原地等待，要么就会根据过时的指令胡乱猜测。

CloudEdgeVLA 改变了这种关系。云端专家不再喊出具体的、具有时效性的命令，比如“现在左转”。相反，专家会发送一份变化缓慢的“任务简报”，上面写着：“我们的目标是将玩具熊放入箱中。”这份任务简报就像一张即使你看晚了几秒钟也不会发生太大变化的地图。与此同时，机器人快递员拥有自己的眼睛（“边缘”系统），能看到“此时此刻”的世界。快递员通过观察来自云端的任务简报来了解目标，但会利用自己新鲜的视觉来决定如何移动双手，以避开水洼或移动的障碍物。

这种协作方式的精妙之处在于他们是如何训练这个团队的。研究人员不仅教会了机器人遵循指令，还教会了它如何处理“陈旧”的信息。在训练期间，他们会向机器人展示一个场景的图片，然后在几秒钟后展示同一个场景，但要求机器人根据“旧图片”的指令来执行“当前时刻”的动作。这就像是在练习一场音乐延迟的舞蹈：你学习在保持节奏（云端的计划）稳定的同时，利用你的双脚（机器人的本地视觉）即时适应地板的实际纹理。

结果令人印象深刻。在名为 LIBERO 的一系列测试中，机器人必须完成各种任务，如堆叠积木或移动物体，新系统即使在“云端”信号延迟高达 40 步（或帧）的情况下仍能正常工作。而其他试图实现完美同步的系统则几乎完全崩溃失败（成功率降至接近零），CloudEdgeVLA 则保持在 63.8% 到 78.0% 之间的成功率。即使延迟巨大，机器人也不会僵死；它只是利用了它所拥有的最新的“任务简报”，并用自己的眼睛进行调整。

研究人员还在真实的机器人手臂上进行了测试，而不仅仅是在计算机模拟中。当他们增加了 1000 毫秒（整整一秒）的连接延迟时，旧系统完全失效，但 CloudEdgeVLA 仍能实现 70% 到 80% 的成功。这表明，通过将延迟视为一个学习问题而非一个需要修复的漏洞，我们可以构建出既聪明又反应迅速的机器人，即使它们的“大脑”远在千里之外。

简而言之，这项研究表明，我们不需要等待更快的互联网来制造智能机器人。我们只需要教会它们在聆听来自云端的长期计划时，保持双眼对当下的敏锐观察。这是迈向未来的一项实践性举措——让机器人既能拥有高度的智能，又能提供切实的帮助，而不必非要与一台超级计算机紧紧相连。

技术摘要：CloudEdgeVLA

问题定义
在移动机器人上部署具有数十亿参数的视觉-语言-动作（VLA）模型面临着一个根本性的系统冲突：语义推理受益于云端的 GPU 加速，但闭环控制需要低延迟、本地化的响应。虽然云端机器人可以将昂贵的感知和规划任务卸载，但它会引入网络延迟、抖动和丢包。现有的层次化或异步策略（例如，动作分块、多速率执行）通常依赖于固定的频率比例、显式的延迟线索或状态重建。这些方法在“慢速”路径（云端特征）相对于“快速”路径（本地执行）变得陈旧时难以应对，从而导致时间失配，即执行的动作所基于的场景已不再与云端的规划上下文相匹配。核心挑战在于设计一种控制接口，使云端提供的用于高层任务上下文的信息即使在存在可变且未知的延迟时依然保持有用，且不会阻塞本地控制循环。

方法论
作者提出了 CloudEdgeVLA，一种将时间失配视为表示学习问题而非调度问题的云-边策略。该系统架构遵循“系统 1/系统 2”的类比：

系统架构：
- 云端（系统 2）： 一个大规模 VLA 主干网络（ $f_\theta$ ），通过 LoRA 进行适配，处理视觉观测和语言指令以生成高层规划特征（ $h$ ）。至关重要的是，该主干网络旨在编码“做什么”（任务目标、物体语义）而非“何时做”，旨在实现时间不变性。
- 边缘端（系统 1）： 一个轻量级的、冻结的视觉编码器（ $v_\psi$ ）从当前观测中提取实时视觉特征（ $z_t$ ）。一个动作头（ $g_\phi$ ）将可能陈旧的云端特征（ $h_{t-k}$ ）与新鲜的本地视觉（ $z_t$ ）进行融合，以预测连续动作。边缘端永远不会被阻塞；它始终使用最近接收到的云端特征结合当前的本地视觉。
配对帧双路径训练：
为了训练系统在推理时无需显式的延迟元数据即可处理可变延迟，作者引入了一种配对帧训练策略：
- 数据构建： 对于给定的时间步 $t$ ，系统构建一个“当前”帧（ $o_t$ ）和一个“延迟”帧（ $o_{t-d}$ ），其中 $d$ 是从延迟窗口中均匀采样的。
- 双向前向传播： 两组帧都通过云端主干网络以生成“新鲜”特征（ $h_{fresh}$ ）和“陈旧”特征（ $h_{stale}$ ）。
- 融合与监督： 这两组特征集都与相同的实时本地视觉（ $z_t$ ）进行融合，以预测动作。两种预测都针对相同的地面真值动作 $a_t$ 进行监督。
- 损失函数： 总损失结合了新鲜路径损失（ $L_{fresh}$ ）和陈旧路径损失（ $L_{stale}$ ）。一种课程学习方法逐渐增加陈旧路径的权重，迫使云端主干网络学习在时间步之间保持任务级信息的表示，同时使动作头学习依赖本地视觉来纠正状态特定的差异。

核心贡献

非阻塞接口： 提出了一种异步云-边控制的公式化方法，其中轻量级的视觉增强动作头将最新的云端特征与边缘视觉融合，无需进行时钟或频率对齐。
配对帧双路径训练： 一种新型训练目标，通过联合监督新鲜和延迟的云端特征与当前动作。这促进了“涌现表示特化”，即云端学习任务不变特征，而边缘端学习状态敏感的修正，且无需显式的表示不变性损失函数。
全面的评估： 在 LIBERO 基准测试（包含四个套件：空间、物体、目标、长程）上，针对高达 40 步的均匀观察延迟进行了严格评估，并进行了实物机器人验证。

结果

延迟鲁棒性： 在 LIBERO 基准测试中，在均匀延迟窗口为 40 步（ $d_{max}=40$ ）的情况下，CloudEdgeVLA 在所有四个套件中保持了 63.8% 至 78.0% 的成功率。相比之下，最强的基线模型 VLASH 最高仅能达到 6.4%，而单路径基线（OpenVLA、UniVLA）则降至接近 0%。
消融实验： 研究表明，在延迟情况下，移除当前的边缘视觉编码器会导致成功率从 95.1% 下降到 31.6%，证实了实时视觉接地是决定性因素。双路径训练（新鲜 + 陈旧）比仅陈旧路径训练提升了 5.9%，证明了接触延迟特征驱动了鲁棒性。
实物机器人试点： 在模拟网络延迟（高达 1000ms）的 Franka 抓取任务中，CloudEdgeVLA 显著优于 VLASH。在 1000ms 延迟下，CloudEdgeVLA 在动态/静态任务中保留了 70–80% 的成功率，而 VLASH 则完全失败（0%）。
机制分析： 定量分析显示，在 20 步延迟下，与标准 OpenVLA-OFT 相比，CloudEdgeVLA 将主干网络表示漂移降低了 59.2%，并将动作漂移转移降低了 72.7%。

意义与声明
论文声称 CloudEdgeVLA 为可扩展的 VLA 部署提供了一条切实可行的路径，实现了云端模型规模增长与边缘计算及网络延迟约束的解耦。通过将延迟容忍度建模为一种学习到的接口属性而非推理调度问题，该设计允许云端模型进行扩展，同时保持边缘端的轻量化与响应能力。作者强调，这种方法并不是重建当前状态（如世界模型所示），而是通过保留边缘端的直接视觉路径，允许云端提供补充性的任务上下文。该工作确立了可以通过表示学习使高层规划特征对可变延迟具有鲁棒性，从而实现网络化机器人中的非阻塞控制循环。作者保持谦逊，指出鲁棒性是在测试的延迟分布下建立的，且实物机器人的结果是一个可行性试点，而非广泛的硬件基准测试。

技术摘要：CloudEdgeVLA

类似论文