Vision-Language Models on the Edge for Real-Time Robotic Perception
本文研究了在基于 Unitree G1 机器人的 6G 赋能边缘（ORAN/MEC）基础设施上部署视觉-语言模型的情况，证明了基于边缘的执行在保持接近云端精度的同时显著降低了延迟，而紧凑型模型则以牺牲精度为代价提供了更快的响应速度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个非常聪明的机器人助手（比如一个类人机器人），它需要观察世界并与你交谈。为了实现这一点，它使用了一个被称为“视觉语言模型”（VLM）的“大脑”。这个大脑可以观察图片，理解正在发生的事情，并回答关于图片的问题。
问题在于，这些大脑既庞大又沉重。通常情况下，为了让它们工作，机器人必须通过互联网将其所有的视频和音频数据发送到一个遥远的、巨大的数据中心（即“云端”）以获取答案，然后等待答案返回。这就像是通过邮寄信件的方式向厨师订披萨，等待他们做熟后再把信件寄回给你。这既慢又贵，而且如果信件丢了，你就吃不上饭了。
这篇论文测试了一个新想法：如果我们把大脑直接放在机器人旁边呢？
实验设置：机器人与“边缘”
研究人员使用了一个名为 Unitree G1 的真实机器人（一种灵活的小型类人机器人）作为实验对象。他们没有将数据发送到遥远的云端，而是将机器人连接到了一个本地的“边缘”（Edge）服务器。
把云端想象成一座位于另一座城市的巨大中央图书馆。你必须开车去那里才能看书。
把**边缘（特别是 ORAN/MEC）**想象成就在机器人前门外的一个小型智能自助服务亭。它就在那里备好了所需的书籍，所以你不需要跑很远的路。
他们构建了一个系统，利用 WebRTC（一种让计算机能够进行即时通信的技术，类似于视频通话）来将视频和语音从机器人流式传输到这个本地服务亭。
实验内容：两种类型的大脑
他们在本地服务亭上测试了两种不同的“大脑”，以观察它们的表现如何与遥远的云端进行比较：
- “超级大脑”（LLaMA-3.2-11B）： 这是一个庞大且高度智能的模型。它就像一位博学多才的教授，虽然知道一切，但需要一点时间来进行深度思考。
- “紧凑型大脑”（Qwen2-VL-2B）： 这是一个更小、更轻量化的模型。它就像一个反应敏捷的实习生，回答速度很快，但可能会错过一些深刻的细节。
他们的发现
1. 边缘端的“超级大脑”是赢家
当他们把庞大的“超级大脑”放在本地边缘服务亭而不是云端时：
- 速度： 它快了 5%。虽然看起来提升并不显著，但在机器人的世界里，哪怕节省极小的一 fraction 秒，也能让对话感觉更加自然和安全。
- 智能程度： 它与云端版本一样聪明。它没有损失任何准确性。
- 隐私性： 由于视频从未离开本地网络，机器人的周围环境保持了私密性。没有人会在遥远的数据中心看到这些视频。
2. “紧凑型大脑”是速度达人
当他们使用较小的“紧凑型大脑”在边缘端运行时：
- 速度： 它比云端版本快了 两倍以上。它可以在不到一秒钟内给出回答，这对于快速交互非常理想。
- 智能程度： 它的准确性较低。它会错过一些深层的推理任务。这就像那个回答很快但可能会把复杂数学题做错的实习生。
3. 时间都花在哪了
他们详细分解了时间消耗在哪里。他们发现，“阅读图片”的过程是瞬间完成的。缓慢的部分在于“生成文本答案”。**“思考”和“打字”**这两部分占据了超过 85% 的时间。这告诉我们，要让机器人变得更快，我们需要让“打字”部分变得更聪明，而不仅仅是优化“看”的部分。
大局观
论文得出结论，我们不必在“智能”和“快速”之间做二选一的抉择。
- 如果你需要极高的智能（例如用于复杂的导航或社交暗示），你可以在边缘端运行大型模型，并获得几乎与云端相当的智能水平，且速度更快、更具隐私性。
- 如果你需要瞬时反应（例如躲避障碍物），较小的模型是一个极佳的选择，即使它的智能程度稍逊一筹。
简而言之，通过将“大脑”从遥远的云端转移到本地的服务亭（边缘端），我们可以让机器人变得更安全、更具隐私性，并且感觉更像是与我们在进行实时对话，而不是在等待来自大洋彼岸的回信。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。