Rethinking VLM Representation for VLA Initialization
本文研究了从预训练视觉 - 语言模型（VLM）初始化视觉 - 语言 - 动作（VLA）模型的最优策略，结果表明，在保留原始 VLM 表征的同时，采用结合机器人数据预训练的阶段性基于 LoRA 的训练方法，能够取得最有效的动作学习性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人如何做家务，比如拿起杯子或折叠衣物。为此，你赋予机器人一个“大脑”，它已经对世界有了大量了解——例如如何识别猫、理解句子，或知道厨房的样子。这个大脑被称为视觉 - 语言模型（VLM）。
这篇论文提出了一个简单却棘手的问题：我们该如何微调这个预训练好的大脑，使其成为一个优秀的“机器人大脑”（即 VLA 模型），同时又不破坏它原本已掌握的优秀能力？
作者将这一过程视为在厨房中进行的一项受控实验，测试三种主要“成分”，以探寻打造完美机器人食谱的关键。
1. “专项训练”成分（具身视觉问答）
想象你的机器人大脑是一位通才厨师，擅长烹饪任何菜肴。你希望将它培养成一位机器人厨师。你可以给它安排一门关于特定技能的速成课，例如“如何握住勺子”或“肥皂放在哪里”。
- 实验内容：研究人员让机器人大脑完成不同类型的“作业”（称为 VQA，即视觉问答），这些作业基于七种不同技能，包括理解空间关系、识别物体位置或预测相机角度等。
- 意外发现：仅仅给机器人布置更多作业并不总能带来帮助。
- 如果机器人原本就擅长某项任务，额外的作业会有所助益。
- 如果机器人原本在另一类任务上表现吃力，同样的作业反而会让它表现更差。
- 最佳方案：最佳效果来自一个特定的组合：教导机器人物体在哪里（定位）以及机器人自身正在做什么（自我中心理解）。添加过多其他技能（例如预测相机角度或规划复杂步骤）反而会让机器人感到困惑，就像试图同时学习五种新语言一样。
2. “学习强度”成分（更新策略）
一旦机器人开始做作业，我们应该在多大程度上改变它的大脑？
- “全面重写”（全量微调）：这相当于告诉机器人：“忘掉你过去知道的一切。彻底重写你的整个大脑，只专注于这些新的机器人任务。”
- 结果：这往往适得其反。机器人虽然学会了新任务，却忘记了最初帮助它理解世界的那些通用知识。它变成了一位无法跳出框框思考的专家。
- “温和推动”（LoRA）：这相当于给机器人一小套便签纸（适配器），贴在它的大脑上。它在不抹除旧知识的情况下学习新的机器人技能。
- 结果：这种方法效果要好得多。机器人保留了其通用智能，同时学会了特定的机器人技能。论文发现，保留原始大脑比彻底重塑它更为重要。
3. “现实世界实践”成分（机器人数据预训练）
最后，研究人员问道：我们应该仅使用图片和问题来教导机器人，还是也应该向它展示真实机器人移动的视频？
- 发现：向机器人展示真实运动的视频（机器人数据）确实有帮助，但前提是必须谨慎操作。
- 最佳食谱：获胜策略是一个两步流程：
- 首先，利用“温和推动”方法（LoRA），用“物体在哪里”和“我正在做什么”的作业对大脑进行温和调整。
- 其次，让机器人使用真实运动数据进行练习，同样采用温和推动的方法。
- 试图一次性完成所有事情（将所有作业和现实实践混合在一起）的效果，不如分阶段进行来得有效。
核心结论
该论文总结道，构建一个优秀的机器人大脑并非在于向它灌输一切，而在于平衡：
- 不要抹去过去：机器人原本拥有的“通用知识”实际上对学习新的机器人任务非常有用。切勿将其清除。
- 选择正确的作业：只教导机器人与其所需工作相匹配的特定技能。试图一次性教授所有内容只会造成混乱。
- 循序渐进：采用温和的更新方式（如便签纸），而非彻底的大脑重写，并分阶段引入新技能。
简而言之，将智能通用人工智能转变为智能机器人的最佳方式，就是在谨慎添加新技能的同时，保留旧有的能力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。