💻 计算机科学

TwinBrainVLA: Unleashing the Potential of Generalist VLMs for Embodied Tasks via Asymmetric Mixture-of-Transformers

TwinBrainVLA 通过引入一种非对称混合 Transformer 架构，通过协调一个冻结的通用视觉语言模型（“左脑”）与一个可训练的专家模型（“右脑”），将完整的语义知识与本体感受状态进行动态融合，以实现精确的具身控制，从而解决机器人微调中的灾难性遗忘问题。

原作者： Bin Yu, Shijie Lian, Xiaopeng Lin, Yuliang Wei, Zhaolong Shen, Changti Wu, Yuzhuo Miao, Xinming Wang, Bailing Wang, Cong Huang, Kai Chen

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bin Yu, Shijie Lian, Xiaopeng Lin, Yuliang Wei, Zhaolong Shen, Changti Wu, Yuzhuo Miao, Xinming Wang, Bailing Wang, Cong Huang, Kai Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 TwinBrainVLA 论文的解释，通过简单的概念和富有创意的类比进行了拆解。

核心问题：机器人大脑的“失忆症”

想象一下，你雇佣了一位博学多才、游历世界的教授（一个视觉语言模型或 VLM）来教机器人做家务。这位教授对世界了如指掌：他能识别出猫，能理解笑话，还能讲解历史。

然而，为了教会机器人实际移动手臂并拿起勺子，你必须让这位教授进行针对这些特定任务的高强度、重复性训练。论文指出，这个过程就像是强迫教授只为了参加一场驾驶考试而进行闭门苦读。最终，教授会过度专注于驾驶机械动作，以至于忘记了如何说话、如何识别人脸或如何理解世界。在 AI 领域，这被称为**“灾难性遗忘”（Catastrophic Forgetting）**。机器人学会了移动，却失去了它的“大脑”，导致它在处理任何训练范围之外的任务时都变得毫无用处。

解决方案：“双脑”系统

作者提出了一种名为 TwinBrainVLA 的新架构。他们没有试图强迫一个大脑去做所有事情（并因此失败），而是给了机器人两个大脑，这两个大脑协同工作，但职责截然不同。

你可以把它想象成高科技驾驶舱里的机长与副驾驶：

左脑（冻结的通才）：
- 角色： 这是那位“教授”。它是原始的、预训练好的 AI，了解关于世界的一切。
- 诀窍： 它是冻结的。想象它被封存在混凝土中。它无法学习新事物，其权重也不会改变。这确保了它永远不会忘记其通用知识（例如什么是“勺子”，或者如何理解复杂的句子）。
- 职责： 它提供稳定的“世界知识”流和语义理解。
右脑（可训练的专家）：
- 角色： 这是那位“飞行员”。它是机器人的部分，负责实际学习移动手臂和控制电机。
- 诀窍： 它是可训练的。它接收所有的动作数据（机器人运动）并学习完成任务所需的特定技能。
- 职责： 它获取机器人的当前状态（关节位置），并计算出物理动作。

秘密武器：非对称混合 Transformer (AsyMoT)

这两个大脑是如何交流的呢？通常情况下，如果将它们混合在一起，可能会出现“飞行员”淹没“教授”的情况。

论文引入了一种特殊的机制，称为 AsyMoT。想象一个单向无线电频道：

右脑（飞行员） 拥有麦克风，它可以倾听自己的想法以及**左脑（教授）**的想法。
左脑（教授） 的麦克风是静音的。它只听取自己的声音，绝不会倾听飞行员的声音。

这至关重要。因为左脑从不倾听飞行员那些嘈杂的、特定任务的训练数据，所以它永远不会变得“困惑”或“被污染”。它保持了纯净。与此同时，飞行员可以不断地向教授请教：“嘿，这个物体看起来是什么样的？我该如何解读这条指令？”并获得完美的答案，而教授的大脑也不会因此崩溃。

实际运作流程

输入： 机器人看到一张图像并听到一条指令（“拿起红色的方块”）。
左脑： 利用其冻结的、完美的知识处理图像和文本。它会说：“那是一个红色的方块。它是一个固体物体。”
右脑： 获取机器人的当前手臂位置，加上左脑提供的完美描述。它通过 AsyMoT 机制向左脑寻求帮助。
动作： 右脑利用这些结合后的信息，通过一种“流匹配”（Flow-Matching）算法（一种预测从“起点”到“抓取点”平滑路径的高级方法）来计算出抓取方块所需的精确电机运动。

结果：为什么这很重要

作者在多个机器人模拟环境（如 SimplerEnv 和 RoboCasa）甚至真实的机器人手臂上测试了该系统。

对比： 他们将这种“双脑”机器人与试图使用单一大脑的传统机器人（Vanilla VLA）进行了对比。
结果： TwinBrainVLA 表现持续胜出。它在处理复杂任务（如堆叠方块、把胡萝卜放在盘子里或将瓶子放入柜子）方面表现得更好。
核心洞察： 通过保持“通才大脑”冻结且独立，机器人不会失去对世界的理解能力。相比标准模型，它能更好地处理从未见过的任务（例如，在仅接受过红色方块训练的情况下，去拿起一个黄色方块）。

最后的类比：主厨与副厨

标准机器人 (Vanilla VLA)： 一位试图在学习切菜的同时，还要记住整个法国烹饪史的厨师。当他学会切菜时，他已经把历史给忘了。
TwinBrainVLA： 一位名厨（左脑），精通所有食物知识，但从不亲自动手拿刀。他站在阳台上，提供完美的建议。下方是一位副厨（右脑），正在学习如何切菜、切丁和煸炒。副厨倾听名厨的建议，但不会试图去教名厨如何切菜。最终，你得到了一道既烹饪完美又调味精准的佳肴。

总结声明

问题： 在特定任务上训练机器人通常会破坏其对世界的通用理解。
解决方案： 使用两条独立的 AI 路径：一条用于冻结知识，一条用于执行动作。
机制： 一种特殊的“单向”注意力系统 (AsyMoT)，允许动作大脑查询知识大脑，而不会污染知识大脑。
结果： 机器人能够比目前的尖端模型更好地理解复杂指令，并能更好地泛化到新物体，且无需海量的全新预训练数据。

技术摘要：TwinBrainVLA

1. 问题陈述

本文探讨了具身智能中视觉-语言-动作（VLA）模型开发中的一个根本性悖论。虽然主流范式涉及在机器人数据集上对预训练视觉-语言模型（VLM）进行微调，以利用其丰富的语义推理和开放世界泛化能力，但这一过程不可避免地会导致灾难性遗忘。

标准的机器人微调通过积极更新 VLM 主干网络来最小化动作预测误差，从而针对特定领域的窄域数据集进行优化。这种优化破坏了预训练的特征空间，导致模型为了成为专业的控制器而牺牲了其通用的视觉理解和语义推理能力。作者通过实验证明，即使是“协同训练”（Co-Training）策略（即混合通用视觉-语言数据与机器人数据）也无法防止这种退化，因为当模型针对本体感受控制进行优化时，其通用能力会发生崩溃。因此，生成的 VLA 模型失去了在未知环境中实现鲁棒泛化所需的“通用大脑”。

2. 方法论：TwinBrainVLA

为了解决这一冲突，作者提出了 TwinBrainVLA 框架，该框架在结构上将语义理解与具身控制解耦。该架构的设计灵感源自大脑半球侧化（hemispheric lateralization）的生物学原理，利用了两个同构的 VLM 通路：

2.1 非对称双流主干

“左脑”（通用型）： 一个严格冻结的 VLM 通路。它处理视觉观测和文本指令以生成语义表示。通过保持冻结状态，它作为一个稳定的“语义锚点”，保留了预训练 VLM 完整的、开放世界的知识，并使其免受灾难性遗忘的影响。
“右脑”（专家型）： 一个可训练的 VLM 通路。它通过一个轻量级的状态编码器处理视觉输入、文本指令和本体感受状态（例如关节角度）。其作用是专注于低层伺服控制和动作生成。

2.2 非对称混合 Transformer (AsyMoT)

实现两条路径之间交互的核心机制是 非对称混合 Transformer (Asy-metric Mixture-of-Transformers, AsyMoT)。不同于一种模态关注另一种模态的标准交叉注意力机制，AsyMoT 在每个 Transformer 层建立了一个单向的信息桥梁：

左脑独立运行并使用自注意力机制，以保留其预训练特征。
右脑采用非对称联合注意力机制。它计算自身的查询向量 ( $Q_R$ )，但通过将自身的表示与来自冻结左脑的表示进行拼接来构建其键 ( $K$ ) 和值 ( $V$ )（即 $K_{joint} = [sg(K_L); K_R]$ ， $V_{joint} = [sg(V_L); V_R]$ ）。
这使得可训练的右脑能够在不更新左脑参数的情况下，动态地查询并融合来自冻结左脑的完整语义知识。

2.3 流匹配动作专家 (Flow-Matching Action Expert)

来自右脑的融合表示为 流匹配动作专家（实现为扩散 Transformer）提供条件。该模块通过标准向量场回归损失进行训练，从噪声中合成连续的动作轨迹。其训练目标完全依赖于机器人演示数据，在保持左脑不受影响的同时最小化流匹配损失。

3. 核心贡献

灾难性遗忘的实证分析： 本文提供了定量证据，证明标准的 VLA 训练（甚至是协同训练）会导致通用视觉理解能力（例如 POPE 分数从 ~88% 骤降至接近零）出现剧烈下降，从而验证了结构化解决方案的必要性。
TwinBrainVLA 架构： 一种新型的非对称双流框架，在结构上将语义保留与运动学习解耦，使系统能够在不破坏原有能力的前提下利用预训练能力。
AsyMoT 机制： 引入了非对称混合 Transformer，实现了高效的单向信息交互，允许专家控制器从冻结的通用型模型中查询通用知识。
全面评估： 通过广泛实验证明，显式地保留通用能力可以显著提升复杂操纵任务中的性能。

4. 实验结果

作者使用 Qwen2.5-VL 和 Qwen3-VL 主干网络在多个基准测试上对 TwinBrainVLA 进行了评估：

SimplerEnv（分布外/OOD）： TwinBrainVLA 在列出的方法中达到了最先进水平。Qwen3-VL-4B 版本实现了 64.5% 的平均成功率，比强大的基准模型 Isaac-GR00T-N1.6 (57.1%) 高出 7.4%。
RoboCasa 台面基准测试： 在 24 个多样化的操纵任务中，TwinBrainVL (Qwen3-VL) 实现了 54.6% 的平均成功率，超过了 Isaac-GR00T-N1.6 (47.6%) 7.0%，并大幅领先于其他基于 Qwen 的基准模型。
LIBERO 基准测试： 在涵盖四个任务集的统一训练设置中，TwinBrainVLA 达到了 97.6% 的平均成功率，优于 $\pi0.5$ (96.9%)。
真实机器人实验： 使用 Franka Research 3 机器人，该模型在分布外 (OOD) 和“拾取全部” (Pick-All, 长程任务) 中表现出鲁棒性，尽管使用的预训练数据显著减少，但其成功率仍能媲美或超过 $\pi0.5$ 。
消融实验：
- 取消冻结策略（使左脑可训练）导致成功率下降了 7%，证实了冻结锚点的必要性。
- 取消双 VLM 结构（退化为 Vanilla VLA）导致性能下降了近 7 个百分点。
- “从双脑到单脑”的知识蒸馏表明，从 TwinBrainVLA 蒸馏出的单流学生模型可以优于标准的 Vanilla VLA，证明了融合特征的价值。

5. 重要性与主张

本文声称 TwinBrainVLA 为“灾难性遗忘”困境提供了结构化解决方案，使 VLA 模型能够有效利用预训练 VLM 未受损的通用能力。作者认为：

解耦是本质： 将语义理解与运动控制显式分离，对于防止机器人微调过程中“VLM 大脑”的退化至关重要。
通用能力驱动性能： 保留通用的视觉和语义理解直接提升了复杂、开放式机器人任务的性能，使模型能够在无需大规模预训练的情况下达到或超过商业规模模型的水平。
可扩展性： 该架构架起了高层语义理解与底层控制之间的桥梁，为实现通用具身智能提供了一条可行路径。

作者承认由于双流架构带来的计算开销限制，但强调其设计（使用两个 4B 模型）的表现优于 8B 参数量的基准模型，这表明利用通用知识的架构效率可能比单纯的参数量更为关键。未来的工作建议探索更深层的语义融合以及更高效的部署策略。