🤖 machine learning

RT-VLA: Real-Time Vision-Language-Action Models via Knowledge Distillation

本文提出了 RT-VLA，一种轻量级的、经过蒸馏的视觉-语言-动作模型，它将最先进的 SimLingo 教师模型的驾驶与推理能力转移到一个紧凑的学生模型中，在保持具有竞争力的闭环性能并实现具备事后可解释性的实时控制的同时，实现了显著的推理延迟降低（高达 44.8 倍）。

原作者： Xiangyu Huang, Zhenlin Hua, Han Zhou, Shounak Sural, Ragunathan Rajkumar

发布于 2026-06-15✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiangyu Huang, Zhenlin Hua, Han Zhou, Shounak Sural, Ragunathan Rajkumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位全新的、极速赛车手（学生）如何在城市街道上驾驶。通常情况下，要教导这样复杂的技能，你会让学生跟随一位世界级、高学历的教授（老师）进行观察学习，而这位教授会解释每一次转弯、检查天气情况、分析交通模式，并写出一篇关于自己为何做出每个决策的详细论文。

问题在于，这位教授过于周密且深思熟虑，以至于当他结束解释时，车子已经撞上了。教授太慢了，跟不上现实世界的节奏。

这篇论文介绍了一种训练这位学生驾驶员的新方法：RT-VLA。与其让学生变得像教授那样缓慢且喋喋不休，研究人员使用了一种被称为*知识蒸馏（Knowledge Distillation）*的技术。你可以把它想象成一种“心灵感应式的传输”，学生直接吸收教授的直觉*和决策*，而不需要教授在每一步都开口说话。

以下是其工作原理的拆解，通过简单的概念进行说明：

1. 问题所在：“过度思考型”驾驶员

目前的自动驾驶 AI 模型（称为 VLA 模型）就像那位教授。它们可以“看到”道路、“读懂”标志，并能“谈论”自己的决策。它们很聪明，但动作很慢。它们在转动方向盘之前需要很长时间来思考。在繁忙的城市中，这种瞬间的延迟是危险的。你需要的是一个能瞬间做出反应的驾驶员。

2. 解决方案：“轻量化”学生

研究人员构建了一个更小、更快的模型（RT-VLA）。

老师： 一个庞大、缓慢的 AI（SimLingo），它驾驶技术出色，并且可以用英语解释其推理过程。
学生： 一个微小、快速的 AI，它需要表现得同样出色，但速度要快得多。

3. 训练方法：“多层级心灵感应”

通常，你教学生是通过展示最终答案（例如，“左转”）来进行的。但本文指出，仅靠这还不够。他们使用了多层级蒸馏（Multi-Level Distillation），这就像不仅是在教学生答案，还在教学生整个思维过程：

视觉特征（Visual Features）： 学生学习如何像老师一样“看”路（识别行人或红灯）。
查询表示（Query Representations）： 学生学习老师是如何“聚焦”注意力的（图像中哪些部分最重要）。
路径点预测（Waypoint Predictions）： 学生学习老师计划采取的确切路径。
语言逻辑值（Language Logits）： 这是神奇的一招。学生学习老师会使用哪些词汇的概率，而无需在实时过程中生成完整的句子。

4. “双脑”策略

这是最聪明的部分。这个学生拥有两个“大脑”（或分支）：

快脑（实时）： 这部分在驾驶时持续运行。它观察摄像头画面并立即决定转向和速度。它不会说话，只负责行动。这使得汽车反应极快。
慢脑（离线解释）： 这部分在汽车行驶时是关闭状态，以节省时间。然而，如果汽车出了错（比如撞到了路缘或闯了红灯），你可以在事后将其开启。它会查看发生情况的视频并生成书面解释：“我试图跟随那辆黑车，但我没看到道路分叉，所以我走错了路。”

这意味着这辆车开起来像跑车一样快，但如果出了问题，事后仍能写出一份报告单，帮助工程师理解哪里出了错。

5. 结果：快速、聪明且具备解释能力（按需使用）

研究人员在模拟城市（Bench2Drive）中测试了该模型。以下是他们的发现：

速度： 在仅进行驾驶（纯视觉）时，这个新学生驾驶员比老师快 44.8 倍。即使包含语言部分，它也快了 7.9 倍。
技能： 学生的驾驶水平几乎与老师持平。他们在完成路线时的成功率非常接近。
解释： 当被要求事后解释错误时，学生的解释能力几乎与老师不相上下（在理论最大值 51.8 分中，得分 50.9 分）。

核心结论

这篇论文证明了你不需要在智能、可解释的 AI 和快速、实时的 AI 之间做选择。通过使用这种“心灵感应”式的训练方法，你可以拥有一个既能瞬间做出反应以确保安全，又能在事后停下来解释其推理过程，从而帮助工程师理解问题的驾驶员。

本论文并未声称：

它并未声称这辆车明天就能在真实的公路上驾驶。
它并未声称这辆车是完美的（它在模拟环境中仍然会发生碰撞）。
它并未声称这适用于雨天、雾天或其他传感器（如 LiDAR）（它仅使用摄像头）。
它并未声称这将用于医院或其他领域；这严格属于自动驾驶领域。

技术摘要：RT-VLA —— 通过知识蒸馏实现的实时视觉-语言-动作模型

问题陈述

视觉-语言-动作（VLA）模型已成为端到端（E2E）自动驾驶领域的一种极具前景的范式，它集成了视觉感知、语言推理和动作预测，从而实现可解释的决策制定。然而，现有的最先进 VLA 模型（如 SimLingo、DriveCoT、ORION）依赖于大规模的视觉-语言骨干网络和自回归推理模块。这些组件引入了巨大的推理延迟，使其无法适用于对实时性要求极高的动态、安全关键型道路环境，因为在这些环境中，快速更新轨迹至关重要。核心挑战在于如何在保留 VLA 模型的高层推理能力和可解释性的同时，大幅降低计算成本和推理时间，以满足自动驾驶严格的延迟要求。

方法论

作者提出了 RT-VLA，一种轻量级的、经过蒸馏的 VLA 模型，旨在将大型教师模型（SimLingo）的驾驶和推理能力迁移到紧凑的学生模型中。该框架采用了多级监督蒸馏策略和解耦架构，以平衡性能与效率。

架构

教师模型： 一个冻结的 SimLingo 式 VLA，使用高容量的 InternVL-2 视觉编码器和 Qwen2-0.5B 语言模型。
学生模型 (RT-VLA)：
- 视觉编码器： 使用更高效的 EVA-02 模型。
- 驾驶分支： 处理视觉 Token、状态嵌入（速度、GPS）以及可训练的查询 Token，通过轻量级语言模型来预测几何和时间维度的路点（waypoints）。
- 推理分支： 一个独立的、轻量级的语言分支，通过 Perceiver Resampler 压缩视觉 Token。该分支是解耦的，不参与实时控制循环；它仅在离线阶段用于事后解释或在特定的训练阶段调用，从而确保不会为实时驾驶增加延迟。

多级蒸馏策略

为了将知识从教师模型迁移到学生模型，作者定义了一个涵盖四个不同层级的复合损失函数：

视觉特征蒸馏 ( $L_{vision}$ )：通过可学习的投影和自适应池化，使学生模型的视觉特征与教师模型的高维特征对齐。
查询表示蒸馏 ( $L_{query}$ )：匹配两个模型之间的内部查询表示（任务相关嵌入）。
路点预测蒸馏 ( $L_{waypoint}$ )：通过监督学生的路点预测，使其与教师模型的输出保持一致。
语言 Logit 蒸馏 ( $L_{kl}$ )：利用知识蒸馏（KL 散度）在语言 Logit 上进行操作，以迁移推理能力。这通过**在策略语言微调（On-Policy Language Fine-Tuning）**得到补充，其中学生模型通过贪婪解码生成 Token，而冻结的教师模型会对这些特定 Token 进行评估，以最小化分布偏移。

训练方案

训练分为两个阶段进行：

驾驶优化： 学生模型结合地面真值（ground-truth）路点监督和多级蒸馏损失 ( $L_{driving}$ ) 进行训练，以优化闭环驾驶行为。随后，驾驶分支被冻结。
语言专业化： 模型专门针对语言损失 ( $L_{language}$ ) 进行微调，该损失包含地面真值交叉熵和语言 Logit 蒸馏，旨在专业化生成解释的能力，且不损害已冻结的驾驶策略。

核心贡献

RT-VLA 模型： 一种轻量级的蒸馏 VLA 模型，在显著降低推理延迟的同时，保持了驾驶和基于语言的推理能力。
多级蒸馏： 一种新颖的策略，实现了跨视觉特征、查询表示、路点预测和语言 Logit 的知识迁移，这与以往主要关注动作预测的方法不同。
高效推理机制： 引入语言 Logit 蒸馏和在策略微调，实现了无需运行时延迟即可进行的离线事后解释。
性能-效率权衡： 在 Bench2Drive 基准测试上展示了具有竞争力的闭环驾驶和语言推理得分，同时大幅缩短了推理时间。

实验结果

实验在 Bench2Drive 数据集（CARLA v0.9.15）上使用 NVIDIA A100 GPU 进行。

驾驶性能： RT-VLA 实现了 85.19 的驾驶得分（DS），与 SimLingo (85.07) 相当，并接近 SimLingo-BASE (85.94)。值得注意的是，RT-VLA 在保留了 SimLingo-BASE 所缺乏的语言能力的同时，表现优于完整的 SimLingo 模型。
推理效率：
- 仅视觉模式： RT-VLA 将推理时间从 1544.34 ms (SimLingo) 降低至 34.48 ms，实现了 44.8 倍的加速。
- 视觉+语言模式： 在启用语言分支的情况下，RT-VLA 将延迟降低至 196 ms，相比 SimLingo 实现 7.9 倍的加速。
评论质量： RT-VLA 获得了 50.9 的评论质量评分（由 DeepSeek-V4-Flash 评估），尽管模型规模和延迟大幅降低，但仅比完整的 SimLingo 模型低 0.9 分。
消融研究： 取消蒸馏会导致驾驶得分出现灾难性下降（34.05），证实了多级蒸馏对于在轻量级架构中恢复强大的驾驶策略至关重要。

意义与主张

论文声称，监督蒸馏是构建实时、可解释的 VLA 式自动驾驶模型的实用方法。通过将昂贵的语言推理分支从实时控制循环中解耦，并利用多级蒸馏，RT-VLA 成功弥合了大型 VLA 模型的高层推理能力与自动驾驶严格的延迟约束之间的差距。

作者强调，虽然 RT-VLA 保留了教师模型生成安全关键型解释的能力，但它是在不增加实时控制延迟的前提下实现的。这允许进行“离线事后解释”，即在事故发生后可以分析记录的驾驶观测数据，以理解失效模式，从而辅助开发更安全的端到端系统。这项工作表明，在保留 VLA 模型的可解释性和推理优势的同时，使其能够在密集、时效性强的交通环境中投入使用是切实可行的。

局限性

作者承认存在以下局限性：

RT-VLA 无法完全消除安全关键型失效（例如碰撞），因为它依赖于监督和蒸馏，而非显式的安全约束优化。
它是一个纯摄像头框架，缺乏 LiDAR 或其他几何传感器，这可能会限制其在恶劣天气（雨、雾、弱光）下的鲁棒性。
该模型继承了教师模型的局限性以及基于模拟的训练环境的局限性，这可能会影响其在现实世界领域偏移或长尾场景中的可靠性。