🤖 AI

HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving

本文提出了 HiST-VLA，一种融合几何感知、细粒度指令与状态历史提示的层次化时空视觉 - 语言 - 动作模型，通过动态令牌稀疏化和动态潜在正则化机制，在确保计算效率与严格空间定位的同时实现了端到端自动驾驶轨迹生成的最先进性能。

原作者： Yiru Wang, Zichong Gu, Yu Gao, Anqing Jiang, Zhigang Sun, Shuo Wang, Yuwen Heng, Hao Sun

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiru Wang, Zichong Gu, Yu Gao, Anqing Jiang, Zhigang Sun, Shuo Wang, Yuwen Heng, Hao Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

你好！这篇论文介绍了一个名为 HiST-VLA 的新技术，旨在让自动驾驶汽车变得更聪明、更安全。

为了让你轻松理解，我们可以把自动驾驶系统想象成一位正在开车的“老司机”。以前的自动驾驶系统就像是一个刚拿驾照的新手，或者是一个只有“眼睛”没有“大脑”的机器人，遇到复杂的路况容易手忙脚乱。

而 HiST-VLA 就像是给这位“老司机”配备了一位超级副驾驶，并且升级了整辆车的大脑和反应机制。

下面我用几个生活中的比喻来拆解它的核心亮点：

1. 核心痛点：以前的“老司机”哪里不够好？

以前的自动驾驶模型（VLA 模型）虽然能看懂路牌和行人，但有两个大毛病：

空间感差：就像一个人闭着眼睛猜距离，容易把路边的树当成障碍物，或者算不准离前车还有几米。
反应太死板：听到“向左转”，它可能只会机械地转大弯，不知道是“轻轻偏一点”还是“急转弯”，缺乏细腻的操作。
记性不好：只看眼前这一秒，忘了过去几秒发生了什么，导致开车忽快忽慢，乘客坐起来晕车。

2. HiST-VLA 的三大“超能力”

第一招：给大脑装上"3D 眼镜”和“时间机器”

3D 空间感（Spatial Awareness）：
以前的模型看图片是平面的（像看照片）。HiST-VLA 给模型戴上了一副3D 眼镜，它不仅能看到车，还能精准计算出车离路沿、离其他车辆的具体距离和高度。这就好比它不再是在纸上画画，而是真的在三维空间里开车。
时间记忆（Temporal Coherence）：
它像是一个记性很好的老司机。它不仅看现在的路况，还会回想过去几秒车速是多少、方向盘怎么打的。这样它做出的决定（比如减速）就会非常平滑，不会像机器人那样突然急刹，让乘客感觉更舒适。

第二招：学会“做减法”的聪明大脑（动态 Token 稀疏化）

比喻：想象你在看一场盛大的烟花表演，眼睛会盯着所有烟花看，累得半死。但聪明的观察者只会盯着最亮、最关键的那几朵看，其他的稍微扫一眼就行。
技术原理：HiST-VLA 有一个智能过滤器。它会自动识别画面中哪些信息是重要的（比如前面的红灯、旁边的行人），哪些是多余的（比如远处静止的云朵、重复的背景）。它把那些“废话”信息合并或扔掉，只保留精华。
好处：这让电脑跑起来更快、更省电，而且因为去掉了干扰项，反而看得更准了。

第三招：从“粗线条”到“精装修”的规划师（分层规划）

这是 HiST-VLA 最厉害的地方，它把开车分成了两步走：

第一步：画草图（VLA 生成粗轨迹）
超级副驾驶先根据语言指令（比如“前面左转”）和路况，画出一个大概的路线。这时候路线可能有点粗糙，或者有点歪。
第二步：精装修（分层规划器优化）
这就好比建筑设计师接手了草图。它会拿着尺子量一量：
- “这个转弯太急了吗？改平缓点。”
- “离那个停着的车太近了，往左挪一点。”
- “这个速度会不会让乘客晕车？调整一下。”
  它会经过多次微调，并给最终路线打分（自信度），确保这条路线既安全、又舒服、还完全符合交通规则。

3. 它是怎么“思考”的？（思维链 CoT）

以前的模型是直接输出结果（比如直接输出坐标）。HiST-VLA 则会像人类一样自言自语地思考：

“前面有个慢车，我要减速；左边有个路口，我要准备左转；现在的速度是 60，不能太急……"

这种**“先思考，后行动”**的模式，让它做出的决定更有逻辑，也更容易让人类理解它为什么这么开。

4. 成绩如何？

在著名的自动驾驶测试场（NAVSIM v2）里，HiST-VLA 的表现超越了几乎所有现有的顶尖方法，甚至非常接近人类专家的水平。

安全性：几乎不犯错，很少发生碰撞。
舒适度：开得很稳，乘客不会晕车。
适应性：即使在模拟的极端恶劣天气或复杂路况下，它也能稳住。

总结

简单来说，HiST-VLA 就是给自动驾驶汽车装上了一个懂空间、记性好、会做减法、且懂得“先想后做”的超级大脑。它不再是一个只会执行指令的机器，而是一个能像人类老司机一样，灵活、安全、舒适地应对各种复杂路况的智能伙伴。

HiST-VLA 技术总结报告

1. 研究背景与问题定义 (Problem)

现有的自动驾驶系统通常采用感知、预测、规划、控制的分级流水线，但在复杂社交交互和深层语义推理方面存在不足。近年来，视觉 - 语言模型（VLM）和视觉 - 语言 - 动作（VLA）模型被引入自动驾驶，以增强语义理解和泛化能力。然而，现有的 VLA 模型在安全关键场景下仍面临以下核心挑战：

数值推理不精确：难以生成精确的控制指令。
3D 空间感知弱：缺乏对场景几何结构的深层理解，导致轨迹生成在复杂或无结构化场景中不够可靠。
时间一致性差：难以保持轨迹的平滑性和历史状态的连贯性。
计算冗余高：处理多模态输入时存在大量冗余 Token，影响推理效率。
耦合松散：高层语言输出与底层车辆控制之间往往缺乏紧密耦合，导致对自然语言指令的反应不可靠。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 HiST-VLA（Hierarchical Spatio-Temporal Vision-Language-Action Model），这是一个端到端的自动驾驶框架，集成了 3D 几何推理、时间建模和多阶段轨迹细化。

2.1 核心架构

HiST-VLA 由两个主要部分组成：时空 VLA 骨干网络 和 分层规划器。

A. 时空 VLA 骨干网络 (Spatio-Temporal VLA Backbone)

该模块负责生成初始的驾驶意图和粗略轨迹：

空间感知视觉编码 (Spatially-Aware Visual Encoding)：
- 利用多视角摄像头输入，通过 ViT 提取 2D 特征。
- 结合单目深度估计器生成的深度图，将 2D 特征反投影到自车 3D 坐标系中。
- 通过 MLP 编码 3D 坐标并添加位置嵌入，生成显式包含场景度量结构的空间增强视觉 Token。
动态 Token 稀疏化 (Dynamic Token Sparser)：
- 基于自注意力机制（Self-Attention）的内在分数，自适应地选择 Top-K 个高信息量 Token。
- 将剩余的低显著性 Token 通过可学习的 Transformer 融合模块合并到保留的 Token 中。
- 优势：在保留语义关键特征的同时，显著减少计算序列长度，降低冗余。
时间状态建模 (Temporal State Modeling)：
- 将长期的导航信息（如左转、直行）和自车历史状态（速度、加速度等）作为 Prompt 输入到大语言模型（LLM）。
- 将模型从反应式函数 $\pi(a_t|s_t)$ 转化为更具信息量的函数 $\pi(a_t|s_t, s_{t-1}, ..., s_{t-k})$ ，增强时间连贯性。
细粒度元动作与置信度感知推理 (Granular Meta-Action & Confidence-Aware Reasoning)：
- 细粒度动作：摒弃简单的“左转/直行”分类，定义了基于几何和运动学特征的细粒度动作（如“急左转”、“轻微左转”、“车道微调”等），以捕捉细微的行为差异。
- 思维链 (CoT)：模型通过 CoT 推理生成驾驶指令、粗略轨迹 $\tau_0$ 以及置信度分数 $\epsilon$ 。置信度基于 Transformer 输出 Token 的最大概率几何平均计算得出。

B. 分层规划器 (Hierarchical Planner)

该模块负责将粗略轨迹细化为可执行的精细轨迹：

置信度感知 VAE 正则化：利用 VLA 输出的置信度分数 $\epsilon$ 动态调整潜在空间的噪声注入（ $\sigma^2 = \alpha(1-\epsilon)$ ）。置信度越低，注入的噪声越多，引导模型在不确定性高的区域进行重点优化。
语义对齐：通过多头交叉注意力机制，将潜在轨迹特征与细粒度驾驶指令嵌入进行融合。
多标准评分与优化：引入一个轻量级的评分器（Scorer），基于扩展预测驾驶员模型分数（EPDMS）评估轨迹的安全性、效率和舒适性，指导轨迹优化。
损失函数：结合几何对齐的 L1 损失和基于置信度正则化的 KL 散度约束，确保轨迹既符合地面真值又满足安全约束。

2.2 训练策略

训练分为三个阶段：

预训练动态 Token 稀疏器。
联合优化稀疏器、LLM 和文本编码器，学习生成细粒度指令、粗略轨迹和置信度。
训练指令编码器和分层轨迹头，最小化细化损失 $L_{refine}$ 。

3. 关键贡献 (Key Contributions)

HiST-VLA 架构：首个将空间 grounding、时间连贯性与多阶段轨迹细化完全整合的框架，无需依赖外部端到端模块或昂贵的额外标注。
高效的时空表示与 Token 稀疏化：提出基于自相似性的动态 Token 融合机制，在减少 23.7% 计算量（GFLOPs）的同时提升了模型性能。
语义对齐的分层规划：通过置信度感知正则化和多标准评分，将高层语言指令与底层运动控制紧密对齐，显著提升了轨迹的安全性和舒适性。
细粒度元动作设计：设计了基于真实轨迹几何特征的细粒度动作空间，解决了传统 VLA 动作空间粗糙导致的行为表达力不足问题。

4. 实验结果 (Results)

在 NAVSIM v2 基准测试中进行了全面评估：

Navtest (开环规划)：
- HiST-VLA 取得了 88.6 的 EPDMS 分数，刷新了 SOTA 记录。
- 显著优于 VADv2 (76.6)、Transfuser (76.7) 和 DriveSuprim (87.1)。
- 在安全关键指标（如无责任碰撞 NC、可行驶区域合规 DAC）上表现卓越（NC 99.6, DAC 99.1）。
- 接近人类专家表现 (90.3)。
Navhard (伪闭环鲁棒性测试)：
- HiST-VLA 取得了 50.9 的 EPDMS 分数，远超 DiffusionDrive (26.0) 和 Transfuser (23.1)。
- 证明了模型在合成扰动下的鲁棒性和泛化能力。
消融实验：
- 验证了空间编码、时间提示、细粒度元动作和分层规划器各组件的必要性。
- 动态 Token 稀疏化在降低计算成本的同时提升了性能。

5. 意义与影响 (Significance)

安全性与可靠性：通过引入置信度感知机制和分层细化，解决了 VLA 模型在安全关键场景中“幻觉”和轨迹不可执行的问题。
效率与实用性：动态 Token 稀疏化使得大模型在自动驾驶这种对延迟敏感的应用中更具可行性。
人机交互增强：细粒度的动作设计和 CoT 推理使得模型不仅能执行任务，还能解释其决策过程，增强了系统的可解释性和信任度。
范式转变：展示了纯 VLA 模型（无需外部规划器辅助）在端到端自动驾驶中达到甚至超越传统混合架构的潜力，为未来自动驾驶系统的设计提供了新的方向。

综上所述，HiST-VLA 通过结合 3D 几何理解、时间序列建模和分层优化策略，成功克服了现有 VLA 模型在自动驾驶中的局限性，实现了高精度、高安全性和高舒适性的端到端轨迹规划。