💻 computer science

ETA-VLA: Efficient Token Adaptation via Temporal Fusion and Intra-LLM Sparsification for Vision-Language-Action Models

该论文提出了 ETA-VLA 框架，通过引入受人类驾驶员注意力启发的“层内稀疏聚合器（ILSA）”，利用文本引导和时序一致性动态剪枝冗余视觉 Token，在显著降低自动驾驶视觉 - 语言 - 动作模型计算量的同时，保持了与最先进基准相当的性能。

原作者： Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Zichong Gu, Hao Sun

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Zichong Gu, Hao Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 ETA-VLA 的新方法，旨在让自动驾驶汽车变得更聪明、更快速，同时又不那么“烧脑”（节省算力）。

为了让你轻松理解，我们可以把自动驾驶系统想象成一位正在开车的“超级司机”，而这篇论文就是给这位司机配备的一套**“高效驾驶辅助系统”**。

1. 核心问题：司机“脑子”不够用了

现在的自动驾驶模型（VLA）非常强大，它们像人一样能看懂路、听懂指令（比如“左转”），然后做出动作。但是，为了开得稳，它们需要同时处理：

多视角：车上有 6 个摄像头（前、后、左、右等），就像司机有 6 只眼睛。
多帧历史：为了判断车速和趋势，司机不能只看眼前这一秒，还得回想过去几秒发生了什么。

这就好比： 这位司机不仅要同时盯着 6 个屏幕，还要把过去 10 秒钟里这 6 个屏幕上的每一帧画面都背下来，然后在大脑里（大语言模型 LLM）进行复杂的思考。

后果：大脑（算力）瞬间过载，反应变慢，甚至死机。这就是论文里说的“计算负担太重”。

2. 解决方案：ETA-VLA 的两大绝招

为了解决这个问题，作者给这位司机装了两套“外挂”：

第一招：时间融合模块 (TFM) —— “记忆压缩术”

比喻：想象司机在开车时，不需要把过去 10 秒里每一帧画面都原封不动地记在脑子里。他只需要记住关键的变化。
- 比如：过去 5 秒里，前面的车一直匀速行驶，司机大脑会自动把这段“无聊”的时间压缩成“车在匀速前进”这一个概念。
- 只有当有突发情况（比如有人突然冲出来）时，才会保留详细的画面。
作用：这个模块把过去多帧、多视角的杂乱画面，自动“压缩”成一段精炼的、包含关键信息的“记忆摘要”。这样，司机的大脑就不需要处理海量的原始数据了。

第二招：LLM 内部稀疏聚合器 (ILSA) —— “智能注意力过滤器”

这是论文最精彩的部分。即使压缩了记忆，大脑里要处理的信息还是很多。这时候，ILSA 就像一位**“精明的副驾驶”**。

传统做法的缺点：以前的系统像是一个**“平均主义者”**。它不管你在直行还是转弯，都均匀地分配注意力给所有摄像头。
- 场景：当你被要求“直行”时，它依然花大量精力去分析左后方的摄像头（那里可能只是空荡荡的停车场），这就浪费了算力。
ETA-VLA 的做法（模仿人类）：
1. 听指挥（文本引导）：副驾驶会看司机的指令。如果指令是“直行”，它就会把注意力**90%**集中在正前方的路面上，自动忽略那些不重要的背景。
2. 防遗漏（多样性保留）：但是，副驾驶很聪明，它知道虽然主要看前面，但绝对不能完全忽略盲区。所以，它会强制保留每个摄像头里的一小部分“最独特”的画面（比如侧后方突然出现的行人），防止因为过度聚焦而撞车。
3. 不看位置看内容：以前的系统容易受“画面位置”干扰（比如觉得离得近的就重要），而这个新系统只看**“内容是否相关”**。不管物体在画面的哪个角落，只要它和“直行”这个任务有关，就保留；无关的，直接扔掉。

3. 效果如何？

这套系统就像给司机装了一个**“超级大脑”**，既保留了人类的直觉，又去掉了多余的杂念。

省资源：它砍掉了 85% 的无用画面信息（Token），让计算量减少了 32%。这意味着可以在更便宜、更小的车载电脑上运行，不需要昂贵的超级计算机。
不降质：虽然扔掉了那么多信息，但它的驾驶水平（评分）依然保持在 94% 以上，甚至超过了之前的顶尖模型。
更安全：因为它模仿了人类司机“该看哪里就看哪里”的注意力分配机制，所以在处理复杂路况时更稳健。

总结

ETA-VLA 的核心思想就是：不要试图记住所有东西，要像人类一样，学会“抓重点”和“略过无关项”。

它通过压缩历史记忆和智能筛选当前画面，让自动驾驶汽车在算力有限的情况下，依然能像老司机一样，眼观六路、耳听八方，既开得稳，又跑得快。这为未来把高级自动驾驶装进普通家用车里铺平了道路。

这是一份关于论文 ETA-VLA: Efficient Token Adaptation via Temporal Fusion and Intra-LLM Sparsification for Vision-Language-Action Models 的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
视觉 - 语言 - 动作（Vision-Language-Action, VLA）模型通过将大语言模型（LLM）的常识推理能力与自动驾驶感知相结合，为理解复杂场景和执行控制指令提供了统一框架。

核心挑战：
在自动驾驶中，为了进行准确的时空推理（如轨迹预测），模型需要处理历史多视角帧序列。然而，现有的 VLA 架构面临严重的**效率 - 精度权衡（Efficiency-Accuracy Trade-off）**问题：

计算负担过重： 随着历史帧数（ $n$ ）和相机视角数（ $C$ ）的增加，输入 Token 数量呈线性增长。由于 LLM 中自注意力机制（Self-Attention）的复杂度为 $O(L^2)$ （ $L$ 为序列长度），导致计算量（FLOPs）呈二次方爆炸式增长。
硬件限制： 这种“Token 膨胀”使得在车载嵌入式硬件上部署高性能 VLA 模型变得不可行。
现有方法的局限：
- 传统的时空聚合方法（如 3D CNN 或专用感知模块）往往忽略了语义推理。
- 现有的视觉 Token 剪枝方法（如 DynamicViT）通常缺乏文本语义指导，或者未能在 LLM 内部显式建模多视角、多帧的时序依赖关系。
- 部分文本引导的剪枝方法（如 SparseVLM）依赖标准注意力矩阵，受位置编码（RoPE）的偏差影响，无法纯粹基于语义相关性进行剪枝。

2. 方法论 (Methodology)

作者提出了 ETA-VLA（Efficient Token Adaptation for VLA），这是一个包含两个核心互补组件的高效框架：

A. 基于 TFM 的时序融合 (Temporal Fusion Module, TFM)

位置： 位于视觉编码器之后、LLM 之前。
功能： 解决时间维度上的冗余。
机制：
1. 时间感知嵌入： 将可学习的时间嵌入（Time Embedding）注入到多帧视觉特征中。
2. 时序融合编码器： 利用 Transformer 自注意力机制捕捉帧间依赖。
3. 可学习加权聚合： 使用可学习的时间权重 $w$ 对时序 Token 进行加权求和，将 $n+1$ 帧压缩为一个紧凑的视觉特征图 $V_{fused}$ 。
效果： 有效压缩了时间维度，保留了关键的运动线索，减少了输入 LLM 的序列长度。

B. 类 LLM 内部稀疏聚合器 (Intra-LLM Sparse Aggregator, ILSA)

位置： 深度集成在 LLM（如 LLaMA）内部。
功能： 在 LLM 推理过程中进行细粒度的 Token 动态剪枝与选择，模拟人类驾驶员的注意力分配。
核心创新点：
1. 混合执行策略 (Hybrid Execution Strategy)： 仅在特定的稀疏层（Sparse Layers）使用“急切（Eager）”注意力实现以获取注意力权重，其余层保持优化的 FlashAttention，以最小化开销。
2. 动态文本锚点选择 (Dynamic Text Anchor Selection)： 摒弃使用所有文本 Token，而是通过计算视觉 Token 与文本 Token 的语义相似度，动态筛选出与驾驶指令最相关的文本 Token 作为“评分者”（Raters），减少噪声。
3. 无 RoPE 语义评分 (RoPE-free Semantic Scoring)：
  - 传统方法受旋转位置编码（RoPE）影响，距离远的 Token 得分低。
  - ETA-VLA 在计算剪枝注意力时移除 RoPE 和因果掩码，直接计算 Query 和 Key 的原始点积。这确保了视觉 Token 的评分仅基于其与驾驶指令的纯粹语义相关性，而非序列距离。
4. 多样性保持的稀疏化 (Diversity-Preserving Sparsification)：
  - 全局剪枝： 根据语义相关性得分（ $s_i$ ）进行全局 Top-K 选择，保留任务关键区域。
  - 视角内回收 (Per-view Recycling)： 为了防止剪除对特定视角（如盲区）至关重要的 Token，计算未选中 Token 的多样性得分（基于特征向量的余弦相似度差异），并在每个视角内回收 Top-k 的多样性 Token。
  - 最终保留集： $I_{final} = I_{global} \cup I_{recycle}$ 。

C. 动作解码与训练

使用轻量级 Transformer Decoder 将稀疏后的 LLM 隐状态解码为连续轨迹。
引入预训练的 Scorer 模块（基于 NAVSIM v2 训练）对轨迹进行优化，评估扩展预测驾驶员模型评分（EPDMS）。
损失函数包含轨迹平滑度、速度平滑度、横向稳定性及终点精度。

3. 关键贡献 (Key Contributions)

架构创新： 提出了 ETA-VLA 框架，首次在 LLM 内部实现了针对多视角、多帧自动驾驶场景的时序融合与语义引导的 Token 剪枝的有机结合。
机制突破：
- 设计了无 RoPE 语义评分机制，消除了位置偏差，使模型能更准确地根据指令关注远处的关键物体。
- 提出了多样性保持的回收策略，在大幅剪枝的同时，强制保留各视角下的特征多样性，防止关键空间信息（如盲区）丢失，模拟了人类驾驶员的注意力分配。
效率与性能的双重提升： 证明了在 LLM 内部进行自适应稀疏化不仅能显著降低计算量，还能通过过滤噪声提升规划性能。

4. 实验结果 (Results)

在 NAVSIM v2 基准测试（包括 Navtest 和 Navhard）上进行了广泛评估：

规划性能 (Planning Performance)：
- Navtest (开环)： ETA-VLA 达到了 85.0 的 EPDMS 分数，超越了所有基线模型（如 DiffusionDrive 84.3, GTRS 84.6），并接近人类专家水平（90.3）。
- Navhard (伪闭环)： 在鲁棒性测试中达到 48.0 的 EPDMS，显著优于 DiffusionDrive (26.0) 和 Transfuser (23.1)，证明了其在复杂扰动下的稳定性。
计算效率 (Efficiency)：
- 在保持 94% 原始精度的情况下，剪除了 85% 的视觉 Token。
- 推理 FLOPs 降低了 61%，整体计算量（FLOPs）减少了约 32%。
- 消融实验表明，在 LLM 的第 4 层应用 35% 的剪枝率能达到最佳平衡（EPDMS 85.0, FLOPs 6190）。
消融研究：
- 移除时序融合模块导致性能大幅下降（EPDMS 降至 77.2）。
- 与随机剪枝、HoloV、SparseVLM 相比，ETA-VLA 的剪枝策略在各项指标上均表现最优，验证了“语义评分 + 多样性回收”策略的有效性。

5. 意义与影响 (Significance)

推动端侧部署： 通过大幅降低计算复杂度（从 $O(L^2)$ 降至接近 $O(L)$ ），ETA-VLA 使得在资源受限的车载嵌入式硬件上部署高推理能力的 VLA 模型成为可能。
认知启发的设计： 该工作成功将人类驾驶员的注意力分配机制（如关注关键区域、兼顾盲区、总结历史信息）转化为具体的算法模块（TFM 和 ILSA），为 VLA 模型的设计提供了新的范式。
安全与效率的平衡： 证明了通过智能剪枝（去除冗余而非随机压缩）不仅可以节省算力，还能通过去除噪声来提升决策的准确性和安全性，打破了传统观念中“剪枝必然导致性能下降”的瓶颈。

总结： ETA-VLA 通过时序融合和类人注意力的 Token 剪枝技术，成功解决了自动驾驶 VLA 模型中多帧多视角输入带来的计算瓶颈，在显著提升推理效率的同时，实现了甚至超越密集基线模型的规划性能，为下一代高效能自动驾驶系统奠定了重要基础。