技术摘要：FLARE——从视觉语言模型中学习面向未来的潜在表征以用于自动驾驶

1. 问题陈述

当前的端到端自动驾驶（AD）系统在整合视觉语言模型（VLMs）时面临两个主要局限：

1. 标注瓶颈与语义偏差：现有方法严重依赖劳动密集型语言标注（例如视觉问答、场景描述）来将 VLM 与驾驶任务对齐。这种范式收益递减，引入了与实际驾驶行为不一致的语义偏差，且未能充分利用大型 VLM 的参数容量。
2. 离散 - 连续不匹配：VLM 使用的离散语言令牌与驾驶轨迹的连续性质之间存在根本性的不兼容。将动作令牌化会导致离散化误差、稀疏的监督信号以及不稳定的控制策略，使其难以处理细粒度的运动规划。

该论文认为，依赖显式文本生成或动作令牌化会阻碍 VLM 有效学习驾驶动力学中那些 tacit（意会）、不可言说的细微差别。

2. 方法论：FLARE 框架

FLARE（面向未来的潜在表征）是一个新颖的端到端框架，旨在激活预训练 VLM 的视觉语义能力，而无需语言监督。它通过三个核心组件弥合了高层推理与底层控制之间的差距：

A. 自监督未来特征预测

FLARE 不将目标对齐于文本，而是引入一个自监督目标，直接在潜在空间中预测未来的场景动态。

• 机制：模型被训练以重建未来帧的细粒度DINOv2 特征图块，而非生成文本或像素级图像。
• 原理：预测语义图块迫使骨干网络捕捉空间明确的场景动态和物体持久性。这提供了稠密的、连续的梯度，比稀疏的动作令牌更有效地利用了 VLM 的容量。
• 心理模拟：通过将预测器条件化于计划的动作意图，模型执行“动作条件”的未来模拟，预判特定决策如何影响环境。

B. 基于分层的查询融合模块

为了有效利用 VLM 的输出进行规划，FLARE 采用了两阶段的多模态注意力池化（MAP）机制：

1. 视觉压缩：视觉令牌被压缩为一组紧凑的视觉潜在变量，提炼出场景级的语义内容。
2. 状态条件聚合：一个动作 MAP 模块将这些视觉潜在变量聚合成单个决策向量。关键在于，该过程使用车辆的自车状态嵌入（速度、加速度、历史轨迹）作为初始化查询。这确保了视觉聚合是基于车辆的动态状态和导航意图进行条件化的。

C. 双头预测与 GRPO 优化

该框架采用双头架构：

1. DiT 规划器：一个条件扩散 Transformer（DiT）生成多模态未来轨迹，其基础是融合的动作查询和物理约束。
2. 未来特征预测器（FFP）：辅助头预测目标帧的 DINOv2 特征。

训练策略：

• 阶段 1（监督微调 - SFT）：模型通过复合损失进行联合优化，该损失平衡了轨迹生成（去噪分数匹配）和未来特征预测（幅度回归和方向对齐）。
• 阶段 2（强化微调 - RFT）：为了解决模仿学习在处理罕见安全违规方面的局限性，FLARE 采用组相对策略优化（GRPO）。该方法基于安全、进展和舒适度，使用不可微的奖励函数（PDM 分数）来优化策略，而无需单独的价值网络。同时引入行为克隆（BC）正则化损失以防止策略崩溃。

3. 主要贡献

1. 未来特征预测目标：一种新颖的自监督任务，通过重建空间 DINOv2 图块，使 VLM 能够从无标签视频数据中学习鲁棒的运动表征，并缓解了纯动作令牌监督的稀疏性问题。
2. 基于查询的融合与 GRPO 集成：一种两阶段融合机制，对齐视觉和状态模态，并结合 GRPO 对轨迹策略进行微调，以优化安全关键结果，而非简单的模仿。
3. 最先进的性能：在仅使用单摄像头输入的情况下，FLARE 在 SFT 和 RFT 设置下均在 NAVSIM 基准测试中取得了 VLM 类方法的新 SOTA 结果。

4. 实验结果

作者在NAVSIM基准测试（v1 和 v2）上评估了 FLARE，使用了 PDM 分数（PDMS）和扩展 PDM 分数（EPDMS）。

• SFT 性能：FLARE-4B 实现了86.9 的 PDMS，超越了 ReCogDrive-8B（86.8），同时参数减半（4B 对 8B）。它显著优于基线 QwenVL3-4B（+6.1 PDMS），尽管仅使用单摄像头，仍缩小了与 DiffusionDrive（88.1）和 WoTE（88.3）等多传感器端到端模型的差距。
• RFT 性能：通过强化微调，FLARE-4B 达到了91.4 的 PDMS，优于 ReCogDrive-2B（90.8）和 ReCogDrive-8B（90.5）。虽然其他方法（如 DriveVLA-W0）报告了更高的分数，但它们依赖于“最佳 N 选”采样策略；在公平的单样本评估下，FLARE 在基于 VLM 的方法中取得了最佳性能。
• NAVSIM v2：FLARE 实现了86.3 的最高 EPDMS，证明了其在安全性和舒适度（NC、TTC）方面的平衡优于那些往往牺牲一方以换取另一方的基线方法。
• 消融研究：
  • 预测目标：空间 DINO 预测（本文方法）取得了最高性能（86.9），优于全局特征预测（85.9）和像素级预测（84.7），证实了保留空间粒度的重要性。
  • 融合模块：移除两阶段 MAP 融合或自车状态注入分别导致性能显著下降（PDMS 分别下降 1.9 和 2.1），验证了状态条件视觉聚合的必要性。

5. 意义与主张

该论文主张，FLARE 验证了一种高效的自动驾驶范式：通过预测性自监督而非显式语言生成来利用 VLM 的世界知识。

• 范式转变：它证明了 VLM 可以有效地适应驾驶，而无需大规模语言标注数据集带来的成本和偏差。
• 鲁棒性：通过预测未来潜在特征，模型学会了直接预判场景动态和自车运动，弥合了离散令牌与连续控制之间的不匹配。
• 可扩展性：该方法提供了一条可扩展的路径，用于利用大规模无标签轨迹数据，有望克服当前模块化或纯监督端到端系统的数据覆盖局限性。

作者得出结论，FLARE 成功解锁了 VLM 用于连续控制的视觉语义推理能力，在单摄像头设置下实现了最先进的安全性和规划质量。