💻 计算机科学

UniMotion: A Unified Motion Framework for Simulation, Prediction and Planning

UniMotion 是一个统一的、仅解码器（decoder-only）的 Transformer 框架，它通过共享表示和定制化训练策略，将运动模拟、预测和规划任务进行集成，在 Waymo Open Motion 数据集上实现了最先进的性能并增强了可扩展性。

原作者： Nan Song, Junzhe Jiang, Jingyu Li, Xiatian Zhu, Li Zhang

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nan Song, Junzhe Jiang, Jingyu Li, Xiatian Zhu, Li Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教会一个机器人如何在繁忙的城市中开车。为了做到安全驾驶，这个机器人需要掌握三种不同的“超能力”：

模拟（Simulation）： 假装成其他驾驶员，看看他们可能会如何行动（就像汽车的飞行模拟器一样）。
预测（Prediction）： 猜准其他车辆在接下来的几秒钟内会精确地走向何方。
规划（Planning）： 决定机器人自己的车应该采取的最佳路径。

直到现在，研究人员通常是为这三项工作构建三个不同的“大脑”。一个大脑擅长猜测，一个大脑擅长伪装，而第三个大脑擅长规划。但这篇文章的作者们，UniMotion，提出了一个简单的问题：既然它们都在做相同的底层工作，为什么我们还需要三个不同的脑子？

他们意识到，理解车辆如何相互作用、如何移动以及如何对道路做出反应，实际上是同一种技能，只是应用方式不同。因此，他们构建了 UniMotion——一个单一的、统一的“超级大脑”，可以同时胜任这三项工作。

核心理念：一个大脑，三顶帽子

把 UniMotion 想象成一位多才多艺的演员，可以扮演剧中的三种不同角色：

即兴表演者（模拟）： 这位演员创造各种随机、多样化的场景来进行练习。“如果那辆车向左转向怎么办？如果它突然停下来怎么办？”
预言家（预测）： 这位演员观察当前的场景并说道：“我打赌那辆卡车会在 3 秒后右转。”
导演（规划）： 这位演员决定主角（即主车）的剧本：“好了，既然卡车要右转，我们应该减速并向左变道。”

与其雇佣三位不同的演员并寄希望于他们能互相理解，不如让 UniMotion 成为一位能根据不同场景切换不同帽子的演员。因为它是同时学习这三个角色的，所以它在掌握“理解交通”这一核心技能方面，比任何专门的演员都要出色。

它是如何工作的：“标记（Token）”小技巧

为了实现这一点，团队必须将混乱的现实道路转化为计算机能够轻松理解的语言。他们使用了一种叫做**标记化（tokenization）**的技术。

想象一下，将一条蜿蜒的长路和一辆行驶中的汽车切分成一个个微小的、统一的乐高积木块。

一辆车的路径变成了一串乐高积木。
道路标线也变成了一串乐高积木。

随后，计算机将这些积木块视为句子中的单词。就像语言模型（比如你现在正在与之交谈的这个模型）会预测句子中的下一个单词一样，UniMotion 会预测车辆路径的下一个“乐高积木”。

对于模拟： 它玩一场“填空游戏”，以生成许多种可能的未来。
对于预测： 它观察过去的积木块，并计算出最可能的未来积木块。
对于规划： 它利用预测出的其他车辆的积木块，来决定自己的下一步行动。

秘诀：共同训练，然后专业化

论文描述了一个两阶段的训练过程，这就像一个学生先参加通识考试，然后再进行职业专业化学习。

联合训练（通才阶段）： 模型同时接受所有三项任务的训练。它学习交通规则的共有法则。这使得它非常鲁棒，并且擅长把握大局。论文表明，这种“集体学习”的方法实际上有助于提高模型在单个任务上的表现，因为这些任务会相互启发。
微调（专家阶段）： 一旦模型掌握了基础知识，研究人员就会针对它需要执行的具体工作进行额外的“专业化教练指导”。
- 如果它需要成为一个模拟器，他们会使用奖励系统（类似于电子游戏得分）来教它变得更真实并避免碰撞。
- 如果它需要成为一个预测器，他们会添加一个特殊工具来帮助它预测多种可能的结果（因为人类是不可预测的）。
- 如果它需要成为一个规划器，他们会教它信任自己对其他车辆的预测，从而做出更安全的决策。

结果

团队在名为 Waymo Open Motion Dataset 的大规模真实驾驶场景数据集上测试了这个“超级大脑”。

在模拟方面： 它成为了创建逼真交通场景的最佳模型之一，击败了以往的专门化模型。
在预测方面： 它准确地猜中了车辆的去向，达到了或超越了顶尖竞争对手的水平。
在规划方面： 它为主车做出了最安全且最高效的驾驶决策。

总结

该论文认为，通过将这些任务统一到一个框架内，我们得到的不仅仅是一个能做三件事的模型；我们得到了一个对交通理解得比部分之和更深的模型。这就像是意识到一位名厨不需要三个不同的厨房来分别进行切菜、烹饪和摆盘——他只需要一个优秀的厨房和能够随任务切换的正确工具。UniMotion 就是自动驾驶领域的那间“大师级厨房”。

技术摘要：UniMotion

问题陈述

运动理解是自动驾驶的核心，涵盖了三个基础任务：运动模拟（motion simulation）、轨迹预测（trajectory prediction）和自车规划（ego planning）。尽管这些任务对于建模动态交通场景至关重要，但传统上它们被作为独立的任务，使用专门的模型设计来处理。这种分离阻碍了跨任务的泛化能力，限制了系统的可扩展性，并忽略了从其共享的基础能力中获得的潜在互利：即对多智能体交互、运动行为建模以及时空动态推理的理解。现有方法往往无法利用多样化运动生成（模拟）与长程轨迹预测（预测/规划）之间的共同点，导致了冗余的开发工作和碎片化的知识。

方法论

作者提出了 UniMotion，这是一个统一的运动框架，旨在捕捉不同运动任务之间的共享结构，同时兼顾它们的特定需求。该框架构建在 仅解码器（decoder-only）Transformer 架构之上，该架构因其简洁性、可扩展性和强大的生成能力而被选中。

1. 统一表示与架构

标记化（Tokenization）： 为了确保泛化性，框架通过标记化对输入进行标准化。智能体轨迹按固定间隔进行分割并聚类，以形成智能体标记词表（ $S_a$ ）。类似地，高精地图（HD map）多段线被分割并聚类，以创建地图标记（ $S_m$ ）。这些标记被嵌入为特征向量（ $E_a$ 和 $E_m$ ）。
编码器-解码器结构： 模型采用地图编码器来处理地图特征（ $F_m$ $F_{m}$ ），并使用一个分解的智能体解码器。解码器利用三种注意力机制：
- 时间自注意力（Temporal self-attention）。
- 智能体-地图交叉注意力（Agent-map cross-attention）。
- 智能体-智能体自注意力（Agent-agent self-attention）。
- 使用相对位置嵌入来保持在坐标变换下的不变性。

2. 联合训练策略

UniMotion 通过将三个任务抽象为两个基本组成部分——多样化运动生成和长程轨迹预测，从而实现统一。模型使用特定任务的注意力掩码和定制的目标进行联合训练：

运动模拟： 被建模为一个自回归语言生成任务。它使用**因果注意力掩码（causal attention mask）和下一标记预测（Next-Token Prediction, NTP）**来迭代生成多智能体状态，强调短期多样性。
轨迹预测： 被视为一个序列到序列（sequence-to-sequence）任务。它采用 seq2seq 注意力掩码（历史标记相互关注；未来标记关注历史及先前的未来标记）。至关重要的是，它引入了长程未来回归（Long-range Future Regression, LFR），用归一化轨迹回归取代标记分类，以直接预测完整的长程轨迹，确保准确性。
自车规划： 被视为生成与预测的结合。模型首先预测周围智能体的未来轨迹，然后基于这些预测逐步生成自车的轨迹。

3. 任务特定微调

为了在特定应用中达到最先进的性能，该框架采用了专门的微调策略，且不引入新参数：

模拟（基于强化学习）： 利用强化学习（具体为 GRPO）使生成的轨迹与人类驾驶行为及交通规则对齐。奖励函数结合了运动学相似度（地面真值的对数似然）和碰撞规避。
预测（多模态）： 引入了一个带有**意图锚点（intention anchors）**的轻量级 Transformer 解码器来优化多模态输出，增强轨迹的多样性和置信度。
规划（Pred2Gen）： 解决预测智能体标记与训练数据之间的分布不匹配问题，通过以端到端监督方式使用预测结果（在必要时进行过滤并用地面真值替换）来微调自车生成过程。

核心贡献

统一框架： 本文将运动任务抽象为两类核心范畴，并提出了 UniMotion，这是一个基于 Transformer 的框架，通过联合建模模拟、预测和规划，来促进泛化性和跨任务的知识共享。
通过微调实现专业化： 作者设计了有效的微调策略（用于模拟的 RL、用于预测的多模态解码以及用于规划的 Pred2Gen），使联合训练的模型能够掌握特定任务的专业能力。
实证验证： 在 Waymo Open Motion Dataset (WOMD) 上的广泛实验表明，联合训练带来了鲁棒的泛化能力，而微调版本在所有三个运动任务上均达到了最先进的水平。

实验结果

模型在 Waymo Open Motion Dataset（486k 个训练场景）上进行了评估。

模拟： 在 Waymo Open Sim Agents Challenge 中，UniMotion 实现了 0.7851 的真实性元指标（Realism Meta Metric），超过了之前的模型如 UniTFormer (0.7776) 和 LLM2AD (0.7779)。由于采用了基于 RL 的微调，该模型在运动学指标方面表现尤为突出。
预测： 在 WOMD 预测排行榜上，UniMotion 实现了 minADE 为 0.5718 且 minFDE 为 1.1643，在与 EDA 和 RMP-YOLO 等顶尖方法的竞争中处于领先地位。
规划： 在 Waymo 规划基准测试中，UniMotion 显著优于以往的方法，在 1 秒时达到 0.083 的规划误差，在 5 秒时达到 2.246，且与模仿学习基准相比，碰撞率和红灯违规率明显更低。

消融研究证实，结合 NTP 和 LFR 的联合训练比单任务训练效果更好，且针对特定任务的微调在所有指标上都提供了持续的提升。

重要性与主张

本文声称，UniMotion 通过证明运动任务（通常被视为孤立的问题）共享可以被用于联合优化的基本结构，建立了一个多功能且可扩展的解决方案。作者认为，这种统一的方法不仅实现了高效的表示共享，还允许通过微调进行针对性的专业化，从而弥合了通用运动理解与专家级任务性能之间的差距。

这项工作强调，虽然仅解码器框架提供了灵活性，但它依赖于详细的位置信息来进行时空交互，这目前限制了更广泛的 LLM 相关技术的直接应用。未来的工作建议探索跨数据集学习，以进一步提高联合训练的性能。