Mode-as-Sequence: Translating Multimodal Motion Prediction into Unified Sequential Mode Modeling
本文提出了“模式即序列”（Mode-as-Sequence），这是一个统一框架，将无序的多模态运动预测转化为有序序列以显式建模模式依赖性，从而通过循环或并行解码策略解决模式崩溃和置信度校准问题，这些策略在 Waymo 开放数据集挑战赛中取得了顶尖排名。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在预测一名司机在繁忙的十字路口下一步会做什么。他们可能左转、右转、直行或停车。在现实世界中，并不只有一个“正确”答案；存在多种合理的未来。这被称为多模态预测。
问题在于，当我们训练计算机执行此任务时，我们只向他们展示实际发生的一个例子（真实标签）。我们并没有向他们展示司机可能做的所有其他事情。这就像向学生展示一道数学题及其解法，然后要求他们猜测五种不同的方法来解决一个类似的问题。如果没有足够的示例，学生往往会感到困惑，给出五次相同的答案（冗余），或者无法判断哪个答案最有可能（置信度差）。
本文介绍了一种教计算机处理这种不确定性的新方法，称为模式即序列（Mode-as-Sequence）。
旧方法：“霰弹枪”式方法
传统上，人工智能模型试图在同一时刻猜测所有可能的未来，就像发射霰弹枪，希望弹丸能覆盖目标。
- 缺陷：由于它们同时猜测所有内容且彼此不交流，模型经常产生五个相同的猜测（模式崩溃），或者无法正确地对它们进行排序。这就像让五个人独立猜测天气；即使“下雨”也是可能的，他们可能都猜“晴天”，或者他们可能都以相同的置信度猜测不同的事情，使得很难确定该相信哪一个。
新方法：“讲故事者”式方法
作者提出了模式即序列。模型不再一次性猜测所有内容，而是像讲故事一样，一章接一章地讲述。
- 工作原理：模型首先猜测最可能的未来（第一章）。然后，它审视该猜测并问道：“好的，我已经预测了这个。接下来最可能且不同的事情是什么？”（第二章）。接着它对第三章重复此过程，依此类推。
- 优势：通过按顺序构建列表，模型被迫保持多样性。它无法简单地重复第一个猜测，因为那个想法已经被“用掉”了。它自然地学会了说：“如果汽车不左转，它很可能直行。”
两种“讲故事者”版本
本文提出了该思想的两个版本：
- ModeSeq（谨慎的写手）：此版本一次写一个句子。在写下一句之前，它会花点时间思考前一句。这非常准确并能确保极佳的多样性，但如果你需要写一个很长的故事（预测许多未来），它可能会稍微慢一些。
- 并行 ModeSeq（速度写手）：此版本是一个巧妙的技巧。它同时写出所有句子（这对计算机来说快得多），但它使用特殊的“掩码”（像眼罩一样），这样当它写第 3 句时，只能“看到”第 1 句和第 2 句。它不能偷看第 4 句。这保持了故事的逻辑流，同时允许计算机高速工作。
训练技巧：“早期匹配，全取”
当你只有一个结局可以展示时，如何教模型写好一个故事？作者发明了一种名为**早期匹配全取（EMTA）**的训练策略。
想象一位老师正在批改学生列出的 5 个猜测。
- 旧方法：老师找到最佳猜测，给它打 A，然后忽略其他四个。学生学会只是反复重复那个 A。
- EMTA 方法：老师从上到下查看列表。一旦他们找到一个与真实结果匹配的猜测，他们就给那个特定猜测打 A。然后他们告诉学生：“太好了！你提前找到了。现在，对于列表的其余部分，你必须找到不同的可能发生的事情。不要重复你已经做对的那个。”
- 结果：模型学会将最可能的答案放在顶部（高置信度），并用独特、替代的可能性填充列表的其余部分。
为什么这很重要
作者在 Waymo 和 Argoverse 的大规模真实世界驾驶数据集上测试了这种方法。
- 更好的排序：模型在将最可能的未来排在列表顶部方面表现得更好，这对于自动驾驶汽车做出安全决策至关重要。
- 更少的冗余：猜测更加多样化；汽车不会只是预测五次“左转”。
- 现实世界的成功：这种方法非常有效，以至于作者的团队在 2024 年 Waymo 运动预测挑战赛中获得了第一名（未使用昂贵的激光雷达传感器），并在 2025 年交互预测挑战赛中获得了第一名。
简而言之，通过改变计算机思考未来可能性的方式——将混乱的列表转化为有序的故事——本文解决了在教人工智能理解混乱、不可预测的现实世界方面的一个主要难题。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。