🤖 machine learning

Rethinking Training & Inference for Forecasting: Linking Winner-Take-All back to GMMs

本文识别了自动驾驶轨迹预测中存在的一种建模-训练不匹配问题，即应用于高斯混合模型的“胜者全得”损失会导致无信息的后验分布，并提出了轻量级的后验推理修正方法——具体为后验加权合并和一步 EM 更新——以在无需重新训练的情况下恢复软模态分配并提高预测精度。

原作者： Qiyuan Wu, Katie Z Luo, Bharath Hariharan, Wei-Lun Chao, Mark Campbell

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qiyuan Wu, Katie Z Luo, Bharath Hariharan, Wei-Lun Chao, Mark Campbell

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图预测繁忙路口的一名行人或一辆汽车下一步会走向哪里。你知道他们可能会左转、右转，或者继续直行。为了安全起见，自动驾驶汽车需要为所有这些可能性做好准备。

这篇论文探讨了当前计算机学习进行此类预测时的一个特定问题。它指出，虽然计算机擅长“寻找”正确的路径，但它们在按发生可能性对路径进行“排序”方面表现得很糟糕。

以下是该论文内容的拆解，使用了简单的类比：

问题所在：“最佳猜测”陷阱

大多数现代自动驾驶模型试图预测 64 条不同的可能路径（模式）。它们应该像天气预报员一样说：“有 60% 的降水概率，30% 的晴天概率和 10% 的降雪概率。”

然而，这篇论文发现，这些模型的训练使用的是一种被称为**“胜者全得”（Winner-Take-All, WTA）**的方法。

类比： 想象一位老师正在给一名画了 64 张不同城市地图的学生评分。老师只看其中最接近真实城市的那一张地图，然后说：“做得好，这一张是对的！”老师完全忽略了其他 63 张地图。
结果： 学生（AI）学会了画 64 张彼此略有不同的地图，但它根本不知道哪一张才是最有可能发生的。它把所有 64 张地图都视为同等重要，或者会对哪一张才是“赢家”感到困惑。

根源：聚类 vs. 概率

作者发现，这种“胜者全得”的训练方法无意中将 AI 变成了一台 K-Means 聚类机器，而不是一台概率机器。

类比： 假设你有一个装满红、蓝、绿三种颜色弹珠的罐子。
- 我们想要的（概率）： AI 应该说：“这个罐子里 50% 是红色，30% 是蓝色，20% 是绿色。”
- AI 正在做的（K-Means）： AI 被要求将弹珠分类成堆。因为它是被强制要求为每一颗弹珠都选出一个“赢家”，所以它最终会将“红色”这一堆拆分成 20 个微小的、独立的红色弹珠堆，仅仅是为了确保每颗弹珠都有属于自己的堆。
- 后果： 现在，与其有一个大的“红色”堆并拥有高概率，不如说你有 20 个微小的、令人困惑的“红色”堆。如果你问 AI：“红色的概率是多少？”，它会看向其中一个微小的堆并说：“非常低！”尽管红色实际上是最常见的颜色。

这被称为过度分割（Over-segmentation）。AI 将一个大的、高概率的未来（比如“右转”）拆分成了许多微小的、低概率的碎片。

解决方案：两个“便利贴”式的修复方法

作者提出了两种修复方法，无需重新训练 AI 模型（因为那既昂贵又缓慢）。你可以把这些看作是在 AI 完成工作后进行的“后处理”步骤。

修复 1：“抱团取暖”（测试时合并/Test-Time Merging）

既然 AI 把一个大的想法拆分成了许多微小的碎片，我们只需把它们粘回去即可。

运作方式： 当 AI 输出 64 条路径时，我们观察这些路径并说：“嘿，这 10 条路径都是试图前往同一个地方的。”我们将它们合并为一条单一且强力的路径。
结果： 与其拥有 10 个微弱的信号，你得到的是 1 个强而清晰的信号。这使得最终的预测更加准确。

修复 2：“现实检查”（一步 EM 更新/One-Step EM Update）

AI 在分配概率方面表现不佳，是因为它被训练为只关心“赢家”。这个修复方法在 AI 做出最终决定之前，给它一个快速的“现实检查”。

运作方式： 我们取出 AI 的 64 条路径，并运行一个快速的数学计算（称为期望最大化，Expectation-Maximization），询问：“如果我们同时观察全部 64 条路径，每条路径实际上应该获得多少概率质量？”
结果： 它重新分配了“选票”。如果 10 条路径都在尝试右转，数学计算会意识到它们都是“右转”这一组的一部分，并给予该组较高的概率得分，而不是将得分分散在 10 个微小的组中。

核心结论

论文表明，通过使用这两个简单的技巧（合并相似路径或进行快速概率检查），我们可以让自动驾驶汽车更好地理解哪种未来是最有可能发生的，而无需重新训练复杂的 AI 模型。

之前： AI 看到 64 条路径，对哪条最好感到困惑，并且可能因为概率得分混乱而选错路径。
之后： AI 仍然看到 64 条路径，但我们清理了混乱，将相似的路径分组，从而得到了一个清晰、准确的最可能未来的排名。

作者在真实世界的驾驶数据（NuScenes 和 Waymo 数据集）上测试了该方法，发现这些简单的修复显著提高了预测的准确性。

技术摘要：重新思考预测任务中的训练与推理

问题陈述
自动驾驶领域的轨迹预测技术已取得显著进展，许多最先进的模型通过生成多个候选轨迹来捕捉智能体未来行为的多模态特性。这些模型通常输出一组 $K$ 个候选轨迹（通常 $K=64$ ）及其关联的概率，旨在表示一个条件高斯混合模型（GMM）。然而，存在一个关键瓶颈：预测的模态概率往往缺乏信息量。模型经常会对正确的、常见的行为分配较低的似然度，或者在相似的候选轨迹之间表现出不稳定的概率。这导致了无效的模态剪枝，即标准的选择方法（例如对前 $K$ 个概率进行贪婪选择）无法检索到概率最高的未来轨迹，从而可能导致过度保守或不安全的规划行为。

作者认为其根本原因是建模与训练之间的不匹配。虽然这些模型旨在表示 GMM，但它们是使用**胜者全拿（Winner-Take-All, WTA）**损失函数进行训练的。WTA 目标将每个地面真值（ground-truth）样本分配给其最近的一个预测模态（硬分配），以防止模态崩溃（即所有模态都收敛到单个预测值）。作者认为，虽然 WTA 成功地鼓励了多样性，但这种硬分配从根本上将学习目标从纯粹的概率 GMM 估计转向了 K-Means 聚类目标。这种转变导致了两个主要问题：

过度分割（Over-segmentation）： 单个真实的某种行为模式（例如“右转”）被碎片化为多个不同的预测模态，每个模态各占一部分数据。
无信息后验（Uninformative Posteriors）： 由于单个真实行为的概率质量被分散到许多碎片化的模态中，单个模态的概率显得很低，使其在排序或选择时变得不可靠。

方法论
本文提出了一个统一的视角，将通过 WTA 训练的预测器视为 K-Means 聚类的变体，而非纯粹的 GMM。基于这一见解，作者引入了两种轻量级的后处理方法，无需重新训练基础架构：

测试时后验加权合并（Test-Time Posterior-Weighted Merging）：
意识到 WTA 会导致过度分割，该方法通过聚合邻近的候选轨迹来进行处理。它采用了一种类似于 K-Means 聚类的迭代过程：
- 根据最终路点（waypoints）的欧几里得距离，将初始预测轨迹分配给最近的聚类中心。
- 使用加权平均公式重新计算聚类中心，其中权重为预测的混合概率。
- 重复此过程直到收敛。
  这有效地将碎片化的模态合并为连贯的行为簇，从而恢复了真实的分布分量。
单步期望最大化（EM）更新：
为了直接解决无信息概率的问题，作者建议用软责任（soft responsibilities）取代训练中使用的硬标签。这涉及将单步 EM 应用于后处理或微调步骤：
- E 步（E-step）： 在给定地面真值和当前模型参数的情况下，计算每个模态的软责任（ $w_k$ ），即有效地计算后验概率 $p(k | \mathbf{y}^*)$ 。
- M 步（M-step）： 更新混合权重（ $\hat{p}_k$ ）以最大化这些软分配下的似然度。
  这一步骤在相邻模态之间共享概率质量，纠正了“硬”分配偏差，并产生了更可靠的模态排序。

核心贡献

理论统一： 本文提供了一个原则性的解释，将 WTA 训练目标与 K-Means 聚类联系起来，阐明了为什么 WTA 训练的模型尽管成功实现了多样性，却仍会出现过度分割和无信息概率的问题。
实际修正： 作者引入了两种后处理策略（合并与单步 EM），使推理时的概率假设与训练目标保持一致。这些方法在不重新训练底层深度学习架构的情况下，提高了模态后验的质量。
实证验证： 该方法在 NuScenes 和 Waymo Open Motion (WOMD) 数据集上，通过三种代表性的 WTA 训练模型（Wayformer, MTR-e2e, 和 EMP）得到了验证。

结果
实验表明，所提出的处理方法显著提升了预测性能：

合并（Merging）： 基于聚类的合并在位移指标（minADE, minFDE）和 Brier-minFDE 上优于朴素的贪婪选择和非极大值抑制（NMS）。在某些情况下（例如 MTR-e2e），合并的效果甚至略优于直接训练以预测最终模态数量（ $M=5$ ）的模型。
单步 EM（One-Step EM）： 应用 EM 更新提高了贪婪选择和 NMS 选择的准确性。在 NuScenes 上，与原始贪婪选择相比，使用单步 EM 进行微调使 Wayformer 的 Brier-minFDE 降低了高达 29%，使 MTR-e2e 降低了 20%。
似然质量（Likelihood Quality）： 在执行 EM 步后，地面真值的负对数似然（NLL）显著改善，表明修正后的概率能更好地反映数据的真实分布。minFDE 误差的分布向更准确的预测偏移，且概率质量能更有效地集中在正确的未来行为上。

意义与主张
本文声称，其分析为运动预测中普遍存在的一个问题提供了“原则性的、实用的修正”。通过将 WTA 目标重新定义为 K-Means 的一种变体，作者为为什么标准的后处理选择会失效以及如何修复它提供了理论依据。其重要性在于，提供了一种在不承担全量重新训练的计算成本或在初始模型开发过程中进行复杂的迭代 EM 训练的情况下，使推理时的概率建模假设与训练目标保持一致的方法。作者建议，如果需要模态数量的灵活性，从业者应使用基于聚类的合并；如果优先考虑推理速度，则应应用单步 EM 微调，从而获得比标准贪婪选择方法更高的准确度。