技术摘要：DecompGAIL

问题陈述

真实的交通模拟对于自动驾驶开发至关重要，然而现有的模仿学习（IL）方法在建模复杂人类行为方面仍面临挑战。行为克隆（Behavior Cloning, BC）受困于协变量偏移（covariate shift），即随着学习到的策略偏离专家状态分布，误差会不断累积。生成对抗模仿学习（Generative Adversarial Imitation Learning, GAIL）通过对齐轨迹分布提供了一个理论上的解决方案，但在多智能体设置中面临严重的训练不稳定问题。

作者确定了这种不稳定性的一个特定根源，称之为无关交互误导（irrelevant interaction misguidance）。在标准的去中心化 GAIL 中，判别器评估自车（ego vehicle）的局部观测。然而，如果相邻智能体的行为不真实（例如，彼此发生碰撞），判别器会惩罚自车的真实行为，因为其组合状态（自车 + 不真实的邻居）偏离了专家数据。判别器过度加权了弱相关的邻居–邻居以及邻居–地图交互，这些交互与自车的动作没有因果联系，却又受到学习策略的影响。随着邻居数量的增加，这种噪声呈二次方增长，导致奖励信号不稳定且具有误导性。

方法论：DecompGAIL

为了解决这一问题，作者提出了 DecompGAIL（分解式多智能体生成对抗模仿学习），并将其集成到轻量级的基于 SMART 的 Transformer 主干网络中。该框架由三个核心组件组成：

1. 分解式判别器 (Decomposed Discriminator)

不同于将所有智能体和地图 Token 融合为单一特征的单体判别器，DecompGAIL 将真实性显式地解耦为两个独立的组成部分：

• 自车–地图（场景）真实性 ($S_t^i$)： 评估自车轨迹与静态地图上下文的一致性，忽略邻居交互。
• 自车–邻居（交互）真实性 ($I_{t}^{ij}$)： 评估自车与每个特定邻居之间成对交互的合理性。

通过设计，这种架构抑制了邻居–邻居和邻居–地图的交互（即作者分解式中的 $\phi_3$ 和 $\phi_4$ 项），防止判别器因他人的失败而惩罚自车。判别器使用针对专家样本和策略样本的二元交叉熵（BCE）损失进行训练。

2. Social PPO 目标函数

为了优化策略，作者引入了 Social PPO 目标函数。智能体 $i$ 的奖励是其场景得分和成对交互得分的加权和。至关重要的是，该自车奖励通过距离加权的邻域奖励进行了增强：
$$r_t^{S_i} = r_t^i + \sum_{j \in N_i} \lambda_{ij} r_t^j$$
其中 $\lambda_{ij}$ 是随距离衰减的权重。这鼓励智能体在提升自身真实性的同时，不会降低附近智能体的真实性，从而促进协作稳定性。

3. 训练流水线

该框架遵循两阶段过程：

1. BC 预训练： 使用专家数据进行行为克隆来初始化策略，以提供强大的起点并降低计算成本。
2. DecompGAIL 微调： 使用 PPO 进行策略微调，由分解式判别器提供代理奖励。

核心贡献

本文做出了三个主要贡献：

1. 识别了无关交互误导： 作者证明了标准去中心化 GAIL 判别器通过过度强调与自车动作无因果关系的弱相关高阶交互（邻居–邻居），从而导致了训练不稳定。
2. DecompGAIL 架构： 他们提出了一种分解式判别器，能够分别建模自车–场景和自车–邻居的真实性，同时抑制无关信号，从而产生更稳定且信息丰富的奖励。
3. 达到最先进性能： 该方法在 WOMD Sim Agents 2025 基准测试中达到了最先进的真实性水平，超越了现有的 BC、数据增强和基于强化学习（RL）的基准模型。

实验结果

在 Waymo 开源运动数据集（WOMD）上使用 WOSAC 2025 排行榜指标进行了评估：

• 稳定性： DecompGAIL 在整个训练过程中保持了较低的判别器得分方差和模拟真实性，而标准的参数共享 GAIL（PS-GAIL）则表现出随着邻居数量增加而导致的方差增大和性能下降。
• 性能： DecompGAel 在所有测试模型（包括 Token 化模型如 SMART-R1, TrajTok 以及连续模型 UniMM）中取得了最高的真实性元指标（Realism Meta-Metric, 0.7864）。
• 指标细分： 该方法在交互性（Interactive）（0.8152）和基于地图（Map-based）（0.9176）指标上持续优于基准模型，表明其具有卓越的碰撞规避和道路遵循能力。
• 消融实验： 去除分解机制（使用单体判别器）或移除社会化奖励机制会导致真实性和碰撞概率显著下降，证实了这两个组件的必要性。

重要性

本文声称 DecompGAIL 通过修正奖励信号对无关环境噪声的敏感性，解决了多智能体模仿学习中的一个根本性不稳定问题。通过将自车行为与邻居的失败解耦，该方法能够在复杂、高密度的交通场景中实现稳定训练。作者将这项工作定位为迈向高保真交通模拟器的关键一步，此类模拟器可以可靠地压力测试自动驾驶策略，而不会产生训练不稳定或协变量偏移带来的伪影。