💻 computer science

Three-Step Hierarchical Transformer for Multi-Pedestrian Trajectory Prediction

本文提出了一种三阶段分层 Transformer，它通过显式分离时间编码、多模态融合与社交交互推理，在提升可扩展性与可解释性的同时，在真实世界数据集上实现了最先进的行人轨迹预测性能。

原作者： Raphaël Delécluse, Hazem Wannous, Laurent Grisoni, Laurent Guimas

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Raphaël Delécluse, Hazem Wannous, Laurent Grisoni, Laurent Guimas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正站在一个繁忙的火车站里，试图猜测某个人在接下来的几秒钟内会出现在哪里。为了做好这件事，你需要观察三件不同的事情：

他们现在的运动状态（是在快走？还是在停下脚步？）。
他们的肢体语言传达了什么（是在转头吗？还是正拎着一个暗示他们可能会停下来的行李箱？）。
他们周围的其他人在做什么（是否有人群挡住了他们的路径？还是有朋友在向他们招手示意？）。

大多数尝试进行此类预测的计算机程序都会感到不堪重负。它们试图同时观察这三件事，这使得数学计算变得混乱、缓慢且难以理解。

这篇论文介绍了一种名为**三步分层 Transformer（Three-Step Hierarchical Transformer）**的新型计算机模型。你可以把它想象成一个由三名专业侦探组成的流水线团队，而不是一个试图包揽一切的侦探。

三步侦探团队

第一步：“运动追踪器”（时间编码器/Temporal Encoder）
首先，模型只观察这个人过去的路径。它忽略肢体语言，也忽略其他人。它就像一名只盯着跑道看的跑步者。

它的作用： 它会问：“根据这个人过去几秒钟的轨迹，他们接下来很可能会去哪里？”
类比： 想象一位气象预报员，他只观察风速。他们可以预测风暴是否即将来临，但还不知道是否已经开始下雨了。这一步生成了未来路径的“草稿”。

第二步：“肢体语言阅读者”（模态解码器/Modality Decoder）
接下来，模型利用额外的线索对那个草稿进行精细化处理。它观察人的姿态（是在转头吗？）、边界框（他们的体积有多大？），或者其他的视觉细节。

它的作用： 它会问：“运动追踪器说他们会直走，但看！他们在向左转头。让我们调整一下路径。”
类比： 这就像一名侦探看到了一个紧握地图的嫌疑人。即使嫌疑人当时正走直线，地图也暗示他可能会在某个转角处停下。模型使用一个“智能摘要”（轻量级的 GRU）来快速消化这些肢体线索，而不会被过多的数据所困扰。

第三步：“人群管理者”（场景 Transformer/Scene Transformer）
最后，模型观察整个场景。它将目标人物经过精细化处理后的路径，与人群中所有其他所有人的路径进行对比。

它的作用： 它会问：“如果这个人向左走，会撞到人吗？那群人是在一起移动吗？”它会调整路径，以确保这个人不会撞墙或撞到朋友。
类比： 这就像一位管弦乐团的指挥。指挥不仅听小提琴，还要听小提琴如何与鼓和长笛配合。如果鼓声变大了，小提琴可能就需要演奏得轻一些。在这里，模型确保了一个人的路径在整个人群的语境下是合理的。

为什么这种设计很特别

1. 它很高效（节省能量）
如果你尝试同时进行这三个步骤（同时观察时间、肢体语言和整个人群），计算机必须进行大量的数学运算，就像试图解决一个每一个碎片都与其它所有碎片相连的巨大拼图。这会变得太慢且成本太高。

论文的观点： 通过将其分解为三个步骤，模型只在必要时才进行繁重的数学运算。这就像分拣邮件：先按国家分，再按城市分，最后按街道分。这比试图一次性把每封信都按所有可能的地址进行分拣要快得多。

2. 它很灵活（处理缺失信息）
有时摄像头可能会错过一个人的脸部，或者视频画面可能会模糊。

论文的观点： 因为步骤是分离的，如果“肢体语言”步骤错失了一个线索，模型仍然可以利用“运动追踪器”和“人群管理者”步骤做出一个不错的猜测。它不会仅仅因为某一部分信息缺失就导致系统崩溃。

3. 它很清晰（易于理解）
由于步骤是分开的，研究人员可以观察模型并说：“啊，错误发生在第二步，而不是第三步。”这使得修复和改进变得更加容易。

结果：奏效了吗？

作者在三个数据集（模拟视频游戏以及人们在城市和室内行走的真实视频）上测试了这个“三步团队”。

结果： 该模型的表现优于几乎所有现有的方法。它在预测人们最终落点（最终位移误差/Final Displacement Error）以及平均预测偏差（平均位移误差/Average Displacement Error）方面表现尤为出色。
现实世界的证明： 它在拥挤、混乱的真实环境（如 JRDB 和 Urban 数据集）中同样表现良好，而不仅仅是在完美的、干净的模拟环境中。
特定优势： 论文指出，该模型特别擅长捕捉“早期转向”行为——即通过肢体语言的线索，在人真正开始转向之前就预测出他们即将转向。

总结

简而言之，这篇论文提出了一种更聪明的方法来让计算机猜测行人的去向。它没有采用那种把所有东西都混在一起的混乱的“大杂烩”方法，而是使用了一个三步流水线：

观察运动。
阅读肢体语言。
检查人群。

这种方法更快，消耗的计算机资源更少，并且能更准确地预测我们在繁忙世界中的移动方式。

技术摘要：用于多行人轨迹预测的三阶段分层 Transformer

问题定义

行人轨迹预测是自动驾驶导航、人群分析和安全监测中的一项关键任务。其挑战在于如何在拥挤且复杂的环境中，同时对三个复杂因素进行建模：时间动态（运动演化）、多模态线索（例如身体姿态、边界框、速度）以及社会交互（智能体之间的影响）。

现有的方法通常孤立地处理这些因素，或者将它们纠缠在单个计算昂贵的注意力模块中。仅基于轨迹的模型难以捕捉由身体关节运动所揭示的意图线索，而多模态模型往往依赖于过于简单的融合策略。此外，将时间、多模态和社交信号合并到一个统一的注意力机制中，由于相对于智能体数量、时间步和模态数量的二次方复杂度，往往会导致扩展性差、可解释性降低以及计算成本过高的问题。

方法论

作者提出了一种三阶段分层 Transformer，它将推理过程显式地解耦为三个互补的层面：时间编码、多模态融合和场景级交互推理。这种结构化的分解旨在提高可扩展性、灵活性和可解释性。

1. 时间编码器（第 1 阶段）

功能： 独立处理每个行人的轨迹，以捕捉运动动态（速度趋势、方向变化），而不考虑其他模态或智能体。
机制： 使用沿时间维度运行的 Transformer。它接收观测到的轨迹 Token，并附加可学习的未来查询（query）Token，从而在预测时界内（ $T + \Delta$ ）外推出一个初始的未来假设。
输入： 被投影到潜在空间的轨迹特征，并带有复合位置编码（针对时间的正弦编码和针对智能体身份的学习编码）。
输出： 每个行人的初始轨迹假设。

2. 模态解码器（第 2 阶段）

功能： 通过辅助模态（如 3D 姿态、边界框）来优化初始的轨迹假设。
机制： 采用解码器式交叉注意力机制。
- 查询（Queries）： 时间编码后的轨迹嵌入。
- 键/值（Keys/Values）： 模态嵌入。为了确保效率，每个模态序列首先使用轻量级的 GRU（门控循环单元）总结为每个行人单个 Token。这避免了对每种模态进行完整的时序注意力计算。
鲁棒性： 通过注意力掩码自然地处理缺失或可变的模态。
输出： 经过语义和运动学线索增强的优化轨迹嵌入。

3. 场景 Transformer（第 3 阶段）

功能： 在场景层面建模行人间的交互，根据社会上下文调整个体预测。
机制： 在扁平化的时间-智能体 Token 集（ $N \times (T + \Delta)$ ）上运行。一个 Transformer 编码器在所有行人和时间步之间执行自注意力。
逻辑： 由于这些 Token 已经编码了未来的运动假设，注意力机制允许模型对即将发生的社会事件（碰撞、跟随、群体形成）进行推理，并据此调整轨迹。
输出： 传递给轻量级 MLP 预测头的社交优化嵌入，用于生成最终轨迹。

计算效率

该架构通过分解注意力机制解决了标准 Transformer 的二次方复杂度问题（ $O(L^2)$ ，其中 $L = T \times N \times M$ ）：

时间： $O(N \cdot L_1^2)$ ，其中 $L_1 = T + \Delta$ 。
跨模态： $O(N \cdot L_1 \cdot M)$ （由于 GRU 总结，在模态维度上呈线性）。
场景： $O(L_3^2)$ ，其中 $L_3 = N \cdot (T + \Delta)$ 。
这种设计确保了模型在保持表达能力的同时，能高效处理变动的模态数量和智能体数量。

核心贡献

新颖架构： 一个将时间、多模态和社交推理解耦的三阶段分层 Transformer，提供了一个模块化且可解释的框架。
高效融合策略： 引入了一种使用 GRU 总结和解码器式交叉注意力的计算高效的多模态融合方法，实现了异构线索的可扩展集成。
全面评估： 通过在真实世界数据集和竞争性合成数据上的广泛定量、定性和消融研究，证明了其达到最先进（SOTA）性能的能力。

实验结果

模型在三个数据集上进行了评估：JTA（合成）、JRDB（真实室内/室外）以及道路交通中的行人和骑行者（城市）。

定量性能：
- JRDB： 达到了 SOTA 结果，将平均位移误差（ADE）从 0.37m（最佳基准）降低至 0.33m，将最终位移误差（FDE）从 0.72m 降低至 0.67m。
- Urban： 相比仅基于轨迹的方法（0.51m ADE vs. ~0.57m）和多模态基准表现出显著提升，达到 0.96m FDE。
- JTA： 在与顶级多模态基准的对比中取得了竞争性的表现（0.96m ADE, 1.91m FDE）。
消融研究： 证实了完整的分层模型优于缺乏多模态线索或社交推理的变体。具体而言，社交推理显著降低了终点误差，而多模态线索则改善了时间预判。
定性分析： 模型展示了预判复杂行为的能力，如早期转向（利用姿态线索）和交互驱动的调整（让行、跟随）。然而，作者指出，在存在多种可行路径的场景中（例如在弯道处），预测可能会遵循合理但非真实路径的路径，这反映了内在的不确定性。

意义与主张

论文声称，结构化、分层建模为轨迹预测提供了一个强大的基础。通过分离推理过程，模型实现了：

可解释性： 明确区分了时间、模态和社交上下文如何影响预测。
可扩展性： 高效处理变动数量的行人和模态，而不会产生联合注意力的沉重代价。
鲁棒性： 即使在特定模态缺失或存在噪声的情况下也能可靠运行。

作者总结道，其方法有效地平衡了计算效率与建模复杂、多维人类运动的需求，验证了将预测任务分解为专门推理阶段的益处。未来的工作建议将该框架扩展到概率预测和更丰富的场景感知建模。