🤖 AI

TrajMamba: An Ego-Motion-Guided Mamba Model for Pedestrian Trajectory Prediction from an Egocentric Perspective

本文提出了一种名为 TrajMamba 的基于 Mamba 架构的自运动引导模型，通过双编码器分别提取行人与自车运动特征，并利用自运动引导的解码器显式建模相对运动，从而在 PIE 和 JAAD 数据集上实现了行人轨迹预测的最先进性能。

原作者： Yusheng Peng, Gaofeng Zhang, Liping Zheng

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Yusheng Peng, Gaofeng Zhang, Liping Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个名为 TrajMamba 的新人工智能模型，它的核心任务是：帮自动驾驶汽车或机器人“看”清行人下一步会往哪里走。

为了让你更容易理解，我们可以把整个场景想象成**“在一个拥挤的舞池里跳舞”**。

1. 核心挑战：为什么这很难？

想象一下，你（代表自动驾驶汽车/摄像头）正坐在一个移动的旋转木马上，手里拿着相机。同时，舞池里有一个行人（目标行人）也在跳舞。

传统视角的局限：以前的方法就像是用无人机从高空往下看（上帝视角），大家怎么动一目了然。
第一人称的难题：但现在的任务是“第一人称视角”。你自己在动（旋转木马在转、在加速、在刹车），行人也在动。你在相机里看到的行人移动，其实是**“行人的动作” + “你的动作”** 叠加在一起的结果。
- 比喻：就像你在晃动的船上拍另一艘船。如果船在晃，你很难分清是对方在动，还是自己在晃。如果分不清，你就预测不准对方下一秒会撞到你还是避开你。

2. 解决方案：TrajMamba 是怎么做的？

作者提出了一个聪明的策略，把“看”和“猜”分成了三个步骤，并引入了一个超级高效的“大脑”——Mamba。

第一步：两个“观察员”分别记录（编码器）

模型派出了两个专门的观察员：

行人观察员：专门盯着那个走路的人，记录他/她是怎么走的（快慢、方向、身体大小变化）。
自我观察员：专门盯着“你自己”（汽车/摄像头），记录你是在加速、减速还是转弯。

比喻：就像两个特工，一个只负责盯梢目标，一个只负责汇报自己的位置，互不干扰，确保信息清晰。

第二步：聪明的“指挥家”（Mamba 解码器）

这是最精彩的部分。以前的方法喜欢把两个特工的信息混在一起，像把咖啡和牛奶搅匀了再喝，很难分清谁是谁。
TrajMamba 的做法不同：

它把行人的历史动作当作“背景故事”。
它把你自己的动作当作“指挥棒”或“提示词”。
Mamba 就像一个超级聪明的指挥家，它看着行人的历史，然后听着“指挥棒”（你的动作）的提示，去推演：“哦，既然我刚才向右转了，而行人之前是直走的，那么在我的视角里，行人看起来就像是向左拐了。”
比喻：这就像你在玩一个**“你画我猜”**的游戏。你（汽车）是那个拿着笔在动的人，行人是画纸上的图案。Mamba 知道笔怎么动，就能精准地猜出图案在纸上的相对位置会怎么变，而不是把笔和图案混为一谈。

第三步：预测未来（生成器）

最后，根据指挥家推导出的“未来动作”，模型直接画出行人下一秒、下一分钟会在哪里。

3. 为什么叫"Mamba"？它有什么特别？

Mamba 是一种新的人工智能架构，你可以把它想象成**“超级速记员”**。

以前的模型（如 LSTM/Transformer）：像是一个记忆力很好的学生，但读长文章时容易忘前面，或者读得太慢，需要反复回头看。
Mamba：像是一个过目不忘且速度极快的天才。它能以极低的计算成本（省电、省算力），处理很长的视频序列，并且能精准地记住“因果关系”。
比喻：如果预测行人轨迹是一场马拉松，以前的模型是跑跑停停、气喘吁吁；Mamba 则是像猎豹一样，既快又稳，还能记住起跑时的每一个细节。

4. 实验结果：效果如何？

作者在两个著名的数据集（PIE 和 JAAD，相当于两个巨大的“虚拟交通考场”）上测试了这个模型。

结果：TrajMamba 在预测准确度上打败了所有现有的竞争对手（包括那些用了最先进 Transformer 技术的模型）。
优势：它不仅算得准，而且算得快、占用的电脑资源少。这意味着它可以更容易地装进真实的自动驾驶汽车里，实时工作。

总结

TrajMamba 就像是一个**“懂物理的超级副驾驶”**。
它不再把“车在动”和“人在动”混为一谈，而是利用一种叫 Mamba 的高效新大脑，把“车的动作”当作线索，去精准推演“人在动”的真实轨迹。这让自动驾驶汽车在复杂的动态环境中，能更聪明、更安全地预判行人的下一步，避免事故。

以下是关于论文《TrajMamba: An Ego-Motion-Guided Mamba Model for Pedestrian Trajectory Prediction from an Egocentric Perspective》（TrajMamba：一种基于自运动引导的 Mamba 模型，用于第一人称视角下的行人轨迹预测）的详细技术总结：

1. 研究背景与问题定义 (Problem)

核心任务：从第一人称视角（Egocentric Perspective，即车载或可穿戴相机视角）预测被跟踪行人的未来轨迹（即未来边界框序列）。
主要挑战：
- 双重运动叠加：图像中观察到的行人运动是行人自身运动与载体（车辆/相机）运动在二维成像平面上的叠加投影。
- 相对运动建模困难：现有的方法通常将行人运动特征和车辆自运动（Ego-motion）特征在编码阶段融合为统一表示，导致解码器难以显式地分析自运动如何动态调节行人运动，使得相对运动关系的建模变得模糊。
- 视角差异：大多数现有研究基于鸟瞰图（Bird's-eye view），而自动驾驶和机器人导航主要依赖第一人称视角，后者面临相机自身运动的干扰。

2. 方法论 (Methodology)

作者提出了 TrajMamba，一种基于 Mamba 架构的自运动引导轨迹预测网络。该模型包含四个核心模块：

A. 输入与输出表示 (Input & Output Representation)

差异化运动表示：
- 输入：不仅包含边界框中心坐标 $(x, y)$ 和宽高 $(w, h)$ ，还计算了相邻帧间的位移（速度 $v_x, v_y$ ）和尺度变化 ( $\Delta w, \Delta h$ )。
- 状态构建： $M_t = (x_t, y_t, w_t, h_t, v_{xt}, v_{yt}, \Delta w, \Delta h)$ 。
残差预测策略 (CV-CS-Offset)：
- 引入恒定速度与恒定缩放 (CV-CS) 假设作为物理先验。
- 利用历史数据计算平均速度和平均缩放率，生成参考轨迹。
- 网络不再直接预测绝对坐标，而是预测真实轨迹相对于参考轨迹的残差偏移量 (Residual Offset)。这既利用了物理先验，又允许网络灵活修正偏差。

B. 编码器设计 (Encoders)

行人运动编码器 (PME)：使用 Mamba 模型作为编码器，提取行人历史运动特征。相比 LSTM/GRU/Transformer，Mamba 具有线性时间序列建模能力和高效的长序列处理性能。
自运动编码器 (EME)：同样使用 Mamba 模型，提取车辆的速度或行为状态（如加速、减速等）特征。

C. 自运动引导解码器 (Ego-Motion-Guided Decoder, EMGD) - 核心创新

显式建模机制：不同于传统的“先融合后解码”策略，该模块将行人运动特征视为历史上下文 (Historical Context)，将自运动特征（在最后一个观测时刻 $T$ ）视为未来预测的显式引导线索 (Guiding Cues)。
工作流程：解码器接收行人特征序列，并将自运动特征作为条件信息重复输入（复制 $T_{pred}$ 次），利用 Mamba 的序列建模能力，显式学习自运动如何动态调节行人运动，从而推断未来的运动特征。

D. 未来轨迹生成器 (FTG)

使用多层感知机 (MLP) 将解码后的未来时间步特征映射为最终的边界框预测值。

3. 主要贡献 (Key Contributions)

提出 TrajMamba 框架：首个将 Mamba 架构应用于第一人称视角行人轨迹预测的模型，利用其高效性处理长序列运动数据。
设计自运动引导解码器 (EMGD)：创新性地改变了特征融合方式，将自运动作为显式条件引导未来预测，而非简单的特征拼接，从而更清晰地解耦并建模行人与相机的相对运动关系。
改进的表示与预测策略：提出了包含速度、尺度变化的运动状态表示，并结合 CV-CS 假设的残差预测方法，提升了预测的物理合理性和准确性。
SOTA 性能：在 PIE 和 JAAD 两个主流数据集上取得了最先进的性能。

4. 实验结果 (Results)

数据集：在 PIE 和 JAAD 数据集上进行了广泛实验。
评估指标：平均位移误差 (ADE)、最终位移误差 (FDE)、平均均方根误差 (ARB)、最终均方根误差 (FRB)。
定量表现：
- 1 秒预测：TrajMamba 在 PIE 数据集上优于之前的最佳模型 PedFormer 约 40% (ADE)，在 JAAD 数据集上提升约 22%。
- 1.5 秒预测：在 PIE 数据集上保持最佳，在 JAAD 数据集上表现优异（尽管略低于部分基于 Transformer 的特定方法，但整体仍具竞争力）。
- 对比基线：显著优于 BiTrap, SGNet, FOL, B-LSTM 等经典及最新方法。
消融实验 (Ablation Study)：
- 输入/输出表示：证明引入速度信息和 CV-CS 残差偏移策略能显著降低误差。
- 解码器机制：证明“自运动引导解码 (EMGD)"优于传统的“后融合解码 (PFD)"，且 Mamba 作为解码器在参数量和计算量上远优于 Transformer 和 LSTM。
- 编码器选择：证明 Mamba 作为编码器在提取运动特征方面优于 LSTM、GRU 和 Transformer。
效率：TrajMamba 在保持高精度的同时，参数量（约 0.2M）和计算量（FLOPs）极低，推理速度显著快于 Transformer 类模型。

5. 意义与价值 (Significance)

理论创新：解决了第一人称视角下相对运动建模模糊的难题，提出了一种显式利用自运动作为条件引导的序列建模新范式。
技术突破：成功将 Mamba（状态空间模型）引入计算机视觉的轨迹预测领域，证明了其在处理长序列、动态变化数据时的优越性（高效且精准）。
应用价值：该模型对于自动驾驶系统（如行人避障、路径规划）和移动机器人的安全导航具有重要的实际应用价值，能够更准确地预测动态环境中的行人行为。
未来展望：目前模型主要关注单目标与自运动的关系，未来计划引入对行人之间交互（Crowd Interaction）的建模，以进一步提升复杂场景下的预测能力。

总结：TrajMamba 通过引入 Mamba 架构和创新的自运动引导机制，有效解决了第一人称视角下行人轨迹预测中相对运动建模难、计算效率低的问题，在精度和效率上均达到了当前领先水平。