🤖 AI

CmIVTP: Cross-modal Interaction-based Vessel Trajectory Prediction for Maritime Intelligence

本文提出 CmIVTP，这是一个跨模态交互框架，它通过目标感知场景编码器和跨模态 Transformer 将稀疏的 AIS 数据与 CCTV 环境特征相融合，以提升船舶轨迹预测精度，该框架由新的大规模同步数据集（Maritime-MmD $^+$ ）和可扩展的轨迹生成方法提供支持。

原作者： Yuxu Lu, Dong Yang, Xiaoyu Li, Mengwei Bao, Congcong Zhao

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuxu Lu, Dong Yang, Xiaoyu Li, Mengwei Bao, Congcong Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在预测一艘大型船舶在繁忙港口中的下一步去向。在现实世界中，这有点像试图猜测一位朋友在拥挤且雾气弥漫的公园中最终会走到哪里，但后果要严重得多。

本文介绍了一个名为CmIVTP（基于跨模态交互的船舶轨迹预测）的新系统，旨在以前所未有的精度解决预测船舶未来路径的问题。以下是其工作原理，分解为几个简单的概念：

问题：单眼不足

传统上，船舶依赖单一信息源来跟踪运动，这就像试图仅用手电筒在黑暗的房间里导航。

手电筒（AIS）： 船舶配备了一种称为 AIS（自动识别系统）的系统，用于广播其位置。然而，该信号可能微弱、丢失，或者有时船舶会将其关闭（即“暗船”）。这就像一盏忽明忽暗或完全熄灭的手电筒。
眼睛（CCTV）： 港口还装有监控摄像头（CCTV）监视水域。这些摄像头能提供当前情况的清晰画面，但它们无法穿透雾气，也不像 AIS 那样了解船舶的速度或历史。

如果你只使用手电筒，可能会在雾中丢失船舶。如果你只使用眼睛，可能会错过船舶的速度或意图。作者意识到，要获得完美的预测，必须将两者结合起来。

解决方案：船舶的“超级大脑”

作者构建了一个“超级大脑”（一个 AI 框架），它像一名侦探，同时使用手电筒和摄像头。以下是这名侦探使用的四种主要工具：

1. 场景侦探（视觉场景目标感知编码器）
在猜测船舶去向之前，系统会观察“场景”。它不仅仅看到屏幕上的一个点，而是理解环境。

类比： 想象一位司机看着道路。他们看到的不仅仅是前方的车辆，还有道路的弯道、其他车辆以及交通信号灯。该模块对船舶也做同样的事，理解水域、其他船只和港口形状如何限制船舶的可行路径。

2. 翻译器（跨模态交互 Transformer）
这是核心魔法。系统获取“手电筒”数据（AIS）和“摄像头”数据（CCTV），并强制它们相互对话。

类比： 想象两个人说着不同的语言试图解决一个谜题。一个人知道历史（AIS），另一个人看到当前画面（CCTV）。该模块充当完美的翻译，将他们的故事融合在一起，这样如果手电筒闪烁熄灭，摄像头就能填补空白，反之亦然。它确保预测在物理上和视觉上都有意义。

3. “如果”生成器（不确定性感知变分解码器）
船舶巨大且沉重，无法急转弯。但它们也有人类船长，可能会做出突然的决定。系统知道它无法 100% 确定未来。

类比： 该模块不是画出一条单一的船舶行进路线，而是同时画出五到十条不同的可能路径。这就像天气预报说：“有 60% 的概率会下雨，但也可能是晴天。”它生成一个可能性的“云团”以应对不确定性，确保即使船舶做出意外举动，预测也能涵盖这种情况。

4. 记忆库（船舶群体轨迹库）
系统拥有一个庞大的过往船舶运动图书馆。

类比： 在做出猜测之前，系统会问：“以前有船舶做过完全相同的机动吗？”它会在其历史书中查找相似的模式。如果它看到一艘船在桥附近急转弯，它会查阅其图书馆，看看其他船舶如何处理同样的转弯。它利用这些“历史幽灵”来完善其猜测，使其更聪明、更快速。

新数据集：训练场

为了训练该系统，作者创建了一个名为**Maritime-MmD+**的新的大型数据集。

类比： 想象一所驾驶学校终于获得了一个模拟器，能够同时记录 GPS 数据和视频流。在此之前，研究人员不得不猜测如何将两者匹配。这个新数据集提供了一个完美的“训练场”，其中 GPS 和视频完美同步，使 AI 能够学习船舶信号与摄像头所见内容之间的真实关系。

结果：为何重要

作者将该系统与其他许多方法（如仅使用 GPS 或仅使用视频的标准 AI 模型）进行了测试。

手电筒测试： 当他们模拟 AIS 信号消失（关闭手电筒）时，旧系统迷失了方向，做出了疯狂且不准确的猜测。然而，新的 CmIVTP 系统保持了冷静。因为它仍在查看摄像头，所以它仍然能够准确预测船舶的路径。
人群测试： 在船舶众多的非常繁忙的水域中，新系统比任何其他系统都能更好地处理混乱，预测出更能有效避免碰撞的路径。

总结

本文提出了一种更智能的方法来预测船舶去向，通过融合两种不同类型的数据（无线电信号和视频），以便当一种失效时，另一种能力挽狂澜。它使用“场景侦探”来理解环境，使用“翻译器”来混合数据，使用“如果生成器”来处理不确定性，并使用“记忆库”来从过去学习。其结果是一个更安全、更可靠的系统，即使数据混乱或不完整也能发挥作用。

技术摘要：CmIVTP——基于跨模态交互的船舶轨迹预测

1. 问题陈述

海事智能交通系统（MITS）需要准确、实时的船舶轨迹预测，以确保航行安全与效率。然而，当前方法因依赖单一数据源而面临显著局限：

AIS 局限性：自动识别系统（AIS）数据虽能提供宏观运动学信息，但往往稀疏、存在传输延迟，且对于小型或非合作船舶（如“暗船”）可能无法获取。
CCTV 局限性：闭路电视（CCTV）提供丰富的局部语义和环境上下文，但难以应对遮挡和成像干扰，且无法在孤立状态下完全捕捉船舶的动态行为。
领域差距：现有的多模态方法常将基于陆地（专为车道受限车辆设计）的模型迁移至海事领域，未能充分考虑非结构化、开阔水域环境，其中船舶运动受复杂流体动力学及隐性交互的支配。
数据稀缺：缺乏结合 AIS 和 CCTV 数据的同步大规模数据集，阻碍了鲁棒多模态模型的训练。

2. 方法论：CmIVTP 框架

作者提出了CmIVTP（基于跨模态交互的船舶轨迹预测），这是一个旨在融合异构 AIS 和 CCTV 数据以建模复杂船舶 - 环境交互的框架。该架构由四个主要模块组成：

A. 视觉场景目标感知编码器 (VSTaE)

该模块从 CCTV 场景数据中提取时空表示，以捕捉船舶 - 环境交互（例如，与危险源或其他船舶的邻近度）。

目标感知空间特征提取：使用 ResNet-18 骨干网络生成全局特征图。它融合三种特征类型：特定目标的嵌入（通过 RoI Align）、全局上下文（通过全局平均池化）以及边界框位置编码。
时间上下文建模：使用 ConvLSTM 处理特征图序列以捕捉时间演化。应用指数加权机制以优先处理短期动态（突发机动），同时保留长期趋势（高惯性）。
时空融合：通过 MLP 拼接空间和时序特征，生成统一的场景表示。

B. 基于跨模态交互的编码器 (CmIE)

为避免朴素特征拼接，CmIE 采用跨模态交互 Transformer (CMIT) 将船舶动力学与视觉约束深度对齐。

非对称架构：它将 AIS 衍生的运动特征视为主查询，将 CCTV/场景特征视为记忆。
机制：该模块依次执行模态内细化（自注意力）以确保轨迹平滑，随后进行跨模态交互（交叉注意力），将环境约束注入运动表示中。这使得模型能够捕捉模态内语义和模态间交互。

C. 不确定性感知变分解码器 (UaVD)

超越确定性映射，该模块将轨迹预测建模为概率分布问题，以应对船舶行为的随机性。

潜在空间建模：基于条件变分自编码器（CVAE）框架，采样代表未观测因素（如人类意图、突发干扰）的潜在变量（ $z$ ）。
多模态生成：通过采样不同的 $z$ 值，解码器生成多样化的、物理上合理的未来轨迹（模式），如保持航向、转向或减速。
架构：使用 MLP 基于融合特征和采样的潜在变量同时解码整个未来序列。

D. 船舶群轨迹库 (VGTB)

为了提高效率和准确性，该框架从历史 AIS 数据中构建代表性运动模式库。

聚类：将历史 AIS 轨迹归一化并聚类（使用 K-means）为代表性运动模式。
检索与细化：对于目标船舶，系统从库中检索最相似的历史轨迹（先验）。该先验通过可学习的偏移量和动态门控机制与基础网络预测融合，使模型在利用历史先验的同时适应当前条件。

E. 数据集：Maritime-MmD+

作者引入了Maritime-MmD+，这是一个包含上海黄浦江 AIS 数据和 CCTV 视频的大规模同步数据集。它涵盖了包括桥梁区域和弯曲水道在内的多样化场景，具有不同的船舶密度，为多模态轨迹预测提供了稳健的基准。

3. 主要贡献

新颖框架：提出 CmIVTP，通过跨模态交互整合 AIS 动力学和 CCTV 上下文，以解决数据稀疏和缺失问题。
架构创新：
- VSTaE：捕捉细粒度的船舶 - 环境交互。
- CmIE：利用非对称交叉注意力融合运动学和视觉特征。
- UaVD：通过变分推断对轨迹不确定性进行建模，实现多模态预测。
- VGTB：利用历史运动先验细化预测。
数据集创建：发布 Maritime-MmD+，一个同步的 AIS-CCTV 数据集，以支持多模态研究。
性能：在各种预测时域、船舶密度和 AIS 缺失率下，证明了其优于最先进基线的准确性和鲁棒性。

4. 实验结果

在 Maritime-MmD+ 数据集上进行了广泛实验，将 CmIVTP 与确定性（GRU, LSTM, TCNN, Transformer）和不确定性感知（VAE, GAN）基线进行了比较。

预测精度：CmIVTP 在所有预测步长（ $\Delta t = 12, 24, 36$ ）上均实现了最低的平均位移误差（ADE）和最终位移误差（FDE）。例如，在 $\Delta t = 36$ 时，CmIVTP 实现了 $0.65 \times 10^{-2}$ 的 ADE，显著优于次优基线（Trans., $0.86 \times 10^{-2}$ ）。
对数据丢失的鲁棒性：当 AIS 数据缺失（模拟速率 $\rho = 0.1, 0.2, 0.3$ ）时，模型表现出卓越的韧性。虽然基线遭受严重的性能下降，但 CmIVTP 保持了稳定的收敛和低误差范围，有效利用 CCTV 视觉特征补偿了缺失的 AIS 信号。
密度处理：在船舶交互复杂的密集场景（ $\phi_h$ ）中，CmIVTP 保持了最低的误差率，成功捕捉了由避碰机动引起的非线性偏差。
消融研究：
- 移除任何单一模态（AIS、CCTV 或场景表示）或模块（VSTaE, CmIE, UaVD, VGTB）均导致性能下降，证实了完整多模态架构的必要性。
- VGTB 模块被证明能有效细化预测，特别是对于低相似度（罕见）轨迹案例，且未引入有害偏差。
不确定性分析：潜在空间的可视化显示了对应运动属性（如曲折度、位移）的结构化组织。该模型为完整数据生成紧凑分布，为缺失数据生成适当多样化的分布，确保真实值保持在预测范围内。

5. 意义与主张

该论文声称，CmIVTP 通过克服单一数据源的固有局限，代表了海事智能的重大进步。其主要意义在于：

信号拒止环境下的可靠性：通过利用多模态数据的冗余性，即使在 AIS 信号丢失或不可用的情况下，系统也能确保持续可靠的轨迹预测。
上下文感知建模：该框架成功建模了船舶动力学与环境约束之间的复杂相互作用，这对于拥挤和受限水道的安全至关重要。
基础基准：Maritime-MmD+ 的引入解决了该领域的关键缺口，为未来的多模态海事行为分析研究提供了标准化资源。

作者总结道，尽管在极端环境条件（如大雾）和泛化到新航道方面仍存在挑战，但 CmIVTP 为提升海事安全和支持海上自主水面船舶（MASS）的演进提供了一种稳健且可扩展的解决方案。