🤖 AI

CmIVTP: Cross-modal Interaction-based Vessel Trajectory Prediction for Maritime Intelligence

Ce papier propose CmIVTP, un cadre d'interaction intermodale qui fusionne des données AIS éparses avec des caractéristiques environnementales issues de vidéosurveillance au moyen d'un encodeur de scène sensible aux cibles et d'un transformateur intermodal afin d'améliorer la précision de la prédiction des trajectoires de navires, le tout étayé par un nouveau jeu de données synchronisé à grande échelle (Maritime-MmD $^+$ ) et une méthode évolutive de génération de trajectoires.

Auteurs originaux : Yuxu Lu, Dong Yang, Xiaoyu Li, Mengwei Bao, Congcong Zhao

Publié 2026-05-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuxu Lu, Dong Yang, Xiaoyu Li, Mengwei Bao, Congcong Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire où ira un grand navire ensuite dans un port animé. Dans le monde réel, cela ressemble un peu à essayer de deviner où un ami marchant dans un parc brumeux et bondé finira par se trouver, mais avec des enjeux bien plus élevés.

Ce document présente un nouveau système appelé CmIVTP (Prédiction de trajectoire des navires basée sur l'interaction intermodale), conçu pour résoudre le problème de la prédiction plus précise que jamais de la trajectoire future d'un navire. Voici comment il fonctionne, décomposé en concepts simples :

Le Problème : Un seul œil ne suffit pas

Traditionnellement, les navires s'appuient sur une seule source d'information pour suivre les mouvements, un peu comme essayer de naviguer dans une pièce sombre en n'utilisant qu'une lampe de poche.

La Lampe de poche (AIS) : Les navires sont équipés d'un système appelé AIS (Système d'identification automatique) qui diffuse leur position. Cependant, ce signal peut être faible, se perdre, ou parfois le navire l'éteint (comme un « navire sombre »). C'est comme une lampe de poche qui clignote ou s'éteint complètement.
Les Yeux (CCTV) : Les ports disposent également de caméras (CCTV) surveillant l'eau. Elles offrent une vision claire de ce qui se passe à l'instant présent, mais elles ne peuvent pas voir à travers le brouillard, et elles ne connaissent pas la vitesse ou l'historique du navire aussi bien que l'AIS.

Si vous n'utilisez que la lampe de poche, vous risquez de perdre le navire dans le brouillard. Si vous n'utilisez que les yeux, vous risquez de manquer la vitesse ou les intentions du navire. Les auteurs ont réalisé que pour obtenir une prédiction parfaite, il faut combiner les deux.

La Solution : Un Super-Cerveau pour les Navires

Les auteurs ont construit un « super-cerveau » (un cadre d'IA) qui agit comme un détective utilisant simultanément la lampe de poche et la caméra. Voici les quatre principaux outils dont ce détective dispose :

1. Le Détective de Scène (Encodeur conscient des cibles de la scène visuelle)
Avant de deviner où ira le navire, le système examine la « scène ». Il ne voit pas seulement un point sur un écran ; il comprend l'environnement.

Analogie : Imaginez un conducteur regardant la route. Il ne voit pas seulement la voiture devant lui ; il voit la courbe de la route, les autres voitures et les feux de circulation. Ce module fait de même pour les navires, comprenant comment l'eau, les autres bateaux et la forme du port limitent les endroits où un navire peut aller.

2. Le Traducteur (Transformateur d'interaction intermodale)
C'est la magie centrale. Le système prend les données de la « lampe de poche » (AIS) et les données de la « caméra » (CCTV) et les force à communiquer entre elles.

Analogie : Pensez à deux personnes parlant des langues différentes essayant de résoudre une énigme. L'une connaît l'histoire (AIS), et l'autre voit l'image actuelle (CCTV). Ce module agit comme un traducteur parfait, fusionnant leurs récits afin que si la lampe de poche clignote et s'éteint, la caméra comble les lacunes, et vice versa. Il garantit que la prédiction a du sens à la fois physiquement et visuellement.

3. Le Générateur « Et Si » (Décodeur variationnel conscient de l'incertitude)
Les navires sont immenses et lourds ; ils ne tournent pas sur un sou. Mais ils ont aussi des capitaines humains qui pourraient prendre des décisions soudaines. Le système sait qu'il ne peut pas être sûr à 100 % de l'avenir.

Analogie : Au lieu de tracer une seule ligne pour indiquer où ira le navire, ce module dessine cinq ou dix trajectoires possibles différentes simultanément. C'est comme une prévision météo qui dit : « Il y a 60 % de chances de pluie, mais il pourrait aussi faire soleil. » Il génère un « nuage » de possibilités pour tenir compte de l'incertitude, garantissant que même si le navire fait quelque chose d'inattendu, la prédiction le couvre.

4. La Banque de Mémoire (Banque de trajectoires de groupes de navires)
Le système possède une immense bibliothèque de mouvements de navires passés.

Analogie : Avant de faire une prédiction, le système se demande : « Un navire a-t-il déjà effectué exactement cette manœuvre ? » Il consulte des motifs similaires dans son livre d'histoire. S'il voit un navire virer brusquement près d'un pont, il consulte sa bibliothèque pour voir comment d'autres navires ont géré ce même virage. Il utilise ces « fantômes historiques » pour affiner sa prédiction, la rendant plus intelligente et plus rapide.

Le Nouvel Ensemble de Données : Le Terrain d'Entraînement

Pour enseigner ce système, les auteurs ont créé un nouvel ensemble de données massif appelé Maritime-MmD+.

Analogie : Imaginez une école de conduite qui a enfin obtenu un simulateur enregistrant à la fois les données GPS et le flux vidéo exactement au même moment. Avant cela, les chercheurs devaient deviner comment faire correspondre les deux. Cet nouvel ensemble de données fournit le « terrain d'entraînement » parfait où le GPS et la vidéo sont parfaitement synchronisés, permettant à l'IA d'apprendre la véritable relation entre les signaux du navire et ce que voient les caméras.

Les Résultats : Pourquoi Cela Compte

Les auteurs ont testé leur système contre de nombreuses autres méthodes (comme des modèles d'IA standard n'utilisant que le GPS ou seulement la vidéo).

Le Test de la Lampe de poche : Lorsqu'ils ont simulé la disparition du signal AIS (éteignant la lampe de poche), les anciens systèmes se sont perdus et ont fait des prédictions sauvages et inexactes. Le nouveau système CmIVTP, en revanche, est resté calme. Parce qu'il regardait toujours la caméra, il pouvait toujours prédire la trajectoire du navire avec précision.
Le Test de la Foule : Dans des eaux très fréquentées avec de nombreux navires, le nouveau système a mieux géré le chaos que quiconque, prédisant des trajectoires évitant les collisions plus efficacement.

En Résumé

Ce document présente une manière plus intelligente de prédire où iront les navires en fusionnant deux types de données différents (signaux radio et vidéo) afin que si l'un échoue, l'autre sauve la mise. Il utilise un « détective de scène » pour comprendre l'environnement, un « traducteur » pour mélanger les données, un « générateur et si » pour gérer l'incertitude et une « banque de mémoire » pour apprendre du passé. Le résultat est un système beaucoup plus sûr et plus fiable, même lorsque les données sont désordonnées ou incomplètes.

Résumé Technique : CmIVTP – Prédiction de Trajectoire de Vessels basée sur l'Interaction Intermodale

1. Énoncé du Problème

Les Systèmes de Transport Maritime Intelligents (STMI) nécessitent une prédiction précise et en temps réel des trajectoires des navires pour garantir la sécurité et l'efficacité de la navigation. Cependant, les approches actuelles rencontrent des limitations significatives dues à leur dépendance à des données provenant d'une seule source :

Limitations de l'AIS : Les données du Système d'Identification Automatique (AIS), bien qu'elles fournissent une cinématique macroscopique, sont souvent éparses, souffrent de délais de transmission et peuvent être indisponibles pour les petits navires ou les navires non coopératifs (par exemple, les « navires sombres »).
Limitations de la CCTV : La Télévision en Circuit Fermé (CCTV) offre des sémantiques locales riches et un contexte environnemental, mais peine avec les occlusions, les interférences d'imagerie et ne peut pas capturer pleinement le comportement dynamique des navires de manière isolée.
Écart de Domaine : Les méthodes multimodales existantes transfèrent souvent des modèles conçus pour la terre (destinés à des véhicules contraints par des voies) vers le domaine maritime, échouant à prendre en compte l'environnement non structuré et en eau libre où les mouvements des navires sont régis par des hydrodynamiques complexes et des interactions implicites.
Pénurie de Données : Il manque des ensembles de données synchronisés et à grande échelle combinant les données AIS et CCTV, ce qui entrave l'entraînement de modèles multimodaux robustes.

2. Méthodologie : Le Cadre CmIVTP

Les auteurs proposent CmIVTP (Prédiction de Trajectoire de Navire basée sur l'Interaction Intermodale), un cadre conçu pour fusionner des données AIS et CCTV hétérogènes afin de modéliser des interactions navire-environnement complexes. L'architecture se compose de quatre modules principaux :

A. Encodeur de Scène Visuelle Sensible à la Cible (VSTaE)

Ce module extrait des représentations spatio-temporelles à partir de données de scènes CCTV pour capturer les interactions navire-environnement (par exemple, la proximité avec des dangers, d'autres navires).

Extraction de Caractéristiques Spatiales Sensibles à la Cible : Utilise une architecture ResNet-18 pour générer des cartes de caractéristiques globales. Il fusionne trois types de caractéristiques : des plongées spécifiques à la cible (via RoI Align), un contexte global (via un pooling moyen global) et des encodages de position de boîtes englobantes.
Modélisation du Contexte Temporel : Traite la séquence de cartes de caractéristiques en utilisant un ConvLSTM pour capturer l'évolution temporelle. Un mécanisme de pondération exponentielle est appliqué pour privilégier les dynamiques à court terme (manœuvres soudaines) tout en conservant les tendances à long terme (forte inertie).
Fusion Spatio-temporelle : Concatène les caractéristiques spatiales et temporelles via un Perceptron Multicouche (MLP) pour produire une représentation unifiée de la scène.

B. Encodeur basé sur l'Interaction Intermodale (CmIE)

Pour éviter une concaténation naïve des caractéristiques, le CmIE emploie un Transformateur d'Interaction Intermodale (CMIT) pour aligner profondément la dynamique des navires avec les contraintes visuelles.

Architecture Asymétrique : Il traite les caractéristiques de mouvement dérivées de l'AIS comme requête principale et les caractéristiques CCTV/scène comme mémoire.
Mécanisme : Le module effectue séquentiellement un raffinement intra-modale (Auto-Attention) pour assurer la régularité de la trajectoire, suivi d'une interaction intermodale (Attention Croisée) pour injecter des contraintes environnementales dans la représentation du mouvement. Cela permet au modèle de capturer à la fois les sémantiques intra-modales et les interactions inter-modales.

C. Décodeur Variationnel Sensible à l'Incertitude (UaVD)

Dépassant la cartographie déterministe, ce module modélise la prédiction de trajectoire comme un problème de distribution probabiliste pour tenir compte des comportements stochastiques des navires.

Modélisation de l'Espace Latent : Basé sur un cadre d'Auto-encodeur Variationnel Conditionnel (CVAE), il échantillonne des variables latentes ( $z$ ) représentant des facteurs non observés (par exemple, l'intention humaine, des perturbations soudaines).
Génération Multimodale : En échantillonnant différentes valeurs de $z$ , le décodeur génère des trajectoires futures diverses et physiquement plausibles (modes), telles que le maintien de la route, le virage ou le ralentissement.
Architecture : Utilise un MLP pour décoder l'ensemble de la séquence future simultanément sur la base des caractéristiques fusionnées et des variables latentes échantillonnées.

D. Banque de Trajectoires de Groupes de Navires (VGTB)

Pour améliorer l'efficacité et la précision, le cadre construit une banque de motifs de mouvement représentatifs à partir de données AIS historiques.

Clustering : Les trajectoires AIS historiques sont normalisées et regroupées (en utilisant K-means) en motifs de mouvement représentatifs.
Récupération et Raffinement : Pour un navire cible, le système récupère la trajectoire historique la plus similaire (a priori) dans la banque. Cet a priori est fusionné avec la prédiction du réseau de base en utilisant un décalage apprenable et un mécanisme de porte dynamique, permettant au modèle de tirer parti des a priori historiques tout en s'adaptant aux conditions actuelles.

E. Ensemble de Données : Maritime-MmD+

Les auteurs introduisent Maritime-MmD+, un ensemble de données synchronisé à grande échelle contenant des données AIS et des vidéos CCTV du fleuve Huangpu à Shanghai. Il couvre des scénarios diversifiés incluant des zones de ponts et des chenaux courbes avec des densités de navires variables, fournissant une référence robuste pour la prédiction de trajectoire multimodale.

3. Contributions Clés

Cadre Novel : Proposition de CmIVTP, qui intègre la dynamique AIS et le contexte CCTV via une interaction intermodale pour faire face à la sparsité et aux manquements de données.
Innovations Architecturales :
- VSTaE : Capture des interactions navire-environnement fines.
- CmIE : Utilise une attention croisée asymétrique pour fusionner les caractéristiques cinématiques et visuelles.
- UaVD : Modélise l'incertitude de la trajectoire via une inférence variationnelle pour des prédictions multimodales.
- VGTB : Utilise des a priori de mouvement historiques pour affiner les prédictions.
Création d'Ensemble de Données : Publication de Maritime-MmD+, un ensemble de données AIS-CCTV synchronisé pour soutenir la recherche multimodale.
Performance : Démonstration d'une précision et d'une robustesse supérieures par rapport aux références de l'état de l'art à travers divers horizons de prédiction, densités de navires et taux de manquements AIS.

4. Résultats Expérimentaux

Des expériences extensives ont été menées sur l'ensemble de données Maritime-MmD+, comparant CmIVTP à des références déterministes (GRU, LSTM, TCNN, Transformer) et sensibles à l'incertitude (VAE, GAN).

Précision de Prédiction : CmIVTP a obtenu les erreurs de déplacement moyen (ADE) et les erreurs de déplacement final (FDE) les plus faibles à toutes les étapes de prédiction ( $\Delta t = 12, 24, 36$ ). Par exemple, à $\Delta t = 36$ , CmIVTP a atteint une ADE de $0,65 \times 10^{-2}$ , surpassant significativement la meilleure référence suivante (Trans., $0,86 \times 10^{-2}$ ).
Robustesse à la Perte de Données : Le modèle a démontré une résilience exceptionnelle lorsque les données AIS étaient manquantes (taux simulés $\rho = 0,1, 0,2, 0,3$ ). Alors que les références subissaient une dégradation sévère des performances, CmIVTP a maintenu une convergence stable et de faibles marges d'erreur, compensant efficacement les signaux AIS manquants en utilisant les caractéristiques visuelles CCTV.
Gestion de la Densité : Dans les scénarios de haute densité ( $\phi_h$ ), où les interactions entre navires sont complexes, CmIVTP a maintenu les taux d'erreur les plus bas, capturant avec succès les déviations non linéaires causées par des manœuvres d'évitement de collision.
Études d'Ablation :
- Le retrait d'une seule modalité (AIS, CCTV ou Représentations de Scène) ou d'un module (VSTaE, CmIE, UaVD, VGTB) a entraîné une dégradation des performances, confirmant la nécessité de l'architecture multimodale complète.
- Le module VGTB s'est avéré efficace pour affiner les prédictions, en particulier pour les cas de trajectoires à faible similarité (rares), sans introduire de biais préjudiciables.
Analyse de l'Incertitude : Les visualisations de l'espace latent ont montré une organisation structurée correspondant aux attributs de mouvement (par exemple, la tortuosité, le déplacement). Le modèle a produit des distributions compactes pour des données complètes et des distributions appropriément diversifiées pour des données manquantes, garantissant que les vérités terrain restaient dans la plage prédite.

5. Signification et Revendications

L'article revendique que CmIVTP représente une avancée significative dans l'intelligence maritime en surmontant les limitations inhérentes aux données d'une seule source. Sa signification principale réside dans :

Fiabilité dans les Environnements Privés de Signal : En tirant parti de la redondance des données multimodales, le système assure une prévision de trajectoire continue et fiable même lorsque les signaux AIS sont perdus ou indisponibles.
Modélisation Sensible au Contexte : Le cadre modélise avec succès l'interplay complexe entre la dynamique des navires et les contraintes environnementales, ce qui est crucial pour la sécurité dans les voies navigables congestionnées et restreintes.
Référence Fondamentale : L'introduction de Maritime-MmD+ comble une lacune critique dans le domaine, fournissant une ressource standardisée pour les futures recherches sur l'analyse du comportement maritime multimodal.

Les auteurs concluent que bien que des défis subsistent concernant les conditions environnementales extrêmes (par exemple, le brouillard épais) et la généralisation à de nouvelles voies navigables, CmIVTP fournit une solution robuste et évolutive pour améliorer la sécurité maritime et soutenir l'évolution des Navires de Surface Autonomes Maritimes (MASS).