Improved Vision-to-Chart Buoy Association with Learned World-to-Image Projection

Résumé Technique : Amélioration de l'Association Vision-Charte de Bouées par Projection Monde-Image Apprise

Définition du Problème
L'article aborde le défi d'association de données « Vision-Charte » (MaCVi 2026), qui consiste à détecter des bouées dans des images de caméras maritimes et à associer chaque détection à son entrée correspondante dans une carte maritime. La difficulté centrale réside dans la projection géométrique : la baseline du défi reçoit des requêtes par bouée codant uniquement la distance et le relèvement dans l'espace monde. Par conséquent, le décodeur du transformateur doit apprendre implicitement la correspondance complexe de ces coordonnées mondiales vers les pixels de l'image, un processus fortement dépendant du tangage, du roulis et de la cap (cap) instantanés du navire (capturés via une centrale inertielle, IMU). L'approche baseline force le modèle à découvrir cette relation géométrique à partir de zéro, en s'appuyant uniquement sur un raffinement basé sur l'apparence.

Méthodologie
La solution proposée introduit une modification légère à la baseline de fusion par transformateur basée sur DETR en fournissant explicitement un prior spatial au décodeur. La méthodologie comprend deux étapes principales :

1. QueryMLP (Projection Monde-Image Apprise) :
   Un Perceptron Multicouche (MLP) dédié est entraîné indépendamment pour prédire le « point de contact de la ligne de flottaison » de la bouée dans l'image. Ce point est choisi comme cible de prédiction car il correspond directement à la position de l'objet sur le plan de l'eau et est approximé par le bord inférieur central de la boîte englobante ($[c_x, c_y + h/2]$).

   • Entrées : Le MLP prend six caractéristiques dérivées des données de la carte et de l'orientation de l'IMU : la distance normalisée, l'inverse de la distance (bride pour gérer la non-linéarité du champ proche), le relèvement normalisé, le tangage, le roulis et le cap.
   • Architecture : Un réseau à quatre couches ($6 \to 128 \to 128 \to 128 \to 2$) avec BatchNorm, ReLU, Dropout et une couche de sortie Sigmoid.
   • Entraînement : Il est entraîné sur des exemples appariés (requête, IMU, étiquette) utilisant AdamW et la perte SmoothL1, convergeant à l'époque 585 avec une erreur médiane de validation de 18,4 pixels.

2. Intégration dans le Pipeline DETR :
   Une fois entraîné, le QueryMLP est figé. Pendant l'entraînement et l'inférence de DETR, le chargeur de données exécute le MLP sur chaque requête de carte pour générer des coordonnées de pixels prédites. Ces coordonnées sont concaténées avec la distance normalisée et le relèvement d'origine pour former un vecteur de requête augmenté à 4 dimensions ($q = [dist_{norm}, bearing_{norm}, c_x, c_y + h/2]$).

   • Ce vecteur élargit la dimension d'entrée du MLP d'encodage du décodeur de la baseline de 2 à 4.
   • Le décodeur du transformateur effectue ensuite une attention croisée sur ces embeddings enrichis par rapport aux caractéristiques d'image de ResNet-50.
   • Tous les autres composants architecturaux (squelette ResNet-50, couches de transformateur, fonctions de perte) restent identiques à la baseline.

Contributions Clés

• Priors Spatiaux Explicites : Le travail remplace l'apprentissage implicite de la projection géométrique par une correspondance apprise explicite qui fournit au décodeur une localisation approximative pour chaque bouée avant qu'il ne traite les caractéristiques de l'image.
• Cible du Point de Contact de la Ligne de Flottaison : Inspiré par des travaux antérieurs de géoréférencement maritime, la méthode cible spécifiquement le point de contact de la ligne de flottaison comme étant l'emplacement le plus géométriquement significatif dans l'espace image pour l'association de bouées.
• Modification Légère : L'approche ne nécessite aucun changement au squelette lourd du transformateur ou à la bouée d'entraînement principale du modèle DETR, seulement un MLP pré-entraîné supplémentaire et une modification du pipeline de construction des requêtes.

Résultats
La méthode a été évaluée sur le jeu de données ATON (5 189 échantillons) et sur l'ensemble de test privé retenu du défi.

• Performance : L'approche proposée a obtenu un Score Global de 0,7386 sur l'ensemble de test (calculé comme la moyenne du score F1 et du mIoU), se classant deuxième parmi toutes les soumissions.
  • Métriques de l'ensemble de test : F1 = 0,8055, mIoU = 0,6718.
  • Métriques de l'ensemble de validation : Global = 0,7462 (F1 = 0,8171, mIoU = 0,6753).
• Comparaison : Lorsqu'elle a été ré-entraînée dans des conditions identiques, la baseline (n'utilisant que la distance et le relèvement) a obtenu un Score Global de 0,7193 sur l'ensemble de validation. La méthode proposée a démontré une généralisation cohérente entre les ensembles de validation et de test.
• Analyse Qualitative : Les comparaisons visuelles indiquent que la méthode proposée supprime les détections de faux positifs sur des objets non-bouées et détecte avec succès des bouées manquées par la baseline, attribué à la précision améliorée grâce au prior spatial.

Signification et Revendications
L'article revendique que la signification principale de ce travail est la réduction de la « charge de raisonnement géométrique » sur le décodeur du transformateur. En prédisant explicitement où une bouée devrait apparaître en fonction des coordonnées mondiales et de l'orientation du navire, le modèle peut concentrer sa capacité sur le raffinement basé sur l'apparence plutôt que sur l'apprentissage de la géométrie de projection à partir de zéro.

Les auteurs notent modestement les limitations et les perspectives futures :

• Conception Figée : L'implémentation actuelle maintient le QueryMLP figé pendant l'entraînement de DETR, empêchant le décodeur de fournir des retours pour affiner les prédictions de pixels. Un entraînement conjoint de bout en bout est suggéré comme amélioration future.
• Robustesse Environnementale : Bien que le point de contact de la ligne de flottaison soit géométriquement stable dans des conditions calmes, les auteurs reconnaissent qu'il peut être moins fiable en mer agitée où l'action des vagues ou les embruns obscurcissent la base de la bouée — précisément les conditions où une association robuste est la plus critique.

Le code de l'implémentation est disponible publiquement.