Improved Vision-to-Chart Buoy Association with Learned World-to-Image Projection

Technische Samenvatting: Verbeterde Associatie van Visuele Waarnemingen met Kaartbaken via Geleerde Wereld-naar-Afbeelding Projectie

Probleemdefinitie
Het artikel behandelt de uitdaging van "Vision-to-Chart" data-associatie (MaCVi 2026), waarbij baken in maritieme cameraafbeeldingen worden gedetecteerd en elke detectie wordt gekoppeld aan de overeenkomstige vermelding in een zeekaart. De kernmoeilijkheid ligt in de geometrische projectie: de baseline van de uitdaging ontvangt per-baak-query's die uitsluitend coderen voor afstand en koers in de wereldruimte. Bijgevolg moet de transformer-decoder impliciet de complexe mapping van deze wereldcoördinaten naar afbeeldingspixels leren, een proces dat sterk afhankelijk is van de onmiddellijke pitch, roll en koers van het vaartuig (vastgelegd via IMU). De baseline-aanpak dwingt het model om deze geometrische relatie vanaf nul te ontdekken, uitsluitend vertrouwend op verfijning op basis van uiterlijk.

Methodologie
De voorgestelde oplossing introduceert een lichtgewicht modificatie aan de op DETR gebaseerde fusioneringstransformer-baseline door de decoder expliciet een ruimtelijke prior te verstrekken. De methodologie bestaat uit twee hoofdfasen:

1. QueryMLP (Geleerde Wereld-naar-Afbeelding Projectie):
   Een toewijde Multi-Layer Perceptron (MLP) wordt onafhankelijk getraind om het "contactpunt met de waterlijn" van het baken in de afbeelding te voorspellen. Dit punt is gekozen als het voorspellingstarget omdat het direct overeenkomt met de positie van het object op het wateroppervlak en wordt benaderd door de onderkant-middenrand van de bounding box ($[c_x, c_y + h/2]$).

   • Inputs: De MLP neemt zes kenmerken op die zijn afgeleid van kaartgegevens en IMU-oriëntatie: genormaliseerde afstand, inverse afstand (afgeknipt om niet-lineariteit in de nabije omgeving te hanteren), genormaliseerde koers, pitch, roll en koers.
   • Architectuur: Een vierlaags netwerk ($6 \to 128 \to 128 \to 128 \to 2$) met BatchNorm, ReLU, Dropout en een Sigmoid-uitgavelaag.
   • Training: Het wordt getraind op gekoppelde (query, IMU, label) voorbeelden met AdamW en SmoothL1-verlies, convergerend bij epoch 585 met een mediane validatiefout van 18,4 pixels.

2. Integratie in de DETR-pijplijn:
   Zodra getraind, wordt de QueryMLP bevroren. Tijdens DETR-training en -inference voert de datasetloader de MLP uit op elke kaartquery om voorspelde pixelcoördinaten te genereren. Deze coördinaten worden geconcateneerd met de oorspronkelijke genormaliseerde afstand en koers om een uitgebreide 4-dimensionale query-vector te vormen ($q = [dist_{norm}, bearing_{norm}, c_x, c_y + h/2]$).

   • Deze vector verbreedt de inputdimensie van de embedding-MLP van de baseline-decoder van 2 naar 4.
   • De transformer-decoder voert vervolgens cross-attention uit op deze verrijkte embeddings tegenover ResNet-50-afbeeldingskenmerken.
   • Alle andere architectonische componenten (ResNet-50 backbone, transformerlagen, verliesfuncties) blijven identiek aan de baseline.

Belangrijkste Bijdragen

• Expliciete Ruimtelijke Priors: Het werk vervangt het impliciete leren van geometrische projectie door een expliciete, geleerde mapping die de decoder een benaderende locatie voor elk baken biedt voordat het afbeeldingskenmerken verwerkt.
• Target van het Contactpunt met de Waterlijn: Geïnspireerd door eerdere werken over maritieme georeferentie, richt de methode specifiek op het contactpunt met de waterlijn als de meest geometrisch betekenisvolle locatie in de afbeeldingsruimte voor baken-associatie.
• Lichtgewicht Modificatie: De aanpak vereist geen wijzigingen aan de zware transformer-backbone of de hoofdtrainingslus van het DETR-model, slechts een extra voorgetrainde MLP en een aanpassing aan de pijplijn voor query-construktie.

Resultaten
De methode werd geëvalueerd op de ATON-dataset (5.189 samples) en de privé, vastgehouden testset van de uitdaging.

• Prestaties: De voorgestelde aanpak behaalde een Totale score van 0,7386 op de testset (berekend als het gemiddelde van F1-score en mIoU), wat tweede plaats opleverde onder alle inzendingen.
  • Testset-metrieken: F1 = 0,8055, mIoU = 0,6718.
  • Validatieset-metrieken: Totaal = 0,7462 (F1 = 0,8171, mIoU = 0,6753).
• Vergelijking: Bij hertraining onder identieke voorwaarden behaalde de baseline (alleen gebruikmakend van afstand en koers) een Totale score van 0,7193 op de validatieset. De voorgestelde methode toonde consistente generalisatie tussen validatie- en testsets.
• Kwalitatieve Analyse: Visuele vergelijkingen geven aan dat de voorgestelde methode valse positieve detecties op niet-baakobjecten onderdrukt en succesvol baken detecteert die door de baseline zijn gemist, toegeschreven aan de verbeterde precisie door de ruimtelijke prior.

Betekenis en Claims
Het artikel beweert dat de primaire betekenis van dit werk de vermindering is van de "last van geometrisch redeneren" op de transformer-decoder. Door expliciet te voorspellen waar een baken zou moeten verschijnen op basis van wereldcoördinaten en vaartuigoriëntatie, kan het model zijn capaciteit richten op verfijning op basis van uiterlijk in plaats van het leren van de projectiegeometrie vanaf nul.

De auteurs merken bescheiden beperkingen en toekomstige richtingen op:

• Bevroren Ontwerp: De huidige implementatie houdt de QueryMLP bevroren tijdens DETR-training, waardoor de decoder geen feedback kan geven om pixelvoorspellingen te verfijnen. End-to-end gezamenlijke training wordt voorgesteld als een toekomstige verbetering.
• Milieurobuustheid: Hoewel het contactpunt met de waterlijn geometrisch stabiel is in rustige omstandigheden, erkennen de auteurs dat het minder betrouwbaar kan zijn in ruwe zeeën waar golfslag of spuitspray de basis van het baken verbergt – precies de omstandigheden waarbij robuuste associatie het meest kritiek is.

De code voor de implementatie is publiek beschikbaar.