4th Workshop on Maritime Computer Vision (MaCVi): Challenge Overview

Titel: 4th Workshop on Maritime Computer Vision (MaCVi): Challenge Overview (CVPR 2026)

Samenvatting:
Dit paper presenteert de resultaten en analyses van de vierde editie van de MaCVi-workshop, georganiseerd als onderdeel van CVPR 2026. De workshop richt zich op het oplossen van specifieke uitdagingen in computer vision voor maritieme omgevingen, met een sterke nadruk op zowel voorspellende nauwkeurigheid als de haalbaarheid van real-time implementatie op embedded systemen. De editie omvat vijf benchmark-challenges die verschillende aspecten van maritieme waarneming testen, variërend van data-associatie tot multimodale segmentatie.

---

1. Het Probleem

Maritieme omgevingen stellen unieke en complexe eisen aan computer vision-systemen, zoals dynamische belichting, reflecties op water, rommelige scènes en de noodzaak van robuustheid bij slechte zichtbaarheid (nacht, mist). Autonome systemen, zoals Unmanned Surface Vehicles (USV's), hebben betrouwbare visuele algoritmen nodig voor navigatie, obstakeldetectie en interpretatie van de omgeving. Bestaande methoden falen vaak in deze specifieke omstandigheden of zijn te rekenintensief voor energie-beperkte embedded apparatuur. Er is behoefte aan gestandaardiseerde benchmarks en een collaboratief ecosysteem om de staat van de techniek (SOTA) voor maritieme visie te bevorderen.

2. Methodologie en Challenge Setup

De workshop omvatte vijf distincte challenges, elk met specifieke protocollen, datasets en evaluatiemetrics. Deelnemers moesten hun methoden publiceren via een officiële server, vaak met beperkingen op modelgrootte en inferentiesnelheid.

A. Vision-to-Chart Data Association

• Doel: Het koppelen van zichtbare maritieme navigatiehulpmiddelen (boeien) in een monochroom RGB-beeld aan hun corresponderende markers op een zeekaart.
• Uitdaging: Omgaan met rommel, reflecties en lange afstanden.
• Methodologie: Top-methoden gebruikten expliciete geometrische priors. De winnende methode (Skyline-aware ROI-calibrated association) gebruikte een gefaseerde pijplijn: schatting van de skyline (voor roll-compensatie), projectie van kaartvragen naar beeldruimte via ROI's, en matching met Hungarian assignment. Een tweede methode gebruikte een geleerde wereld-naar-beeld projectie via een QueryMLP.

B. Thermal Object Detection

• Doel: Detectie van obstakels en schepen in thermische infraroodbeelden (nacht/slechte zichtbaarheid).
• Dataset: Maritime Collision Avoidance Dataset (704 train, 173 val, 381 test beelden).
• Methodologie: De top-methoden baseerden zich op ensembles (combinaties van meerdere modellen).
  • 1e Plaats: Een ensemble van 6 modellen (verschillende architecturen zoals Co-DINO, DDQDETR) met semi-supervised learning (pseudo-labeling op testdata) en CLAHE-contrastverhoging.
  • 2e Plaats: Een ensemble van 11 DEIMv2-modellen getraind op verschillende resoluties (tot 1600x1600) om kleine objecten beter te detecteren.
  • Kerninzicht: Semi-supervised learning en het verfijnen van annotaties (bijv. windturbines corrigeren) leverden aanzienlijke winst op.

C. LaRS Panoptic Segmentation

• Doel: Panoptische segmentatie (samenhang van 'stuff' zoals water/lucht en 'things' zoals boten, zwemmers) in USV-scènes.
• Methodologie: De winnende methode (M2F-DINOv3) gebruikte een Mask2Former-architectuur met een DINOv3 (zelf-supervised) backbone in plaats van de gebruikelijke ImageNet-voortrening. Dit verbeterde de robuustheid bij moeilijke omstandigheden (regen, mist), hoewel de detectie van kleine 'things' (objecten) nog steeds een uitdaging blijft vergeleken met de SOTA-methode PanSR.

D. Embedded Semantic Segmentation

• Doel: Segmentatie van obstakels op een energie-beperkt embedded apparaat (Luxonis OAK4) met een vereiste van >30 FPS.
• Methodologie: De focus lag op het vinden van een balans tussen kwaliteit en snelheid.
  • Winnende methode (DSOS-Net): Gebruikte een ConvNeXt-backbone (voortgetraind met DINOv3) gecombineerd met een lichte RSOS-Net decoder.
  • Kerninzicht: Zelf-supervised pre-training (DINOv3) bleek effectief voor het overbruggen van het domeinverschil, en twee-staps training (eerst class-imbalance aanpakken, dan balanceren) leverde de beste resultaten.

E. Multimodal Semantic Segmentation (Multiaqua)

• Doel: Segmentatie met gesynchroniseerde RGB, thermische en LiDAR-inputs, waarbij het systeem robuust moet blijven als één modality degradeert (bijv. 's nachts).
• Methodologie: De winnende methode (GatedMemorySAM) baseerde zich op SAM2 (Segment Anything Model) en introduceerde Soft MoE LoRA (Mixture of Experts) voor adaptatie aan verschillende modaliteiten. Een cruciale component was een 'quality-aware modality scoring' mechanisme dat de sterkste modality weegt en zwakkere onderdrukt. Extensieve nacht-simulatie augmentatie was essentieel voor prestaties op de nacht-testset.

---

3. Belangrijkste Resultaten

• Vision-to-Chart: De winnende methode behaalde een Overall Score van 0.7646, een aanzienlijke verbetering ten opzichte van de baseline (0.3333). Geometrische priors bleken cruciaal.
• Thermal Detection: Ensembles domineerden. De 1e plaats behaalde een AP van 0.4868. Semi-supervised learning en het corrigeren van annotatiefouten waren de belangrijkste factoren voor succes. Kleine objecten (<32px) bleven de grootste bottleneck.
• LaRS Panoptic: De winnende methode (M2F-DINOv3) behaalde een Panoptic Quality (PQ) van 53.5, wat dicht in de buurt komt van de SOTA PanSR (57.3), maar vooral uitblonk in 'stuff' segmentatie (water/lucht).
• Embedded Segmentation: DSOS-Net behaalde de beste kwaliteitsscore (Q = 61.9) met 66.5 FPS op het embedded apparaat, wat aantoont dat hoge kwaliteit haalbaar is op beperkte hardware.
• Multimodal: GatedMemorySAM behaalde een gemiddelde mIoU (M) van 82.1, met name sterk door de effectieve verwerking van dag-nacht domeinverschillen.

---

4. Belangrijkste Bijdragen

1. Uitgebreide Benchmark Suite: Het paper introduceert een gestandaardiseerde set van vijf challenges die de complexiteit van maritieme visie volledig dekken, van associatie tot multimodale fusie.
2. Focus op Embedded Real-time: In tegenstelling tot eerdere edities, legt deze workshop een expliciete nadruk op de haalbaarheid van implementatie op embedded hardware (snelheid, energie, quantisatie).
3. Trends in Methodologie:
   • Ensembles: Het combineren van diverse modellen (WBF - Weighted Boxes Fusion) is de dominante strategie voor detectie.
   • Zelf-supervised Pre-training: Het gebruik van DINOv3 en andere foundation models verbetert robuustheid aanzienlijk.
   • Semi-supervised Learning: Effectief gebruik van ongelabelde data (pseudo-labeling) om de beperkte datasetgrootte te compenseren.
   • Geometrische Priors: Het integreren van fysieke kennis (skyline, IMU-data, kaartprojecties) in de neurale netwerken.
4. Technische Rapporten: Het paper bevat gedetailleerde technische rapporten van de winnende teams, wat inzicht geeft in praktische ontwerpkeuzes, hyperparameters en 'lessons learned'.

---

5. Betekenis en Toekomstperspectief

De MaCVi 2026 workshop markeert een belangrijke stap in de evolutie van maritieme computer vision. De resultaten tonen aan dat de combinatie van foundation models (zoals DINOv3, SAM), ensembles, en domeinspecifieke aanpassingen (geometrie, semi-supervised learning) de huidige staat van de techniek vormt.

De nadruk op embedded real-time prestaties is cruciaal voor de praktische toepasbaarheid op autonome boten en USV's. De uitdagingen die nog blijven bestaan, zijn voornamelijk de detectie van zeer kleine objecten in dichte scènes en de robuustheid onder extreme weersomstandigheden.

Voor toekomstige edities wordt verwacht dat de focus verschuift naar meer generalistische challenges, waarbij methoden moeten presteren over meerdere taken en sensoren heen, in plaats van alleen gespecialiseerd te zijn voor één specifieke benchmark. De beschikbaarheid van datasets, leaderboards en code via macvi.org faciliteert verdere samenwerking en innovatie in dit veld.