Hybrid Multi- Expert Deep Learning Framework for Operational SAR Maritime Surveillance and Dark Vessel Identification

Stel je de oceaan voor als een enorme, drukke snelweg waar schepen de auto's zijn. Decennialang hebben we deze auto's gevolgd met een systeem genaamd AIS, wat een soort digitale kentekenplaat is die schepen vrijwillig uitzendt om te zeggen: "Hier ben ik!" Maar net zoals een bestuurder de koplampen kan uitzetten om stiekem langs een tolpoort te glippen, zetten sommige schepen hun AIS-signalen uit om zich te verbergen. Dit zijn "dark vessels" (donkere schepen), en ze kunnen worden gebruikt voor smokkel, illegale visserij of andere schimmige zaken. Om hen te vangen, hebben we ogen nodig die door de mist, regen en de pikzwarte nacht heen kunnen kijken. Maak kennis met Synthetic Aperture Radar, of SAR. Zie SAR als een superkrachtige zaklamp die geen licht gebruikt, maar onzichtbare microgolfstralen. Het kan van schepen een beeld maken, zelfs als het stormt of als de maan verborgen is. Echter, het bekijken van deze radarbeelden is lastig. Ze zijn vaak korrelig, vol statische ruis (zoals een oude tv) en verwarrend, vooral bij drukke havens waar schepen op elkaar gepakt zitten als sardines. Wetenschappers hebben geprobeerd om computers te gebruiken om deze schepen te vinden, maar de meeste computerprogramma's zijn als generalisten: ze zijn oké in het spotten van een schip op de open oceaan, maar raken in de war in een drukke haven of bij een rotsachtige kust.

Dit is waar een nieuwe studie van onderzoekers van Amity University in beeld komt. Ze stellen een "Hybrid Multi-Expert Deep Learning Framework" voor, wat een chique manier is om te zeggen dat ze een team van gespecialiseerde computerdetectives hebben gebouwd in plaats van te vertrouwen op slechts één detective. Stel je een politiebureau voor waar je niet elke detective naar elke plaats delict stuurt. In plaats daarvan heb je een slimme centralist die eerst de scène bekijkt. Als het een rustige, open oceaan is, stuurt de centralist "Expert A" op pad, een snelle en efficiënte detective. Als het een onstuimige kustlijn is, stuurt hij "Expert B" op pad, die een beetje voorzichtiger is. Als het een superdrukke haven is met overlappende schepen, stuurt hij "Expert C" op pad, de meest geavanceerde detective met speciale instrumenten om de chaos te ontwarren. De onderzoekers hebben dit team getest met echte satellietbeelden en ontdekten dat dit "slimme centralist"-systeem ongelooflijk goed werkt. Ze lieten zien dat door wat de radar ziet te koppelen aan de "digitale kentekenplaten" (AIS) die schepen wel uitzenden, ze degenen kunnen opsporen die zich verstoppen. In een test over de drukke Straat van Singapore vond het systeem meer dan 1.000 schepen en identificeerde het er 96 als "dark vessels" die probeerden onzichtbaar te blijven.

Het probleem met de "one-size-fits-all" detective

Lamaal tijd hebben wetenschappers geprobeerd om één enkel computerprogramma te gebruiken om schepen in radarbeelden te vinden. Het is een beetje alsof je probeert één enkele bril te gebruiken om een boek te lezen, een auto te besturen en naar de sterren te kijken tegelijkertijd. Het werkt misschien redelijk voor het één, maar het is niet geweldig voor de anderen. In de open oceaan liggen schepen ver uit elkaar, dus werkt een eenvoudige, snelle detector prima. Maar nabij de kust is het water ruwer en raakt de radar in de war door de golven. In een dichte haven liggen schepen zo dicht bij elkaar dat ze één grote vlek vormen. Traditionele methoden, zoals de "Constant False Alarm Rate" (CFAR)-techniek, raken vaak overweldigd door deze achtergrondruis, waardoor het alarm afgaat bij elke golf en de werkelijke schepen worden gemist.

De onderzoekers stellen dat we een systeem nodig hebben dat zich aanpast aan de omgeving. Ze suggereren dat we, in plaats van één model alles te laten doen, de computer moeten laten beslissen welke "expert" te gebruiken moet worden op basis van wat hij ziet.

De slimme centralist: De scène routeren

De eerste stap in dit nieuwe framework is de "Intelligent Scene Routing". Denk aan dit als de centralist bij de receptie. Wanneer een nieuw radarbeeld binnenkomt, begint het systeem niet direct met het zoeken naar schepen. Eerst gebruikt het een aangepaste versie van een neuraal netwerk genaamd ResNet-50 om naar het plaatje te kijken en te vragen: "Waar zijn we?"

Het systeem classificeert de scène in drie typen:

1. Offshore: De open zee, waar het relatief rustig en helder is.
2. Inshore: De kust, waar het water onrustiger is en de achtergrond rommeliger.
3. Dense Port: Een drukke haven waar schepen dicht op elkaar gepakt zitten.

De onderzoekers hebben deze centralist getraind om erg goed te zijn in deze taak. In hun tests identificeerde het het type omgeving in 98,8% van de gevallen correct. Dit is cruciaal omdat het ervoor zorgt dat het juiste gereedschap voor de juiste klus wordt gebruikt. Als de centralist de verkeerde expert stuurt, kan het systeem een schip missen of in de war raken door een golf.

Het team van gespecialiseerde detectives

Zodra de centralist de locatie weet, geeft hij het beeld door aan de specifieke expert die ontworpen is voor die omgeving:

• Expert A (Offshore): Voor de open oceaan gebruikt het systeem YOLOv8n. Dit is een lichtgewicht, snel model. Omdat de open zee minder druk is, hoeft deze expert niet overdreven complex te zijn; hij moet alleen snel en accuraat zijn. De onderzoekers vonden dat deze expert een detectienauwkeurigheid (genaamd mean Average Precision of mAP) van 97% behaalde.
• Expert B (Inshore): Voor de kust schakelt het systeem over naar YOLOv8s, die iets groter en voorzichtiger is. Het gebruikt ook een speciale truc genaamd "CFAR-gebaseerde adaptieve filtering". Stel je dit voor als een detective die zijn gevoeligheid aanpast op basis van het ruisniveau. Als de golven luid zijn, weet de detective dat hij de kleine rimpelingen moet negeren en zich op de grote vormen moet concentreren. Deze expert behaalde een mAP van ongeveer 86%.
• Expert C (Dense Port): Dit is de zware werker. In drukke havens overlappen schepen elkaar, wat het moeilijk maakt om ze te onderscheiden. Deze expert gebruikt een combinatie van SwinIR (een hulpmiddel dat het korrelige radarbeeld opschoont en scherper maakt) en Mask R-CNN (een model dat een precieze omtrek rond elk individueel schip kan tekenen, zelfs als ze elkaar raken). Deze expert was zo goed in het vinden van overlappende schepen dat het een "recall" behaalde van bijna 1,0, wat betekent dat het bijna elk schip dat er was heeft gevonden en er bijna geen heeft gemist.

De hiders vangen: De AIS-fusie

Het vinden van de schepen is slechts de helft van de strijd. Het echte doel is om de dark vessels te vinden – degenen die zich verstoppen. Hiervoor gebruikt het systeem een slimme truc genaamd "AIS Data Fusion".

Elk schip dat zich aan de regels houdt, zendt zijn locatie uit via AIS. Het systeem neemt de lijst met schepen die het met de radar heeft gevonden en vergelijkt deze met de lijst met schepen die hun locatie uitzenden. Het gebruikt een wiskundige formule (de Haversine-afstand) om te zien of een radar-schip dicht genoeg bij een AIS-schip ligt om hetzelfde te zijn. Ze stelden een regel in: als een radar-schip binnen 500 meter van een AIS-schip ligt, is het een match.

Als de radar een schip ziet, maar er is geen AIS-signaal in de buurt, markeert het systeem dit als een Dark Vessel. Het is alsof je een auto ziet rijden zonder koplampen; je weet dat hij er is, maar hij vertelt je niet wie hij is.

Het volgen van de mysterieuze schepen

Zodra een dark vessel is opgemerkt, maakt het systeem niet alleen een snapshot; het begint met het volgen. Het gebruikt een Kalman Filter, wat een wiskundige methode is voor het voorspellen waar iets als volgende naartoe gaat op basis van waar het eerder was geweest. Denk aan het als een spelletje "heet kaki" waarbij het systeem het pad van het schip voorspelt. Als een schip plotseling van richting verandert of op een vreemde manier stopt met bewegen, kan het systeem deze anomalie opmerken. Dit helpt autoriteiten niet alleen te begrijpen waar het schip is, maar ook wat het mogelijk aan het doen is.

De resultaten: De praktijktest

De onderzoekers hebben dit niet alleen in een computersimulatie gebouwd; ze hebben het getest met echte gegevens. Ze gebruikten beelden van de Sentinel-1 satelliet en gegevens uit de Straat van Singapore, een van de drukste scheepvaartroutes ter wereld.

Dit is wat ze vonden:

• Het systeem analyseerde 1.038 scheepsdetecties.
• Het identificeerde 96 van deze als dark vessels.
• Dit resulteerde in een Dark Vessel Detection Rate (DVDR) van 9,24%.

Dit betekent dat in deze specifieke test ongeveer 1 op de 10 door de radar gedetecteerde schepen niet zijn locatie uitzond. De onderzoekers merken op dat dit overeenkomt met eerdere studies, wat suggereert dat een aanzienlijk deel van het scheepvaartverkeer in de schaduw opereert.

Waarom dit ertoe doet

De belangrijkste conclusie van dit artikel is dat een "one-size-fits-all" benadering voor het vinden van schepen niet goed genoeg is. Door een systeem te creëren dat werkt als een team van specialisten – elk met hun eigen superkrachten voor verschillende omgevingen – hebben de onderzoekers een robuustere en nauwkeurigere manier gebouwd om de zeeën te monitoren.

De studie suggereert dat dit hybride framework een sterke stap voorwaarts is voor operationele maritieme surveillance. Het gaat verder dan eenvoudige simulaties en laat zien dat het kan werken met echte satellietgegevens en live verkeersinformatie. Hoewel het systeem niet perfect is (geen enkel systeem is dat), biedt het een veelbelovende manier om de "dark vessels" te vangen die proberen door de mazen van het net te glippen, wat helpt om wereldwijde handelsroutes veiliger en zekerder te houden. De onderzoekers zijn van plan om het systeem te blijven verbeteren, bijvoorbeeld door radar in de toekomst te combineren met andere soorten sensoren, maar voor nu hebben ze laten zien dat een slim, multi-expert team de beste manier is om de puzzel van de verborgen oceaan op te lossen.