Benchmarking Vision-Based Object Tracking for USVs in Complex Maritime Environments

Deze studie presenteert een visie-gestuurd objectvolgingskader voor onbemande oppervlakteschepen (USVs) in complexe mariene omgevingen, waarin zeven geavanceerde trackers en verschillende regelalgoritmen worden gebenchmarkt en waaruit blijkt dat de Transformer-gebaseerde SeqTrack-tracker en de LQR-regelaar de beste prestaties leveren onder moeilijke omstandigheden.

De kern

Stel je voor dat je een onbemande bootje (een USV) hebt dat een ander bootje moet volgen op zee. Dit klinkt simpel, maar op de open zee is het een ware uitdaging. De golven laten je eigen bootje wiebelen, de zon reflecteert op het water, en soms is er zelfs een stofstorm die alles in een wazige sluier hult.

Dit artikel is als het ware een grote test om uit te vinden welke "oog" en welk "stuur" het beste werken om die boot te blijven volgen, zelfs als het weer meewerkt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: Een Bootje dat een Bootje jaagt

Normaal gesproken gebruiken boten radar (zoals een sonar voor geluid) om dingen te zien. Maar radar is duur en zwaar. Deze onderzoekers wilden iets slimmers: een camera.

• De uitdaging: Een camera op een boot is als een camera op een trampoline. Als de boot op een golf rijdt, beweegt de camera wild. Als er water op de lens spat, wordt het beeld wazig. Als de zon fel schijnt, zie je alleen spiegelingen.
• De vraag: Welke software kan het beste "kijken" en welke besturing kan het beste "sturen" om toch precies achter het doelwit aan te blijven?

2. De "Oog"-Test: Wie is de beste jager?

De onderzoekers hebben zeven verschillende moderne "kijk-software" (trackers) getest. Je kunt deze vergelijken met verschillende soorten jagers:

• De Oude School (SiamFC): Dit is als een jager die alleen kijkt naar de vorm van het doelwit. Als het doelwit even verdwijnt achter een golf of als de vorm verandert door de hoek, raakt deze jager de draad kwijt.
• De Moderne Jagers (Transformers zoals SeqTrack, ToMP): Dit zijn als slimme detectives die niet alleen kijken naar de vorm, maar ook naar de context. Ze begrijpen dat een bootje misschien even wordt bedekt door een golf, maar dat het er nog steeds is. Ze kijken naar het "geheel" van de situatie.

Het resultaat:
In rustig water deden ze het allemaal redelijk. Maar toen ze de bootje in een stofsituatie (een soort digitale stofstorm) zetten, bleek SeqTrack de absolute winnaar.

• Vergelijking: Terwijl de andere jagers blind werden door het stof, bleef SeqTrack kalm en kon het het doelwit nog steeds zien door de chaos heen. Het is alsof je een bril hebt die door de mist heen kijkt.

3. De "Stuur"-Test: Wie is de beste stuurman?

Zodra de camera weet waar het doelwit is, moet de boot sturen om erachteraan te blijven. Hiervoor testten ze drie verschillende besturingsmethoden:

1. PID (De Eerste Hulp): Dit is als een beginnende stuurman die heel snel reageert. Hij ziet een afwijking en trekt direct hard aan het stuur. Het gevolg? De boot schiet voorbij, moet terug, schiet weer voorbij. Het zit te veel te wiebelen (oscilleren).
2. SMC (De Strijdbare Stuurman): Deze is heel sterk en houdt zich vast aan een lijn, maar hij is wat traag om te starten en maakt de boot soms wat onrustig.
3. LQR (De Slimme Chauffeur): Dit is de winnaar. Stel je voor dat je een auto bestuurt die niet alleen kijkt waar je naartoe wilt, maar ook berekent hoeveel kracht je nodig hebt om daar soepel te komen zonder te schokken.
   • Vergelijking: Waar de andere stuurmannen de boot heen en weer laten slingeren, laat de LQR de boot glad en rustig glijden, alsof je over een gladde ijsbaan rijdt.

4. De Grote Combinatie: Het Perfecte Team

De onderzoekers hebben alles samengevoegd in één systeem:

• Het Oog: SeqTrack (de detective die door stof en golven ziet).
• De Stuur: LQR (de soepele chauffeur die niet schokt).

Wat deden ze?
Ze testten dit in een computer-simulatie (een virtuele zee) en in de echte zee bij Saadiyat Island in Abu Dhabi. Ze lieten hun bootje een ander bootje volgen in rustig water, maar ook in zware golven en zelfs in een gesimuleerde stofstorm.

Het eindoordeel:
In rustige omstandigheden werken veel systemen goed. Maar zodra het lastig wordt (golven, wind, slecht zicht), is het team van SeqTrack + LQR onverslaanbaar. Het blijft het doelwit vasthouden zonder dat de boot wild gaat slingeren.

Waarom is dit belangrijk?

Dit is niet alleen een leuk experiment. Dit betekent dat we in de toekomst:

• Reddingsboten kunnen sturen die automatisch een verdwaalde boot vinden, zelfs als het stormt.
• Milieu-wachters kunnen hebben die onafhankelijk de oceaan verkennen om vervuiling te zien.
• Veiligheid op zee kan toenemen zonder dat er mensen aan boord hoeven te zijn die in gevaar komen.

Kortom: De onderzoekers hebben bewezen dat als je de juiste "slimme camera" koppelt aan de "rustigste stuurman", je een bootje kunt bouwen dat de zee niet alleen overleeft, maar er meesterlijk doorheen vaart.

Technische samenvatting

Titel: Benchmarking van visiegebaseerde objecttracking voor USV's in complexe mariene omgevingen

Auteurs: Muhayy Ud Din, Ahsan B. Bakht, et al. (Khalifa University)

---

1. Probleemstelling

Onbemande oppervlakteschepen (USV's) worden steeds belangrijker voor taken zoals inspectie, bewaking en reddingsoperaties. Een kritieke functie hierbij is het autonoom volgen van doelen (bijv. andere boten).

• Uitdagingen: Traditionele tracking-methoden in de maritieme sector vertrouwen vaak op objectdetectie (zoals YOLO of SSD) gecombineerd met filters (zoals Kalman-filter). Deze methoden zijn echter vaak niet robuust genoeg voor dynamische mariene omstandigheden.
• Specifieke obstakels:
  • Dynamische camerabewegingen veroorzaakt door de beweging van het schip en de golven.
  • Veranderingen in schaal, verduistering (occlusie) en reflecties op het water.
  • Slechte zichtbaarheid door spatten op de lens, mist of stofstormen.
  • Bestaande geavanceerde trackers (zoals Siamese netwerken en Transformers) zijn voornamelijk getest op statische camera's en zijn nog niet uitgebreid geëvalueerd in real-time mariene scenario's met bewegende platforms.

Het doel van deze studie is een framework te ontwikkelen dat state-of-the-art visiegebaseerde trackers integreert met lage-niveau besturingssystemen om nauwkeurige tracking mogelijk te maken onder deze complexe omstandigheden.

---

2. Methodologie

De auteurs hebben een drie-module framework ontwikkeld en getest:

A. Architectuur van het Framework

1. Perceptie-module:
   • Gebruikt een camera voor visuele tracking.
   • Integreert LiDAR voor afstandsmeting en obstakelvermijding.
   • Gebruikt IMU (Inertial Measurement Unit) en DVL (Doppler Velocity Log) voor positie- en snelheidsschatting.
2. Gids-module (Guidance):
   • Verwerkt de data van de perceptie.
   • Berekent de pixel-fout (afwijking van het doel in het beeld) en de afstandsfout (via LiDAR).
   • Genereert navigatiecommando's om deze fouten te minimaliseren.
3. Besturings-module (Control):
   • Regelt de voortstuwing (surge) en de koers (yaw) van de USV.
   • Vertaalt de gidscommando's naar duwkrachten voor de linker- en rechterthrusters.

B. Gebruikte Trackers (Benchmarking)

Zes state-of-the-art trackers werden geëvalueerd, variërend van CNN-gebaseerde tot Transformer-architecturen:

• SiamFC: Siamese netwerken (correlatie-filter).
• ATOM & DiMP: Correlatie-filter gebaseerd met discriminatieve loss.
• ToMP, SeqTrack, TaMOs: Transformer-gebaseerde architecturen die gebruikmaken van attention-mechanismen voor betere prestaties bij complexe achtergronden.

C. Gebruikte Besturingsalgoritmen

Drie besturingsstrategieën werden getest om te zien welke het beste samenwerkt met de trackers:

1. PID (Proportional-Integral-Derivative): Traditionele regeling.
2. SMC (Sliding Mode Control): Robuuste niet-lineaire regeling.
3. LQR (Linear Quadratic Regulator): Optimale regeling die een kostenfunctie minimaliseert (balans tussen fout en besturingsinspanning).

D. Dataset en Experimenten

• Datasets: Een aangepaste dataset bestaande uit:
  • Real-world: 21 video's opgenomen bij Saadiyat Island (VAE) met een echte USV.
  • Simulatie: 5 video's gegenereerd in de MBZIRC-simulator, inclusief extreme omstandigheden zoals stofstormen en variabele wind.
• Hardware: Een catamaran-USV uitgerust met LiDAR, IMU, DVL, en vier camera's, aangedreven door NVIDIA Xavier NX en Jetson Orin.

---

3. Belangrijkste Bijdragen

1. Specifiek Framework voor Mariene Omgevingen: Een vision-guided framework dat specifiek is ontworpen voor de dynamische en onvoorspelbare omstandigheden op zee, in tegenstelling tot statische tracking-systemen.
2. Uitgebreide Benchmarking: De eerste uitgebreide evaluatie van zes geavanceerde deep-learning trackers (inclusief Transformers) specifiek voor maritieme USV-toepassingen, getest op zowel gesimuleerde als echte data.
3. Integratie met Besturing: Een systematische analyse van hoe verschillende trackers de prestaties van besturingsalgoritmen (PID, SMC, LQR) beïnvloeden onder realistische omstandigheden.
4. Validatie in Realiteit: Het framework is niet alleen gesimuleerd, maar ook succesvol getest in echte zee-experimenten in Abu Dhabi.

---

4. Resultaten

Tracker Prestaties

• Simulatie: Transformer-gebaseerde trackers (ToMP, SeqTrack, TaMOs) presteerden het beste, met name SeqTrack en ToMP met de hoogste nauwkeurigheid (AUC > 88%).
• Real-world: In echte omstandigheden presteerden ToMP, TaMOs en SeqTrack het beste.
• Adverse Omstandigheden: In moeilijke omstandigheden, zoals stofstormen (met beperkt zicht), presteerde SeqTrack (een Transformer-gebaseerde tracker) significant beter dan de andere. Het kon het doel beter vasthouden ondanks visuele verstoringen.

Besturings Prestaties

• LQR (Linear Quadratic Regulator): Bleek de meest robuuste en soepele controller te zijn.
  • Het produceerde de minste oscillaties in de duwkrachtcommando's.
  • Het herstelde sneller naar stabiliteit na verstoringen (golven, wind).
  • In combinatie met SeqTrack bood het de meest stabiele tracking in zowel rustige als stormachtige omstandigheden.
• PID: Toonde snelle reactie maar met aanzienlijke overshoot en oscillaties.
• SMC: Toonde een trager convergentiegedrag en ruwere thrust-commando's vergeleken met LQR.

Combinatie

De combinatie van SeqTrack (voor visie) en LQR (voor besturing) leverde de beste algehele prestaties, met name in uitdagende scenario's met stofstormen en golven.

---

5. Betekenis en Conclusie

De studie demonstreert dat geavanceerde deep-learning trackers, specifiek die gebaseerd op Transformers (zoals SeqTrack), essentieel zijn voor betrouwbare tracking in dynamische mariene omgevingen waar traditionele methoden falen.

• Technische Impact: Het bewijst dat visiegebaseerde tracking, wanneer gekoppeld aan een optimale regelaar (LQR), een haalbaar alternatief is voor dure radar-systemen voor USV's.
• Praktische Toepassing: De gevonden oplossing is direct toepasbaar voor kritieke taken zoals reddingsoperaties, milieu-monitoring en maritieme beveiliging, zelfs bij slecht weer.
• Trade-off: Er is een afweging tussen rekenkracht en nauwkeurigheid. Hoewel SeqTrack en LQR de beste resultaten leveren, zijn ze rekenintensief. Voor real-time toepassingen met beperkte onboard-vermogen moet dit in overweging worden genomen, maar voor kritieke missies in onvoorspelbare omstandigheden weegt de nauwkeurigheid op tegen de kosten.

Kortom, dit werk biedt een robuust, gevalideerd raamwerk voor autonome USV's om doelen nauwkeurig te volgen in de complexe en dynamische wereld op zee.