Towards Explainable Deep Learning for Ship Trajectory Prediction in Inland Waterways

Deze studie presenteert een interpreteerbaar LSTM-model voor het voorspellen van scheepsroutes op binnenwateren, dat ondanks een vergelijkbare nauwkeurigheid van circa 40 meter, aantoont dat de verbeterde prestaties niet volledig worden gedreven door een causaal verband met naburige schepen, wat de noodzaak benadrukt van transparante modellen voor veiligheidskritische toepassingen.

De kern

Voorspellen waar schepen gaan varen: Een poging om AI te laten praten in plaats van alleen te doen

Stel je voor dat je op een drukke rivier vaart, zoals de Rijn. Overal om je heen zijn andere schepen: grote binnenvaartschepen, pleziervaartuigen, en misschien zelfs een sleepboot. Als je een zelfsturend schip wilt bouwen dat veilig kan varen, moet het niet alleen weten waar het zelf naartoe gaat, maar ook waar de andere schepen naartoe gaan. Het moet kunnen voorspellen: "Die boot daar komt eraan, ik moet mijn koers iets aanpassen."

Dit is precies wat deze wetenschappers proberen te doen met een slim computerprogramma (een 'deep learning'-model). Maar er is een probleem: deze programma's zijn vaak een zwarte doos. Ze geven een goed antwoord, maar niemand weet waarom ze dat antwoord geven. Alsof een voorspeller zegt: "Ik denk dat die boot linksaf gaat," maar je vraagt: "Waarom?" en hij zegt: "Omdat de computer het zo heeft gezegd." Dat is gevaarlijk als je met duizenden mensen en waardevolle ladingen over de rivier vaart.

Hier is wat deze studie doet, vertaald naar begrijpelijke taal:

1. Het Probleem: De "Zwarte Doos"

De wetenschappers hebben een model gebouwd dat schepen kan voorspellen. Het werkt goed, maar ze willen weten of het model echt begrijpt hoe schepen met elkaar omgaan, of dat het gewoon toevallig goede voorspellingen doet.

Stel je voor dat je een kind leert fietsen. Als het kind niet valt, is dat goed. Maar als je wilt weten of het echt balans heeft, moet je kijken hoe het fietst. Als het kind alleen maar rechtuit rijdt omdat de weg zo smal is, en niet omdat het evenwicht heeft, dan is dat een vals gevoel van veiligheid. Dat is wat deze onderzoekers willen voorkomen bij schepen.

2. De Oplossing: Een "Zichtbaar" Brein

In plaats van een ondoorzichtige zwarte doos, hebben ze een model ontworpen dat een zichtbare bril draagt. Dit model gebruikt een concept dat ze de "Scheepsdomein" noemen.

• De Analogie: Denk aan een onzichtbare bubbel rondom elk schip. Als een ander schip in die bubbel komt, moet je schip reageren.
• De Slimme Twist: In dit nieuwe model is die bubbel niet vastgelegd (bijvoorbeeld "altijd 50 meter"). Het model leert zelf hoe groot die bubbel moet zijn voor verschillende situaties.
  • Als twee schepen elkaar passeren, is de bubbel misschien groot.
  • Als twee schepen in dezelfde richting varen, is de bubbel misschien kleiner.
  • Als een schip ver weg is, is de bubbel misschien helemaal leeg (je negeert het).

Het mooie is: door te kijken naar hoe groot deze "leerbare bubbel" is geworden, kunnen we zien waarom het model een bepaalde beslissing neemt. Het model zegt eigenlijk: "Ik let op dat schip omdat mijn bubbel groot genoeg is om het te zien."

3. De Experimenten: Drie Versies van een Robot

De onderzoekers hebben drie versies van hun robot-schip gebouwd om te testen wat er gebeurt:

1. De "Alles-in-één" (EA-DA): Een robot die alles tegelijk doet. Hij kijkt naar de bubbel én voorspelt de route.
2. De "Eenvoudige" (E-DA): Een robot die de interactie pas laat in het proces meeneemt.
3. De "Gescheiden" (E-DDA): Dit is de belangrijkste uitvinding. Hierbij hebben ze de robot in twee delen gesplitst:
   • De "Blinde" Deel: Kijkt alleen naar waar het eigen schip naartoe gaat, alsof er geen andere schepen zijn.
   • De "Interactie" Deel: Kijkt alleen naar de andere schepen en de bellen.
   • De Resultaten: Deze robot kan nu zeggen: "Als ik de interactie-deel uitschakel, waar zou ik dan zijn?" Dit helpt om te zien of de interactie echt nodig is voor de voorspelling.

4. Wat Vonden Ze? (De Verassende Conclusie)

Het resultaat was verrassend en leerzaam:

• De Voorspellingen waren goed: Alle modellen konden de route van schepen redelijk goed voorspellen (binnen ongeveer 40 meter foutmarge na 5 minuten).
• Maar... het model "begreep" het niet altijd: Het bleek dat de modellen die de beste voorspellingen deden, soms niet echt keken naar de andere schepen zoals we dachten.
  • Vergelijking: Stel je voor dat je een voetbalwedstrijd voorspelt. Je zegt: "Team A wint." Je hebt gelijk. Maar als je kijkt naar je redenering, blijkt dat je alleen keek naar de weerberichten en niet naar de spelers. Je voorspelling was goed, maar je redenering was fout.
  • In dit geval: Het model voorspelde goed, maar de "bubbel" (de scheepsdomein) bleek soms niet logisch. Het negeerde schepen die het eigenlijk wel had moeten zien, of keek naar schepen die irrelevant waren.

5. Waarom is dit belangrijk?

Dit onderzoek toont aan dat goed resultaat niet altijd betekent dat het model het goed begrijpt.

Als we een zelfsturend schip bouwen dat alleen "geluk" heeft met voorspellen, kan het in een nieuwe, vreemde situatie (bijvoorbeeld een storm of een ongebruikelijke manoeuvre) falen omdat het de onderliggende logica niet heeft geleerd.

Door de "bubbel" zichtbaar te maken en het model te dwingen om interactie en eigen koers te scheiden, kunnen we:

1. Vertrouwen krijgen: We zien waarom het schip een beslissing neemt.
2. Veiligheid verhogen: We kunnen zien of het model echt rekening houdt met gevaarlijke situaties.
3. Betere AI bouwen: We leren dat we niet alleen moeten kijken naar de cijfers (hoe goed was de voorspelling?), maar ook naar het proces (hoe kwam hij tot die conclusie?).

Kortom:
De onderzoekers hebben een slimme manier bedacht om AI voor schepen niet alleen te laten doen, maar ook te laten uitleggen. Ze hebben ontdekt dat een goede voorspelling soms toeval kan zijn, en dat we de "bubbel" om de schepen moeten kunnen zien om echt te weten of de AI veilig is. In de toekomst willen ze dit gebruiken om te testen: "Wat zou er gebeuren als die andere boot er niet was?" (een zogenaamde counterfactual analyse), zodat we echt begrijpen hoe schepen met elkaar omgaan.

Technische samenvatting

Probleemstelling

De binnenvaart is een cruciaal en duurzaam transportmiddel, maar de toenemende vraag vereist automatisering en veilige verkeersregeling. Een fundamenteel onderdeel hiervan is het nauwkeurig voorspellen van scheepstrajecten, vooral in drukke omgevingen waar schepen met elkaar interageren.
Hoewel diep learning-modellen (zoals LSTM) de voorspellingnauwkeurigheid hebben verbeterd, ontbreekt vaak uitlegbaarheid (explainability). Bestaande modellen die rekening houden met interacties tussen schepen ("interaction-aware") worden vaak geëvalueerd op basis van voorspelfouten, zonder te verifiëren of het model de interacties daadwerkelijk correct begrijpt. Er is een risico dat een model betere resultaten levert door toevallige patronen in de data in plaats van door een causale relatie met de bewegingen van andere schepen. Dit ondermijnt het vertrouwen in de betrouwbaarheid van deze systemen voor veiligheidskritische toepassingen.

Methodologie

De auteurs stellen een LSTM-gebaseerd Encoder-Decoder model voor dat is aangepast voor de binnenvaart, met een focus op uitlegbaarheid via een leerbare "ship domain" (schip-domein).

1. Data en Features:

   • Het model gebruikt AIS-data van de Rijn (km 595-611).
   • Invoerfeatures omvatten longitudinale positie (waterwegkilometer), laterale positie (afwijking van het vaarwater), en hun veranderingen, evenals kromming van het vaarwater.
   • De voorspelling betreft de verplaatsing over een horizon van 5 minuten.

2. Interactie-georiënteerde Architectuur:

   • Het model gebruikt een leerbare ship domain parameter matrix ($S$). Deze matrix bepaalt op basis van relatieve parameters (laterale afstand, relatieve richting, en verandering in afstand) hoe groot het "invloedgebied" van een ander schip is.
   • Als de afstand tussen schepen groter is dan de geleerde domeinwaarde, wordt het andere schip genegeerd (gewicht = 0).
   • De auteurs onderscheiden drie modelvarianten om de rol van interactie te analyseren:
     • EA-DA (Encoder-Attention-Decoder-Attention): Integreert interactie in zowel de encoder als de decoder.
     • E-DA (Encoder-Decoder-Attention): Beperkt de interactie-attentie tot alleen de decoder.
     • E-DDA (Encoder-Dual-Decoder-Attention): Splitst de decoder in twee paden:
       • Een BlindLSTM die alleen de eigen geschiedenis van het schip verwerkt (interactie-agnostisch).
       • Een AttLSTM die alleen de gewogen en gefuseerde hidden states van andere schepen verwerkt.
       • Deze scheiding maakt het mogelijk om te analyseren of de interactiecomponent daadwerkelijk bijdraagt aan de voorspelling.

3. Uitlegbaarheid (XAI):

   • In plaats van alleen de voorspelfout te meten, analyseren de auteurs de geleerde ship domain waarden. Dit geeft inzicht in of het model heeft geleerd om bepaalde ontmoetingstypen (bijv. tegenliggers) relevant te vinden of te negeren.

Belangrijkste Resultaten

• Voorspellingnauwkeurigheid:

  • Alle voorgestelde modellen presteren vergelijkbaar met bestaande studies, met een gemiddelde eindverplaatsingsfout (FDE) van ongeveer 40 meter voor een horizon van 5 minuten.
  • De E-DDA variant (met gescheiden decoder) presteerde het beste (gemiddelde FDE van 38,4 m), gevolgd door E-DA en EA-DA. Het interactie-agnostische benchmarkmodel (E-D) presteerde het slechtst.

• Analyse van de Ship Domain (Interactie-Effectiviteit):

  • EA-DA en E-DA: Ondanks hun goede voorspellingnauwkeurigheid, bleek dat deze modellen de interactie tussen schepen niet correct hadden geleerd. Voor tegenliggers (oppositie) daalde de geleerde ship domain waarde zelfs, wat betekent dat het model tegenliggers op grotere afstanden negeerde. De verbeterde prestaties kwamen dus niet voort uit een correcte causale relatie met andere schepen.
  • E-DDA: Dit model toonde een gedrag dat beter overeenkwam met de verwachtingen. De ship domain waarden voor naderende tegenliggers namen toe, wat aangeeft dat het model deze schepen wel degelijk als relevant beschouwt voor de voorspelling.
  • Paradox: Het E-DDA model gaf echter onverwacht hogere gewichten aan schepen met een grotere laterale afstand, wat contra-intuïtief is (schepen dichterbij zouden logischerwijs relevanter moeten zijn).

Bijdragen en Significantie

1. Architecturale Innovatie voor XAI: De paper introduceert een architectuur (E-DDA) die de interactiecomponent expliciet scheidt van de eigen trajectvoorspelling. Dit maakt het mogelijk om te testen of een model "echt" interactie begrijpt of dat het slechts statistische correlaties benut.
2. Inzicht in "Schijnbare" Interactie: Een cruciale bevinding is dat een model hoge voorspellingnauwkeurigheid kan hebben zonder dat het de interactie tussen schepen correct modelleert. Dit waarschuwt voor het blindelings vertrouwen op foutmetingen (zoals FDE) bij het evalueren van interactie-bewuste systemen.
3. Toepassing op Binnenvaart: Het onderzoek past bestaande maritieme concepten (zoals de Quaternion Ship Domain) aan voor de complexere en dichterbevolkte omgeving van de binnenvaart, waar vaarregels en waterweggeometrie een grote rol spelen.
4. Toekomstperspectief: De auteurs benadrukken dat de huidige modellen nog niet volledig causaal zijn. De gescheiden architectuur biedt een basis voor counterfactual analysis (wat als dit schip er niet was?) en verdere optimalisatie van de attentiemechanismen om de uitlegbaarheid en veiligheid te waarborgen.

Conclusie:
De studie toont aan dat voor betrouwbare autonome binnenvaart niet alleen nauwkeurige voorspellingen nodig zijn, maar ook modellen die uitlegbaar zijn en waarvan bewezen is dat ze interacties correct interpreteren. De voorgestelde E-DDA-architectuur is een belangrijke stap in deze richting door de interactiecomponent te isoleren en te valideren.