WaterVideoQA: ASV-Centric Perception and Rule-Compliant Reasoning via Multi-Modal Agents

Dit paper introduceert WaterVideoQA, een uitgebreide video-V&A-benchmark voor waterwegen, en NaviMind, een neuro-symbolisch multi-agent systeem dat autonome oppervlakteschepen in staat stelt om van passieve waarneming over te gaan op regelgebaseerde, interpreteerbare redenering voor veilige navigatie.

De kern

🌊 De Boot die Kan Denken: Van "Kijken" naar "Begrijpen"

Stel je voor dat je een autonome boot (een ASV) hebt. Tot nu toe waren deze boten als een camera met een geheugen: ze konden heel goed zien wat er was (een boot, een boom, een rots), maar ze wisten niet echt waarom het daar was of wat ze er mee moesten doen. Ze waren als een passagier die uit het raam kijkt en zegt: "Daar is een boot," maar niet weet of ze moeten uitwijken of niet.

De auteurs van dit paper zeggen: "Dat is niet genoeg voor de zee. Je moet niet alleen kijken, je moet denken en regels kennen."

Om dit op te lossen, hebben ze twee dingen bedacht: een enorme testbaan en een slim brein.

---

1. De Testbaan: WaterVideoQA 🎬📚

Stel je een rijbewijsexamen voor, maar dan voor boten. Tot nu toe hadden ze alleen foto's van verkeersborden. Maar op het water verandert alles: de golven, het weer, de stroming. Een foto is niet genoeg; je hebt een film nodig.

De auteurs hebben WaterVideoQA gemaakt. Dit is de eerste grote "filmtest" voor boten op alle soorten water (rivieren, meren, zee, havens).

• De inhoud: Het bevat bijna 3.000 videofragmenten en duizenden vragen.
• De moeilijkheidsgraad: De vragen gaan van heel makkelijk ("Is daar een boot?") tot heel moeilijk ("Moeten we uitwijken volgens de vaarregels, en waarom?").
• Het doel: Het testen of een boot echt begrijpt wat er gebeurt, of dat hij alleen maar patronen herkent.

De analogie: Het is het verschil tussen een kind dat zegt "Daar is een hond" (passief kijken) en een hondentrainer die zegt "Die hond loopt naar de weg, we moeten hem terugroepen volgens de regels" (actief denken).

---

2. Het Brein: NaviMind 🧠⚙️

Hoe maak je een boot die zo'n test haalt? Je kunt niet zomaar een slimme computer neerzetten; die maakt vaak fouten (hallucinaties) of denkt te lang na. Daarom hebben ze NaviMind bedacht.

NaviMind is geen enkele supercomputer, maar een team van specialisten (een multi-agent systeem) die samenwerken, net als een bemanning op een schip.

De 3 belangrijkste onderdelen van NaviMind:

A. De Portier (Adaptive Semantic Routing)
Stel je voor dat je een kantoor binnenloopt. Niet elke vraag gaat naar de CEO.

• Als je vraagt: "Is het regenen?", stuurt de portier je direct naar de snelste medewerker (Fast Vision).
• Als je vraagt: "Wat betekent dit groene baken?", stuurt hij je naar de bibliotheek (Knowledge Retrieval).
• Als je vraagt: "Zullen we botsen als we zo doorgaan?", dan moet de CEO (Complex Reasoning) erbij komen.
• Waarom? Om tijd te besparen. Je wilt niet dat de CEO de hele dag bezig is met simpele vragen.

B. De Verstandige Kapitein (Situation-Aware Hierarchical Reasoning)
Dit is het hart van het systeem. Deze "kapitein" doet drie dingen tegelijk:

1. Kijken: Hij kijkt naar de video.
2. Lezen: Hij pakt direct de vaarregels (zoals de COLREGs, de verkeersregels voor op zee) uit een digitale bibliotheek.
3. Verbinden: Hij combineert wat hij ziet met wat er in de regels staat.

• Vergelijking: Een gewone AI ziet een groen baken en denkt "Groen is mooi". NaviMind ziet het baken, leest de regel "Groen betekent rechts houden" en concludeert: "Ik moet naar links sturen."

C. De Kwaliteitscontroleur (Self-Reflective Verification)
Soms denken computers dingen die niet waar zijn (hallucinaties). Stel, NaviMind zegt: "We moeten hard sturen," maar de regels zeggen het tegenovergestelde.

• De Kwaliteitscontroleur (Grader) kijkt het antwoord na.
• Als het antwoord niet klopt met de regels of de video, zegt hij: "Stop! Probeer het nog eens."
• Pas als het antwoord klopt, mag de boot de beweging uitvoeren. Dit zorgt voor veiligheid.

---

3. Wat hebben ze ontdekt? 🏆

Ze hebben NaviMind getest tegen andere slimme systemen. Het resultaat?

• Sneller: Omdat het slim deeltjes gebruikt (de Portier), is het veel sneller dan systemen die alles "zwaar" berekenen.
• Betrouwbaarder: Door de regels te gebruiken en te controleren, maakt het veel minder fouten.
• Veelzijdig: Het werkt niet alleen op de zee, maar ook op rivieren en kanalen. Het is zelfs getest op auto's (op het land) en bleek daar ook goed te werken!

Conclusie 🚢

Kortom: Dit paper introduceert een nieuwe manier om autonome boten slim te maken. In plaats van ze te laten "gokken" op basis van beelden, geven ze ze een team van experts dat kijkt, regels raadpleegt, en alles dubbelcheckt voordat er iets gebeurt.

Het is alsof je een boot hebt die niet alleen een camera heeft, maar ook een ervaren kapitein die de regels kent en een controleur die zorgt dat niemand een fout maakt. Dat is de sleutel tot veilige, autonome vaart in de toekomst.

Technische samenvatting

Probleemstelling

Huidige autonome oppervlakteschepen (ASV's) zijn over het algemeen beperkt tot passieve perceptie (zoals objectdetectie en segmentatie). Ze kunnen objecten "zien", maar missen het vermogen tot kennisgedreven, interactieve cognitieve redenering. In de maritieme omgeving, gekenmerkt door onregelmatige vaarwegen, wisselende getijden en complexe verkeersregels (zoals COLREGs), is passieve waarneming onvoldoende voor veilig manoeuvreren.
Bestaande VideoQA-datasets (Video Question Answering) hebben twee fundamentele tekortkomingen:

1. Single-frame bottleneck: Ze vertrouwen vaak op statische beelden en missen de temporale dynamiek die essentieel is voor het voorspellen van botsingsrisico's.
2. Gebrek aan domeinspecifieke logica: Ze missen de integratie van professionele maritieme regels, waardoor modellen oppervlakkige patronen matchen in plaats van causale redeneringen te maken die voldoen aan wet- en regelgeving.

Methodologie

Het paper introduceert een tweeledige aanpak: een nieuw dataset-benchmark en een nieuw multi-agent systeem.

1. WaterVideoQA: De Benchmark

Dit is het eerste uitgebreide VideoQA-benchmark specifiek ontworpen voor alle waterwegen (rivieren, meren, kanalen, havens, zee).

• Omvang: 3.029 videoclips en 3.673 vraag-antwoordparen.
• Hiërarchisch Raamwerk: De dataset test modellen op vijf cognitieve niveaus:
  1. Perceptie (objectherkenning).
  2. Sceneverstaan (contextuele begrip).
  3. Actie/Interactie (manoeuvres).
  4. Causaal & Voorspellend (risicobeoordeling).
  5. Kennisgedreven redenering (toepassing van regels).
• Annotatie: Een strikt mens-machine samenwerkingsproces met drie fasen (menselijke creatie, AI-ondersteunde generatie, en expertvalidatie) om hallucinaties te minimaliseren en de nauwkeurigheid te garanderen.

2. NaviMind: Het Multi-Agent Neuro-Symbolische Systeem

NaviMind is een architectuur die visuele waarneming combineert met symbolische kennis (regels) via een samenwerking van gespecialiseerde agenten. De kerncomponenten zijn:

• Adaptieve Semantische Routing (ASR): Een lichte "Router Agent" analyseert de intentie van de vraag en verdeelt de rekenkracht. Simpele waarnemingsvragen worden direct verwerkt (Fast Vision), kennisvragen gaan naar een Knowledge Base (Fast RAG), en complexe redeneringen worden doorgegeven aan de zware Reasoner. Dit optimaliseert de latency.
• Situation-Aware Hierarchical Reasoning (SAHR): De cognitieve kern.
  • Adaptive Temporal Standardization (ATS): Normaliseert video's met variabele lengtes naar een standaard set van keyframes.
  • Context Integratie: Combineert visuele tokens, een globale scène-beschrijving (gegenereerd door een Captioner Agent) en opgehaalde maritieme regels (via RAG).
  • Redenering: Voert een Chain-of-Thought (CoT) uit die visuele observaties strikt koppelt aan regels (bijv. COLREGs) om causale conclusies te trekken.
• Autonome Zelf-Reflectieve Verificatie: Een "Grader Agent" controleert het antwoord op feitelijke juistheid en regelconformiteit. Als de betrouwbaarheid onder een drempelwaarde valt, wordt de context uitgebreid en het antwoord opnieuw gegenereerd (Self-Reflective Loop) om hallucinaties te voorkomen.

Belangrijkste Bijdragen

1. WaterVideoQA Dataset: De eerste video-gebaseerde dataset voor maritieme navigatie die alle waterwegtypes dekt en een hiërarchische cognitieve evaluatie mogelijk maakt.
2. NaviMind Architectuur: Een pionierend multi-agent systeem dat ASV's in staat stelt om van oppervlakkige patroonherkenning over te gaan op regelgebaseerde, interpreteerbare besluitvorming.
3. SAHR Mechanisme: Een nieuw mechanisme dat visuele bewijzen dynamisch koppelt aan professionele maritieme regelgeving via Retrieval-Augmented Generation (RAG).
4. Zelf-Reflectie: Een effectief mechanisme voor het detecteren en corrigeren van hallucinaties, wat cruciaal is voor veiligheid in kritieke toepassingen.

Resultaten

Experimentele resultaten tonen aan dat NaviMind aanzienlijk presteert boven bestaande baselines (zoals InternVL3, VideoAgent en OmAgent):

• Prestatie: NaviMind behaalt de hoogste scores op alle metrics (ROUGE, BLEU, CIDEr, GPT-Score) op de WaterVideoQA dataset. Bijvoorbeeld, met een GPT-Score van 0.602 (bij 14B parameters) versus 0.479 voor de beste concurrent.
• Efficiëntie: Door de Adaptive Semantic Routing is NaviMind aanzienlijk sneller (bijv. 9.74s voor 11B parameters) dan zware monolithische modellen, wat het geschikt maakt voor edge-deployments.
• Generalisatie: Het systeem toont sterke prestaties op het LingoQA-dataset (autonoom rijden op land) zonder domeinspecifieke training, wat aantoont dat het redeneermechanisme universeel toepasbaar is.
• Kwaliteit: In kwalitatieve analyses (zoals botsingsvermijding) geeft NaviMind concrete, regelconforme antwoorden (bijv. "draai stuurboord volgens COLREGs Regel 14"), terwijl baselines vaak vaag of incorrect zijn.

Betekenis en Toekomst

Dit werk markeert een verschuiving van passieve waarneming naar actieve, cognitieve autonomie in de maritieme sector. Het biedt een nieuwe standaard voor het evalueren van het "verstand" van autonome schepen, niet alleen hun "ogen".

• Vertrouwen: Door het integreren van regelgeving en zelfverificatie creëert het systeem interpreteerbare en veilige beslissingen, wat essentieel is voor de acceptatie van ASV's.
• Toekomstige uitdagingen: De auteurs wijzen op beperkingen zoals de afhankelijkheid van zichtbaar licht (problemen bij mist/avond) en het gebrek aan fijne ruimtelijke grounding (exacte trajectcoördinaten). Toekomstig werk richt zich op sensorfusie (radar/LiDAR) en multi-agent reinforcement learning voor complexe interacties tussen meerdere schepen.

Kortom, WaterVideoQA en NaviMind leggen de basis voor de volgende generatie intelligente, betrouwbare en regelconforme autonome maritieme systemen.