WaterVideoQA: ASV-Centric Perception and Rule-Compliant Reasoning via Multi-Modal Agents

Die Autoren stellen WaterVideoQA, ein umfassendes Video-Frage-Antwort-Benchmark für Wasserstraßen, und NaviMind, ein neuro-symbolisches Multi-Agenten-System, vor, die autonomen Wasserfahrzeugen durch regelkonformes, interpretierbares Schlussfolgern eine sichere Navigation in dynamischen maritimen Umgebungen ermöglichen.

Das Wesentliche

Stellen Sie sich vor, ein autonomes Schiff ist wie ein sehr gut trainierter, aber etwas naiver Sportler. Dieser Sportler kann hervorragend sehen: Er erkennt andere Boote, sieht, ob das Wasser ruhig ist oder stürmisch, und kann sogar zählen, wie viele Menschen auf einem anderen Schiff sind. Das ist das, was wir heute schon gut können: Passives Sehen.

Aber hier liegt das Problem: Wenn dieser Sportler auf dem Wasser ist und ein anderes Boot direkt auf ihn zukommt, reicht es nicht zu wissen, dass da ein Boot ist. Er muss wissen, was er tun muss. Er muss die Regeln der Seefahrt kennen (wer muss ausweichen?), die Situation verstehen (ist das Wasser eng?) und eine logische Entscheidung treffen, die nicht nur sicher, sondern auch regelkonform ist. Bisher fehlte diesen Schiffen genau dieses "Denken" und "Verstehen".

Genau hier setzt die neue Forschung "WaterVideoQA" und das System "NaviMind" an. Hier ist die Erklärung in einfachen Worten:

1. Der neue Prüfstein: "WaterVideoQA" (Das Schulbuch für Schiffe)

Stellen Sie sich vor, Sie wollen einen Schüler auf eine schwierige Prüfung vorbereiten. Bisher gab es nur Aufgaben wie "Zeige mir das rote Boot" oder "Ist es sonnig?". Das ist zu einfach für die echte Welt.

Die Forscher haben daher WaterVideoQA entwickelt. Das ist wie ein riesiges, neues Schulbuch mit 3.000 Videos von allen möglichen Gewässern: von engen Kanälen über große Seen bis hin zum offenen Meer.

• Der Clou: Die Fragen sind nicht mehr nur "Was siehst du?", sondern "Was passiert, wenn wir weiterfahren?" oder "Welche Regel gilt hier?".
• Die fünf Stufen: Die Fragen sind wie ein Aufstieg in einer Schule:
  1. Wahrnehmung: "Siehst du ein Boot?"
  2. Verstehen: "Das Boot ist in einer engen Kurve."
  3. Handlung: "Wir müssen nach rechts ausweichen."
  4. Ursache & Wirkung: "Wenn wir nicht ausweichen, kollidieren wir, weil das andere Boot nicht bremsen kann."
  5. Wissen: "Laut den internationalen Seeregeln müssen wir hier Vorfahrt gewähren."

2. Der neue Lehrer: "NaviMind" (Das Team aus Experten)

Früher versuchte man, ein einziges riesiges KI-Modell zu bauen, das alles kann. Das war oft langsam und machte Fehler (Halluzinationen), als würde ein Schüler raten, statt zu wissen.

NaviMind ist anders. Es ist kein einzelner Super-Intellekt, sondern ein Team aus fünf spezialisierten Agenten, die wie eine gut organisierte Crew zusammenarbeiten:

• Der Türsteher (Router): Er hört sich die Frage an. Ist es eine einfache Frage wie "Ist es hell?"? Dann schickt er sie sofort an einen schnellen, kleinen Helfer. Ist es eine komplexe Frage wie "Wer muss ausweichen?"? Dann ruft er das ganze Team zusammen. Das spart Zeit und Energie.
• Der Beschreiber (Captioner): Er schaut sich das Video an und beschreibt die Szene in Worten, damit alle anderen verstehen, was passiert.
• Der Wissensspeicher (RAG): Das ist das Herzstück. Wenn eine Regel gefragt ist, sucht dieser Agent nicht nur im Internet, sondern in einer digitalen Bibliothek mit echten Seefahrtsregeln (wie dem "Internationalen Seestraßenrecht"). Er holt sich die genaue Regel, die gerade gilt.
• Der Denker (Reasoner): Dieser Agent verbindet das, was er sieht (das Video), mit dem, was er gelesen hat (die Regel). Er denkt Schritt für Schritt nach: "Ich sehe Boot X. Die Regel Y sagt, dass wir ausweichen müssen. Also müssen wir nach rechts lenken."
• Der Prüfer (Grader): Bevor das Schiff eine Entscheidung trifft, überprüft dieser Agent die Antwort des Denkers. "Hast du die Regel wirklich richtig verstanden? Hast du etwas erfunden?" Wenn die Antwort nicht sicher genug ist, wird sie korrigiert, bevor sie ausgegeben wird.

3. Warum ist das so wichtig? (Die Analogie)

Stellen Sie sich vor, Sie fahren Auto.

• Die alte KI war wie ein Fahrschüler, der nur die Ampeln und andere Autos sieht, aber nicht weiß, was "Vorfahrt gewähren" bedeutet. Er könnte in eine rote Ampel fahren, nur weil er "ein rotes Licht" gesehen hat, ohne den Kontext zu verstehen.
• NaviMind ist wie ein erfahrener Kapitän mit einem Navigator an der Seite. Der Kapitän sieht die Situation, der Navigator holt die Regeln nach, und gemeinsam entscheiden sie sicher und logisch.

Das Ergebnis

Die Tests zeigen, dass dieses neue System viel besser ist als alles, was es vorher gab.

• Es macht weniger Fehler (Halluzinationen).
• Es versteht die Regeln der Seefahrt wirklich.
• Es ist schnell genug, um in Echtzeit auf einem Schiff zu laufen.

Zusammenfassend: Die Forscher haben nicht nur ein neues "Gehirn" für Schiffe gebaut, sondern auch eine neue "Schule" (den Datensatz), um sie zu trainieren. Das Ziel ist, dass autonome Schiffe nicht nur blind sehen, sondern intelligent, sicher und regelkonform navigieren können – genau wie ein erfahrener menschlicher Kapitän.

Technische Zusammenfassung

1. Problemstellung

Autonome Oberflächenfahrzeuge (ASVs) haben in den Bereichen passiver Wahrnehmung (z. B. Objekterkennung, Segmentierung) erhebliche Fortschritte gemacht. Es besteht jedoch eine fundamentale Lücke in der wissensgestützten, interaktiven Umweltkognition.

• Mangel an aktiver Kognition: Bestehende Systeme agieren oft als statische Beobachter und erkennen nur visuelle Muster, ohne die zugrunde liegenden Kausalitäten oder dynamischen Interaktionen in komplexen Gewässern zu verstehen.
• Fehlende Regelkonformität: Das bloße Erkennen eines Objekts (z. B. „ein Schiff ist da") reicht für Kollisionsvermeidung nicht aus. ASVs müssen komplexe Navigationsregeln (wie die Kollisionsverhütungsregeln, COLREGs) anwenden und die kausale Begründung für Manöver ableiten können.
• Datenlücke: Es fehlte bisher an einem umfassenden Benchmark für Video-Frage-Antwort-Aufgaben (VideoQA), der sowohl zeitliche Dynamiken als auch die Vielfalt aller Gewässertypen (Flüsse, Seen, Meere, Kanäle) abdeckt und auf regelbasiertes Denken spezialisiert ist.

2. Methodik

Die Autoren schlagen einen zweigleisigen Ansatz vor: die Erstellung eines neuen Datensatzes und die Entwicklung eines neuartigen Multi-Agenten-Systems.

A. WaterVideoQA: Der Benchmark-Datensatz

Dies ist der erste umfassende VideoQA-Benchmark für alle Gewässerumgebungen.

• Umfang: 3.029 Videoclips aus 6 verschiedenen Gewässerkategorien (Fluss, See, Hafen, Graben, Meer, Kanal) mit 3.673 Frage-Antwort-Paaren.
• 5-stufige kognitive Hierarchie: Die Fragen sind in fünf Ebenen unterteilt, um den Übergang von einfacher Wahrnehmung zu komplexem Denken zu testen:
  1. Wahrnehmung (Perception): Objekterkennung.
  2. Szenenverständnis (Scene Understanding): Kontextanalyse.
  3. Handlung/Interaktion (Action/Interaction): Manöverplanung.
  4. Kausalität & Vorhersage (Causal & Predictive): Risikobewertung und Zukunftsprognose.
  5. Wissensgestütztes Schlussfolgern (Knowledge-Driven): Anwendung maritimer Regeln.
• Annotation: Ein strenger Mensch-Maschine-Kollaborationsprozess mit Experten-Validierung und mehrstufiger Qualitätskontrolle, um Halluzinationen zu minimieren und die Objektivität (gemessen durch Fleiss' Kappa von 0,86) zu gewährleisten.

B. NaviMind: Das Multi-Agenten Neuro-symbolische System

NaviMind ist ein System, das visuelle Wahrnehmung mit symbolischem Wissen (Regeln) verbindet, um regelkonforme Entscheidungen zu treffen. Es besteht aus fünf spezialisierten Agenten und drei Kernmechanismen:

1. Adaptive Semantische Routing (ASR):

   • Ein leichter Router-Agent analysiert die Benutzeranfrage und leitet sie auf den effizientesten Pfad weiter:
     • Fast Vision: Für einfache Wahrnehmungsfragen (geringe Latenz).
     • Fast RAG: Für reine Wissensfragen (Abfrage der Regel-Datenbank).
     • Complex Reasoning: Für komplexe kausale Aufgaben (volle Verarbeitungskette).
   • Dies optimiert die Rechenressourcen und die Echtzeitfähigkeit.

2. Situationsbewusstes Hierarchisches Schlussfolgern (Situation-Aware Hierarchical Reasoning - SAHR):

   • Adaptive Temporal Standardization (ATS): Normalisiert Videos unterschiedlicher Länge auf eine konsistente Anzahl von Keyframes.
   • Kontextfusion: Kombiniert visuelle Tokens, die Szenenbeschreibung (Caption) und extrahierte maritime Regeln (via RAG).
   • Zweistufiges Reasoning:
     • Ebene 1: Visuelle Verankerung (z. B. ein grüner Boje wird als „Rechts-hand-Mark" identifiziert).
     • Ebene 2: Kausale Deduktion (Vorhersage von Kollisionsrisiken basierend auf Regeln).

3. Autonome Selbstreflexive Verifikation (Autonomous Self-Reflective Verification):

   • Ein „Grader-Agent" bewertet die Antwort des Reasoner-Agenten auf logische Konsistenz und Regelkonformität.
   • Bei Unsicherheit (Halluzinationsrisiko) wird ein iterativer Feedback-Loop ausgelöst, der die Wissensbasis erweitert und die Antwort regeneriert, bis sie sicher ist.

3. Wichtige Beiträge

1. WaterVideoQA-Datensatz: Der erste VideoQA-Datensatz für die Schifffahrt, der alle Gewässertypen abdeckt und eine hierarchische Bewertung von der Wahrnehmung bis zur regelbasierten Deduktion ermöglicht.
2. NaviMind-Architektur: Ein Multi-Agenten-System, das effizient räumlich-zeitliche Informationen verarbeitet und Antworten mit hoher Zuverlässigkeit liefert.
3. SAHR-Mechanismus: Eine neuartige Methode, die visuelle Evidenz dynamisch mit professionellen maritimen Vorschriften verknüpft, um regelkonformes Denken zu ermöglichen.
4. Selbstverifikation: Ein Mechanismus zur Reduzierung von Halluzinationen durch automatische Diagnose und Korrektur, was für sicherheitskritische Anwendungen entscheidend ist.

4. Ergebnisse

Die Experimente wurden auf dem WaterVideoQA-Datensatz sowie zur Generalisierung auf dem autonomen Fahr-Datensatz LingoQA durchgeführt.

• Leistung auf WaterVideoQA: NaviMind übertrifft alle bestehenden Baselines (einschließlich großer Multimodaler Sprachmodelle wie InternVL3 und VideoAgent) in allen Metriken (ROUGE, BLEU, CIDEr, GPT-Score).
  • Die Version mit 21B Parametern (NaviMind-21B) erreicht einen GPT-Score von 0,602 (im Vergleich zu 0,479 bei InternVL3-38B).
  • Besonders stark ist die Leistung in den Bereichen Kausalität und Wissensbasiertes Schlussfolgern.
• Effizienz: Dank des adaptiven Routings ist NaviMind deutlich schneller als monolithische Modelle. Die 11B-Variante ist über 2-mal schneller als vergleichbare Agenten, was sie für Edge-Computing auf Schiffen geeignet macht.
• Generalisierung: Auf dem LingoQA-Datensatz (Straßenverkehr) zeigt NaviMind ebenfalls State-of-the-Art-Ergebnisse, was die universelle Anwendbarkeit des SAHR-Mechanismus für verschiedene autonome Systeme beweist.
• Qualitative Analyse: NaviMind liefert nachvollziehbare, regelbasierte Erklärungen (z. B. Verweis auf COLREGs Regel 14), während Baseline-Modelle oft nur oberflächliche Muster erkennen oder falsche Schlussfolgerungen ziehen.

5. Bedeutung und Ausblick

Diese Arbeit stellt einen Paradigmenwechsel in der autonomen Schifffahrt dar: weg von rein passiver Wahrnehmung hin zu aktivem, regelkonformem und interpretierbarem kognitivem Handeln.

• Vertrauenswürdige KI: Durch die Integration von Fachwissen (RAG) und Selbstverifikation wird die Zuverlässigkeit von ASVs in sicherheitskritischen Szenarien erhöht.
• Neuer Standard: WaterVideoQA setzt einen neuen Maßstab für die Evaluierung von KI-Systemen in maritimen Umgebungen.
• Zukünftige Arbeiten: Die Autoren planen, das System um Multi-Sensor-Daten (Radar, LiDAR) für alle Wetterbedingungen zu erweitern, die räumliche Verankerung (Trajektorienplanung) zu verbessern und Multi-Schiff-Interaktionen mittels Reinforcement Learning zu optimieren.

Zusammenfassend bietet das Paper eine robuste Lösung für die Lücke zwischen visueller Wahrnehmung und logischem, regelbasiertem Handeln in der autonomen Schifffahrt.