eStonefish-Scenes: A Sim-to-Real Validated and Robot-Centric Event-based Optical Flow Dataset for Underwater Vehicles

Die Arbeit stellt eStonefish-Scenes, einen synthetischen, auf dem Stonefish-Simulator basierenden optischen Fluss-Datensatz für Unterwasser-Ereigniskameras, zusammen mit der Bibliothek eWiz vor und validiert deren erfolgreiche Sim-to-Real-Übertragbarkeit durch den Einsatz eines ausschließlich auf synthetischen Daten trainierten ConvGRU-Netzwerks auf realen Unterwassersequenzen.

Das Wesentliche

🌊 Das Problem: Die "blinde" Unterwasser-Roboter-Ausbildung

Stell dir vor, du möchtest einem Roboter beibringen, sich sicher unter Wasser zu bewegen. Normalerweise nutzt man dafür Kameras, die wie unsere Augen Bilder aufnehmen (Bild für Bild). Aber unter Wasser ist das ein Albtraum: Es ist oft dunkel, das Wasser ist trüb, und wenn der Roboter schnell schwimmt, verschwimmt das Bild komplett (wie bei einem verwackelten Foto).

Die Forscher haben eine geniale Idee: Neuartige "Ereignis-Kameras".
Stell dir diese Kameras nicht als Fotoapparat vor, sondern als ein Schwarm von winzigen Mücken. Jede Mücke (ein Pixel) schreit nur dann, wenn sich etwas bewegt oder das Licht sich ändert.

• Vorteil: Sie sehen keine verschwommenen Bilder, sondern nur die Bewegung selbst. Sie sind extrem schnell und brauchen kaum Licht.
• Das Problem: Um diese Kameras zu trainieren, braucht man riesige Mengen an Daten, bei denen man genau weiß, wie sich alles bewegt hat (eine "Wahrheit"). Unterwasser diese Daten aufzunehmen, ist extrem teuer, gefährlich und langweilig. Man müsste Taucher mit Spezialausrüstung losschicken, um jeden einzelnen Fisch und jede Koralle zu vermessen.

🎮 Die Lösung: Ein riesiger Unterwasser-Videospiele-Generator

Um dieses Problem zu lösen, haben die Autoren eStonefish-Scenes entwickelt.

Stell dir das wie einen hochmodernen Videospiele-Generator vor (ähnlich wie The Sims oder Grand Theft Auto, aber für Roboter unter Wasser).

1. Die Welt: Sie haben eine Software namens "Stonefish" benutzt, um eine virtuelle Unterwasserwelt zu bauen.
2. Die Deko: Statt alles manuell zu modellieren, haben sie einen "Korallen-Generator" (Stonefish-SceneGen) gebaut. Der wirft automatisch tausende verschiedene Korallen in die Welt, genau wie ein Landschaftsgärtner, der zufällig Blumen aussät.
3. Das Leben: Sie haben auch einen "Fisch-Schwarm-Simulator" (Stonefish-Boids) eingebaut. Die Fische verhalten sich wie echte Fische: Sie halten Abstand, folgen einem Anführer und weichen Hindernissen aus.
4. Die Kamera: In dieser virtuellen Welt sitzt eine perfekte "Ereignis-Kamera". Da es eine Simulation ist, weiß der Computer exakt, wie sich alles bewegt. Er kann also die "Wahrheit" (Ground Truth) perfekt berechnen, ohne dass ein Taucher ins Wasser muss.

Das Besondere: Sie haben die Kamera so eingestellt, dass sie die echte Auflösung einer echten Unterwasser-Kamera hat. Das ist wichtig, damit die KI später nicht auf einem riesigen Bildschirm trainiert wird, aber auf einem kleinen Handy-Display (dem Roboter) versagt.

🛠️ Das Werkzeugkasten: eWiz

Damit andere Forscher diese Daten auch nutzen können, haben sie eWiz gebaut.
Stell dir eWiz wie einen Schweizer Taschenmesser für Daten vor. Es ist eine Bibliothek (ein Werkzeugkasten), die alles enthält, was man braucht:

• Daten laden und speichern (wie ein sehr effizienter Ordner).
• Daten aufbereiten (wie ein Koch, der Zutaten schneidet).
• Fehlerberechnung und Visualisierung.
  Kurz gesagt: Es macht das Leben für jeden Wissenschaftler, der mit diesen Kameras arbeitet, viel einfacher.

🧪 Der große Test: Vom Spielplatz in die echte Welt

Jetzt kommt der spannende Teil: Funktioniert das, was der Roboter im Videospiel gelernt hat, auch in der echten Welt?

Die Forscher haben einen echten Roboter (BlueROV2) genommen, eine echte Ereignis-Kamera darauf montiert und ihn in einen großen, leeren Swimmingpool geschickt.

• Der Trick: Auf dem Boden des Pools lag ein riesiges, hochauflösendes Poster mit einem Korallenriff-Muster.
• Die Messung: Der Roboter hat sich bewegt. Da das Poster bekannt war, konnten die Forscher mit Mathematik (Homographie) genau berechnen, wie sich das Bild hätte bewegen müssen. Das war ihre "Wahrheit".
• Die Unsicherheit: Da Wasser und Licht nicht perfekt sind, wussten sie nicht zu 100 %, ob die Messung am Rand des Bildes genau ist. Deshalb haben sie eine Unsicherheits-Messung eingeführt. Stell dir das vor wie eine Wolke: Wo die Wolke dick ist (hohe Unsicherheit), vertraut man dem Ergebnis weniger; wo sie dünn ist, vertraut man mehr.

🏆 Das Ergebnis: Ein voller Erfolg!

Sie haben eine künstliche Intelligenz (ein neuronales Netz) nur mit den Daten aus dem Videospiel (eStonefish-Scenes) trainiert. Kein einziges Mal haben sie sie mit echten Unterwasser-Daten trainiert.

Dann haben sie diese KI auf den echten Roboter im Pool losgelassen.

• Das Ergebnis: Die KI hat die Bewegung fast perfekt vorhergesagt! Der Fehler war winzig (unter 1 Pixel).
• Die Bedeutung: Das bedeutet, dass man in Zukunft keine teuren Tauchgänge mehr braucht, um diese Kameras zu trainieren. Man kann alles im Computer simulieren, und der Roboter funktioniert dann auch in der echten, trüben, dunklen Welt.

Zusammenfassung in einem Satz

Die Forscher haben einen virtuellen Unterwasser-Videospiele-Generator gebaut, der perfekt trainierte Roboter-Kameras erzeugt, und bewiesen, dass diese Roboter danach ohne jegliches Training in der echten Welt genauso gut navigieren können wie nach einem echten Tauchkurs.

Das spart Zeit, Geld und schützt die Meeresumwelt, weil weniger Roboter herumfahren müssen, nur um Daten zu sammeln. 🐟🤖🌊

Technische Zusammenfassung

1. Problemstellung

Event-basierte Kameras (EBCs), auch bekannt als neuromorphe Kameras, bieten für die Unterwasserrobotik erhebliche Vorteile gegenüber herkömmlichen rahmenbasierten Kameras, wie z. B. hohe zeitliche Auflösung, geringe Latenz, kein Bewegungsunschärfe und ein hoher dynamischer Bereich. Dies macht sie ideal für dynamische Szenen mit schnellen Bewegungen und wechselnden Lichtverhältnissen.

Trotz dieses Potenzials gibt es erhebliche Hindernisse für den Fortschritt in Aufgaben wie visueller Odometrie und Hindernisvermeidung:

• Fehlende Datensätze: Es existieren keine gelabelten, ereignisbasierten Datensätze für Unterwasserumgebungen.
• Einschränkungen realer Daten: Die Erfassung realer Daten ist ressourcenintensiv, teuer und liefert oft wenig vielfältige Daten. Zudem ist die Gewinnung von Ground-Truth-Daten (optischer Fluss) unter Wasser aufgrund von Trübung, Lichtstreuung und schlechten Lichtverhältnissen extrem schwierig.
• Limitationen bestehender Simulatoren: Bisherige synthetische Benchmarks (z. B. UEOF) nutzen oft nachbearbeitete Videoframes (Video-to-Event), anstatt den Ereignissensor nativ in den Simulator zu integrieren. Dies führt zu einer Entkopplung von der Roboterdynamik (z. B. Hydrodynamik des Fahrzeugs) und der Sensorantwort. Zudem fehlt oft eine Validierung des „Sim-to-Real"-Transfers.

2. Methodik und Ansatz

Die Autoren schlagen einen ganzheitlichen Ansatz vor, der einen synthetischen Datensatz, eine flexible Generierungspipeline und eine Validierung im realen Umfeld umfasst.

A. Der Datensatz: eStonefish-Scenes

Der Datensatz wurde mit dem Stonefish-Simulator generiert und ist speziell auf Unterwasserumgebungen zugeschnitten.

• Inhalt: Er enthält Event-Streams, Graustufenbilder und den entsprechenden Ground-Truth-optischen Fluss.
• Umgebungen: Es werden zwei Szenarien angeboten: „Rocky" (kahl, felsiger Meeresboden) und „Reef" (mit lebendigen Korallenriffen und Meeresflora).
• Dynamik: Der Datensatz umfasst sowohl statische Szenen als auch dynamische Szenen mit Fischschwärmen, die mittels eines angepassten Boids-Algorithmus (Schwarmverhalten) simuliert werden.
• Sensorik: Die Daten werden von einem BlueROV2 mit einer DAVIS346-Kamera (346x260 Pixel, 70° Sichtfeld) simuliert. Die Auflösung wurde bewusst niedrig gehalten, um ressourcenschonende neuronale Netze für eingebettete AUV-Hardware zu ermöglichen.
• Konfigurationen: Die Sensoren sind in „Forward-looking" (für Inspektion/Vermeidung) und „Down-looking" (für Odometrie) konfiguriert.

B. Daten-Generierungs-Pipeline

Um die Erstellung realistischer Szenen zu erleichtern, wurden zwei neue Werkzeuge entwickelt:

1. Stonefish-SceneGen: Ein Generator, der Korallen und Meeresflora automatisch und zufällig im Meeresboden platziert, um komplexe, lebendige Riffe zu erzeugen, ohne manuelle 3D-Modellierung.
2. Stonefish-Boids: Ein Paket zur Simulation von Fischschwärmen, das Kollisionsvermeidung (unter Nutzung von OctoMaps) und Leader-Attraction (Führung durch ein Leittier) beinhaltet.

C. Datenverarbeitungsbibliothek: eWiz

Die Autoren stellen eWiz vor, eine umfassende Python-Bibliothek für die Verarbeitung ereignisbasierter Daten.

• Funktionen: Datenladung, Augmentierung, Visualisierung, Kodierung (z. B. Gaußsche Kodierung), Trainings-Utilities, Verlustfunktionen und Evaluationsmetriken.
• Format: Ein optimiertes HDF5-Format mit Komprimierung (Blosc) und vorkalkulierten Zeit-Indizes, um den Speicherbedarf zu senken und den Zugriff auf große Event-Ströme zu beschleunigen.

D. Realwelt-Validierung (Ground-Truth-Erfassung)

Um die Übertragbarkeit zu testen, wurden reale Daten in einem Innenpool (CIRS, Girona) gesammelt:

• Setup: Ein BlueROV2 mit einer DAVIS346-Kamera bewegte sich über einen hochauflösenden Poster-Boden mit Riff-Textur.
• Ground-Truth: Der optische Fluss wurde durch homografiebasierte Registrierung der Graustufenbilder auf den Poster berechnet.
• Unsicherheitsschätzung: Ein entscheidender Aspekt ist die Schätzung der pixelweisen Unsicherheit mittels Monte-Carlo-Perturbation von Schlüsselpunkt-Korrespondenzen. Diese Unsicherheitskarten wurden in die Evaluationsmetriken integriert, um eine gewichtete Leistungsbewertung zu ermöglichen, die unsichere Bereiche (z. B. durch Texturverlust oder Registrierungsfehler) weniger stark bestraft.

3. Wichtige Beiträge

1. eStonefish-Scenes: Der erste ereignisbasierte optische Fluss-Datensatz speziell für Unterwasserumgebungen, inklusive einer offenen Pipeline zur Erstellung benutzerdefinierter Datensätze.
2. Stonefish-SceneGen & Stonefish-Boids: Werkzeuge zur automatisierten Generierung komplexer Unterwasserumgebungen mit Korallen und realistischen Fischschwärmen innerhalb des Stonefish-Simulators.
3. eWiz Library: Eine integrierte Bibliothek für das gesamte Ökosystem der ereignisbasierten Datenverarbeitung (von der Speicherung bis zum Training).
4. Robuste Ground-Truth-Methode: Ein Ansatz zur Erfassung realer Unterwasserdaten mit einer homografiebasierten Ground-Truth-Berechnung und einer neuartigen, unsicherheitsbewussten Evaluationsmetrik.
5. Sim-to-Real Validierung: Eine Studie, die zeigt, dass ein auf rein synthetischen Daten trainiertes Netzwerk ohne Feinabstimmung (Fine-tuning) auf realen Unterwasserdaten funktioniert.

4. Ergebnisse

Ein auf ConvGRU (Convolutional Gated Recurrent Unit) basierendes Netzwerk wurde ausschließlich auf den synthetischen eStonefish-Scenes-Daten trainiert und direkt auf den realen Datensatz angewendet (ohne Fine-tuning).

• Synthetische Leistung: Auf einem zurückgehaltenen Testset der synthetischen Daten erreichte das Modell einen durchschnittlichen Endpunktfehler (AEE) von 0,636 Pixeln.
• Realwelt-Leistung: Auf den realen Daten erreichte das Modell einen unsicherheitsgewichteten AEE von 0,79 Pixeln und einen unsicherheitsgewichteten Winkel-Fehler (AAE) von 0,2 Radiant.
• Qualitative Ergebnisse: Die visuellen Vergleiche zeigen eine starke Übereinstimmung zwischen der vorhergesagten und der Ground-Truth-Struktur des optischen Flusses, auch bei komplexen Bewegungsmustern (Rotation, Heave, Surge). Diskrepanzen traten hauptsächlich in texturlosen Bereichen oder bei hoher Unsicherheit auf.

5. Bedeutung und Fazit

Diese Arbeit adressiert eine kritische Lücke in der Unterwasserrobotik, indem sie die Abhängigkeit von teuren und schwierigen realen Datenerfassungen reduziert.

• Sim-to-Real Transfer: Die Ergebnisse beweisen, dass ereignisbasierte Daten aufgrund ihrer Einfachheit (nur Polarität, keine Intensitätswerte) einen hervorragenden Sim-to-Real-Transfer ermöglichen, da sie weniger anfällig für Domänenunterschiede (Licht, Textur) sind als rahmenbasierte Bilder.
• Evaluationsparadigma: Die Einführung von unsicherheitsgewichteten Metriken bietet einen realistischeren und robusteren Bewertungsmaßstab für reale Umgebungen, in denen Ground-Truth nie perfekt ist.
• Zukunftsaussichten: Der Datensatz und die Tools (eWiz, Stonefish-SceneGen) beschleunigen die Forschung an neuronalen Netzen (CNNs und SNNs) für autonome Unterwasserfahrzeuge (AUVs) und ermöglichen die Entwicklung von Algorithmen, die in schwierigen, dynamischen Unterwasserumgebungen zuverlässig funktionieren.

Zusammenfassend stellt das Paper einen Meilenstein dar, der durch die Kombination aus hochrealistischer Simulation, offenen Tools und einer rigorosen realen Validierung den Weg für den Einsatz ereignisbasierter Vision in der Unterwasserrobotik ebnet.