eStonefish-Scenes: A Sim-to-Real Validated and Robot-Centric Event-based Optical Flow Dataset for Underwater Vehicles

Dit paper introduceert eStonefish-Scenes, een synthetisch dataset voor optische stroming onder water gebaseerd op gebeurtenis-cameras, en valideert de effectiviteit van deze simulatie-gegevens voor real-world toepassingen door een op ConvGRU gebaseerd netwerk zonder fijnafstemming een nauwkeurige prestatie te laten behalen op echte onderwaterbeelden.

De kern

🌊 De "eStonefish": Een Visie op de Diepzee zonder Dure Doken

Stel je voor dat je een duiker bent die een robot onder water moet sturen. Je hebt een camera nodig die kan zien wat er gebeurt, zelfs als het donker is, als het water troebel is of als de robot heel snel beweegt. Normale camera's (zoals die in je telefoon) maken dan vaak wazige foto's of raken de focus kwijt.

Hier komen gebeurtenis-camera's (event-based cameras) om de hoek kijken. Denk aan deze camera's niet als een filmcamera die 30 beelden per seconde maakt, maar als een bliksemflits. Ze reageren alleen op veranderingen in licht. Als er niets beweegt, doen ze niets. Zodra er iets beweegt, schieten ze een flits van informatie af. Ze zijn supersnel, zien in het donker en worden nooit wazig.

Het probleem? Er was geen enkele kaart (dataset) om deze camera's te leren hoe ze onder water moeten werken. En het maken van zo'n kaart in het echte water is duur, lastig en gevaarlijk.

Dit paper introduceert de oplossing: eStonefish-Scenes.

---

1. De Digitale Zee: Een Simulatie die Net Echt Voelt

In plaats van met een dure robot naar de oceaan te gaan, hebben de onderzoekers een virtuele wereld gebouwd in een computerprogramma genaamd Stonefish.

• De Set: Ze hebben een zeebodem gecreëerd met duizenden koralen en zelfs scholen vissen die zich natuurlijk gedragen (ze zwemmen samen, vermijden obstakels en volgen een leider).
• De Robot: Een digitale versie van een BlueROV2 (een kleine onderwaterrobot) zwemt hier rond met een gebeurtenis-camera aan boord.
• Het Geniale: Omdat het een computerprogramma is, weten ze exact hoe de robot beweegt en hoe het licht valt. Ze hebben het perfecte antwoord (de "ground truth") direct in de computer.

De Analogie:
Stel je voor dat je een piloot wilt trainen. Je kunt hem duizend keer in een echt vliegtuig laten crashen (duur en gevaarlijk), of je kunt hem laten vliegen in een vluchtsimulator. In de simulator kan je de stormen, de zonsondergang en de stormen precies instellen. eStonefish-Scenes is die vluchtsimulator, maar dan voor onderwaterrobots.

---

2. De Toolkist: eWiz

Om al die data te kunnen gebruiken, hebben ze ook een gereedschapskist gebouwd genaamd eWiz.

• Wat doet het? Het is een bibliotheek met alle tools die je nodig hebt om die speciale "flits-data" te lezen, te bewerken, te comprimeren en te trainen.
• Vergelijking: Als de data een berg ruwe diamanten is, dan is eWiz de machine die ze slijpt, polijst en in een mooie doos zet zodat kunstenaars (de AI-ontwikkelaars) er prachtige juwelen van kunnen maken.

---

3. De Grote Test: Van Virtueel naar Echt

De grootste vraag was: "Werkt wat we in de computer hebben geleerd, ook in het echte water?"

Om dit te testen, deden ze iets heel slim:

1. Ze namen een echte robot (BlueROV2) met een echte gebeurtenis-camera (DAVIS346).
2. Ze voeren naar een zwembad in Girona (Spanje).
3. Ze legden een groot, gedetailleerd poster op de bodem van het zwembad. Dit poster fungeerde als een "landkaart" met veel details.
4. Ze lieten de robot rondzwemmen. Omdat ze precies wisten hoe het poster eruitzag, konden ze met wiskunde (homografie) berekenen hoe snel en in welke richting de robot bewoog. Dit was hun waarheid.

Het Resultaat:
Ze lieten een AI-model dat alleen maar had geoefend op de virtuele data (de simulator), los op de echte zwembad-data. Ze hebben het model niet opnieuw getraind met de echte data.

• Het verdict: Het model deed het verrassend goed! Het zag de beweging in het echte zwembad bijna net zo goed als in de simulator.
• De nuance: Omdat echte metingen nooit 100% perfect zijn (het water is troebel, de camera trilt), hebben ze een onzekerheidsmeter toegevoegd. Ze zeggen: "We zijn 90% zeker van dit stukje beweging, maar bij dat stukje zijn we maar 50% zeker." Hierdoor wordt de beoordeling eerlijker.

---

4. Waarom is dit belangrijk?

• Snelheid en Kosten: Je hoeft niet meer maandenlang dure expedities te plannen om data te verzamelen. Je kunt duizenden scenario's in een paar uur in de computer genereren.
• Veiligheid: Je kunt robots leren om obstakels te vermijden zonder dat ze echt ergens tegenaan vliegen.
• Toekomst: Dit opent de deur voor slimme onderwaterrobots die zelfstandig kunnen werken, bijvoorbeeld om koraalriffen te monitoren of wrakken te zoeken, zelfs in donker en troebel water.

Samenvattend in één zin:

De onderzoekers hebben een virtuele onderwaterwereld gebouwd waar robots kunnen oefenen met een speciale camera, en bewezen dat wat ze daar leren, direct werkt in het echte water, waardoor we veel minder dure en moeilijke duiken hoeven te maken om slimme robots te bouwen.

Technische samenvatting

Probleemstelling

Event-based cameras (EBC's), ook wel neuromorfe sensoren genoemd, bieden unieke voordelen voor onderwaterrobotica, zoals een hoge dynamische bereik, microseconden-temporale resolutie en geen bewegingsonscherpte. Desondanks is de vooruitgang in taken zoals visuele odometrie en obstakelontwijking ernstig beperkt door het ontbreken van gelabelde datasets voor onderwateromgevingen.

• Tekort aan data: Bestaande real-world datasets zijn schaars, duur om te verzamelen en missen diversiteit.
• Onvoldoende synthetische alternatieven: Huidige synthetische datasets voor onderwaterdoeleinden (zoals UEOF) gebruiken vaak post-processing van gerenderde video's in plaats van een native integratie van de EBC-sensor in de simulator. Dit leidt tot een gebrek aan koppeling tussen de hydrodynamica van het voertuig en de sensorrespons.
• Validatie: Er bestaat geen benchmark voor onderwater-toepassingen die de overdracht van synthetische naar real-world data (sim-to-real) valideert.

Methodologie

De auteurs introduceren een complete pipeline voor het genereren, verwerken en valideren van event-based data voor onderwaterrobotica.

1. Synthetische Dataset Generatie (eStonefish-Scenes)
De dataset is gegenereerd met de Stonefish-simulator, waarbij een event-based camera direct is geïntegreerd om de fysieke koppeling tussen robotbeweging en sensorrespons te waarborgen.

• Omgeving: Er zijn twee types omgevingen gebruikt: "Rocky" (kaal gesteente) en "Reef" (rijke koraalriffen).
• Dynamiek: De dataset bevat statische scènes en dynamische scènes met scholen vissen die reageren op navigatie, gesimuleerd via een aangepast Boids-algoritme (Stonefish-Boids) dat rekening houdt met obstakels en een leider-volger dynamiek.
• Sensorconfiguratie: Een BlueROV2-model met een DAVIS346-sensor (346x260 pixels, 70° FOV) in twee configuraties: vooruitkijkend (voor inspectie/obstakels) en omlaagkijkend (voor odometrie).
• Data: Per sequentie worden event-streams, grijswaardebeelden en ground-truth optische flow gegenereerd.

2. Data Generatie Pipeline en Tools

• Stonefish-SceneGen: Een Python-tool om automatisch complexe onderwateromgevingen te genereren met willekeurige koraalposities en -groottes.
• eWiz Library: Een uitgebreide Python-bibliotheek voor het verwerken van event-based data. Deze bevat:
  • Geoptimaliseerde opslag (HDF5 met Blosc-compressie) voor efficiënt laden en slicen.
  • Encoders (Gaussisch en telmethodes) voor het omzetten van events naar frames.
  • Augmentatiemethoden (tijdsvervorming, ruis, spiegeling).
  • Visualisatie en trainingshulpmiddelen (verliesfuncties, evaluatiemetrics).

3. Real-world Validatie en Ground Truth
Om de "sim-to-real" overdracht te valideren, is een experiment uitgevoerd in een testbad bij CIRS (Girona).

• Setup: Een BlueROV2 met een DAVIS346-camera voerde 6-bewegingsvrije bewegingen uit boven een textuurrijke poster op de bodem.
• Ground Truth: De optische flow is berekend via homografie-gebaseerde registratie van grijswaardeframes naar de poster.
• Onzekerheidschatting: Een Monte Carlo-methode werd gebruikt om per-pixel onzekerheid te schatten door sleutelpunten te verstoren. Deze onzekerheidskaarten werden geïntegreerd in de evaluatiemetrics om betrouwbare prestaties te meten in plaats van te vertrouwen op vaste uitbijterdrempels.

4. Evaluatie Model
Een ConvGRU-gebaseerd netwerk (recurrente convolutie) werd uitsluitend getraind op de synthetische eStonefish-Scenes data. Dit model werd vervolgens getest op de real-world data zonder fine-tuning.

Belangrijkste Bijdragen

1. eStonefish-Scenes: De eerste synthetische event-based optische flow dataset specifiek voor onderwateromgevingen, inclusief een open data-generatiepijplijn.
2. Stonefish-SceneGen & Stonefish-Boids: Tools voor het automatisch genereren van realistische koraalriffen en het simuleren van gedrag van visscholen binnen de Stonefish-simulator.
3. eWiz: Een alles-in-één bibliotheek voor het verwerken, visualiseren en trainen van event-based data, compatibel met PyTorch en bestaande datasets.
4. Robuste Validatie Framework: Een real-world dataset met ground-truth optische flow en een innovatieve evaluatiemethode die per-pixel onzekerheid meeneemt in de prestatieberekening.
5. Sim-to-Real Validatie: Een succesvolle demonstratie dat een model, getraind puur op synthetische data, effectief kan generaliseren naar real-world onderwaterdata.

Resultaten

• Synthetische Prestaties: Op een vastgehouden subset van de synthetische data bereikte het ConvGRU-netwerk een gemiddelde eindpuntfout (AEE) van 0,636 pixels en een hoekfout (AAE) van 0,173 radialen.
• Real-world Prestaties: Zonder enige fine-tuning op real-world data, bereikte het model op de echte dataset een onzekerheids-gewogen AEE van 0,79 pixels en een AAE van 0,2 radialen.
• Kwalitatieve Analyse: De voorspelde flowvelden vertoonden sterke overeenstemming met de ground truth in gebieden met voldoende event-activiteit. Afwijkingen waren voornamelijk te vinden in gebieden met weinig textuur of hoge onzekerheid in de ground-truth registratie.
• Onzekerheidsintegratie: Het gebruik van onzekerheids-gewogen metrics bleek cruciaal voor een eerlijke evaluatie, omdat het de invloed van onbetrouwbare gebieden (bijv. door kalibratiefouten of gebrek aan textuur) reduceerde.

Betekenis en Impact

Dit werk is van groot belang voor de onderwaterrobotica en event-based vision gemeenschap:

• Vermindering van Data-collectie: Het bewijst dat synthetische data, wanneer gegenereerd met een fysiek correcte simulator en robuuste validatie, de noodzaak voor kostbare en tijdrovende real-world data-collectie aanzienlijk kan verminderen.
• Nieuwe Benchmark: Het biedt de eerste benchmark voor onderwater optische flow met event-based sensoren, wat onderzoekers een standaard geeft voor het vergelijken van algoritmen.
• Toekomstige Toepassingen: De dataset en tools (eWiz) versnellen de ontwikkeling van autonome onderwatervoertuigen (AUV's) die moeten navigeren in dynamische, slecht verlichte omgevingen waar traditionele camera's falen.
• Methodologische Vooruitgang: De integratie van onzekerheidschatting in de evaluatie biedt een nieuw paradigma voor het beoordelen van modellen in real-world scenario's waar ground-truth inherent imperfect is.

Samenvattend biedt dit onderzoek een complete oplossing (van data-generatie tot validatie) om de kloof tussen simulatie en realiteit te overbruggen voor event-based visie in uitdagende onderwateromgevingen.