BenthicFlow: Generating Extensible Underwater Environments via Flow Matching
BenthicFlow is een verenigd generatief framework dat een enkel conditional flow-matching model en MultiDiffusion-geïnspireerde sampling gebruikt om ruimtelijk uitbreidbare, coherente 3D onderwateromgevingen met uitgelijnde RGBD-texturen en dieptekaarten te creëren, waarmee de uitdagingen van dataschaarste en generalisatie in onderwatercomputer vision effectief worden aangepakt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De oceaanbodem is een uitgestrekte, grotendeels onverkende grens, maar wordt steeds vaker in kaart gebracht door autonome voertuigen die geruisloos over riffen, zand en puin glijden. Deze machines leggen tijdens een enkele missie tienduizenden afbeeldingen vast, waardoor een enorm archief van de zeebodem ontstaat. Het omzetten van deze ruwe foto's naar bruikbare driedimensionale kaarten is echter ongelooflijk moeilijk. Het water vertekent het licht, de zeebodem mist vaak duidelijke kenmerken, en de resulterende gegevens bestaan meestal slechts uit platte foto's zonder betrouwbare diepte-informatie of camerastandpunten. Vanwege deze hindernissen worstelen wetenschappers en ingenieurs met het bouwen van nauwkeurige digitale modellen van de onderwaterwereld. Deze kloof is van belang omdat onderzoekers realistische 3D-omgevingen nodig hebben om robots te trainen, navigatiesystemen te testen en de mariene ecologie te bestuderen, maar zij kunnen niet gemakkelijk de specifieke, hoogwaardige gegevens verzamelen die vereist zijn voor deze simulaties.
Om dit op te lossen, heeft een team van onderzoekers een nieuw systeem ontwikkeld genaamd BenthicFlow, dat fungeert als een generatieve motor voor het creëren van onderwaterlandschappen. In plaats van te proberen echte foto's aan elkaar te naaien of te vertrouwen op rigide computerscripts, leert dit systeem de visuele patronen van de oceaanbodem van bestaande surveygegevens en verzint het vervolgens nieuwe, plausibele scènes die er echt uitzien en aanvoelen. De kernuitdaging die het team aanpakte, was hoe deze scènes op grote schaal konden worden gecreëerd zonder dat ze eruitzien als een lappendeken van mismatched tegels. Eerdere methoden genereerden vaak kleine, onafhankelijke stukken van de zeebodem en probeerden deze later aan elkaar te plakken, een proces dat regelmatig resulteerde in zichtbare naden en inconsistente texturen. BenthicFlow hanteert een andere aanpak door de gehele scène in één continu, verenigd proces te genereren. Het gebruikt één enkel wiskundig model dat simultaan zowel de kleurenafbeelding als de dieptekart genereert, waardoor de textuur van het zand of de rots vanaf het begin perfect overeenkomt met de driedimensionale vorm.
Het systeem werkt door een paar referentiebeelden van een specifieke onderwaterlocatie te nemen en deze te gebruiken om de creatie van een veel grotere omgeving te sturen. Stel je het proces voor als het schilderen van een enorme muurschildering waarbij de kunstenaar voortdurend naar een paar kleine schetsen verwijst om de juiste stijl en het kleurenpalet te behouden. De computer begint met een groot gebied van statische ruis en verfijnt dit stap voor stap tot een heldere afbeelding. Om de enorme omvang van de oceaanbodem aan te pakken, verdeelt het systeem de taak in overlappende secties, die allemaal tegelijkertijd worden verwerkt en waarvan de resultaten gaandeweg worden samengevoegd. Dit zorgt ervoor dat de overgang van de ene sectie naar de andere naadloos verloopt, zonder harde lijnen of breuken in het patroon. Zodra de computer een grote, hoogwaardige afbeelding van de zeebodem samen met de bijbehorende dieptekart heeft gegenereerd, tilt het deze platte afbeelding op tot een volledige 3D-omgeving. Dit doet het door elke pixel om te zetten in een klein, plat oppervlakselement dat correct in de ruimte is georiënteerd, waardoor een continue, navigeerbare 3D-wereld ontstaat die vanuit elke hoek kan worden bekeken.
De onderzoekers testten hun systeem met behulp van gegevens verzameld op drie verschillende locaties: twee riffen in Australië en een kustgebied in Hawaï. Ze ontdekten dat de gegenereerde scènes opmerkelijk getrouw waren aan de echte omgevingen, waarbij de specifieke kleuren, texturen en lichtomstandigheden van elke locatie werden gevangen. Wanneer ze werden vergeleken met andere geavanceerde beeldgeneratietools, produceerde BenthicFlow afbeeldingen die veel consistenter waren met de werkelijke onderwatergegevens, waarbij de vreemde, gestileerde koralen en het helderblauwe water die generieke modellen vaak produceren, werden vermeden. Het systeem bleek ook in staat te zijn om te interpoleren tussen verschillende locaties, waarbij de kenmerken van het ene rif soepel worden samengesmolten met die van het andere om diverse, coherente landschappen te creëren. Bovendien was de diepte-informatie die door het systeem werd gegenereerd zeer consistent met de visuele texturen, wat betekent dat de computer niet alleen een mooie foto maakte, maar een structureel accurate representatie van het terrein.
Door het succesvol genereren van deze uitbreidbare onderwateromgevingen, biedt dit werk een krachtig nieuw instrument voor mariene wetenschap en robotica. Het vermogen om grootschalige, realistische 3D-simulaties te creëren, stelt ingenieurs in staat om autonome voertuigen te trainen in virtuele werelden die de uitdagingen van de echte oceaan nauwgezet nabootsen, van troebel water tot complex terrein, zonder dat zij fysiek elke locatie vooraf hoeven te bezoeken. Het biedt ecologen ook een manier om te modelleren hoe een gezonde zeebodem eruitziet, wat een basislijn biedt om anomalieën zoals koraalbleking of invasieve soorten te detecteren. De studie toont aan dat door de generatie van afbeeldingen en geometrie te verenigen in één enkel, continu proces, het mogelijk is om de beperkingen van eerdere methoden te overwinnen en digitale tweelingen van de oceaanbodem te creëren die zowel uitgestrekt als diep authentiek zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.