💻 computer science

Wat3R: Underwater 3D Geometry Learning without Annotations

Dit artikel introduceert Wat3R, een cross-domain semi-supervised learning framework dat 3D-geometrische reconstructie in onderwateromgevingen mogelijk maakt zonder geannoteerde data door modellen die in de lucht zijn getraind aan te passen aan ongeannoteerde video via een teacher-student architectuur en cross-view consistentieverlies, samen met de release van een nieuwe benchmark-dataset genaamd Water3D.

Oorspronkelijke auteurs: Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

Gepubliceerd 2026-07-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een 3D-kaart te maken van een gezonken schip, maar je bent geblinddoekt en het water om je heen is dik van de mist, rondwervelend zand en vreemde kleuren die alles wazig maken. Dat is de dagelijkse strijd voor computers die onderwaterscènes proberen te begrijpen. Jarenlang was de beste manier om een computer te leren zien onder water door het miljoenen foto's te laten zien met perfecte, handgetekende 3D-labels. Maar hier is de crux: niemand heeft die labels voor de oceaan. Het maken ervan is onmogelijk omdat het water te troebel is en het licht vreemd gedraagt.

Maak kennis met Wat3R, een nieuwe methode die werkt als een slimme student die leert duiken zonder ooit een kaart van een leraar nodig te hebben.

Het Probleem: Het "Land-Alleen" Brein

De meeste moderne 3D-visiemodellen zijn als studenten die alleen in een zonnige, heldere klasruimte hebben gestudeerd (op het land). Ze zijn geweldig in het zien van droge dingen, maar wanneer je ze in de oceaan laat vallen, raken ze in de war. Water absorbeert licht, verstrooit het en kleurt alles blauw of groen. Als je een "op land getraind" model onder water gebruikt, struikelt het. En aangezien we niet zomaar een team duikers kunnen inhuren om 3D-kaarten van de oceaanbodem te tekenen voor elke video, kunnen we deze modellen niet op de oude manier simpelweg hertrainen.

De Oplossing: Een Leraar en een Student in de Diepte

De auteurs van dit artikel hebben een systeem ontwikkeld genaamd Wat3R dat een "leraar-student"-truc gebruikt om dit op te lossen zonder enige onderwaterlabels.

Denk er als volgt over:

De Leraar: Stel je een superintelligente robot voor die de 3D-geometrie perfect kent omdat hij miljoenen heldere, droge foto's heeft bestudeerd. Maar hij weet niet hoe water werkt.
De Simulatie: De onderzoekers nemen de heldere foto's van de Leraar en laten deze digitaal "verdrinken". Ze gebruiken een natuurkundige formule om neppe mist, kleurverschuivingen en lichtverstrooiing toe te voegen, waardoor de heldere landfoto's veranderen in neppe onderwaterscènes. Nu heeft de Leraar een "gelabelde" dataset van neppe onderwaterscènes.
De Student: Dit is het model dat we willen trainen. Het begint door te leren van de neppe onderwaterfoto's van de Leraar.
De Echte Duik: Vervolgens gaat de Student naar buiten en bekijkt 5.504 echte onderwater videoclips (ongeveer 359.000 afbeeldingen) die geen labels bevatten. Hij kijkt gewoon naar de vissen, de rotsen en de bubbels.

Hier is de magie: De Leraar (wat een iets oudere, stabielere versie van de Student is) bekijkt dezelfde echte video's en raadt hoe de 3D-vormen eruitzien. De Student probeert die raadsels te matchen. Als de Student het goed heeft, leert hij. Als de Student het fout heeft, past hij zich aan. Dit gebeurt keer op keer, waardoor de Student de "regels" van onderwatergeometrie leert door simpelweg naar echte video's te kijken, zonder dat iemand hem het antwoord vertelt.

Het Geheimwapen: "Cross-View Consistentie"

Onder water kan één enkele foto zo wazig zijn dat je niets kunt zien. Maar als je een video hebt, heb je veel verschillende hoeken. Het artikel introduceert een speciale regel genaamd Cross-View Consistency.

Stel je voor dat je naar een rots kijkt door een vuil raam. Je kunt het niet goed zien. Maar als je naar dezelfde rots kijkt vanuit een iets andere hoek door een schoner deel van het raam, kun je het beter zien. Wat3R doet dit wiskundig. Als het model in één gezichtspunt in de war is door de mist, kijkt het naar de andere gezichtspunten in de video om te achterhalen hoe de rots er zou moeten uitzien. Het gebruikt de heldere delen van de video om de wazige delen te corrigeren. Dit helpt het model om de "ruis" van het water te negeren en zich te concentreren op de werkelijke vormen.

Wat Ze Hebben Bewezen (en Wat Niet)

De auteurs hebben niet alleen gegokt; ze hebben dit rigoureus getest.

De Dataset: Ze hebben een nieuwe dataset gebouwd genaamd Water3D, die 42 echte onderwaterscènes bevat met nauwkeurige 3D-kaarten (posities en dieptes) om hun werk te testen. Dit is een grote prestatie omdat, zoals ze opmerken, bestaande onderwaterdatasets vaak te klein zijn of geen goede 3D-labels hebben.
De Resultaten: Toen ze Wat3R testten op standaard onderwaterdatasets zoals Sea-thru en FLSea Stereo, versloegen ze de huidige beste modellen (zoals VGGT, DA3 en MapAnything).
- Op de Sea-thru dataset verminderde Wat3R de foutmarge met ongeveer 12,1% vergeleken met het vorige beste model (VGGT) in een test met 10 gezichtspunten.
- Wat betreft de diepte-nauwkeurigheid verbeterde het de resultaten met 23,7% in sommige metrieken.
- Zelfs bij het kijken naar slechts één enkele foto (monoculaire diepte), was Wat3R beter dan modellen die specifiek op enkelvoudige beelden zijn getraind, wat bewijst dat het "cross-view" leren hielp om het water beter te begrijpen.

Wat Ze Expliciet Hebben Uitgesloten

Het artikel is heel duidelijk over wat niet werkt:

Eerst de afbeelding verbeteren: Ze hebben geprobeerd onderwaterfoto's eerst "schoon te maken" met bestaande tools (zoals "Sea-thru" of "PSPL") en daarna aan een 3D-model te voeren. Dit faalde in het verbeteren van de resultaten. De auteurs stellen dat het opschonen van de afbeelding vaak nieuwe fouten of inconsistenties introduceert die het 3D-model in de war brengen. Het is beter om het model te leren om door de troebelheid heen te kijken, in plaats van te proberen de troebelheid eerst te repareren.
Alleen synthetische data: Hoewel ze neppe onderwaterdata gebruikten om te starten, lieten ze zien dat het gebruik van alleen neppe data niet genoeg is. Je hebt de echte, ongelabelde video's nodig om het model echt robuust te maken.

Hoe Zeker Zijn Ze?

De auteurs zijn zelfverzekerd over hun cijfers omdat ze op vier verschillende publieke datasets plus hun eigen Water3D dataset hebben getest. Ze hebben de resultaten niet alleen gesimuleerd; ze hebben ze gemeten tegenover echte grondwaarheid waar beschikbaar.

Ze lieten zien dat Wat3R beter werkt bij "milde" tot "ernstige" degradatie, hoewel ze toegeven dat het model in extreem troebel (modderig) water of bij snel bewegende objecten nog steeds moeite heeft omdat er simpelweg niet genoeg visuele informatie beschikbaar is.
Ze stellen expliciet dat hun methode de eerste semi-gesuperviseerde framework is die generaliseert naar onderwaterscènes zonder dat er onderwater 3D-annotaties nodig zijn.

De Kernboodschap

Wat3R is als een duiker die leert navigeren in de diepe oceaan, niet door een kaart te lezen, maar door te kijken naar hoe het licht buigt en hoe objecten er vanuit verschillende hoeken uitzien, terwijl hij de mist negeert. Het bewijst dat je geen perfecte labels nodig hebt om een computer te leren zien onder water; je hebt alleen een slimme manier nodig om het te laten leren van de chaos van echte video. De code en hun nieuwe Water3D dataset zijn beschikbaar voor iedereen om te proberen, wat de deur opent naar betere onderwaterrobots, archeologie en mapping zonder de onmogelijke taak om elke druppel water te labelen.

Technische Samenvatting: Wat3R – Onderwater 3D-geometie leren zonder annotaties

Probleemstelling
Het schatten van 3D-geometrie ( camerapozen, dieptes en puntenwolken) in onderwateromgevingen wordt gehinderd door unieke fysieke uitdagingen, waaronder lichtattenuatie, verstrooiing en view-afhankelijke degradatie. Deze factoren veroorzaken significante domeinverschuivingen vergeleken met terrestrische scènes. Bovendien belemmert de schaarste aan grootschalige, hoogwaardige 3D-annotaties voor veel onderwaterdata het direct trainen van state-of-the-art (SOTA) feed-forward reconstructiemodellen, die doorgaans steunen op massale dichte grondwaarheden. Bestaande methoden falen of vereisen onpraktische hoeveelheden geannoteerde onderwaterdata vanwege deze domeinverschuivingen.

Methodologie: Wat3R Framework
De auteurs stellen Wat3R voor, een cross-domein semi-gestuurd leerframework dat is ontworpen om het feed-forward 3D-reconstructiemodel VGGT aan te passen aan onderwaterscenes zonder dat daarvoor geannoteerde onderwaterdata nodig zijn. Het framework werkt volgens een teacher-student architectuur (Mean Teacher paradigma) en maakt gebruik van twee primaire databronnen:

Synthetische Gelabelde Data: Bestaande geannoteerde terrestrische datasets (de oorspronkelijke trainingsset van VGGT) worden uitgebreid met physics-gebaseerde onderwaterrendering om verschillende onderwaterdegradaties te simuleren. Dit initialiseert sterke geometrische priors voor het onderwaterdomein.
Ongelabelde Real-world Data: Een grote collectie echte onderwatervideobeelden wordt gebruikt als een ongelabelde trainingsset om het model te verfijnen en te generaliseren.

Belangrijke Technische Componenten:

Physics-Based Rendering: Om gelabelde synthetische data te genereren, gebruiken de auteurs een vereenvoudigd onderwaterbeeldmodel ( $I = J e^{-\beta^D z} + B^\infty(1-e^{-\beta^B z})$ ) dat directe transmissie-attenuatie en backscatter simuleert. Dichte dieptekaarten van een monoculair model (DA3) worden gebruikt om onderwaterverschijningsvormen te renderen, terwijl de oorspronkelijke geometrische annotaties behouden blijven voor supervisie.
Sequence-Level Augmentation: Om modelinstorting te voorkomen en geometrische diversiteit te vergroten op ongelabelde videodata, hanteert het framework sequence-level augmentatie. Dit omvat het door elkaar husselen van framevolgordes, willekeurige subsampling, rotatie en kleurjittering, wat ervoor zorgt dat het model robuuste geometrische aanwijzingen leert in plaats van louter temporele continuïteit.
Consistentie-bewust Trainingsdoel: De totale verliesfunctie combineert drie componenten:
- Supervised Loss: Toegepast op synthetische data met behulp van ground-truth annotaties.
- Per-View Consistency Loss: Toegepast op ongelabelde data, waarbij de voorspellingen van de teacher als pseudo-labels worden behandeld.
- Cross-View Consistency Loss: Een nieuwe loss die ontworpen is om informatie-degradatie aan te pakken. Het maakt gebruik van geometrische aanwijzingen uit andere views om het zichtverlies in de huidige view te compenseren. Het maakt gebruik van een statisch masker (afgeleid van K-means op dieptekaarten en multi-view consistentiechecks) om dynamische objecten en instabiele regio's (zoals open water of hevige troebelheid) te filteren, waardoor cross-view supervisie alleen wordt toegepast op betrouwbare, statische voorgrondpixels.

Belangrijkste Bijdragen

Wat3R Framework: Het eerste semi-gestuurde framework gebaseerd op VGGT dat generaliseert naar diverse onderwaterscenes zonder dat daarvoor onderwater 3D-annotaties nodig zijn. Het toont aan dat robuuste geometrische representaties geleerd kunnen worden uitsluitend van ongelabelde echte onderwatervideo's.
Cross-View Consistent Loss: Een mechanisme dat geometrische informatie van meerdere views aggregeert om de visuele degradatie door waterattenuatie en verstrooiing te compenseren, wat leren uit zwaar gedegradeerde regio's mogelijk maakt.
Water3D Dataset: De constructie van een nieuwe, diverse onderwater multi-view dataset met 42 scènes en uitgebreide 3D-annotaties (camera-posities en dieptes). Deze dataset adresseert het gebrek aan uitgebreide evaluatiebenchmarks in dit vakgebied.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op publieke datasets (Sea-thru, FLSea, SQUID) en de nieuwe Water3D dataset over vier taken:

Multi-view Diepte-estimatie: Wat3R presteert beter dan SOTA-methoden (inclusclusief VGGT, DA3, $\pi^3$ en MapAnything) en twee-fasen pipelines die beeldverbetering combineren met 3D-modellen. Op de Sea-thru dataset behaalde Wat3R een verbetering van 23,7% in RMSE ten opzichte van VGGT.
Puntenwolk Reconstructie: Op Water3D demonstreerde Wat3R een superieure nauwkeurigheid en volledigheid vergeleken met baselines, met significante verbeteringen in algemene metrieken (bijv. +31,6% verbetering in algemene nauwkeurigheid ten opzichte van VGGT).
Camera-positie Estimatie: Geëvalueerd op SeaThru-NeRF, toonde Wat3R een verbeterde robuustheid in positie-estimatie, met een verbetering van 37,8% in AUC@5° ten opzichte van VGGT.
Monoculaire Diepte-estimatie: Ondanks dat het niet getraind is met single-image supervisie, behaalde Wat3R de beste prestaties over vier datasets, wat aangeeft dat de geleerde geometrische priors succesvol worden overgedragen naar single-view inputs.

Betekenis en Claims
Het artikel claimt dat Wat3R een praktisch paradigma biedt voor geometrisch leren in complexe omgevingen waar annotaties schaars zijn. Door de noodzaak van geannoteerde onderwaterdata te elimineren en ongelabelde echte video's te benutten, bereikt de methode een robuuste prestatie, zelfs in omstandigheden met slecht zicht. De auteurs benadrukken dat hun aanpak het domeingap tussen terrestrische en onderwatervisie succesvol overbrugt, en een oplossing biedt die zowel effectief als schaalbaar is voor onderwaterrobotica, cartografie en archeologie. Het werk onderstreept dat directe adaptatie van krachtige feed-forward modellen, geleid door consistentie-constraints en synthetic-to-real transfer, een levensvatbaar pad voorwaarts is voor 3D-onderwaterperceptie.