StereoAdapter-2: Globally Structure-Consistent Underwater Stereo Depth Estimation

Dit paper introduceert StereoAdapter-2, een nieuw model voor onderwater-stereodieptebepaling dat een ConvSS2D-operator en een groot synthetisch dataset gebruikt om de beperkingen van bestaande GRU-gebaseerde methoden te overwinnen en state-of-the-art prestaties te bereiken met verbeterde globale structuurconsistentie.

De kern

🌊 De Drie Duidelijke Problemen onder Water

Stel je voor dat je een duiker bent die een kaart moet maken van de zeebodem. Op het land is dit makkelijk: je kijkt met twee ogen (stereo camera's) en je hersenen (of een computer) meten de afstand door te kijken hoe ver objecten uit elkaar staan.

Maar onder water is dit een ramp:

1. Het water is troebel: Licht wordt geabsorbeerd en verstrooid (zoals rook in een kamer).
2. Het licht verandert: Rood licht verdwijnt snel, blauw blijft langer.
3. Het brekt: Licht buigt om als het door water en glas gaat.

Hierdoor zien computers onder water vaak "grijze soep" en kunnen ze de afstand tot objecten niet goed meten. Bestaande methoden werken hier slecht op.

🚀 De Oplossing: StereoAdapter-2

De auteurs van dit paper hebben een nieuwe, slimme manier bedacht om deze problemen op te lossen. Ze noemen hun systeem StereoAdapter-2. Het werkt als een super-duiker-bril die de computer helpt om scherp te zien in de troebele diepten.

Hier zijn de drie belangrijkste onderdelen van hun oplossing, uitgelegd met analogieën:

1. De Nieuwe "Hersenen": Van GRU naar ConvSS2D

Vroeger gebruikten computers een soort van "herhalende machine" (GRU) om de afstand te berekenen.

• De oude manier (GRU): Dit is alsof je een lange brief moet lezen door één letter per seconde te lezen. Je moet heel veel tijd en energie stoppen om van het begin naar het einde te komen. Als de brief heel lang is (een groot beeld), wordt dit traag en verlies je het overzicht.
• De nieuwe manier (ConvSS2D): De auteurs hebben dit vervangen door een SSM (State Space Model). Dit is alsof je de hele brief in één oogopslag kunt scannen.
  • Ze gebruiken een slimme 4-weg scan-strategie. Stel je voor dat je een tapijt moet inspecteren. De oude manier liep alleen van links naar rechts. De nieuwe manier loopt links-rechts, rechts-links, boven-naar-beneden én beneden-naar-boven tegelijkertijd.
  • Waarom is dit cool? Omdat onder water objecten vaak geen duidelijke patronen hebben (geen textuur), moet de computer heel ver kunnen kijken om te raden waar iets is. Met deze nieuwe "4-weg scan" kan de computer in één stap zien wat er 100 pixels verderop gebeurt, in plaats van 100 stappen te moeten zetten. Het is sneller en slimmer.

2. De Nieuwe "Oefenboer": UW-StereoDepth-80K

Om een computer slim te maken, moet je hem veel laten oefenen. Maar er zijn bijna geen echte foto's van onderwater met de juiste afstandsgegevens (want meten onder water is duur en moeilijk).

• Het probleem: Je kunt een auto niet leren rijden zonder oefenbaan.
• De oplossing: Ze hebben een virtuele oefenbaan gebouwd genaamd UW-StereoDepth-80K.
  • Ze namen normale foto's van het land (zoals straten en bossen).
  • Vervolgens gebruikten ze een AI-schilder (een generatief model) om deze foto's om te toveren in onderwaterfoto's. Ze voegden troebelheid, kleurverlies en lichtbreking toe alsof het echt was.
  • Ze maakten zelfs 80.000 paren foto's met verschillende afstanden en waterkwaliteiten.
  • De analogie: Het is alsof je een piloot laat vliegen in een vluchtsimulator die elke denkbare storm, mist en zonneschijn kan nabootsen, voordat hij ooit de lucht in gaat. Hierdoor is de AI voorbereid op alles wat ze in de echte oceaan tegenkomen.

3. De "Slimme Bril": LoRA

De AI die ze gebruiken is al heel slim (een "foundation model" die op het land is getraind). Ze wilden deze niet helemaal opnieuw leren (dat kost te veel tijd en rekenkracht).

• De oplossing: Ze gebruikten een techniek genaamd LoRA.
• De analogie: Stel je hebt een ervaren piloot (de AI) die al 10.000 uur heeft gevlogen. Je wilt dat hij nu onderwater vliegt. In plaats van hem alles opnieuw te leren, geef je hem een speciale bril en een handboek (LoRA) dat alleen de regels voor onderwater uitlegt. Hij gebruikt zijn bestaande kennis, maar past zich perfect aan de nieuwe omgeving aan.

🏆 Wat is het resultaat?

Wanneer ze dit systeem testten:

1. Beter dan de rest: Het werkt 17% beter dan de beste bestaande methoden op virtuele onderwaterdata en 7% beter op echte data.
2. Echt werkend: Ze hebben het systeem op een echte onderwaterrobot (BlueROV2) gezet. Deze robot kon in een zwembad obstakels zien en de afstand meten, zelfs zonder dat de robot ooit eerder onderwater had geoefend.
3. Snel: Omdat de nieuwe "hersenen" (ConvSS2D) zo efficiënt zijn, werkt het systeem snel genoeg om op een kleine computer aan boord van de robot te draaien.

💡 Samenvatting in één zin

StereoAdapter-2 is een slimme AI die, door te oefenen in een virtuele onderwaterwereld en door te denken als een scanner die in alle richtingen tegelijk kijkt, robots helpt om onder water eindelijk scherp te zien en veilig te navigeren.

Technische samenvatting

Probleemstelling

Diepzee-stereo dieptebepaling is cruciaal voor de perceptie van onderwaterrobots (zoals AUV's en ROV's), maar kampt met ernstige domeinverschuivingen ten opzichte van landgebaseerde systemen. Deze verschuivingen worden veroorzaakt door:

• Golflengte-afhankelijke lichtverzwakking, verstrooiing en refractie: Deze factoren schenden de fotonische consistentie-aannames die ten grondslag liggen aan traditionele stereo-pipelines.
• Beperkingen van bestaande methoden: Recente benaderingen gebruiken vaak GRU's (Gated Recurrent Units) voor iteratieve verfijning. Deze hebben echter twee grote nadelen:
  1. Ze vereisen meerdere iteraties om lange-afstandsdispariteiten te propageren vanwege hun lokale convolutiekernen.
  2. Ze presteren slecht in gebieden met weinig textuur en grote dispariteiten, wat vaak voorkomt in onderwateromgevingen.
• Data-schaarste: Er is een gebrek aan diverse, realistische onderwater-stereodatasets met nauwkeurige ground-truth annotaties, wat het trainen van robuuste modellen bemoeilijkt.

Methodologie

De auteurs stellen StereoAdapter-2 voor, een raamwerk dat architecturale innovatie combineert met schaalvergroting van data, terwijl het het parameter-efficiënte adaptatieparadigma behoudt.

1. Architecturale Innovatie: ConvSS2D

In plaats van de traditionele ConvGRU-updater, introduceert het model de ConvSS2D-operator, gebaseerd op Selective State Space Models (SSM).

• Selectieve State Space Modellen: In tegenstelling tot de niet-lineaire recursie van GRU's, gebruikt SSM een lineaire recursie die efficiënt lange-afstandsafhankelijkheden kan modelleren met lineaire complexiteit.
• Vier-richtingen Scanstrategie: De operator scant beelden in vier richtingen (horizontaal en verticaal).
  • De horizontale scan sluit naadloos aan bij de epipolaire geometrie van stereo-visie.
  • De verticale scan zorgt voor structurele consistentie over de scanlijn en helpt bij het normaliseren van dispariteitsschattingen in tekstuurloze gebieden.
• Efficiëntie: Dit maakt het mogelijk om lange-afstandsruimtelijke propagatie binnen één enkele update-stap te realiseren, wat de convergentie versnelt en de prestaties in grote dispariteitsgebieden verbetert.

2. Data Synthese: UW-StereoDepth-80K

Om het tekort aan real-world data op te lossen, hebben de auteurs een tweestaps generatieve pijplijn ontwikkeld om een groot synthetisch dataset te creëren:

• Stap 1: Semantisch-bewuste Stijloverdracht: Met behulp van Atlantis (gebaseerd op Stable Diffusion) worden landgebaseerde RGB-D beelden getransformeerd naar realistische onderwaterbeelden. Dit simuleert optische effecten zoals verzwakking en troebeling, terwijl de geometrische structuur behouden blijft.
• Stap 2: Geometrisch-consistente Nieuwe View Synthese: Met NVS-Solver worden vanuit de gestileerde mono-beelden stereo-paren gegenereerd. Dit gebeurt met expliciete camera-extrinsieken om meerdere baselines (20cm, 30cm, 40cm, 50cm) te simuleren, wat de diversiteit van onderwaterrobotconfiguraties nabootst.
• Het resultaat is UW-StereoDepth-80K, een dataset van 80.000 hoogwaardige stereo-paren.

3. Adaptatiestrategie

Het model gebruikt Depth Anything 3 als fundamentele encoder voor monocular dieptebepaling. Om dit voor stereo-taken in onderwateromgevingen aan te passen, wordt LoRA (Low-Rank Adaptation) gebruikt. Dit zorgt voor een efficiënte fine-tuning met minimale extra parameters, terwijl de rijke representaties van het voorgetrainde model behouden blijven.

Belangrijkste Bijdragen

1. ConvSS2D Operator: Een nieuwe update-operator die ConvGRU vervangt door een SSM-benadering met vier-richtingen scannen, wat efficiënte lange-afstandspropagatie en structurele consistentie mogelijk maakt.
2. UW-StereoDepth-80K Dataset: Een groot synthetisch dataset gegenereerd via een geavanceerde pipeline, dat de diversiteit van onderwateromstandigheden (baselines, optische parameters) systematisch afdekt.
3. State-of-the-Art Zero-Shot Prestaties: Het bereiken van nieuwe topprestaties op onderwater-benchmarks zonder extra fine-tuning op de doel-domeinen.

Resultaten

StereoAdapter-2 werd geëvalueerd op synthetische en real-world datasets, met name TartanAir-UW en SQUID, en getest op een BlueROV2 platform.

• Kwantitatieve Prestaties:
  • TartanAir-UW: Een verbetering van 17% ten opzichte van de vorige versie (StereoAdapter) met een REL van 0.0440 en RMSE van 2.4038.
  • SQUID (Real-world): Een verbetering van 7.2% in RMSE (1.7481) en de hoogste nauwkeurigheid (A1: 94.25%) onder alle geteste methoden.
• Real-world Validatie: Op de BlueROV2 (met NVIDIA Jetson Orin NX) behaalde het model een REL van 0.1023 en RMSE van 1.7164, wat superieur is aan bestaande baselines zoals FoundationStereo en Stereo Anywhere.
• Efficiëntie: Het model heeft de laagste latentie (1102 ms per frame) op de embedded hardware, mede dankzij de vervanging van de recurrente GRU door de efficiëntere ConvSS2D.

Significantie

Dit werk is significant omdat het twee fundamentele uitdagingen in onderwaterrobotica aanpakt: de beperkingen van huidige iteratieve refinement-methoden en het gebrek aan trainingsdata.

• Architectuur: Het bewijst dat Selective State Space Models (SSM) superieur zijn aan GRU's voor stereo-matching in complexe, tekstuurarme omgevingen door lange-afstandscontext directer te modelleren.
• Data: De gepresenteerde generatieve pipeline biedt een schaalbare oplossing voor het creëren van realistische synthetische data, wat essentieel is voor het trainen van diepe leermodellen in domeinen waar datacollectie duur en moeilijk is.
• Toepasbaarheid: De succesvolle implementatie op een fysiek ROV-platform toont aan dat de methode robuust genoeg is voor praktische toepassingen in autonome onderwaternavigatie en inspectie.