Looking Into the Water by Unsupervised Learning of the Surface Shape

Deze paper introduceert een onbewaakte methode met twee neurale netwerken en SIREN-activaties om beeldvervormingen door wateroppervlakte-refractie te verwijderen en tegelijkertijd het oppervlak te reconstrueren, wat betere resultaten oplevert dan bestaande technieken.

De kern

Kijken door het water: Een digitale "ontwikkelfoto" voor de zee

Stel je voor dat je vanuit een drone of een vliegtuig naar de zee kijkt. Je ziet misschien een schattig koraalrif, een school vissen of zelfs een verdronken schip. Maar door de golven aan het wateroppervlak ziet alles eruit alsof het door een vervormde ruit wordt bekeken. Het licht breekt (net zoals een rietje in een glas water er gebroken uitziet), waardoor de beelden trillen, rekken en kromtrekken.

De onderzoekers van deze paper, Ori, Tali en Dan, hebben een slimme manier bedacht om die vervorming weg te halen, zonder dat ze ooit precies hebben geweten hoe het water eruitzag of hoe het eronder uitzag. Ze noemen hun methode "Looking Into the Water" (Kijken in het water).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De dansende spiegel

Het wateroppervlak is nooit stil. Het is een dansende massa van golven. Elke golf is een klein spiegelletje dat het licht van onderwater in een andere richting buigt. Als je een foto maakt, krijg je een wazig, gebroken beeld.

• De uitdaging: Als je gewoon een AI laat proberen het beeld te "scherpen", werkt dat niet goed, omdat elke foto anders vervormd is. Je hebt geen "originele foto" om tegen te vergelijken (geen grondwaarheid).

2. De oplossing: Twee hersenen die samenwerken

De onderzoekers hebben een systeem gebouwd dat werkt als een detective die twee dingen tegelijk probeert op te lossen:

1. Wat zag eronderuit? (Het echte beeld van de vissen of het koraal).
2. Hoe zag het wateroppervlak eruit? (De vorm van de golven op dat exacte moment).

Ze gebruiken twee speciale "neurale velden" (denk hieraan als twee zeer slimme, digitale schilders):

• Schilder A (Het Water): Deze schildert continu de vorm van de golven. Hij weet precies hoe hoog het water op elk punt is, seconde voor seconde.
• Schilder B (De Onderwaterwereld): Deze schildert het statische beeld onder water. Dit is het beeld dat niet beweegt, maar wel door de golven wordt vervormd.

3. De magische formule: Snellius en de "SIREN"

Hoe weten ze hoe het licht buigt? Ze gebruiken een oude natuurkundewet van Snellius. Die wet zegt: "Als je weet hoe steil een golf is, weet je precies hoeveel het licht afbuigt."

Hier komt het slimme deel:
Ze gebruiken een speciale technologie genaamd SIREN. Je kunt je dit voorstellen als een muzikant die niet alleen de noot speelt, maar ook perfect de trilling van de snaar kan voorspellen.

• Omdat golven en lichtbreking nauw met elkaar verbonden zijn (de helling van de golf bepaalt de vervorming), helpt deze technologie de computer om zowel de golven als het gebroken beeld heel nauwkeurig te modelleren.

4. Het leerproces: Het "puzzel"-spel

Omdat ze geen originele foto hebben om tegen te vergelijken, laten ze het systeem zichzelf leren door een puzzel op te lossen:

1. Het systeem maakt een gok over hoe het water eruitzag en hoe het onderwaterbeeld eruitzag.
2. Het simuleert vervolgens: "Als dit water en dit beeld kloppen, hoe zou het gebroken beeld er dan uitzien?"
3. Ze vergelijken die simulatie met de échte, vervormde foto die ze hebben.
4. Als ze niet overeenkomen, passen ze hun gokken aan. Ze doen dit duizenden keren tot de simulatie perfect overeenkomt met de echte foto.

Op dat moment hebben ze twee dingen gewonnen:

• Een scherpe, onvervormde foto van wat er onder water zat.
• Een kaart van de golven die op dat moment over het water liepen.

5. Waarom is dit geweldig?

• Geen vooraf leren nodig: Veel andere methoden moeten eerst duizenden voorbeelden zien om te leren. Deze methode leert direct uit de video die je hebt. Het is alsof je een puzzel oplost zonder de doos met de afbeelding op de voorkant.
• Beter dan de rest: In tests met echte beelden (zoals een olifant of een dobbelsteen onder water) en gesimuleerde data, was hun methode scherper en natuurlijker dan eerdere technieken.
• Twee vliegen in één klap: Ze krijgen niet alleen een mooi beeld, maar ook data over de golven. Dat is goud waard voor oceanografen die de zee willen bestuderen.

Conclusie

Stel je voor dat je door een vervormd raam kijkt en ineens een bril opzet die het raam perfect gladstrijkt, terwijl je tegelijkertijd de vorm van de regenbui op het raam kunt zien. Dat is wat deze technologie doet. Het maakt het mogelijk om vanuit de lucht (met drones) scherp te kijken naar de zeebodem, wat heel handig is voor het vinden van verdronken mensen, het monitoren van viskwekerijen of het bestuderen van koraal, zonder dat je zelf in het water hoeft te duiken.

Technische samenvatting

Probleemstelling

Het paper adresseert het probleem van het observeren van onderwaterobjecten vanuit de lucht (bijvoorbeeld via drones). Hoewel dit de observatieschaal en -snelheid vergroot, worden beelden ernstig vervormd door breking (refractie) aan het wateroppervlak. Deze vervorming is direct gerelateerd aan de vorm en helling van het golvenoppervlak volgens de wet van Snellius.

• Uitdaging: Realistische golven zijn een superpositie van verschillende golfvormen met variërende periodes en amplitudes. Grote datasets met "ground truth" (ware waarden) voor dit specifieke probleem zijn moeilijk te verkrijgen in de realiteit en worden meestal gesimuleerd, wat de generalisatie van toezicht (supervised) methoden naar de echte wereld beperkt.
• Doel: Het reconstrueren van de oorspronkelijke, onvervormde onderwaterscène en het schatten van de hoogte van het wateroppervlak op elk tijdstip, uitsluitend op basis van een korte sequentie van vervormde beelden, zonder gebruik te maken van gelabelde trainingsdata.

Methodologie

De auteurs stellen een onzelftoezicht (unsupervised) leermodel voor dat gebaseerd is op het modelleren van twee componenten: het statische onderwaterscène en het dynamische wateroppervlak.

1. Neurale Velden (Neural Fields) en SIREN:
   Het model maakt gebruik van SIREN (Sinusoidal Representation Networks), een type neurale netwerken met periodieke activeringsfuncties (sinus). Dit is cruciaal omdat SIREN efficiënt continue signalen en hun afgeleiden kan modelleren.

   • Oppervlaktehoogte-model ($H_\theta$): Een SIREN-netwerk dat de hoogte van het wateroppervlak $h(x, t)$ voorspelt voor elke ruimtelijke positie $x$ en tijd $t$.
   • Beeldmodel ($I_\phi$): Een tweede SIREN-netwerk dat de pixelkleuren van de onderliggende, onvervormde scène voorspelt.

2. Fysica-gedreven Vervorming:
   In plaats van een vervormingsveld direct te leren, berekent het model de vervorming fysica-gedreven:

   • Het model berekent de ruimtelijke afgeleiden (gradienten) van de voorspelde oppervlaktehoogte ($\nabla h$).
   • Volgens de wet van Snellius (in eerste orde benadering) wordt de vervorming $d(x, t)$ berekend als:
     $$d(x, t) = \left(1 - \frac{1}{n}\right) h_0 \nabla h(x, t)$$
     Waarbij $h_0$ de gemiddelde waterdiepte is en $n$ de brekingsindex.
   • De waargenomen (vervormde) beelden worden gereconstrueerd door de pixelwaarden van het onderliggende beeldmodel te sample op de vervormde coördinaten: $I^{t}_{\theta,\phi} = I_\phi(x_{reg} + d(H_\theta(x_{reg}, t)))$.

3. Trainingsstrategie:
   Het model wordt getraind om de waargenomen sequentie van vervormde beelden te reconstrueren. De verliesfunctie (loss) is simpelweg de som van de verschillen tussen de gereconstrueerde vervormde beelden en de daadwerkelijk waargenomen beelden.

   • Fase 1 (Initialisatie): Het oppervlak wordt ingesteld op nul vervorming en het beeldmodel leert het gemiddelde vervormde beeld.
   • Fase 2 (Reconstructie): Het model optimaliseert de gewichten om de volledige sequentie van vervormde beelden zo goed mogelijk te reconstrueren.
   • Dit vereist slechts één verliesterm, wat een vereenvoudiging is ten opzichte van eerdere methoden (zoals NDIR) die meerdere verliescomponenten nodig hadden.

Belangrijkste Bijdragen

• Onzelftoezicht met Fysica: Een nieuwe aanpak die geen gelabelde datasets vereist, maar wel gebruikmaakt van de fysica van lichtbreking en de tijdscontinuïteit van golven.
• Gebruik van SIREN: Het aantonen dat periodieke activeringsfuncties ideaal zijn voor het modelleren van zowel het oppervlak als zijn afgeleiden (nodig voor de brekingsberekening) binnen één netwerkarchitectuur.
• Dual Output: Het model levert niet alleen een scherp onderwaterbeeld op, maar schat ook direct de hoogte van het wateroppervlak voor elk frame, wat waardevol is voor oceanografie.
• Vereenvoudigde Training: De methode bereikt betere resultaten met een eenvoudiger trainingsopzet (één verliesterm) vergeleken met de state-of-the-art onzelftoezicht methode NDIR.

Resultaten

De methode is getest op zowel gesimuleerde data als twee real-world datasets (Real1 en TianSet).

• Kwalitatieve Resultaten: De gereconstrueerde beelden tonen scherpere details, rechte lijnen (bijv. bij schaakbordpatronen) en correcte tekstherkenning (bijv. nummers) in vergelijking met vervormde frames. De methode corrigeert ook bewegingsonscherpte (motion blur) die vaak voorkomt bij golven.
• Kwantitatieve Resultaten:
  • De methode presteert over het algemeen beter dan de onzelftoezicht baseline NDIR en de supervised methode Li et al. op metrics zoals LPIPS (perceptuele kwaliteit) en SSIM.
  • Op de Real1-dataset behaalde de methode de beste scores voor PSNR, SSIM en LPIPS in de meeste sequenties.
  • Op gesimuleerde data (Gaussische, Rimpel- en Oceaan-golven) overtrof de methode de baseline op alle metrics.
• Oppervlakte-schatting: De geschatte golfhoogtes komen nauwkeurig overeen met de ground truth in simulaties (lage RMSE) en corresponderen visueel met de vervormingen in de inputbeelden.
• Robuustheid: De methode werkt zelfs in real-world scenario's waar de aannames (zoals een orthografische camera en een volledig vlakke ondergrond) niet perfect gelden, zoals bij complexe koraalstructuren.

Betekenis en Toepassingen

Dit werk biedt een krachtige tool voor het observeren van mariene omgevingen zonder de noodzaak van dure onderwatervoertuigen of gelabelde trainingsdata.

• Toepassingen: Koraalbleking monitoren, visserijmonitoring, zwemveiligheid (drowning detection) en kustonderzoek.
• Wetenschappelijke Impact: Het demonstreert hoe neurale velden en fysica-gedreven modellen kunnen worden gecombineerd om complexe optische problemen op te lossen die eerder alleen met gesimuleerde data of complexe toezicht-methoden hanteerbaar waren.
• Toekomst: De auteurs zien potentieel voor het gebruik van deze reconstructie als voorverwerking voor downstream taken zoals feature matching en monocular SLAM (Simultaneous Localization and Mapping).

Samenvattend biedt deze paper een innovatieve, onafhankelijke oplossing voor het "kijken door water", die zowel de visuele kwaliteit van onderwaterbeelden verbetert als waardevolle data over het wateroppervlak genereert.