A Comprehensive Survey on Underwater Image Enhancement Based on Deep Learning

Dit artikel biedt een uitgebreid overzicht van deep learning-gebaseerde onderwaterbeeldverbetering, inclusief een systematische classificatie van bestaande methoden, een eerlijke kwantitatieve en kwalitatieve evaluatie op meerdere benchmarks, en een identificatie van toekomstige onderzoeksrichtingen.

De kern

Stel je voor dat je onderwater zwemt. Het is er prachtig, maar als je een foto maakt, zie je vaak alleen maar een wazige, groen-blauwe troep. De kleuren zijn verdwenen, details zijn onzichtbaar en het lijkt alsof je door melk kijkt. Dit is het probleem dat deze paper aanpakt: Hoe maken we onderwaterfoto's weer helder en mooi?

De auteurs van dit artikel hebben geen nieuwe foto gemaakt, maar ze hebben een enorme reisgids geschreven voor alle wetenschappers die proberen dit probleem op te lossen met kunstmatige intelligentie (AI). Ze hebben alle bestaande methoden verzameld, gekeken wat er werkt, wat niet werkt, en waar we naartoe moeten.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Onderwater Bril"

Onderwater is het licht anders dan aan land. Het water "slurpt" bepaalde kleuren op (zoals rood en oranje) en verstrooit het licht, waardoor alles wazig wordt.

• De analogie: Het is alsof je door een vieze, gekleurde bril kijkt. De paper legt uit dat oude methoden (zonder AI) vaak als een simpele brilwerkbank werken: ze proberen met vaste regels de bril schoon te maken, maar dat lukt niet altijd goed omdat elke zee anders is.
• De oplossing: De nieuwe methoden gebruiken Deep Learning. Dit is alsof je een slimme robot leert om de bril te polijsten. De robot kijkt naar duizenden voorbeelden en leert zelf hoe hij de kleuren terug moet halen en de wazigheid moet weghalen.

2. De Reisgids: Wat hebben ze gedaan?

De auteurs hebben de hele wereld van onderwater-fotoverbetering in kaart gebracht. Ze hebben drie belangrijke dingen gedaan:

• De Basislegger: Ze hebben uitgelegd hoe water licht absorbeert (de fysica) en hoe je de "perfecte" foto kunt maken om de AI te trainen. Omdat echte, perfecte onderwaterfoto's bijna onmogelijk te maken zijn, hebben ze uitgelegd hoe je die "perfecte foto's" in de computer kunt simuleren (alsof je een virtuele zee bouwt in een computerspel).

• De Inventaris: Ze hebben alle nieuwe AI-methoden ingedeeld in zes categorieën, alsof je een gereedschapskist sorteert:

  1. Het Bouwsel (Netwerk): Hoe is de AI opgebouwd? Sommige gebruiken simpele blokken, andere gebruiken complexe "transformatoren" (zoals die in chatbots) om verbanden te zien.
  2. De Leermethode: Hoe leert de AI? Soms door te vechten tegen een andere AI (zoals een schilder die probeert een vervalsing te maken die de kunstkenner niet herkent), soms door te rangschikken (welke foto ziet er beter uit, niet noodzakelijk perfect).
  3. De Stappen: Doen ze het in één keer of in fases? (Eerst grof schuren, dan fijn polijsten).
  4. De Hulp: Gebruiken ze andere taken om te helpen? Bijvoorbeeld: "Waar is de vis?" (diepte) of "Wat is dit?" (herkenning) om de foto beter te maken.
  5. De Wereld: Hoe gaan ze om met het verschil tussen een foto in een zwembad en een foto in de diepe oceaan?
  6. Het Ontleden: Ze splitsen de foto op in verschillende lagen (zoals licht en kleur) en maken ze apart schoon voordat ze ze weer samenvoegen.

• De Test: Dit is misschien wel het belangrijkste deel. In de wetenschap vergelijken mensen hun methoden vaak met verschillende regels, wat oneerlijk is. Deze auteurs hebben alle top-methoden onder dezelfde strenge regels getest.

  • Het resultaat: Ze hebben een "winnaar" gekroond voor verschillende situaties. Sommige methoden zijn het beste als je een perfecte referentiefoto hebt (zoals een schoolopdracht), terwijl andere het beste zijn in de echte, ruwe wereld waar geen perfecte foto bestaat.

3. Wat is er nog niet opgelost? (De toekomst)

De paper zegt: "We zijn ver gekomen, maar we zijn nog niet thuis." Er zijn nog spannende uitdagingen:

• De Videospelletjes: We kunnen betere trainingsdata maken door gebruik te maken van game-engines (zoals Unreal Engine) om virtuele zeescènes te bouwen waar we de lichtinval en het water perfect kunnen controleren.
• De Taal: Misschien kunnen we AI's helpen die ook taal begrijpen? Als je zegt: "Maak de vis helder en de achtergrond donker", zou de AI dat kunnen doen.
• De "Niet-Perfecte" Meting: Hoe meet je of een foto echt mooi is zonder een perfecte originele foto te hebben? Dat is nog een mysterie.
• De Valstrik: Een verrassende ontdekking is dat het verbeteren van een foto soms juist slechter werkt voor andere taken, zoals het herkennen van objecten. Soms maakt het "schoonmaken" de AI juist verward. Dit moeten we nog beter begrijpen.

Conclusie

Kortom: Deze paper is de grote schatkist voor iedereen die zich bezighoudt met onderwaterfoto's en AI. Ze zeggen: "Kijk hier, dit is wat we hebben, dit werkt het beste, en dit zijn de puzzels die we nog moeten oplossen."

Ze hebben een lijst gemaakt met alle bronnen en code die je nodig hebt om zelf te experimenteren, zodat de volgende generatie onderzoekers niet bij nul hoeft te beginnen, maar direct verder kan bouwen op hun schouders.

Technische samenvatting

Probleemstelling

Onderwaterbeeldverbetering (Underwater Image Enhancement - UIE) is een cruciale taak binnen het domein van computer vision, essentieel voor toepassingen zoals onderwaterresourceverkenning, filmproductie en recreatie. Onderwaterbeelden lijden echter onder significante kwaliteitsvermindering door de absorptie en verstrooiing van licht in water. De belangrijkste vervormingen zijn:

• Kleurvervorming en contrastverlies: Licht met verschillende golflengten wordt ongelijkmatig geabsorbeerd, wat leidt tot een dominante blauw-groene tint.
• Nevel, ruis en wazigheid: Vervormingen veroorzaakt door zwevende deeltjes of modderig water.
• Lage belichting: Bij grotere diepten neemt de natuurlijke lichtintensiteit af, wat resulteert in donkere beelden.

Bestaande niet-deep learning-methoden (NDL-UIE) maken vaak gebruik van fysische modellen en aannames die in complexe onderwateromgevingen onnauwkeurig kunnen blijken. Hoewel deep learning-methoden (DL-UIE) veelbelovend zijn, ontbreekt er een systematisch overzicht dat de recente vooruitgang, de verschillende benaderingen en een eerlijke prestatievergelijking samenvat.

Methodologie

De auteurs bieden een uitgebreid overzicht van de UIE-taak, gestructureerd rondom zes kernaspecten:

1. Fysische Modellen en Data:
   • Er worden modellen besproken zoals het atmosferische verstrooiingsmodel en het herziene onderwaterbeeldvormingsmodel, die dienen als basis voor data-synthese.
   • Data-generatiemethoden variëren van stemmen door vrijwilligers op geselecteerde referentiebeelden tot het gebruik van domeintransformatie-algoritmen, lichtveld-rendering en fysisch gesynthetiseerde data.
2. Taxonomie van Algoritmen:
   De auteurs classificeren bestaande deep learning-algoritmen in zes hoofdcategorieën:
   • Netwerkarchitectuur: Gebruik van convolutie, attention-mechanismen, Transformers, Fourier-transformaties (frequentiedomein), wavelet-decompositie en Neural Architecture Search (NAS).
   • Leerst strategieën: Adversarial learning (GAN's), rank learning (rangschikking van kwaliteit), contrastive learning en reinforcement learning.
   • Leerfasen: Single-stage, coarse-to-fine (ruw naar fijn) en diffusion processen.
   • Assistentie-taken: Integratie van semantische segmentatie, objectdetectie of dieptescatimatie om de verbetering te ondersteunen.
   • Domeinperspectief: Kennisoverdracht (van synthetisch naar realistisch), domeintranslatie en het genereren van diverse outputs.
   • Ontkoppeling en Fusie: Het ontrafelen van beeldeigenschappen (bijv. fysische modellen, Retinex-model) en het fuseren van verschillende kleurdomeinen (RGB, HSV, LAB) of watertypes.
3. Evaluatie:
   • Er worden zowel full-reference (PSNR, SSIM) als no-reference (UIQM, UCIQE) metrieken besproken, evenals menselijke subjectieve evaluatie en prestaties op downstream-taken (zoals objectdetectie).
   • Verliesfuncties omvatten pixel-level loss (L1/L2), perceptuele loss, structuurloss (SSIM) en adversarial loss.

Belangrijkste Bijdragen

• Uitgebreide Taxonomie: Het artikel presenteert een gestructureerde indeling van de meest recente DL-UIE-algoritmen op basis van hun kerninnovaties, wat onderzoekers helpt om overeenkomsten en verschillen te begrijpen.
• Eerlijke Vergelijking: Omdat eerdere studies vaak verschillende experimentele instellingen gebruikten, hebben de auteurs een uniforme evaluatie uitgevoerd. Ze hebben state-of-the-art (SOTA) algoritmen getest op meerdere benchmarkdatasets (UIEB, LSUI, EUVP, UFO-120) met geüniformeerde hyperparameters (batch size, image size, augmentatie).
• Kwantitatieve en Kwalitatieve Analyse: Het artikel biedt een diepgaande analyse van de prestaties van 17 verschillende algoritmen, inclusief visuele resultaten en histogram-analyses.
• Identificatie van Toekomstige Richtingen: Het paper schetst openstaande problemen en kansen voor toekomstig onderzoek.

Resultaten

De experimentele resultaten tonen de volgende inzichten:

• Fitting-vermogen (Full-Reference): Op datasets met gepaarde data (zoals UIEB en LSUI) presteert UIE-DM (gebaseerd op diffusion models) over het algemeen het beste op PSNR en SSIM. Echter, de top-5 algoritmen tonen vaak weinig significant verschil in numerieke waarden, wat suggereert dat het bereiken van nog hogere PSNR-waarden steeds moeilijker wordt.
• Generalisatievermogen (No-Reference): Op datasets zonder referentie (real-world beelden) presteert UGAN over het algemeen het beste volgens de metrieken UIQM en UCIQE. Voor de datagedreven rangschikking (URANKER) scoort UIE-DM het hoogst.
• Visuele Kwaliteit: Hoewel veel algoritmen vergelijkbare statistische resultaten behalen, zijn er visuele verschillen. Sommige methoden lijken nog steeds last te hebben van de typische blauw-groene tint, terwijl anderen betere kleurherstel en detailbehoud tonen.
• Conclusie: Er is geen enkel algoritme dat in alle scenario's superieur is; de keuze hangt af van de specifieke toepassing (synthetische data vs. realiteit).

Betekenis en Toekomstperspectief

Dit survey is een fundamenteel werk dat de staat van de kunst voor onderwaterbeeldverbetering in kaart brengt. Het benadrukt dat UIE nog een opkomend veld is en niet volledig opgelost. De auteurs identificeren zes cruciale gebieden voor toekomstig onderzoek:

1. Hoge kwaliteit data-synthese: Het gebruik van game-engines (zoals Unreal Engine) om realistische, gepaarde datasets te genereren met gecontroleerde variabelen (licht, diepte, deeltjes).
2. Invloed op downstream-taken: Er is een paradoxaal fenomeen ontdekt waarbij beeldverbetering soms de prestaties van objectdetectie kan verslechteren. Dit vereist verder onderzoek.
3. Samenwerking met Vision-Language Models: Het integreren van grote taalmiddelen (zoals CLIP) om semantische informatie te gebruiken voor betere herstelstrategieën.
4. Niet-uniforme verlichting: Het aanpakken van beelden die onder kunstlicht zijn genomen, wat vaak leidt tot ongelijkmatige belichting.
5. Betrouwbare evaluatiemetrieken: De ontwikkeling van no-reference metrieken die beter correleren met menselijke subjectieve esthetiek.
6. Koppeling met andere herstel-taken: Het combineren van UIE met taken zoals regen- of nevelverwijdering om gedeelde lage-niveau features te benutten.

Samenvattend biedt dit artikel een essentiële leidraad voor onderzoekers en ingenieurs die werken aan het verbeteren van onderwaterzicht, met een duidelijke focus op de overgang van theoretische modellen naar robuuste, datagedreven oplossingen.