Technische Samenvatting: LOBSTgER-enhance

Probleemstelling

Onderwaterfotografie wordt inherent uitgedaagd door fysische verschijnselen zoals lichtabsorptie, verstrooiing en golflengte-afhankelijke vervormingen. Deze factoren resulteren in verminderd contrast, ruimtelijke onscherpte en significante kleurverschuivingen (doorgaans een blauw-groene of groenige zweem), die de levendigheid van het onderwaterleven vertroebelen. Hoewel fotografen vaak vertrouwen op zware post-processing pipelines om deze problemen te corrigeren, is er behoefte aan geautomatiseerde, hoogwaardige restauratiemethoden die afbeeldingen kunnen verbeteren voor zowel wetenschappelijke documentatie als milieuvriendelijke belangenbehartiging, zonder de artistieke integriteit in gevaar te brengen.

Methodologie

Het artikel stelt LOBSTgER-enhance voor, een image-to-image pipeline die gebruikmaakt van conditionele latente diffusiemodellen om onderwaterdegradaties om te keren. De methodologie is gestructureerd rond drie kerncomponenten:

1. Synthetische Corruptie Pipeline

Om gesuperviseerde training mogelijk te maken zonder een massale gepaarde dataset van echte schone/gedegradeerde afbeeldingen, hebben de auteurs een synthetische corruptiefunctie ontwikkeld. Deze pipeline simuleert onderwaterdegradatie via vijf stadia die worden toegepast op hoogwaardige "schone" afbeeldingen:

• Bubble Artifacts: Willekeurig grootte heldere vlekken om zwevende deeltjes te simuleren.
• Turbidity (Troebelheid): Semi-transparante grijze overlays om lichtverstrooiing door sedimenten na te bootsen.
• Motion Blur (Bewegingsonscherpte): Gerandomiseerde Gaussische kernels om camera- of waterbeweging te modelleren.
• Color Distortion (Kleurvervorming): Willekeurige kanaalsgewijze verschuivingen om golflengte-afhankelijke absorptie na te bootsen.
• Aanvullende Degradaties: Vignettering, Gaussische ruis en gamma-variaties.

2. Conditioneel Latente Diffusiemodel

De kernarchitectuur is een compact diffusiemodel dat opereert in de latente ruimte van een vooraf getrainde Variational Autoencoder (VAE).

• Architectuur: Een lichtgewicht U-Net (geadapteerd van Karras et al.) met ongeveer 11 miljoen trainbare parameters. Het bestaat uit twee encoder- en twee decoderblokken die 4-kanaals latente inputs verwerken.
• Trainingsdoel: Het model maakt gebruik van velocity prediction (v-prediction) in plaats van standaard ruisvoorspelling, waarbij de MSE tussen de voorspelde en ware velocity vectoren wordt geminimaliseerd. Het maakt gebruik van een cosine variance schedule voor een gladdere corruptie en betere signaalbehoud.
• Conditionering: Het model voert image-to-image translatie uit door te conditioneren op de latente representatie van de gecorrumpeerde inputafbeelding. Conditionering wordt geïmplementeerd via concatenatie van de ruisige latente en de conditionele latente.
• Classifier-Free Guidance: Tijdens de training wordt de conditionele latente vervangen door een leerbaar "null token" met een waarschijnlijkheid van $p=0.25$ om flexibele geleide of ongeleide inferentie mogelijk te maken.

3. Trainingsstrategie en Dataverwerking

• Dataset: Het model werd vanaf nul getraind op een kleine, hoogwaardige dataset van ~2.500 afbeeldingen (512x768 resolutie) bestaande uit vier soorten: de Manedolf (Lion's Mane Jellyfish), de Blauwe Haai, de Mola Mola en de Amerikaanse Hommer.
• Data Sampling: Er werd een kwaliteitsgewogen samplingstrategie toegepast, waarbij prioriteit werd gegeven aan de top 10% van de afbeeldingen (gerangschikt door de fotograaf) over alle ruisniveaus, terwijl de resterende 90% alleen bij hogere ruvniveaus werd gebruikt.
• Corruptie Updates: Om een balans te vinden tussen computationele efficiëntie en datasetdiversiteit, adopteerden de auteurs een tussenstrategie: één gecorrumpeerde tegenhanger werd aan het begin van de training gegenereerd voor elke schone afbeelding, waarbij 10% van de data elke 10 epochs werd ververst (opnieuw gecorrumpeerd). Dit voorkwam overfitting op statische corruptiepatronen zonder de hoge kosten van on-the-fly generatie.

Belangrijkste Resultaten

In-Distribution Performance

Op de uit de dataset gehouden evaluatieset (~200 afbeeldingen van de vier trainingssoorten) toonde het model sterke "autoenhance" capaciteiten:

• Restauratie: Succesvolle correctie van hue shifts, herstel van natuurlijke kleurstelling en verbetering van contrast.
• Artifact Verwijdering: Effectieve onderdrukking van bubble artifacts en deeltjes-occlusie, terwijl fijne anatomische details behouden bleven.
• Inpainting: Toonde robuuste generatieve priors in conditionele inpainting taken, waarbij gemaskeerde regio's van kwallen succesvol werden gereconstrueerd met een hoge structurele en chromatische getrouwheid.

Out-of-Distribution (OOD) Generalisatie

Een belangrijke bevinding was het vermogen van het model om te generaliseren naar soorten en condities die niet tijdens de training zijn gezien (bijv. dolfijnen, zeehonden, hoefijzerkrabben en walviskalveren).

• Visuele Coherentie: Ondanks dat het deze soorten nooit heeft gezien, produceerde het model visueel coherente verbeteringen, waarbij groene zwemen werden gecorrigeerd naar diepere blauwe tinten en contouren werden aangescherpt zonder hallucinaties te introduceren.
• Adaptieve Conditionering: De auteurs ontdekten dat voor OOD-samples het toepassen van een milde versie van de synthetische corruptie pipeline als de conditionele input superieure resultaten opleverde vergeleken met het gebruik van de ruwe afbeelding of de volledig gecorrumpeerde afbeelding. Dit hield de conditionele latente dicht bij de trainingsmanifold zonder onbekende structuren te veel te vervormen.

Belangrijkste Bijdragen

1. LOBSTgER-enhance Pipeline: Een nieuw image-to-image diffusiekader specifiek ontworpen voor onderwaterbeeldrestauratie.
2. Synthetische Corruptie Framework: Een multi-stage corruptie pipeline die effectief onderwaterfysica simuleert (verstrooiing, bellen, kleurverschuiving) om gepaarde trainingsdata te creëren.
3. Efficiënt Modelontwerp: Demonstratie dat een compact model (11M parameters) getraind op een kleine dataset (2.5k afbeeldingen) een hoge perceptuele consistentie en sterke generalisatie kan bereiken.
4. Generalisatie naar Ongeziene Soorten: Empirisch bewijs dat het model afbeeldingen van marien leven die niet in de trainingsset aanwezig waren, kan verbeteren, wat de kloof overbrugt tussen specifieke trainingsdata en diverse real-world scenario's.

Betekenis en Claims

Het artikel claimt dat LOBSTgER-enhance een schaalbare, hoogwaardige oplossing biedt voor onderwaterbeeldverbetering die de kloof tussen echte en synthetische beelden overbrugt. De betekenis ligt in:

• Milieu-belangenbehartiging: Het bieden van een instrument om visueel overtuigende content te genereren voor milieuverhalen en bewustwording, waardoor de schoonheid van de onderwaterwereld toegankelijk wordt voor het publiek.
• Wetenschappelijk Nut: Het bieden van een methode om wetenschappelijke beelden te herstellen (bijv. voor diepzee-exploratie) door verloren details te herstellen en kleurvervormingen te corrigeren terwijl de fysieke realiteit behouden blijft.
• Efficiëntie: Het behalen van sterke resultaten met een relatief kleine dataset en een lichtgewicht model, wat suggereert dat generatieve AI effectief kan worden ingezet voor niche-domeinen waar grootschalige data schaars is.

De auteurs benadrukken dat het model de oorspronkelijke esthetiek van de fotograaf en de fysieke eigenschappen van de omgeving behoudt, en dient als een krachtig "autoenhance" hulpmiddel dat de noodzaak voor handmatige post-processing vermindert.