Technische Samenvatting: Voorbij Esthetiek: Kwantificering van Informatieverlies in Troebele Scènes

Probleemstelling

Onderwater computervisionsystemen kampen met aanzienlijke prestatievermindering in troebele omgevingen door lichtabsorptie en verstrooiing. Hoewel deze perceptuele degradaties (kleurvervorming, contrastverlies, onscherpte) goed gedocumenteerd zijn, blijft de specifieke impact op downstream machine learning-modellen onduidelijk. Er bestaat een kritieke kloof in het vakgebied: er zijn geen grondig geannoteerde real-world datasets die het volledige spectrum van troebelheid dekken, waardoor onderzoekers gedwongen zijn te vertrouwen op synthetische data. Bovendien richten bestaande synthetische datasets zich vaak op perceptuele verbetering (bijv. kleurcorrectie) in plaats van op het verlies van structurele informatie dat de modelprestaties daadwerkelijk belemmert. Verder correleren standaard beeldkwaliteitsmetrieken (bijv. PSNR, SSIM, NIQE) vaak niet met modelprestaties onder deze omstandigheden, omdat ze prioriteit geven aan menselijke perceptie boven de structurele informatie die vereist is voor machine learning-taken.

Methodologie

1. De Turbid Underwater Baseline (TUB) Dataset

Om het gebrek aan real-world data aan te pakken, introduceerden de auteurs de TUB-dataset.

• Verzamelingprotocol: De data werd vastgelegd in een gecontroleerde cilindrische tank met behulp van vier statische GoPro-camera's. Objecten (natuurlijk en kunstmatig) werden op een basisplaat bevestigd om scèneconsistentie over variërende troebelheidsniveaus te garanderen.
• Troebelheidscontrole: Troebelheid werd geïnduceerd met gemeten hoeveelheden havermoutmelk, wat 10 verschillende niveaus per scène creëerde. Een nephelometer werd gebruikt om de troebelheid te kwantificeren in Nephelometric Turbidity Units (NTU), waarbij beelden werden gecategoriseerd in Groepen Laag (0–10 NTU), Medium (10–20 NTU) en Hoog (20+ NTU).
• Annotaties: De dataset bestaat uit 1.320 afbeeldingen verspreid over 33 unieke scènes. Cruciaal is dat instance segmentatie-maskers handmatig zijn geannoteerd op de heldere waterbeelden en vervolgens zijn gepropageerd naar alle bijbehorende troebele afbeeldingen. Deze aanpak levert meer dan 16.000 hoogwaardige ground-truth maskers op, zelfs voor scènes waar menselijke annotatoren de objectgrenzen visueel niet meer konden onderscheiden.

2. Voorgestelde Metriek: Phase-Congruency Delentropy (PCD)

De auteurs stellen PCD voor, een metriek die ontworpen is om structureel informatieverlies te kwantificeren in plaats van perceptuele kwaliteit.

• Theoretische Basis: De metriek is gebaseerd op de hypothese dat deep learning-modellen vertrouwen op structurele informatie (gradiënten en randen) die kunnen blijven bestaan, zelfs wanneer het contrast verloren gaat.
• Mechanisme: PCD berekent de delentropy (een maatstaf voor informatiecomplexiteit gebaseerd op gradiëntverdeling), maar vervangt standaard kernel-afgeleide gradiënten door phase congruency maps.
• Voordelen: Phase congruency is invariant voor veranderingen in illuminatie en contrast. Door delentropy op deze kaarten te berekenen, legt PCD het verlies van structurele informatie (bijv. onscherpe randen) vast, terwijl het robuust blijft tegen de contrastreductie en kleurverschuivingen die typerend zijn voor troebel water.

3. Experimentele Evaluatie

De studie evalueerde de correlatie tussen diverse metrieken en de prestaties van drie state-of-the-art instance segmentatie modellen: MaskRCNN, YOLOv11 en Mask2Former.

• Real Data: Modellen werden getraind en getest op splitsingen van de TUB-dataset (Lage, Medium, Hoge troebelheid).
• Synthetische Data: De auteurs genereerden synthetische troebele afbeeldingen met twee methoden (een standaard underwater image formation model (Synth1) en een model dat blur en inhomogeniteit incorporeert (Synth2)).
• Vergelijking: De correlatie van PCD tegenover modelprestaties (AP50) werd vergeleken met gangbare metrieken: PSNR, SSIM, NIQE, Entropy, Delentropy, UCIQE en UIQM.

Belangrijkste Resultaten

1. Bruikbaarheid van de Dataset: De TUB-dataset biedt succesvol de eerste hoogwaardige ground-truth annotaties voor extreme troebelheid, wat een data-gedreven analyse van degradatie-effecten mogelijk maakt.
2. Correlatie van de Metriek:
   • PCD vertoonde een sterke correlatie met de prestaties van instance segmentatie modellen over zowel real als synthetische troebele afbeeldingen.
   • Bestaande Metrieken: Gangbare perceptuele metrieken (PSRF, SSIM, NIQE, UCIQE) vertoonden een zwakke tot geen correlatie met modelprestaties. Opvallend genoeg beoordeelden deze metrieken synthetische afbeeldingen vaak als zijnde van lagere kwaliteit dan real-world troebele afbeeldingen, ondanks het feit dat modellen goed presteerden op de synthetische data.
3. Structureel vs. Perceptueel: De resultaten wijzen erop dat een afname in perceptuele kwaliteit (bijv. laag contrast) niet noodzakelijkerwijs gelijkstaat aan een verlies van taakutiliteit. Omgekeerd is het verlies van structurele informatie (gradiëntdegradatie) de primaire factor die de daling in modelprestaties drijft.
4. Beperkingen van Synthetische Data: Standaard synthetische pipelines slaagden er niet in om de specifieke structurele degradaties van echte troebelheid te reproduceren, wat leidde tot misleidende evaluaties bij het gebruik van traditionele metrieken.

Betekenis en Claims

Het paper claimt dat de huidige afhankelijkheid van perceptuele metrieken en synthetische data onvoldoende is voor de vooruitgang van underwater computer vision. De auteurs betogen dat:

• PCD een superieure, model-gecentreerde aanpak biedt voor het evalueren van troebele scènes door te focussen op de structurele informatie die learning-based modellen daadwerkelijk gebruiken.
• De TUB-dataset een kritiek gat vult door een benchmark te bieden voor extreme troebelheid met betrouwbare ground truth, wat voor het eerst een directe beoordeling mogelijk maakt van hoe troebelheid learning-based modellen beïnvloedt.
• De bevindingen suggereren dat het verbeteren van de "perceptuele kwaliteit" (het er voor mensen duidelijker uit laten zien) niet garandeert dat de modelprestaties verbeteren; in plaats daarvan is het behoud of herstel van structurele gradiënten van cruciaal belang.

Het werk concludeert dat PCD en TUB essentiële instrumenten bieden voor het kwantificeren van informatieverlies en het evalueren van de realiteitsgraad van synthetische troebelheidgeneratie, waarmee het veld beweegt van esthetische verbeteringen naar functionele robuustheid in onderwateromgevingen.