Technische Samenvatting: NamedCurves+ voor Beeldverbetering

Probleemstelling

Beeldverbetering blijft een hardnekkige uitdaging in computer vision, met name in het balanceren van geautomatiseerde kwaliteitsverbetering met interpreteerbaarheid en gebruikerscontrole. Hoewel deep learning-methoden die gebruikmaken van gepaarde datasets (ruwe afbeeldingen en expert-retouches) sterke prestaties hebben geleverd, lijden ze aan twee kritieke beperkingen:

1. Gebrek aan Interpreteerbaarheid: End-to-end architecturen (bijv. U-Nets) of complexe wechtingsmechanismen (bijv. 3D Look-Up Tables) functioneren als black boxes, waardoor het moeilijk is te begrijpen hoe specifieke bewerkingen worden toegepast.
2. Beperkte Interactiviteit: Bestaande modellen missen vaak een parametrisatie die geschikt is voor gebruikersaanpassingen. Gebruikers kunnen de output niet gemakkelijk aanpassen om te voldoen aan specifieke voorkeuren of om te corrigeren voor individuele esthetische smaken zonder het model opnieuw te trainen.

Bovendien is er een kloof tussen de handmatige controle die professionele software biedt (die vaak vertrouwt op bekende kleurnamen zoals "rood", "groen" of "blauw") en de rigide outputs van huidige geautomatiseerde systemen.

Methodologie: NamedCurves+

Het artikel stelt NamedCurves+ voor, een leergestuurd framework dat het concept van Kleurnamen (Color Naming) integreert met Tooncurves (Tone Curves) en een Transformer-gebaseerd fusiemechanisme. De architectuur bestaat uit vier primaire componenten:

1. Standaardisatie Backbone

Om variabiliteit in belichting en camerainstellingen aan te pakken, wordt de invoerafbeelding $x$ eerst verwerkt door een UNet-achtige backbone (geïnspireerd door LPIENet). Deze module standaardiseert de invoer naar een canonieke latente ruimte ($\hat{y}_b$), wat zorgt voor een consistente kleurnaam-decompositie ongeacht de oorspronkelijke opnamecondities. De backbone maakt gebruik van MobileNet-lagen, CBAM-attentiemodules en multi-resolutie skip-verbindingen.

2. Kleurnaam-decompositie

In plaats van de afbeelding als geheel te verwerken, deelt de methode de gestandaardiseerde afbeelding op in waarschijnlijkheidskaarten gebaseerd op universele kleurnamen.

• Decompositie: Met behulp van een model gebaseerd op Van de Weijer et al., wordt de afbeelding toegewezen aan 11 kleurcategorieën (rood, blauw, groen, geel, roze, paars, oranje, bruin, wit, grijs, zwart).
• Groepering: Om variaties in intensiteit af te handelen waarbij de tint (hue) vergelijkbaar blijft (bijv. oranje versus bruin, of roze versus paars), worden de 11 kaarten gegroepeerd in 6 afzonderlijke kanalen: Oranje-Bruin-Geel, Roze-Paars, Rood, Groen, Blauw en Achromatisch (Wit-Grijs-Zwart).

3. Bezier Tooncurve Schatting

Voor elke van de 6 kleurgroepen en elk RGB-kanaal schat het netwerk een globale tooncurve.

• Parametrisatie: Curves worden gedefinieerd met behulp van Bezier-curves met $M$ controlepunten. Het eerste punt is vastgezet op $(0,0)$ en het laatste op $(1,1)$.
• Leren: Het netwerk voorspelt incrementen ($\Delta P$) voor de controlepunten ten opzichte van het vorige punt, wat monotoniciteit garandeert. Deze incrementen worden genormaliseerd en geaccumuleerd om de uiteindelijke controlepunten te vormen.
• Toepassing: Deze curves worden toegepast als 1D Look-Up Tables op de overeenkomstige kleurwaarschijnlijkheidskaarten, wat zes globaal aangepaste tussenliggende afbeeldingen genereert. Deze stap biedt interpreteerbaarheid, aangezien elke curve expliciet vertegenwoordigt hoe een specifieke kleurnaam wordt gemanipuleerd.

4. Transformer-gebaseerde Imagedefusie

Om lokale variaties en artefacten (zoals halo's bij kleurgrenzen) aan te pakken die voortkomen uit eenvoudige gewogen middeling, worden de zes globaal aangepaste afbeeldingen gefuseerd met behulp van een Transformer-block.

• Mechanisme: De block maakt gebruik van Transposed Attention, die cross-covariantie berekent over kanalen in plaats van ruimtelijke locaties. Dit vermindert de computationele complexiteit van kwadratisch naar lineair ten opzichte van de afbeeldingsgrootte.
• Proces: De 18-kanaals input (6 afbeeldingen $\times$ 3 kanalen) wordt geconcateneerd, verwerkt door een convolutionele feature extractor, en verfijnd door een Multi-Head Transposed Attention module gevolgd door een Feed-Forward Network (FFN).
• Output: De laatste laag produceert de verbeterde sRGB-afbeelding $\hat{y}$. Deze stap vangt ruimtelijke afhankelijkheden en context-bewuste bewerkingen op die globale curves alleen niet kunnen bereiken.

Loss Functie

Het trainingsdoel combineert drie termen:

1. L2-loss tussen de gestandaardiseerde afbeelding $\hat{y}_b$ en de grondwaarheid $y$ (gewogen met $\alpha=0.5$).
2. L2-loss tussen de uiteindelijke output $\hat{y}$ en $y$.
3. SSIM-loss tussen $\hat{y}$ en $y$.

Belangrijkste Bijdragen

De auteurs identificeren drie belangrijke bijdragen in dit uitgebreide werk:

1. Efficiënte Fusie Architectuur: Het herontwerp van het beeldfusiecomponent met behulp van een efficiënt Transformer-block (Transposed Attention) verbetert de beeldkwaliteit, vermindert halo-artefacten bij kleurgrenzen en behoudt snelle inferentiesnelheden.
2. Generalisatie naar Meerdere Taken: Het framework is uitgebreid van beeldretouchering naar het omvatten van tone mapping en belichtingscorrectie, waarmee het state-of-the-art resultaten behaalt op standaard benchmarks.
3. Verbeterde Interactiviteit en Interpreteerbaarheid: Door de modelgewichten los te koppelen van de tooncurves, stelt de methode gebruikers in staat om tijdens de inferentie direct de Bezier-curves die geassocieerd zijn met specifieke kleurnamen te manipuleren. Dit maakt gepersonaliseerde aanpassingen mogelijk zonder hertraining, wat een niveau van controle biedt dat voorheen onbereikbaar was in geautomatiseerde systemen.

Experimentele Resultaten

De methode is geëvalueerd op vier datasets: MIT-Adobe-5K, PPR10K, MSEC en SICE.

• Kwantitatieve Prestaties: NamedCurves+ presteert beter dan state-of-the-art methoden (inclusief 3DLUT, AdaInt, RSFNet en de eerdere NamedCurves van de auteurs) op het gebied van PSNR, SSIM, LPIPS en kleurverschilmetrieken ($\Delta E_{00}$, $\Delta E_{ab}$).
  • Op MIT-Adobe-5K behaalde het een PSNR van 25.75 en een SSIM van 0.940.
  • Op MSEC (belichtingscorrectie) behaalde het een PSNR van 23.15 en een SSIM van 0.878.
• Ablatie-studies:
  • Het verwijderen van de backbone veroorzaakte de grootste prestatiedaling, wat de noodzaak van standaardisatie bevestigt.
  • Het verwijderen van de kleurnaam-decompositie verminderde de prestaties aanzienlijk, wat de semantische sturing valideert.
  • Het verwijderen van de Transformer-module verslechterde de resultaten, wat de noodzaak van lokale contextmodellering benadrukt.
  • Het gebruik van 6 gegroepeerde kleurnamen leverde betere resultaten op dan 11 individuele namen of willekeurige partitioneringsstrategieën.
• Efficiëntie: Ondanks het toevoegen van een Transformer-block, verminderde het nieuwe fusiemechanisme de inferentietijd met 27% (van 26ms naar 19ms) en de FLOPs met 6% vergeleken met de vorige aanpak, dankzij de efficiëntie van transposed attention.
• Gebruikersstudie: Een 2AFC (Two-Alternative Forced Choice) studie met 15 waarnemers toonde aan dat NamedCurves+ statistisch significant werd verkozen boven zowel BGLUT als de vorige NamedCurves-methode.

Betekenis en Claims

Het artikel claimt dat NamedCurves+ erin slaagt de kloof tussen geautomatiseerde beeldverbetering en gebruikerscontrole te overbruggen. De betekenis ligt in:

• Verklaarbaarheid: Het gebruik van kleurnaam-geconditioneerde tooncurves maakt het verbeteringsproces transparant; gebruikers kunnen precies zien hoe de "Rode" of "Groene" regio's worden aangepast.
• Interactiviteit: Het staat flexibele, post-hoc aanpassing toe. Gebers kunnen de geretoucheerde afbeelding verfijnen door specifieke curves te wijzigen om aan persoonlijke voorkeuren te voldoen, een functie die ontbreekt in de meeste end-to-end deep learning modellen.
• Robuustheid: De combinatie van globale kleurgeconditioneerde curves en lokale transformer-fusie handelt effectief zowel globale belichtings-/contrastproblemen als lokale kleurgrenzen af, waardoor de veelvoorkomende halo-artefacten bij eerdere kleurdecompositie-methoden worden verminderen.

De auteurs concluderen dat hoewel de methode beperkt is door de expressiviteit van tooncurves voor zeer gelokaliseerde semantische bewerkingen, het een belangrijke stap voorwaarts is in het creëren van interpreteerbare, interactieve en hoogwaardige systemen voor beeldverbetering.