On the Global Photometric Alignment for Low-Level Vision

Titel: Global Photometric Alignment voor Low-Level Vision (Globale Fotometrische Uitlijning voor Laag-Niveau Visie)

Auteurs: Mingjia Li, Tianle Du, Hainuo Wang, Qiming Hu, Xiaojie Guo (Tianjin University)

1. Het Probleem: Per-paar Fotometrische Inconsistentie

De meeste geavanceerde modellen voor laag-niveau visie (zoals beeldherstel, versterking en verwijdering van regen/haze) maken gebruik van toezicht met gepaarde data (supervised learning). Hierbij wordt de output van het netwerk getraind om pixel-voor-pixel te overeenkomen met een "ground truth" (referentie) afbeelding.

Het paper identificeert een fundamenteel probleem in deze paradigma: per-paar fotometrische inconsistentie.

• Definitie: Binnen een trainingsset vereisen verschillende afbeeldingsparen vaak verschillende globale fotometrische mappingen (helderheid, kleur, witbalans).
• Oorzaken:
  1. Taak-intrinsiek: Bij taken zoals versterking van donkere beelden (Low-Light Enhancement) of onderwaterbeelden, is de ground truth per definitie anders qua kleur en helderheid dan de input. Verschillende paren hebben echter verschillende vereiste transformaties afhankelijk van de opnamecondities.
  2. Acquisitie-geïnduceerd: Bij taken zoals haze- of regenverwijdering zou de fotometrie idealiter gelijk moeten blijven, maar door variaties in camera-exposure, witbalans of belichting tijdens het verzamelen van data, ontstaan onbedoelde verschuivingen tussen input en ground truth.
• Gevolg: Standaard reconstructieverliezen (zoals MSE) zijn extreem gevoelig voor deze globale verschuivingen. Omdat de fotometrische fout ruimtelijk dicht is (geldt voor elke pixel), domineert deze het gradiëntbudget van de optimalisatie. Het netwerk besteedt zijn capaciteit aan het oplossen van kleur/helderheidsconflicten in plaats van het herstellen van de daadwerkelijke structuur en textuur van het beeld.

2. Methodologie: Photometric Alignment Loss (PAL)

Om dit probleem op te lossen, stellen de auteurs Photometric Alignment Loss (PAL) voor. Dit is een flexibele supervisiemethode die fotometrische discrepanties expliciet uit het trainingsdoel verwijdert voordat de reconstructiefout wordt berekend.

Kernprincipes:

1. Affine Kleurtransformatie: PAL modelleert de fotometrische discrepantie tussen de voorspelling ($\hat{I}$) en de ground truth ($I_{gt}$) als een globale affiene kleurtransformatie:
   $$I_{gt} \approx C\hat{I} + b$$
   Waarbij $C$ een $3 \times 3$ matrix is (voor kruiskanaalkoppeling en versterking) en $b$ een bias vector is (voor additieve verschuivingen).
2. Gesloten Vorm Oplossing: De optimale parameters $C^*$ en $b^*$ worden berekend in gesloten vorm via kleinste-kwadraten regressie (least-squares) op de covariance-statistieken van de afbeelding.
   • Om numerieke instabiliteit te voorkomen (bijvoorbeeld bij monochrome gebieden met lage variantie), wordt Ridge-regressie ($L_2$ regularisatie) toegepast.
3. Verliesfunctie: In plaats van de directe pixel-fout te minimaliseren, wordt de fout berekend op de uitgelijnde residual:
   $$L_{PAL} = \| (C^*\hat{I} + b^*) - I_{gt} \|$$
   Hierbij worden $C^*$ en $b^*$ als constanten behandeld tijdens de backpropagation (stop-gradient), zodat het netwerk alleen leert om de structuur te herstellen, niet om de transformatie te leren.

Waarom Affine?
Eenvoudige methoden zoals het normaliseren van de gemiddelde helderheid (scalar) of per-kanaal versterking (diagonaal) zijn onvoldoende. Ze kunnen geen witbalans-verschuivingen (die kruiskanaal koppeling vereisen) of additieve bias correct modelleren. De volledige affiene transformatie is nodig om de complexe fotometrische variaties in real-world data te dekken.

3. Belangrijkste Bijdragen

• Theoretische Analyse: Het paper bewijst dat onder een MSE-verluste, de fotometrische en structurele componenten van de residual orthogonaal zijn. De fotometrische component, die ruimtelijk dicht is, domineert de gradiëntenergie, waardoor structurele herstel signalen worden onderdrukt.
• PAL (Photometric Alignment Loss): Een rekenkundig goedkope loss-functie die fotometrische "ruis" verwijdert via een gesloten-formule affiene uitlijning, zonder extra leerbare parameters.
• Universele Toepasbaarheid: De methode is taak-onafhankelijk en werkt zowel voor taak-intrinsieke inconsistenties (versterking) als acquisitie-geïnduceerde inconsistenties (herstel).
• Uitgebreide Validatie: De methode is getest op 6 taken, 16 datasets en 16 verschillende architecturen, wat de robuustheid en generalisatievermogen aantoont.

4. Resultaten

De auteurs hebben PAL geïntegreerd in bestaande state-of-the-art modellen (zoals Retinexformer, Uformer, NAFNet, etc.) en getest op diverse benchmarks:

• Kwantitatieve Verbetering:
  • Low-Light Enhancement (LOL-v1/v2): Consistente verbeteringen in PSNR, SSIM en perceptuele metrics (LPIPS, IQA). Bijvoorbeeld, Retinexformer op LOLv1 verbeterde met +1.13 dB in PSNR.
  • Onderwater Versterking (EUVP): Verbeteringen van +0.57 dB tot +0.65 dB in PSNR.
  • Haze- en Regenverwijdering: Significante verbeteringen in RESIDE-SOTS en NHR datasets, waarbij residuële kleurvervuiling (color cast) werd verminderd.
  • All-in-One Herstel: PAL presteerde goed op datasets met gemengde weersomstandigheden (regen, sneeuw, haze), waar inconsistentie tussen verschillende datasets het trainen bemoeilijkt.
• Kwalitatieve Verbetering:
  • Beelden tonen minder ruis, natuurlijker kleuren en minder artefacten.
  • De methode voorkomt dat het netwerk "overleert" op de specifieke kleurprofielen van de trainingsset, wat leidt tot betere generalisatie op ongezette datasets (zoals getoond in cross-dataset tests).
• Efficiëntie: De berekening kost slechts ongeveer 0.0037 GFLOPs voor een 256x256 afbeelding (ongeveer 0.01% - 0.1% van de backbone), wat verwaarloosbaar is.

5. Significantie en Toekomstperspectief

Dit paper biedt een fundamentele oplossing voor een langdurig maar vaak genegeerd probleem in diepe learning voor beeldverwerking: de onbedoelde focus op fotometrie in plaats van structuur.

• Paradigmaverschuiving: Het stelt dat pixel-voor-pixel verlies niet altijd de juiste supervisie is als er globale verschuivingen optreden. PAL corrigeert dit zonder de complexiteit van generatieve modellen (GANs) of perceptuele verliezen te vereisen.
• Generalisatie: Door de fotometrische "ruis" te filteren, leren modellen robuustere representaties van de onderliggende scène-inhoud, wat leidt tot betere prestaties op nieuwe, ongeziene data.
• Toekomst: Hoewel PAL momenteel een globale affiene transformatie gebruikt (wat lokale variaties zoals vignettering niet expliciet modelleert), is het een krachtige basis. Toekomstig werk kan zich richten op ruimtelijk adaptieve versies of hogere-orde modellen, maar de huidige resultaten tonen aan dat een globale benadering al voldoende is voor de meeste bestaande taken.

Kortom, PAL is een eenvoudige, maar krachtige toevoeging aan de toolkit van laag-niveau visie, die de optimalisatiepaden van bestaande modellen corrigeert en leidt tot superieure beeldherstelkwaliteit.