Multi-illuminant Color Constancy via Multi-scale Illuminant Estimation and Fusion

Dit artikel introduceert een nieuwe methode voor multi-illuminant kleurconstante die, door gebruik te maken van een tri-branch convolutioneel netwerk en een adaptief fusiemodule, lokale kleurvervormingen effectief elimineert door verlichtingskaarten te schatten en te fuseren op meerdere schalen, wat resulteert in state-of-the-art prestaties.

De kern

Stel je voor dat je door een raam kijkt dat aan de ene kant oranje is (van een lamp) en aan de andere kant blauw (van de schemering). Alles wat je ziet, krijgt een gekke kleur: groene planten worden bruin, witte muren worden paars. Dit is wat er gebeurt met camera's in de echte wereld. Ze zien niet wat wij zien; ze zien de "kleur van het licht" dat op de foto valt.

Dit papier over Kleurconstantie (het corrigeren van die gekke kleuren) komt met een slimme oplossing voor een specifiek probleem: wat als er in één foto meerdere lichtbronnen zijn?

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Eén Groot Licht"-Mist

Vroeger dachten computers dat er in een hele foto maar één soort lichtbron was (bijvoorbeeld alleen zon of alleen lamp). Ze probeerden dan de hele foto in één keer te "ontkleuren".

• De analogie: Het is alsof je probeert een kamer te verlichten met één grote, witte lamp, terwijl er in de hoek een oranje kaars staat en bij het raam blauw daglicht. Als je de hele kamer wit maakt, wordt de kaarsplek grijs en saai, en het raamlicht blijft nog steeds blauw. Het werkt niet goed als er veel verschillende lichtjes zijn.

2. De Oplossing: Kijk door verschillende lenzen

De auteurs van dit papier zeggen: "Wacht even, we moeten niet naar de hele foto kijken alsof het één groot blok is. We moeten kijken naar de foto op verschillende groottes."

Stel je voor dat je een enorme puzzel hebt:

• Grote stukken (Kleine schaal): Als je de puzzel van veraf bekijkt, zie je alleen de grote lijnen. Waar is het oranje licht? Waar is het blauwe licht? Dit geeft je een grof idee van de verdeling, maar geen details.
• Kleine stukken (Grote schaal): Als je heel dichtbij kijkt, zie je de fijne details. Je ziet precies waar de schaduw van een blad valt en hoe het licht daar net anders is. Dit geeft je fijne details.

De meeste oude methoden keken alleen naar één van deze niveaus. Deze nieuwe methode kijkt naar allebei tegelijk.

3. De "Drie-Zusters" Architectuur

De computer die ze hebben gebouwd, heeft drie aparte hersenen (of "takken"), die we Zusters kunnen noemen:

• Zuster 1 (De Grootschalige): Kijkt naar een klein, wazig plaatje van de foto. Ze is goed in het zien van de grote gebieden met licht.
• Zuster 2 (De Middelgrote): Kijkt naar een iets scherper plaatje. Ze ziet de structuur van de objecten.
• Zuster 3 (De Kleinschalige): Kijkt naar het hele scherpe, gedetailleerde plaatje. Ze ziet de kleinste veranderingen in het licht.

Elke "zuster" maakt haar eigen kaartje van waar het licht vandaan komt. Maar hun kaartjes zijn niet perfect op zichzelf.

4. De "Slimme Chef" (De Aandachtssmodule)

Nu komt het slimme deel. Je hebt een Chef nodig die de drie kaartjes van de zusters samenvoegt.

• In het verleden deden ze dit door alles simpelweg op te tellen (alsof je 1 kopje koffie en 1 kopje thee door elkaar roert).
• Deze nieuwe methode heeft een Slimme Chef (een "Attentional Fusion Module"). Deze Chef kijkt naar elk pixel apart.
  • Voorbeeld: Op een pixel waar een groot lichtgebied is, luistert de Chef naar Zuster 1 (de grootschalige).
  • Voorbeeld: Op een pixel waar een klein detail is, luistert de Chef naar Zuster 3 (de kleinschalige).

De Chef zegt: "Op dit punt is Zuster 1 het belangrijkst, op dat punt is Zuster 3 het belangrijkst." Hij maakt een gewichtstabel en combineert de kaartjes precies waar ze het beste werken.

5. Het Resultaat

Door deze "meerdere schalen" en de "Slimme Chef" te gebruiken, kan de computer:

1. De grote lichtvlakken goed herkennen.
2. De kleine, fijne details van het licht ook goed corrigeren.
3. Alles perfect samenvoegen zonder dat er vage plekken overblijven.

Kortom:
Stel je voor dat je een schilderij moet restaureren dat door drie verschillende soorten licht is beschadigd. In plaats van één grote, grove reinigingsbeurt te doen, gebruiken ze drie verschillende reinigingsborstels (groot, medium, klein) en een supervisor die precies weet welke borstel op welk stukje van het schilderij het beste werkt. Het resultaat is een foto die eruitziet alsof hij onder perfect wit licht is genomen, zelfs als de oorspronkelijke foto een chaos van lichtbronnen was.

Deze methode werkt zo goed dat hij momenteel de beste ter wereld is (State-of-the-Art) voor dit soort problemen.

Technische samenvatting

Probleemstelling

Bestaande methoden voor multi-illuminant kleurconstantheid (het corrigeren van lokale kleurvervormingen veroorzaakt door meerdere lichtbronnen in één beeld) maken vaak gebruik van deep learning om een directe mapping te maken tussen een afbeelding en een verdelingskaart van de lichtbronnen. Een fundamenteel nadeel van deze bestaande aanpakken is dat ze de invloed van beeldschalen negeren.

• In natuurlijke scènes zijn verdelingen van lichtbronnen vaak uniform op kleine schalen (coarse-grained) maar diverser op grote schalen (fine-grained).
• Huidige methoden missen het vermogen om deze schaalafhankelijke variaties effectief te vangen, wat leidt tot minder nauwkeurige pixel-voor-pixel schattingen van de lichtbronnen.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat de verdelingskaart van de lichtbronnen benadert als een lineaire combinatie van componenten geschat vanuit afbeeldingen op verschillende schalen. Het systeem bestaat uit de volgende kerncomponenten:

1. Multi-Scale Architectuur (Tri-branch ConvNet):

   • Het model gebruikt drie parallelle takken, waarbij elke tak een U-Net-architectuur implementeert.
   • Elke tak verwerkt een afbeelding van een specifieke schaal: groot, medium en klein.
   • Illuminant Estimation Module (IEM): Gebaseerd op de LSMI-U (een variant van U-Net), bestaat deze uit dubbele convolutieblokken (DCB) en upsampling convolutieblokken (UCB). De encodering vermindert de ruimtelijke dimensies via max-pooling, terwijl de decoding de dimensies weer vergroot en skip-connections gebruikt voor het fusioneren van lage en hoge niveau-informatie.
   • De output van elke tak is een verdelingskaart van de lichtbron (alleen rode en blauwe kanalen, aangezien groen standaard 1 is).

2. Attentional Illuminant Fusion Module (AIFM):

   • Deze module fuseert de drie geschatte verdelingskaarten adaptief.
   • De invoerkaarten worden samengevoegd (concatenated) langs de kanaal-dimensie en verwerkt door een convolutielaag.
   • Een Softmax-functie normaliseert dit resultaat over de kanaal-dimensie om drie pixel-voor-pixel gewichtskaarten te genereren.
   • Deze gewichten bepalen voor elke pixel hoe belangrijk de schatting van een bepaalde schaal is. De finale output is een gewogen som van de drie schattingen volgens de formule:
     $$I_{final} = I_l \times W_l + I_m \times W_m + I_s \times W_s$$
     Waarbij $I$ de lichtbronkaarten zijn en $W$ de bijbehorende gewichtskaarten.

3. Trainingsstrategie:

   • Het model wordt getraind met de Mean Angular Error (MAE) als verliesfunctie.
   • Gebruikt wordt de LSMI-dataset (Large Scale Multi-Illuminant), bestaande uit 7.486 afbeeldingen van drie verschillende camera's (Samsung, Nikon, Sony).
   • De training vindt plaats met de AdamW-optimizer gedurende 600 epochs.

Belangrijkste Bijdragen

1. Decompositie in Multi-Grained Componenten: De auteurs introduceren het concept dat een lichtbronkaart kan worden ontbonden in een groep van componenten met verschillende granulariteit, geschat vanuit multi-scale afbeeldingen.
2. Adaptieve Fusie: Ontwikkeling van een Attentional Illuminant Fusion Module die automatisch pixel-voor-pixel gewichten toewijst om de meest relevante lichtbronschatting voor elke specifieke pixel te identificeren en te versterken.
3. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat deze aanpak superieur is aan bestaande methoden, zowel kwantitatief als kwalitatief.

Resultaten

De prestaties zijn geëvalueerd op de LSMI-dataset (Galaxy, Nikon en Sony subsets) met vier statistische metrics: gemiddelde, standaarddeviatie, mediaan en trimean van de hoekfouten.

• Kwantitatieve Resultaten: De voorgestelde methode ("Ours") behaalt de beste resultaten op alle drie de subsets.
  • Op de Galaxy-subset bedraagt de gemiddelde hoekfout 1,96°, wat een verbetering is van 12% ten opzichte van de op dat moment tweede beste methode (2,23°).
  • De methode overtreft zowel klassieke statistische methoden (zoals Gray World, White Patch) als recente deep-learning methoden (zoals LSMI-U en One-Net).
• Ablatie-studies:
  • Het verwijderen van één van de drie takken of de fusiemodule leidt tot een significante prestatiedaling, wat de noodzaak van de volledige architectuur bevestigt.
  • Visualisaties tonen aan dat kleine schalen gladdere, grove verdelingen vangen, terwijl grote schalen fijne details leveren. De fusiemodule combineert deze complementaire kenmerken succesvol.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen dat lokale kleurvervormingen door de nieuwe methode effectiever worden gecorrigeerd en de resultaten visueel dichter bij de ground truth liggen dan bij concurrenten.

Betekenis en Conclusie

Dit paper is significant omdat het een nieuw perspectief biedt op multi-illuminant kleurconstantheid door de schaalafhankelijkheid van lichtverdelingen expliciet te modelleren. In plaats van te proberen één model te laten werken voor alle details, deconstrueert het model het probleem in schaal-specifieke taken en fust deze intelligentie.

De voorgestelde aanpak lost het probleem op van het overslaan van schaalvariaties in bestaande deep-learning modellen en bereikt daarmee state-of-the-art prestaties. Dit verbetert niet alleen de beeldkwaliteit voor menselijke waarneming, maar verhoogt ook de robuustheid van downstream visietaken (zoals objectdetectie of segmentatie) die gevoelig zijn voor kleurvariaties. De werk is ondersteund door de Hubei Provinciale Onderzoeksgroep voor Kledinginformatie aan de Wuhan Textile University.