Technische Samenvatting: Verlichting-bewuste Representatie-lering onder Controleerbare Verlichtingsvariatie

Probleemstelling

Variaties in verlichting vormen een fundamentele uitdaging voor computer vision, waarbij ze substantiële veranderingen in het uiterlijk veroorzaken die de robuustheid en generalisatie van visuele representatie-lering in gevaar brengen. Terwijl het menselijk zicht perceptuele constantie bereikt door illuminanten te schatten en interne modellen van lichtomstandigheden op te bouwen, behandelen standaard kunstmatige visiesystemen verlichting doorgaans als een storende factor (nuisance factor). Bestaande benaderingen vertrouwen primair op data-augmentatie (bijv. aanpassingen in helderheid, contrast, tint) om modellen te stimuleren ongevoelig te worden voor verlichtingsveranderingen. Deze strategieën onderdrukken echter verlichtingsinformatie in plaats deze expliciet te modelleren, waardoor ze vaak niet in staat zijn de adaptiviteit van het menselijk zicht te evenaren of de complexe interacties tussen geometrie, materialen en licht te vangen die realistische visuele signalen definiëren.

Methodologie

De auteurs stellen een Verlichting-bewust Representatie-lering Framework voor dat verlichtingsvariatie incorporeert als een expliciet trainingssignaal in plaats van als ruis. De kernmethodologie breidt contrastief leren uit via een Dual-Head Training architectuur.

1. Theoretische Fundering

De benadering is gebaseerd op de premisse dat een waargenomen afbeelding $I$ wordt gegenereerd uit twee onderliggende factoren: intrinsieke scène-inhoud $C$ (geometrie, lay-out, semantiek) en de verlichtingsconditie $L$. Het doel is om representaties te leren die semantische consistentie behouden over verlichtingsveranderingen heen, terwijl ze gevoelig blijven voor verlichtingsafhankelijke visuele structuren.

2. Architectuur en Trainingsdoel

Het framework maakt gebruik van een gedeelde ResNet-50 backbone die splitst na globale gemiddelde pooling in twee afzonderlijke heads:

• Content Head (Contrastief): Dwingt consistentie af voor afbeeldingen die dezelfde semantische inhoud delen maar verschillen in verlichting. Dit maakt gebruik van standaard contrastieve leerdoelen (gebaseerd op MoCo V2 en ESS-MB) om semantisch gelijkaardige afbeeldingen te groeperen.
• Lighting Head (Contrastief): Dwingt consistentie af voor afbeeldingen die dezelfde verlichtingsconfiguratie delen (bijv. dezelfde "skybox" in een virtuele omgeving) maar verschillen in inhoud. Deze head leert representaties te clusteren op basis van verlichtingscondities.

De totale verliesfunctie is een gewogen som van de content contrastieve loss ($L_{Con.}$) en de lighting contrastieve loss ($L_{Light}$):
$$L = L_{Con.} + \alpha L_{Light}$$
waarbij $\alpha$ de bijdragen van de twee doelstellingen balanceert.

3. Representatie-factorisatie

Om de statistische afhankelijkheden tussen verlichting en inhoud (bijv. schaduwen en reflecties) aan te pakken, introduceren de auteurs een flexibele factorisatie van de representatieruimte in drie componenten:

• Verlichtingscomponent: Legt kenmerken vast die primair door verlichting worden bepaald.
• Inhoudscomponent: Codeert scène-intrinsieke informatie die invariant is voor verlichting.
• Gezamenlijke Component (Joint Component): Legt interacties vast tussen verlichting en inhoud die niet zuiver gescheiden kunnen worden.

De toewijzing van de dimensies van de representatie wordt aangeduid door een ratio $(L:J:C)$. Bijvoorbeeld, $(1:0:7)$ wijst 1/8ste van de dimensie toe aan verlichting, niets aan de gezamenlijke component, en 7/8ste aan de inhoud.

4. Data en Experimentele Opzet

De methode werd geëvalueerd met de House100KLighting dataset, verzameld uit een virtuele ray-traced omgeving (ThreeDWorld), die nauwkeurige manipulatie van verlichtingscondities mogelijk maakt terwijl de scène-inhoud behouden blijft. De baselines omvatten standaard contrastief leren (MoCo V2/ESS-MB) en single-representation modellen getraind met beide doelstellingen. Downstream taken omvatten beeldclassificatie (ImageNet), object- en verlichtingsclassificatie (ExDark) en objectdetectie (PASCAL VOC).

Belangrijkste Resultaten

• Superieure Downstream Prestaties: Modellen getraind met het dual-head verlichting-bewuste framework (specifiek configuratie $1:0:7$) presteerden consequent beter dan standaard contrastieve leer-baselines op ImageNet classificatie, ExDark object/verlichtingsclassificatie en PASCAL VOC detectie. De gecombineerde representatie (het concateneren van content en lighting features) leverde de beste resultaten op.
• Complementaire Representaties: De content head domineerde de prestaties bij standaard objectclassificatie (ImageNet), terwijl de lighting head significant bijdroeg aan de prestaties op datasets met weinig licht (ExDark), waarbij deze soms de content head overtrof. Dit bevestigt dat de twee heads complementaire informatie vastleggen.
• Belang van Gezamenlijke Componenten: Configuraties die een gezamenlijke component bevatten (bijv. $1:1:6$) vertoonden zelfs nog grotere prestatiewinsten, wat suggereert dat het behouden van een beperkte interactie tussen semantische en verlichtingskenmerken de downstream herkenning ten goede komt.
• Beperkingen van Eenvoudige Augmentatie: Experimenten waarbij eenvoudige afbeelding-niveau transformaties (helderheid, gamma, etc.) werden gebruikt om verlichtingsvariatie te benaderen (House100K-AugLighting), resulteerden in slechts marginale verbeteringen ten opzichte van standaard contrastief leren. Dit geeft aan dat fysiek gebaseerde ray-traced verlichting complexe interacties biedt die eenvoudige transformaties niet kunnen repliceren.
• Extensie naar Supervised Learning: Het framework werd succesvol aangepast naar een supervised setting op ImageNet100K-AugLighting, waarbij de dual-head benadering een verbeterde testnauwkeurigheid bereikte ondanks het gebruik van gereduceerde representatie-dimensies voor elke specifieke taak, wat duidt op verbeterde generalisatie door multi-factor supervisie.
• Laag-specifieke Analyse: Probing-taken toonden aan dat verlichtingsbewuste representaties verspreid zijn door het gehele netwerk, maar minder gevoelig worden in de laatste lagen onder standaard contrastieve training, die de neiging heeft om content en verlichting te confunderen. De dual-head benadering behoudt de verlichtingsgerelateerde structuur beter over de lagen heen.

Betekenis en Claims

Het artikel claimt dat verlichting niet uitsluitend moet worden behandeld als een bron van ruis die via augmentatie moet worden onderdrukt. In plaats daarvan levert het expliciet modelleren van verlichting als een controleerbare factor tijdens de representatie-lering meer robuuste en aanpasbare visuele representaties op.

De auteurs positioneren dit werk als een casestudy voor een breder "factor-bewust representatie-lering" paradigma. Door gecontroleerde omgevingsvariaties (zoals verlichting, gezichtspunt of weer) te benutten als expliciete supervisiesignalen, kunnen modellen leren om semantische inhoud te ontkoppelen van omgevingscondities, terwijl ze hun interacties vastleggen. De resultaten suggereren dat deze benadering de robuustheid van modellen in complexe visuele omgevingen verhoogt en de prestaties in conventionele beeldverwerkingstaken verbetert, wat een pad biedt naar een meer menselijke perceptuele constantie in kunstmatige systemen.

Het artikel erkent bescheiden de beperkingen, waarbij wordt opgemerkt dat de interne propagatie van signalen verdere investigatie vereist, dat experimenten werden uitgevoerd op relatief kleine datasets voor hanteerbaarheid, en dat eenvoudige beeldtransformations onvoldoende proxies zijn voor realistische fysieke verlichting. Toekomstig werk wordt gesuggereerd om dit framework uit te breiden naar andere controleerbare factoren en om efficiënte methoden te verkennen voor het genereren van realistische trainingsdatasets met behulp van generatieve modellen.