PhaSR: Generalized Image Shadow Removal with Physically Aligned Priors

1. Het Probleem

Het verwijderen van schaduwen uit afbeeldingen is een fundamentele taak in de computervisie, essentieel voor toepassingen zoals segmentatie, tracking en 3D-reconstructie. Bestaande methodes kampen echter met drie belangrijke uitdagingen:

• Verwarring met intrinsieke eigenschappen: Op basis van alleen RGB-cues is het moeilijk om te onderscheiden of een donker gebied een schaduw is of een intrinsiek donker materiaal, wat leidt tot kleurvervorming.
• Beperkte generalisatie: De meeste methoden presteren goed bij directe schaduwen van één lichtbron, maar falen in complexe scenario's met meerdere lichtbronnen, omgevingslicht (ambient lighting) en diffuse indirecte verlichting.
• Misalignatie van priors: Bestaande frameworks combineren vaak geometrische priors (die gevoelig zijn voor lokale schaduwen) en semantische priors (die stabiel zijn over verlichting) op een manier die conflicterende signalen introduceert. Dit resulteert in onscherpe randen of het verliezen van fysische consistentie, vooral bij indirect licht.

2. Methodologie: PhaSR

De auteurs stellen PhaSR (Physically Aligned Shadow Removal) voor, een framework dat gebruikmaakt van dual-level prior alignment om robuuste prestaties te garanderen van enkelvoudige schaduwen tot complexe omgevingsverlichting. Het proces verloopt in twee hoofdstadia:

A. Fysisch Gecorrelleerde Normalisatie (Physically Aligned Normalization - PAN)

Dit is een model-vrij, voorverwerkingsstadium dat de invoer normaliseert voordat deze het neurale netwerk binnenkomt. Het bestaat uit drie gesloten-vorm (closed-form) stappen:

1. Gray-world Normalisatie: Verwijdert globale kleurbias veroorzaakt door de lichtbron (bijv. warm binnenlicht) door de kanalen te balanceren.
2. Log-domein Retinex Decompositie: Scheidt de afbeelding in reflectie ($R$) en verlichting ($S$) via logaritmische transformatie ($\log I = \log R + \log S$). Hierbij wordt de verlichting geschat als een gladde component en de reflectie als het residu.
3. Dynamische Hercombinatie: De gescheiden componenten worden opnieuw gecombineerd en genormaliseerd om een verlichtings-consistente output te genereren die chromatische bias onderdrukt.

B. Geometrisch-Semantische Rectificatie Aandacht (Geometric-Semantic Rectification Attention - GSRA)

Dit is het kernmechanisme binnen het Transformer-encoder-decoder netwerk dat priors uit twee bronnen integreert:

• Geometrische Priors: Afgeleid van DepthAnything-v2 (diepte en normaal kaarten).
• Semantische Priors: Afgeleid van DINO-v2 (semantische embeddings).

GSRA breidt het concept van "differential attention" uit tot cross-modal alignment. In plaats van de modaliteiten simpelweg te fuseren, berekent het een gecorrigeerde attentiekaart:
$$A_{rect} = A_{sem} - \lambda \cdot A_{geo}$$
Hierbij wordt de semantische aandacht (stabiel maar grof) gecorrigeerd met geometrische informatie (precies maar lokaal). Dit lost conflicten op: het onderdrukt ruis in uniform verlichte gebieden terwijl het de precisie van schaduwranden behoudt. Het netwerk gebruikt hierbij geen expliciete schaduwmaskers.

3. Belangrijkste Bijdragen

1. PAN Module: Een parameter-vrije normalisatiestap die de invoer fysisch consistent maakt, wat leidt tot een verbetering van 0,15–0,34 dB in bestaande architecturen.
2. GSRA Mechanisme: Een nieuw aandachtmechanisme dat geometrische en semantische priors expliciet uitlijnt via differentiatie, wat essentieel is voor het hanteren van complexe, multi-bron verlichting.
3. State-of-the-Art Generalisatie: Het framework presteert niet alleen goed op traditionele schaduwverwijderingsbenchmarks, maar generaliseert ook succesvol naar Ambient Light Normalization (ALN) scenario's, waar traditionele methoden vaak falen.

4. Resultaten

De auteurs evalueren PhaSR op vijf datasets, waaronder de uitdagende Ambient6K (multi-bron verlichting zonder schaduwmaskers).

• Kwantitatieve Prestaties: PhaSR bereikt de beste resultaten (State-of-the-Art) op de WSRD+ en Ambient6K datasets. Bijvoorbeeld op Ambient6K haalt het een PSNR van 23,32 en SSIM van 0,834, wat significant beter is dan concurrenten zoals OmniSR en DenseSR.
• Efficiëntie: Ondanks het gebruik van zware pre-getrainde modellen (DINO, DepthAnything) als priors, is PhaSR zeer efficiënt. Het heeft de laagste FLOPs (55,63 G) en een lage parametercount (18,95 M) vergeleken met andere geavanceerde modellen. De inferentie-tijd is 87,9 ms per afbeelding, wat veel sneller is dan diffusion-based methoden.
• Cross-Dataset Generalisatie: Experimenten tonen aan dat PhaSR, getraind op complexe binnenverlichting, uitstekend presteert op buitenverlichting en vice versa, wat aantoont dat de fysische uitlijning robuust is tegenover verschillende lichtdistributies.

5. Betekenis en Impact

PhaSR markeert een verschuiving in schaduwverwijdering van puur datagedreven benaderingen naar fysisch onderbouwde prior-integratie.

• Oplossing voor complexe verlichting: Het is een van de eerste methoden die effectief schaduwen verwijdert in scenario's met meerdere lichtbronnen en diffuse indirecte verlichting, wat cruciaal is voor real-world toepassingen.
• Efficiëntie vs. Kwaliteit: Het bewijst dat het gebruik van expliciete fysische priors (diepte, semantiek) niet noodzakelijk leidt tot zware, trage modellen, maar juist kan leiden tot snellere en nauwkeurigere oplossingen.
• Toekomstperspectief: De methode biedt een solide basis voor toekomstig onderzoek in intrinsieke decompositie en verlichtingsnormalisatie, hoewel uitdagingen blijven bestaan bij zeer donkere objecten en speculaire oppervlakken.

Kortom, PhaSR biedt een robuust en efficiënt framework dat de kloof overbrugt tussen theoretische fysische principes en praktische, schaalbare schaduwverwijdering in diverse verlichtingsomstandigheden.