WildShadowRemover: In-the-Wild Video Shadow Removal via Detail-Preserving Video Diffusion Models

Technische Samenvatting: WildShadowRemover

Probleemstelling
Video-schaduwverwijdering in ongecontroleerde "in-the-wild"-omgevingen blijft een significante uitdaging vanwege complexe verlichting, diverse schaduwverschijnselen en een gebrek aan hoogwaardige trainingsdata. Hoewel schaduwen waardevolle aanwijzingen bieden voor scène-begrip, hebben ze een nadelig effect op toepassingen zoals objecttracking, intrinsieke decompositie en beeldbewerking. Bestaande methoden kampen met twee primaire beperkingen:

1. Datatekort: Gegepaarde schaduw/schaduwvrije datasets zijn beperkt in schaal en scène-diversiteit. Vroege datasets (bijv. ISTD, SRD) vertrouwen op gecontroleerde omstandigheden, terwijl recente synthetische datasets (bijv. OmniSR, Infinigen) zich primair richten op binnenomgevingen en er niet in slagen de complexiteit van stedelijke straten en door UAV's vastgelegde scènes te dekken.
2. Modelbeperkingen: Huidige benaderingen vertrouwen vaak op single-image diffusiemodellen of taakspecifieke architecturen die moeite hebben met het modelleren van temporele consistentie. Hoewel image diffusion models veelbelovend zijn gebleken, kunnen ze niet expliciet de spatiotemporele correlaties tussen objecten en hun schaduwen over videoframes heen vastleggen.

Methodologie
De auteurs stellen WildShadowRemover voor, een framework dat een vooraf getraind videomodel (specifiek de Wan-Control variant) aanpast voor robuuste video-schaduwverwijdering. De methode werkt in de latente ruimte en maakt gebruik van een tweestapsstrategie om generatieve kracht te balanceren met detailbehoud:

1. Latente Video-diffusie met LoRA Fine-Tuning:

   • Het framework maakt gebruik van een vooraf getraind Wan-Control model, dat gebaseerd is op een flow-matching paradigma en controleerbare videogeneratie ondersteunt met behulp van RGB- en dieptecondities.
   • In plaats van vanaf nul te trainen, gebruiken de auteurs LoRA (Low-Rank Adaptation) om de Diffusion Transformer (DiT) blokken te finetunen. Dit maakt een efficiënte parameter-adaptatie mogelijk terwijl het merendeel van de vooraf getrainde gewichten bevroren blijft.
   • Het model wordt geconditioneerd op de input schaduwvideo ($X$) en monoculaire dieptekaarten ($D$) geschat door Depth Anything 3 (DA3). Deze geometrie-bewuste sturing helpt het model de scènestructuur onder uitdagende verlichting te begrijpen.
   • Het diffusieproces voorspelt een grove, schaduwvrije latente representatie, die wordt gedecodeerd naar een grove schaduwvrije video ($\hat{Y}_0$).

2. Detailinjectie en Frequentie-Gedecodeerde Modulatie:

   • Om fijne texturen te herstellen die verloren zijn gegaan tijdens het diffusieproces, introduceren de auteurs een Detail Injection Module die de bevroren VAE-decoder aanvult.
   • Om de herintroductie van schaduwartefacten tijdens de detailinjectie te voorkomen, stellen zij een Shadow-Mask-Guided Frequency-Decomposed Modulation (FDM) module voor.
   • Mechanisme: Een zachte schaduwmasker wordt geschat door de input schaduwvideo te vergelijken met de grove voorspelling. De FDM-module deelt features op in laagfrequente en hoogfrequente componenten. Vervolgens moduleert het deze componenten selectief met behulp van affine parameters die worden voorspeld vanuit het schaduwmasker. Dit stelt het model in staat om hoogfrequente texturen (details) te herstellen terwijl hoogfrequente schaduwartefacten worden onderdrukt.
   • Geometrische priors van DA3 worden eveneens geïntegreerd in deze module om detailherstel onder complexe verlichting te begeleiden.

Belangrijkste Bijdragen

• WildShadowRemover Framework: Een diffusie-gebaseerd framework voor in-the-wild video-schaduwverwijdering dat de LoRA fine-tuning van een vooraf getraind video-fundatiemodel combineert met een nieuw mechanisme voor detailinjectie. Het behoudt effectief fijne texturen terwijl het complexe schaduwen verwijdert en temporele consistentie handhaaft.
• WildShadow Dataset: De constructie van WildShadow, een grootschalige synthetische gepaarde video-schaduwverwijderingsdataset. Deze dekt diverse binnenomgevingen (3D-FRONT, HSSD), stedelijke buitenomgevingen (iCity) en natuurlijke buitenomgevingen (Infinigen).
• Benchmark: De introductie van een uitgebreide benchmark voor het evalueren van generalisatie over diverse synthetische scènes, inclusief HSSD en nieuw geconstrueerde iCity-scènes.
• Prestaties: Uitgebreide experimenten tonen aan dat de methode state-of-the-art prestaties levert op zowel synthetische als real-world benchmarks, waarbij bestaande benaderingen aanzienlijk worden overtroffen op het gebied van schaduwverwijderingskwaliteit, temporele consistentie en generalisatie.

Resultaten en Claims
Het paper rapporteert dat WildShadowRemover temporeel coherente, schaduwvrije video's produceert met een superieure visuele kwaliteit vergeleken met bestaande methoden. Belangrijke bevindingen zijn onder meer:

• Temporele Consistentie: Door gebruik te maken van de spatiotemporele priors van het vooraf getrainde video-diffusiemodel, behoudt de methode coherente scène-inhoud en een schaduwentwikkeling die consistent is met objectbeweging, een capaciteit die ontbreekt bij single-image methoden.
• Detailbehoud: De frequentie-gedecodeerde modulatie-module herstelt succesvol hoogfrequente details (bijv. dunne structuren, texturen) zonder schaduwpatronen te herintroduceren.
• Generalisatie: De methode vertoont sterke generalisatie over uitdagende in-the-wild scenario's, waaronder stedelijke straten en door UAV's vastgelegde video's, toe te schrijven aan de diversiteit van de WildShadow-dataset en de robuustheid van het vooraf getrainde fundatiemodel.
• Veelzijdigheid: Hoewel ontworpen voor video, kan de aanpak direct worden toegepast op single-image schaduwverwijderingstaken zonder architecturale wijziging, waarbij concurrerende resultaten worden getoond op standaard image benchmarks (ISTD+, SRD, INS).

Significantie
De auteurs positioneren dit werk als een stap naar het oplossen van het "in-the-wild" video-schaduwverwijderingsprobleem, dat grotendeels onverkend is gebleven door data- en modelbeperkingen. Door een grootschalig video-fundatiemodel aan te passen en een geometrie-bewuste, frequentie-selectieve detailherstelmethode te introduceren, adresseert het framework de kritieke behoefte aan temporeel consistente en hoogwaardige schaduwverwijdering. Deze capaciteit wordt aangemerkt als gunstig voor downstream-toepassingen zoals 3D-contentcreatie en intrinsieke decompositie, waarbij consistente schaduwvrije video essentieel is. Het paper benadrukt dat hun aanpak verder gaat dan taakspecifieke architecturen door gebruik te maken van de intrinsieke correlaties tussen objecten en schaduwen die geleerd zijn door grootschalige video-pretraining.