ReflexSplit: Single Image Reflection Separation via Layer Fusion-Separation

Probleemstelling

Single Image Reflection Separation (SIRS) is de taak om een gemengde afbeelding (waarin zowel het doorzichtige object als de reflectie zichtbaar zijn) te ontwarren in twee aparte lagen: de transmissielayer ($T$, het object erachter) en de reflectielayer ($R$).
Bestaande methoden kampen met twee fundamentele problemen:

1. Verwarring tussen lagen: Vooral bij niet-lineaire menging (zoals sterke lichtreflecties of onduidelijke scenario's) verwarren neurale netten de transmissie- en reflectielagen met elkaar. Dit leidt tot artefacten en vervorming van details.
2. Inadequate feature-aggregatie: Bestaande methoden gebruiken vaak impliciete fusiemechanismen en hebben moeite met multi-schaal coördinatie. In diepe decoderlagen gaan hierdoor features verloren, waardoor de lagen onafscheidelijk worden ("feature entanglement").

Methodologie: ReflexSplit

ReflexSplit is een dual-stream framework dat een expliciete strategie voor "Layer Fusion-Separation" hanteert. Het doel is om eerst gedeelde structuren te extraheren en deze vervolgens expliciet te scheiden om verwarring te voorkomen. De architectuur bestaat uit drie kerncomponenten:

1. Dual-Branch Feature Extraction

In plaats van één encoder te gebruiken, splitst ReflexSplit de feature-extractie op in twee takken om feature-entanglement te voorkomen:

• GFEB (Global Feature Extractor Block): Een voorgeöordeelde Swin Transformer die semantische prioren ($P_\ell$) op meerdere schalen extraheren.
• LFEB (Local Feature Extractor Block): Een CNN gebaseerd op MuGI dat lokale textuurdetails ($E_\ell$) vastlegt.

2. Cross-scale Gated Fusion (CrGF)

Om de degradatie van features in diepe lagen te voorkomen, introduceert CrGF een adaptieve fusie over verschillende schalen.

• Het combineert semantische prioren, textuurdetails en decoder-context via bidirectionele paden.
• Het gebruikt een gating-mechanisme om kanalen adaptief te selecteren en te herschikken. Dit stabiliseert de gradiëntstroom en zorgt voor consistentie tussen de schalen, wat essentieel is om te voorkomen dat de lagen in de decoder gaan "vervagen" in elkaar.

3. Layer Fusion-Separation Blocks (LFSB)

Dit is het hart van de innovatie. LFSB wisselt af tussen twee fasen:

• Early Fusion: Via bidirectionele projectie worden de semantische ruimtes van de transmissie- en reflectiestroom uitgelijnd. Dit zorgt voor een gemeenschappelijke basis voor interactie.
• Differential Dual-Dimensional Attention: Inspiratie getrokken uit de "Differential Transformer". In plaats van features direct op te tellen, wordt er een differential operator toegepast: $A_t - \lambda A_r$.
  • Hierbij worden de attention-maps van de transmissiestroom ($A_t$) en de reflectiestroom ($A_r$) van elkaar afgetrokken.
  • Dit onderdrukt actief de kruisstroom-interferentie (cross-stream interference) en dwingt de netwerken om laag-specifieke features te ontkoppelen.

4. Curriculum Training

Om de differentiële scheiding effectief te laten werken, wordt een curriculum-leerstrategie gebruikt:

• Depth-Dependent Initialization: Diepere lagen krijgen een sterkere scheidingsterkte ($\lambda$) toegewezen dan ondiepere lagen.
• Epoch-wise Warmup: De sterkte van de scheiding ($\lambda$) wordt geleidelijk opgevoerd tijdens het trainen (van 0.1 naar 1.0 in de eerste 30 epochs). Dit stelt het netwerk in staat eerst een holistische reconstructie te leren voordat het zich concentreert op de fijne scheiding van de lagen.

Kernbijdragen

1. Expliciet Fusie-Scheidings Framework: Een paradigma dat afwisselt tussen fusie (voor gedeelde degradatie-extractie) en differentiële scheiding (voor laag-specifieke ontkoppeling), waardoor verwarring door het hele netwerk wordt voorkomen.
2. Cross-scale Gated Fusion & Differentiële Attention: CrGF zorgt voor hiërarchische consistentie, terwijl LFSB via kruisstroom-subtractie expliciete scheiding afdwingt.
3. State-of-the-Art Prestaties: Het model presteert beter dan bestaande methoden op zowel synthetische als real-world benchmarks, met name wat betreft perceptuele kwaliteit en generalisatie.

Resultaten

ReflexSplit is geëvalueerd op diverse benchmarks (Real20, Nature, SIR2 subsets, en OpenRR-1K):

• Kwantitatieve resultaten: Het behaalt de beste resultaten op SSIM (Structural Similarity Index) en LPIPS (Learned Perceptual Image Patch Similarity), wat aangeeft dat de output visueel natuurlijker is en minder artefacten bevat dan concurrenten zoals DSIT, RDNet en DSRNet.
• PSNR: Hoewel de PSNR soms vergelijkbaar is met de beste concurrenten (zoals RDNet), wint ReflexSplit duidelijk op perceptuele metrics.
• Generalisatie: Het model toont robuuste prestaties op onbekende real-world data (OpenRR-1K), waarbij het in 63% van de gevallen beter presteert dan de sterke concurrent RDNet.
• Ablatie-studies: Deze bevestigen dat zowel CrGF als LFSB essentieel zijn; het verwijderen van LFSB leidt tot ernstige verwarring tussen de lagen, en het verwijderen van CrGF leidt tot instabiliteit.

Significantie

ReflexSplit adresseert een fundamentele beperking in bestaande SIRS-methoden: de neiging van diepe netwerken om lagen te verwarren door gebrek aan expliciete scheiding en onstabiele gradiënten. Door een dual-stream architectuur te combineren met expliciete differentiële attention en curriculum learning, biedt het paper een nieuwe richting voor het oplossen van niet-lineaire mengproblemen. De methode is niet alleen technisch overtuigend, maar levert ook visueel superieure resultaten op, wat cruciaal is voor toepassingen zoals autonoom rijden en industriële inspectie waar reflecties de beeldkwaliteit ernstig beïnvloeden.