Single Image Reflection Separation via Dual Prior Interaction Transformer

Deze paper introduceert een nieuwe methode voor het scheiden van reflecties in één afbeelding, genaamd Dual-Prior Interaction Transformer, die een lokaal lineair correctienetwerk combineert met een transformer-architectuur om zowel algemene als transmissie-priors effectief te fusioneren en zo state-of-the-art resultaten te behalen.

De kern

Stel je voor dat je door een vies raam kijkt. Je ziet het landschap daarachter (de transmissie), maar er zit ook een spiegelbeeld van de kamer op het glas (de reflectie). De foto die je maakt, is een rommelige mix van beide. Het doel van dit onderzoek is om die foto te "schoonmaken" zodat je alleen nog het landschap ziet, zonder de spiegelbeeld-rommel.

Dit is een heel lastig probleem voor computers, omdat ze maar één foto hebben om uit te werken. Het is alsof je probeert een soep te maken en alleen de eindresultaat-kom hebt, maar je moet de ingrediënten (de soep en de rommel) weer uit elkaar halen zonder recept.

Hier is hoe de auteurs van dit paper, DPIT, dit oplossen, vertaald naar simpele taal:

1. Het Probleem: "Te grove" hulpmiddelen

Vroeger probeerden computers dit op te lossen door te raden of door algemene regels te gebruiken (zoals "ruis moet glad zijn"). Dit werkte soms, maar het was vaak te grof. Het was alsof je een schilderij probeert te restaureren met een grote, stompe hamer in plaats van een fijne penseel. Je krijgt het grote plaatje wel weg, maar je beschadigt de details.

2. De Oplossing: Twee soorten "Gidsen"

De auteurs zeggen: "Laten we niet alleen gissen, maar twee soorten experts inhuren om ons te helpen."

• Expert 1: De Algemene Gids (General Prior)
  Dit is een slimme computer die al duizenden foto's heeft gezien. Hij weet hoe een auto of een boom eruit moet zien. Hij geeft een grove schets: "Hier zit waarschijnlijk een boom." Maar hij weet niet precies hoe de spiegel eruit ziet op deze specifieke foto.
• Expert 2: De Fijne Gids (Transmission Prior)
  Dit is de nieuwe, slimme truc van de auteurs. In plaats van een hele nieuwe foto te tekenen (wat veel rekenkracht kost), laten ze de computer een simpele rekening maken.
  • De Analogie: Stel je voor dat je een verkleurde foto hebt. In plaats van elke pixel opnieuw te tekenen, zegt de computer: "Vermenigvuldig elke pixel met een klein getal en tel er een beetje helderheid bij."
  • Dit noemen ze LLCN (Local Linear Correction Network). Het is alsof je een foto niet opnieuw schildert, maar alleen de helderheid en kleur van elke plek een beetje aanpast. Dit is veel sneller en lichter, maar geeft een heel nauwkeurige "ruwe versie" van wat erachter zit.

3. De Magische Mix: De "DSCRT"

Nu hebben ze twee gidsen: één die weet hoe de wereld eruit ziet (algemeen) en één die een heel nauwkeurige schets heeft gemaakt van wat er achter het glas zit (fijn). Hoe krijg je die twee samen?

Meestal proberen computers dit door alles door elkaar te gooien, wat erg traag is. De auteurs hebben een slimme truc bedacht, genaamd DSCRT.

• De Analogie: Stel je voor dat je twee mensen hebt die een puzzel maken.
  • Mens A (Algemene Gids) heeft de randen van de puzzel.
  • Mens B (Fijne Gids) heeft de binnenkant.
  • In plaats dat ze allebei naar dezelfde stapel puzzelstukken kijken en ruzie maken, wisselen ze hun puzzelstukken uit op een slimme manier. Ze verdelen de stukken over twee rijen, zodat ze elkaars sterke punten kunnen gebruiken zonder elkaar in de weg te zitten.
  • Dit noemen ze "Channel Reorganization" (kanaal-herschikking). Het zorgt ervoor dat de computer heel snel kan zien: "Ah, hier hoort de boom bij, en hier hoort de spiegel niet."

4. Het Resultaat: Scherper dan ooit

Door deze twee experts samen te laten werken via hun slimme wisseltruc, kan de computer de spiegel (de reflectie) bijna volledig verwijderen en de echte foto (de transmissie) haarscherp teruggeven.

• Waarom is dit beter?
  • Het is sneller: Omdat ze niet alles opnieuw hoeven te tekenen, maar alleen aanpassen.
  • Het is beter: Omdat ze gebruikmaken van een zeer nauwkeurige "ruwe schets" (de fijne gids) in combinatie met de kennis van de wereld (de algemene gids).
  • Het werkt op veel verschillende situaties: Of het nu een raam in een bos is, of een winkel in de stad, de methode houdt het beeld scherp.

Samenvattend

De auteurs hebben een manier bedacht om een vies raam schoon te maken door niet te proberen de hele foto opnieuw te tekenen, maar door slimme aanpassingen te maken (zoals een regelaar voor helderheid) en twee soorten computerhulp te combineren. Ze laten de computer "kletsen" op een slimme manier zodat ze elkaars sterke punten gebruiken. Het resultaat is een foto die eruit ziet alsof het raam er nooit was.

Technische samenvatting

Probleemstelling

Wanneer foto's worden gemaakt door transparante media zoals glas, ontstaan er reflecties die de onderliggende "transmissie-inhoud" (het werkelijke tafereel) verstoren. Dit fenomeen tast de prestaties van computerzichttaken aan, zoals objectdetectie en autonome rijden.
Het specifieke probleem waar dit artikel zich op richt, is single image reflection removal (het verwijderen van reflecties uit één enkele afbeelding). Omdat er slechts één gemengde afbeelding beschikbaar is, is de informatie beperkt, wat het een onderbepaald probleem maakt. Bestaande methoden gebruiken vaak "priors" (aanvullende kennis), zoals:

• Generieke priors: Afgeleid van vooraf getrainde modellen (bijv. VGG, Swin Transformer).
• Taakspecifieke priors: Tekstprompts of schattingen van de reflectie.

De auteurs stellen echter dat deze bestaande priors vaak slechts een grofkorrelige (coarse-grained) perceptie van de transmissie-inhoud bieden, wat de restauratiekwaliteit beperkt. Bovendien vereisen hoge prestaties vaak zware netwerken met veel parameters, wat de efficiëntie vermindert.

Methodologie: DPIT (Dual-Prior Interaction Transformer)

De auteurs stellen DPIT voor, een nieuw kader dat een fijnkorrelige transmissie-prior combineert met een generieke prior voor verbeterde restauratie. De architectuur bestaat uit vier kerncomponenten:

1. Local Linear Correction Network (LLCN) voor Transmissie-Prior

In plaats van de transmissielayer direct te genereren (wat veel parameters vereist), reconceptualiseren de auteurs het probleem als een selectie- en correctieprobleem.

• Model: Ze gebruiken een lokaal lineair correctiemodel: $T = sI + b$.
  • $I$: De gemengde inputafbeelding.
  • $T$: De geschatte transmissielayer.
  • $s$: Leerbaar per-pixel schalingsterm (constrained door Sigmoid).
  • $b$: Leerbaar per-pixel bias-term (constrained door Tanh).
• Implementatie: Een ConvNeXt-Base backbone extrahert features, die door twee parallelle decoders worden verwerkt om $s$ en $b$ te voorspellen.
• Voordeel: Dit benadering ("pixel selectie" in plaats van "pixel generatie") vereist aanzienlijk minder parameters dan end-to-end generatiemethoden, maar levert een zeer nauwkeurige transmissie-prior op.

2. Dual-Stream Channel Reorganization Attention (DSCRAB)

Om de transmissie-prior (van LLCN) en de generieke prior (van een vooraf getraind model) effectief te fusioneren, introduceren de auteurs een nieuwe attention-mechanisme.

• Architectuur: Het systeem gebruikt een dual-stream structuur (links en rechts).
• Kanaalherordening (Channel Reorganization): De features van beide streams worden op kanaalniveau opgesplitst en herschikt. Er worden twee streams gecreëerd:
  • Generatiestroom: Bevat de eerste helft van de kanalen van beide priors.
  • Uitwisselingsstroom: Bevat de tweede helft van de kanalen.
• Attention Mechanisme:
  • Intra-stream attention: Werkt binnen de generatiestroom om lange-afstandsafhankelijkheden te vangen.
  • Cross-stream attention: Gebruikt queries uit de generatiestroom en keys/values uit de uitwisselingsstroom om complementaire informatie te vinden.
• Doel: Deze structuur zorgt ervoor dat beide streams heterogene features bevatten voordat de attention-berekening plaatsvindt, wat leidt tot efficiëntere scheiding van lagen en aanvulling van features zonder de hoge rekenkosten van traditionele dual-stream attention (zoals in eerdere werken als DSIT).

3. Loss Functies

Het model wordt getraind met een gecombineerde loss-functie die bestaat uit:

• Pixel reconstructie loss (MSE): Voor nauwkeurige pixelwaarden.
• Gradiënt reconstructie loss (L1): Voor het behoud van randen en structuur.
• Perceptuele loss: Gebruikmakend van features van een vooraf getraind VGG-19 netwerk.
• Reconstructie loss met residual term: Om de fysieke vergelijking $I = T + R + \Phi(T, R)$ te respecteren, waarbij $\Phi$ de niet-lineaire residuen modelleert.

Belangrijkste Bijdragen

1. DPIT Architectuur: Een nieuw raamwerk dat een fijnkorrelige transmissie-prior succesvol integreert met een generieke prior voor state-of-the-art reflectieverwijdering.
2. LLCN (Local Linear Correction Network): Een lichtgewicht methode voor het genereren van transmissie-priors via het model $T = sI + b$. Dit verschuift de focus van pixelgeneratie naar pixelselectie, wat leidt tot superieure prestaties binnen een beperkt parameterbudget.
3. DSCRAB (Dual-Stream Channel Reorganization Attention Block): Een efficiënt attention-mechanisme dat de complementariteit van heterogene features benut en de rekencomplexiteit verlaagt door de dual-stream structuur op kanaalniveau te herorganiseren.

Resultaten

De auteurs hebben hun methode getest op vijf real-world datasets (Real20, Objects, Postcard, Wild, Nature) en vergeleken met de state-of-the-art methoden (zoals DSIT, RDNet, DSRNet).

• Kwalitatieve Prestaties: DPIT behaalde de State-of-the-Art (SOTA) prestaties op alle vijf de datasets.
  • Gemiddelde PSNR: 27.21 dB (een verbetering van +0.49 dB t.o.v. de tweede beste methode, RDNet).
  • Gemiddelde SSIM: 0.924.
• Efficiëntie:
  • DPIT gebruikt 131.54M trainbare parameters en 191.35G FLOPs.
  • In vergelijking met RDNet (315.89M parameters) gebruikt DPIT slechts 41,6% van de parameters, terwijl het beter presteert.
  • In vergelijking met DSIT (233.09G FLOPs) reduceert DPIT de rekenkosten met 17,9% bij gelijktijdige prestatieverbetering.
• Ablatie Studies:
  • Het gebruik van de lokale lineaire correctie ($sI+b$) verbeterde de prestaties met 1.63 dB ten opzichte van een globale lineaire transformatie.
  • Het introduceren van de transmissie-prior in het dual-stream systeem leverde consistent verbeteringen op van 0.36 tot 1.42 dB over verschillende interactiemodules.

Betekenis en Impact

Dit werk is significant omdat het een fundamentele verschuiving biedt in hoe reflectieverwijdering wordt benaderd:

1. Efficiëntie vs. Kwaliteit: Het bewijst dat het niet nodig is om enorme, zware netwerken te gebruiken om hoge kwaliteit te bereiken. Door het probleem te herschrijven als een lineaire correctie in plaats van volledige generatie, wordt de efficiëntie drastisch verbeterd.
2. Prior Integratie: Het introduceert een effectieve manier om twee verschillende soorten priors (generiek en taakspecifiek/fijnkorrelig) te combineren zonder de rekenlast exponentieel te laten stijgen, dankzij de innovatieve kanaalherordening in de attention-mechanisme.
3. Praktische Toepasbaarheid: Gezien de lage rekenkosten en hoge prestaties, is deze methode zeer geschikt voor toepassing in real-time scenario's zoals mobiele fotografie, bewaking en autonoom rijden, waar hardware-beperkingen vaak een rol spelen.