Single Image Reflection Removal with Patch Reflectance Prior

Technische Samenvatting: Verwijdering van Reflecties uit Eén Afbeelding met Priors voor Patches Reflectantie

Probleemstelling
Verwijdering van reflecties uit één afbeelding (Single Image Reflection Removal, SIRR) heeft als doel een schone transmissieafbeelding ($T$) te herstellen uit één invoerafbeelding ($I$), waarbij het tafereel is overdekt met een reflectie ($R$). Dit wordt geformuleerd als $I = g(T) + f(R)$, waarbij $g(\cdot)$ en $f(\cdot)$ diverse degradaties vertegenwoordigen, zoals vervaging, lichtabsorptie, breking en effecten van het scherptedieptegebied. De taak is slecht gesteld vanwege onbekende variabelen en het ontbreken van grondwaarheid in realistische scenario's.

Bestaande methoden vertrouwen vaak op specifieke prior-aannames (bijvoorbeeld spaarzaamheid van beeldgradiënten, cues voor ghosting of relatieve gladheid) om de lagen te scheiden. Echter, deze aannames falen regelmatig in complexe realistische omgevingen waar reflectiekenmerken aanzienlijk variëren (bijvoorbeeld scherpe versus vervagende reflecties, variërende objectafstanden en natuurlijke verlichting). Bovendien heeft de schaarste aan realistische data geleid tot een overmatige afhankelijkheid van synthetische datasets, waardoor modellen gebrek aan robuustheid vertonen wanneer ze worden toegepast op diverse, ongestructureerde realistische scènes.

Methodologie
De auteurs stellen een raamwerk voor dat starre, specifieke prior-aannames vermijdt ten gunste van een algemene Prior voor Reflectie-intensiteit. Deze prior definieert de sterkte van het reflectieverschijnsel in een lokaal gebied, in plaats van uit te gaan van een specifiek type degradatie (zoals vervaging of ghosting). Het raamwerk bestaat uit twee hoofdcomponenten:

1. Definitie van Prior voor Reflectie-intensiteit:
   In plaats van de standaardverhouding van reflectie tot transmissie (die oneindige waarden kan opleveren voor sterke reflecties), herdefiniëren de auteurs reflectie-intensiteit als een genormaliseerde score tussen 0 en 1:
   $$\text{ReflectieIntensiteit} = \frac{\text{Gemiddelde}(R)}{\text{Gemiddelde}(R) + \text{Gemiddelde}(T)}$$
   Deze metriek wordt per regionaal patch berekend om rekening te houden met de niet-uniforme aard van reflecties in overdekte afbeeldingen.

2. Netwerk voor Extractie van Reflectie-prior (RPEN):
   RPEN is ontworpen om de prior voor reflectie-intensiteit te schatten voor elke patch van een invoerafbeelding.

   • Architectuur: Het maakt gebruik van een ResNext101-ruggengraat, vooraf getraind op ImageNet, om regelmatige, niet-gerelateerde afbeeldingen te begrijpen.
   • Training: Het netwerk wordt fijn afgestemd op een dataset bestaande uit synthetische afbeeldingen (gemaakt door reflecties van CEILNet te superponeren op PASCAL VOC-afbeeldingen) en realistische afbeeldingen uit de CDR-dataset.
   • Verfijning: Een gekaskadeerde aanpak met Atrous Spatial Pyramid Pooling (ASPP) wordt toegepast op hoogwaardige kenmerken om globale relaties tussen patches te vangen en de intensiteitsschatting te verfijnen voor elk van de 49 ($7 \times 7$) patches.

3. Prior-gebaseerd Netwerk voor Verwijdering van Reflecties (PRRN):
   PRRN gebruikt de geschatte prior voor reflectie-intensiteit om adaptief reflecties te verwijderen.

   • Architectuur: Het maakt gebruik van een eenvoudige Transformer U-Net-structuur, bekend om succes in beeldherstelopdrachten.
   • Prior-inbedding: De prior voor reflectie-intensiteit voor elke patch wordt gecodeerd in kenmerken met behulp van een sinusvormige inbeddingsmechanisme (vergelijkbaar met positionele codering in transformers).
   • Adaptieve Verwerking: De gecodeerde prior-kenmerken worden via Feature Wise Affine (FWA)-lagen binnen ResBlocks in het netwerk geïnjecteerd. Dit leidt het netwerk om zich te richten op reflectiegebieden en ruis gebiedsadaptief te verwijderen tijdens de upsampling- en downsampling-processen.

Belangrijkste Bijdragen

• Algemene Prior voor Reflectie-intensiteit: Het artikel introduceert een prior-definitie die vrij is van specifieke aannames over reflectietypes (zoals vervaging of ghosting), en zich in plaats daarvan richt op de lokale sterkte van het reflectieverschijnsel.
• RPEN- en PRRN-raamwerk: De auteurs stellen een tweestapsproces voor waarbij RPEN regionale priors voor reflectie-intensiteit extrahert, en PRRN deze priors binnen een Transformer U-Net-architectuur gebruikt om de verwijdering uit te voeren.
• Patch-gebaseerde Analyse: De studie toont aan dat het segmenteren van afbeeldingen in patches het leren van niet-uniforme reflectie-priors mogelijk maakt, wat cruciaal is voor het hanteren van diverse realistische scenario's.
• Datasetcreatie: Er is een dataset voor priors van reflectie-intensiteit gecreëerd om de RPEN-module te trainen.

Experimentele Resultaten
De methode werd geëvalueerd op de CDR-dataset (Categorized, Diverse, and Real-world), evenals op de Real20, SIR2 en Nature-benchmarks.

• Prestaties: De voorgestelde PRRN+RPEN behaalde State-of-the-Art (SOTA) nauwkeurigheid op de meeste benchmarks. Op de CDR-testset behaalde het een PSNR van 24,31 (tegenover 22,04 voor de vorige beste YTMT-UCS) en een SSIM van 0,815.
• Robuustheid: De methode toonde uitzonderlijke prestaties in de categorie SRST (Sharp Reflection, Sharp Transmission), waar veel prior-gebaseerde methoden falen vanwege het ontbreken van specifieke cues zoals ghosting. Het presteerde ook goed in BRST (Blurry Reflection) en scenario's met sterke reflecties.
• Ablatiestudies:
  • Patch-resolutie: Experimenten toonden aan dat, hoewel het trainen van RPEN met kleinere patches (hogere resolutie) uitdagender is, het gebruik van fijnkorrelige prior-waarheid als invoer voor PRRN de verwijderingsnauwkeurigheid aanzienlijk verbetert.
  • Invloed van RPEN: Het toevoegen van de RPEN-module aan PRRN resulteerde in een toename van 0,87 dB in PSNR. Visuele analyse met LayerCAM bevestigde dat RPEN het netwerk leidt om de aandacht te richten op werkelijke reflectiegebieden, terwijl PRRN zonder RPEN de neiging heeft zich te richten op niet-reflectiegebieden.

Betekenis en Beweringen
Het artikel beweert dat de primaire betekenis ligt in het aanpakken van de beperkingen van bestaande SIRR-methoden die vertrouwen op specifieke, vaak breekbare prior-aannames. Door een algemene prior voor reflectie-intensiteit te definiëren en deze te leren via RPEN, bereikt de voorgestelde aanpak robuustheid in diverse realistische scenario's waar reflectiekenmerken onvoorspelbaar zijn. De auteurs merken op dat, hoewel hun aanpak SOTA-nauwkeurigheid bereikt, de voorspellingsnauwkeurigheid van de prior voor reflectie-intensiteit in bepaalde gevallen in de toekomst mogelijk kan worden verbeterd via multi-resolutie RPEN-ontwerpen. Het werk benadrukt dat gebiedsadaptieve verwijdering van reflecties, geleid door geleerde intensiteits-priors in plaats van vaste aannames, een cruciale stap voorwaarts is voor realistisch beeldherstel.