NTIRE 2026 Challenge on Single Image Reflection Removal in the Wild: Datasets, Results, and Methods

Titel: NTIRE 2026 Uitdaging voor Enkel-Beeld Reflectieverwijdering in het Wild: Datasets, Resultaten en Methoden

1. Het Probleem: Single Image Reflection Removal (SIRR)

Single Image Reflection Removal (SIRR) is een fundamentele taak binnen beeldherstel, gericht op het herstellen van het transmissielayer (T) – het beeld achter een reflecterend oppervlak zoals glas – uit een ingangsfoto (I) die vervuild is door een reflectielayer (R).

• De uitdaging: Dit is een slecht gesteld (ill-posed) probleem omdat de twee lagen onbekend zijn en slechts één gemengde input beschikbaar is.
• Huidige beperkingen: Hoewel er veel vooruitgang is geboekt met diepe leermethodes, worden de meeste methodes getest op synthetische data of beperkte real-world datasets. Dit creëert een grote kloof tussen academisch onderzoek en praktische toepassingen in de echte wereld, waar reflecties variëren in intensiteit, hoek en omgeving.

2. Methodologie en Kernbijdragen

A. De OpenRR-5k Dataset
De belangrijkste bijdrage van deze uitdaging is de introductie van de OpenRR-5k dataset, een hoogwaardige, real-world dataset die specifiek is ontworpen om de kloof tussen synthetische en echte data te overbruggen.

• Dataverzameling: In tegenstelling tot traditionele methoden die glas handmatig verwijderen of zwarte fluweeldoeken gebruiken (wat vaak leidt tot misalignement), gebruikten de organisatoren een innovatief protocol. Ze maakten gebruik van de OPPO AI Reflection Remover (geïntegreerd in smartphones) om initiële transmissie-resultaten te genereren.
• Refinement: Deze AI-generaties werden vervolgens verfijnd met professionele tools (Adobe Photoshop, MeituPic) voor handmatige correcties, waardoor een dataset ontstond met hoge visuele fideliteit en pixel-perfecte alignement.
• Samenstelling: De dataset bevat 5.300 paren:
  • 5.000 paren voor training (OpenRR-5ktrain).
  • 300 paren voor validatie (OpenRR-5kval).
  • 100 "blind" testbeelden zonder ground-truth referentie (OpenRR-5ktest).
• Diversiteit: De dataset dekt diverse scenario's (landschappen, mensen, objecten) en belichtingsomstandigheden (dag, nacht, binnen), inclusief echte, niet-simulatie reflecties.

B. De Uitdaging (Challenge)
De NTIRE 2026 uitdaging had tot doel modellen te evalueren in realistische scenario's.

• Deelnemers: Meer dan 100 registraties, waarvan 11 teams de finale testfase haalden.
• Evaluatie:
  • Objectief: PSNR, SSIM, LPIPS, DISTS en NIQE op de validatieset.
  • Subjectief: Een visuele beoordeling door 5 experts op de testset, gebaseerd op drie criteria: Reinheid van verwijdering (C), Artifacts (A) en Algemene Kwaliteit (Q). De uiteindelijke score is een gewogen gemiddelde ($S = 0.25C + 0.25A + 0.5Q$).

C. Toptekeningen van de Deelnemers
De winnende methodes tonen een duidelijke trend naar geavanceerde architecturen en trainingsstrategieën:

1. RRay (1e Prijs): Gebruikt een twee-staps cascade-netwerk (RdNafNet). Eerst wordt RDNet gebruikt om prominente reflecties te verwijderen, gevolgd door NAFNet om fijne details te herstellen die bij de eerste stap verloren gingen. Ze gebruikten een mix van real-world en synthetische data.
2. Xreflect Master (2e Prijs): Schaalde RDNet op met een FocalNet-XL backbone en integreerde Diffusion Distillation. Ze gebruikten diffusion-modellen om pseudo-ground-truth te genereren voor moeilijke gevallen, en distilleerden deze kennis in hun model.
3. AIIALab (3e Prijs): Presenteerde MS-RDNet, een multi-stap verfijning met adversariële perceptie en diepte-consistentie scoring om de kloof tussen synthetische en real-world verdelingen te overbruggen.
4. Andere opvallende methodes:
   • VIP Lab: Gebruikte een Complementary Mixture-of-Experts (CoME) en Cross-Attention mechanismen.
   • YuFans: Focus op frequentie-bewust fine-tuning en post-training optimalisatie (Stochastic Weight Averaging), waarbij ze vaststelden dat het toevoegen van synthetische data de prestaties op deze real-world dataset juist verslechterde.
   • PSU (DUSKAN): Een dual-path architectuur die FFT-modulatie combineert met Kolmogorov-Arnold Networks (KAN) voor het hanteren van globale en lokale degradaties.

3. Resultaten

• Winnende Teams: RRay, Xreflect Master, en AIIALab behaalden de hoogste scores.
• Prestaties:
  • RRay behaalde de hoogste subjectieve score (4.45) en de beste objectieve PSNR (36.17).
  • Xreflect Master had de laagste DISTS-score (0.0127), wat wijst op uitstekende perceptuele gelijkenis.
• Observaties:
  • Er is een sterke correlatie tussen PSNR en subjectieve scores bij de top-methodes, wat aangeeft dat verbeteringen in pixel-nauwkeurigheid direct vertalen naar perceptuele kwaliteit in deze realistische dataset.
  • Echter, bij lagere scores is deze correlatie niet perfect; methodes met vergelijkbare PSNR-waarden konden aanzienlijk verschillen in subjectieve kwaliteit (bijv. door over-verzachting of kleurvervorming).
  • De resultaten tonen aan dat moderne deep learning-methodes zeer effectief zijn, maar dat het behouden van fijne details en het vermijden van artefacten in complexe real-world scenario's nog steeds een uitdaging blijft.

4. Betekenis en Conclusie

Deze paper markeert een belangrijke stap in het veld van beeldherstel:

• Brug naar de praktijk: Door de OpenRR-5k dataset te introduceren, wordt de focus verschoven van synthetische benchmarks naar echte, complexe omgevingen.
• Validatie van AI-tools: Het gebruik van bestaande AI-producten (OPPO) als basis voor ground-truth generatie toont een nieuwe, efficiënte weg voor dataset creatie.
• Toekomstige richting: De uitdaging benadrukt dat toekomstige research niet alleen moet focussen op het verwijderen van reflecties, maar ook op het behoud van textuur, kleurtrouw en het vermijden van artefacten in zeer diverse lichtomstandigheden.

De dataset en de code zijn openbaar beschikbaar, wat de gemeenschap in staat stelt om verdere robuuste methoden te ontwikkelen voor praktische toepassingen in fotografie en computer vision.