NTIRE 2026 Challenge on Single Image Reflection Removal in the Wild: Datasets, Results, and Methods

Titolo: Sfida NTIRE 2026 sulla Rimozione delle Riflessioni da Singola Immagine in Ambienti Naturali (SIRR)

1. Il Problema: Rimozione delle Riflessioni da Singola Immagine (SIRR)

La rimozione delle riflessioni da una singola immagine (SIRR) è un compito fondamentale nel campo del ripristino delle immagini. L'obiettivo è recuperare lo strato di trasmissione ($T$), ovvero l'immagine reale dietro un vetro, partendo da un'immagine di input ($I$) contaminata da uno strato di riflessione ($R$).

• Sfida principale: Sebbene esistano molti metodi basati sul deep learning, la maggior parte è stata addestrata e testata su immagini sintetiche o su set di dati reali limitati. Questo crea un "gap" significativo tra la ricerca accademica e le applicazioni pratiche nel mondo reale, dove le riflessioni variano in intensità, angolazione e contesto ambientale.
• Limiti dei dati esistenti: La creazione di dataset reali di alta qualità è ostacolata dall'alto costo del lavoro manuale e dalla difficoltà tecnica di allineare perfettamente i pixel tra l'immagine con riflessione e quella senza (ground truth) in ambienti complessi.

2. Metodologia e Contributi Chiave

A. Il Dataset OpenRR-5k
Il contributo più significativo della sfida è l'introduzione del dataset OpenRR-5k, progettato specificamente per colmare il divario tra dati sintetici e reali.

• Protocollo di Raccolta Innovativo: A differenza dei metodi tradizionali che rimuovono fisicamente il vetro o usano velluto nero per bloccare le riflessioni (spesso causando disallineamenti), gli organizzatori hanno utilizzato un approccio ibrido basato sull'IA.
  1. Strumento AI: Hanno utilizzato l'editor di rimozione riflessioni integrato nel telefono OPPO (basato su una pipeline che combina YOLO/YOSO per il rilevamento, LaMa per l'inpainting e NAFNet per la rimozione) per generare una prima stima dello strato di trasmissione.
  2. Raffinamento Umano: Le immagini generate sono state successivamente perfezionate manualmente utilizzando suite professionali (Adobe Photoshop, MeituPic) per eliminare residui e artefatti, garantendo un'alta fedeltà visiva.
• Composizione del Dataset:
  • OpenRR-5ktrain: 5.000 coppie di immagini (Input + Ground Truth).
  • OpenRR-5kval: 300 coppie per la validazione (solo Input forniti ai partecipanti).
  • OpenRR-5ktest: 100 immagini solo input, senza ground truth, per il test finale "alla cieca".
  • Diversità: Il dataset copre scenari reali diversificati (paesaggi, umani, oggetti, animali) e condizioni di luce (giorno, interno, notte) senza setup artificiali.

B. La Sfida e le Metriche di Valutazione
La sfida ha coinvolto oltre 100 registrazioni, con 11 team che hanno raggiunto la fase finale.

• Metriche Oggettive (Set di Validazione): PSNR, SSIM, LPIPS, DISTS, NIQE.
• Valutazione Soggettiva (Set di Test): È stata condotta da 5 esperti del settore basandosi su tre criteri ponderati:
  1. Pulizia della Rimozione (C): Rimozione completa delle riflessioni forti e deboli.
  2. Artefatti (A): Assenza di rimozioni indesiderate o restauri innaturali.
  3. Qualità Complessiva (Q): Fedeltà cromatica, texture, nitidezza e dettaglio.
  • Punteggio Finale: $S = 0.25C + 0.25A + 0.5Q$.

3. Risultati e Analisi delle Metodi Vincitori

Il team vincitore RRay ha ottenuto il punteggio soggettivo più alto (4.45) e il miglior PSNR (36.17).

• 1° Posto - RRay (Intsig):
  • Metodo: RdNafNet, una pipeline a due stadi.
  • Architettura: Combina RDNet (per rimuovere le riflessioni principali) e NAFNet (per recuperare i dettagli fini persi nella prima fase).
  • Addestramento: Utilizza un mix di dati reali e sintetici, con aumento dei dati dinamico e fusione pesata dei modelli addestrati con loss adversarial.
• 2° Posto - Xreflect Master (Xiaomi):
  • Metodo: RDNet-XL con distillazione da modelli Diffusion.
  • Innovazione: Sostituisce il backbone FocalNet-L con FocalNet-XL per una migliore capacità di rappresentazione globale. Utilizza modelli Diffusion (es. WindowSeat) per generare pseudo-ground truth e distillare le loro capacità generative nel modello finale.
  • Strategia: Addestramento progressivo a risoluzioni crescenti (384, 512, 768) e test-time augmentation (TTA).
• 3° Posto - AIIALab (Harbin Institute of Technology):
  • Metodo: MS-RDNet.
  • Innovazione: Una versione di raffinamento di RDNet che integra una perdita avversariale (per la fedeltà visiva umana) e un punteggio di coerenza della profondità (usando un estimatore di profondità per valutare la qualità fisica del risultato).
• Altri Metodi Notevoli:
  • VIP Lab: Utilizza un meccanismo di "Mixture-of-Experts" complementare e "Cross-Attention" complementare.
  • YuFans: Si basa su RDNet con un backbone FocalNet-Large e un addestramento a due stadi focalizzato sulla frequenza (Focal Frequency Loss) e Stochastic Weight Averaging (SWA).
  • KLETech-CEVI: Architettura encoder-decoder gerarchica che stima il residuo di riflessione.
  • PSU (DUSKAN): Una rete U-Net simmetrica che combina percorsi spettrali (FFT) e percorsi basati su Kolmogorov-Arnold Networks (KAN) per gestire degradazioni globali e locali.

4. Significato e Conclusioni

• Avanzamento dello Stato dell'Arte: I risultati dimostrano che i metodi moderni, specialmente quelli che combinano architetture avanzate (come i Transformer e i modelli Diffusion) con strategie di addestramento ibride (reale + sintetico + distillazione), possono raggiungere prestazioni eccellenti su dati reali complessi.
• Correlazione Metriche-Oggettive: La sfida ha confermato che, su dataset realistici, metriche come il PSNR sono spesso allineate con la qualità percettiva, specialmente per i metodi top-ranking, sebbene non catturino completamente tutte le sfumature percettive (come evidenziato dalle differenze nei punteggi soggettivi tra team con PSNR simili).
• Impatto Pratico: La disponibilità di OpenRR-5k e i metodi sviluppati offrono una base solida per lo sviluppo di applicazioni reali, come l'editing fotografico su smartphone (es. rimozione riflessioni da vetrine o finestre) e sistemi di visione artificiale che operano in ambienti con vetri.
• Sfide Aperte: Rimane difficile ottenere una qualità percettiva coerente attraverso scene estremamente diverse, suggerendo che la ricerca futura dovrà concentrarsi su una maggiore robustezza ai casi limite e su una migliore comprensione semantica della scena.

In sintesi, la sfida NTIRE 2026 ha stabilito un nuovo benchmark per la rimozione delle riflessioni in ambienti reali, fornendo un dataset di alta qualità e spingendo i limiti delle tecniche di deep learning verso applicazioni industriali pratiche.