💻 computer science

NTIRE 2026 Challenge on Single Image Reflection Removal in the Wild: Datasets, Results, and Methods

Este artigo revisa o desafio NTIRE 2026 sobre remoção de reflexos em imagens únicas no mundo real, apresentando o novo conjunto de dados OpenRR-5k, os resultados das 11 equipes finalistas que alcançaram o estado da arte e os métodos desenvolvidos para lidar com cenários complexos de reflexos.

Autores originais: Jie Cai, Kangning Yang, Zhiyuan Li, Florin-Alexandru Vasluianu, Radu Timofte, Jinlong Li, Jinglin Shen, Zibo Meng, Junyan Cao, Lu Zhao, Pengwei Liu, Yuyi Zhang, Fengjun Guo, Jiagao Hu, Zepeng Wang, Fe

Publicado 2026-04-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jie Cai, Kangning Yang, Zhiyuan Li, Florin-Alexandru Vasluianu, Radu Timofte, Jinlong Li, Jinglin Shen, Zibo Meng, Junyan Cao, Lu Zhao, Pengwei Liu, Yuyi Zhang, Fengjun Guo, Jiagao Hu, Zepeng Wang, Fei Wang, Daiguo Zhou, Yi'ang Chen, Honghui Zhu, Mengru Yang, Yan Luo, Kui Jiang, Jin Guo, Jonghyuk Park, Jae-Young Sim, Wei Zhou, Hongyu Huang, Linfeng Li, Lindong Kong, Saiprasad Meesiyawar, Misbha Falak Khanpagadi, Nikhil Akalwadi, Ramesh Ashok Tabib, Uma Mudenagudi, Bilel Benjdira, Anas M. Ali, Wadii Boulila, Kosuke Shigematsu, Hiroto Shirono, Asuka Shin, Guoyi Xu, Yaoxin Jiang, Jiajia Liu, Yaokun Shi, Jiachen Tu, Shreeniketh Joshi, Jin-Hui Jiang, Yu-Fan Lin, Yu-Jou Hsiao, Chia-Ming Lee, Fu-En Yang, Yu-Chiang Frank Wang, Chih-Chung Hsu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tirando uma foto bonita de um pôr do sol, mas, infelizmente, a câmera está atrás de uma janela suja ou de um espelho. O resultado é uma imagem estranha: você vê a paisagem, mas também vê o reflexo do seu rosto ou da sala onde está. O desafio NTIRE 2026 foi como uma "Olimpíada de Detetives de Imagem" para resolver exatamente esse problema: como tirar o reflexo e deixar apenas a imagem original limpa, mesmo em situações do mundo real?

Aqui está a explicação do que aconteceu, usando analogias simples:

1. O Problema: A "Sopa de Letras" Visual

Tirar reflexos de uma foto é como tentar separar a manteiga do pão depois que eles já foram misturados. É difícil porque o computador não sabe o que é o "reflexo" e o que é a "imagem real".

O Desafio Antigo: Antes, os cientistas treinavam seus computadores com fotos falsas (simuladas em laboratório). Era como treinar um piloto de avião apenas em simuladores de computador. Quando eles tentavam voar no mundo real (com vento, chuva e luzes estranhas), o avião caía.
A Solução: Os organizadores criaram um novo "campo de treinamento" chamado OpenRR-5k. Eles usaram uma tecnologia de IA do celular OPPO para gerar imagens perfeitas de "antes e depois" de fotos reais. É como se eles tivessem um "poder mágico" de apagar o reflexo na tela do celular e usar essa imagem limpa como a resposta correta para ensinar os outros computadores.

2. A Competição: 100 Equipes, 11 Campeões

Mais de 100 equipes se inscreveram, mas apenas 11 chegaram à final. Elas tiveram que usar o novo conjunto de dados para criar seus próprios "algoritmos de limpeza".

O Jogo: Eles receberam 100 fotos com reflexos "cegos" (sem a resposta certa) e tiveram que entregar a versão limpa.
Os Julgadores: Em vez de apenas medir números frios, cinco especialistas olharam as fotos e deram notas baseadas em três coisas:
1. Limpeza: O reflexo sumiu de verdade?
2. Artefatos: A imagem não ficou estranha ou borrada?
3. Qualidade Geral: A foto final parece bonita e natural?

3. Os Vencedores e Seus "Superpoderes"

A equipe vencedora, RRay, ganhou o primeiro lugar. Aqui está como eles (e os outros) funcionaram, usando metáforas:

RRay (O Vencedor - O "Restaurador em Duas Etapas"):
Eles não tentaram consertar tudo de uma vez. Primeiro, usaram uma ferramenta forte para remover o reflexo grosso (como tirar uma mancha grande de tinta). Depois, usaram uma ferramenta de precisão para polir os detalhes finos que a primeira etapa poderia ter danificado. Foi como limpar uma janela com um rodo e depois passar um pano de microfibra para tirar as marcas de água.
Xreflect Master (O "Gigante com Lição de Casa"):
Eles pegaram uma estrutura já conhecida e a tornaram "gigante" (mais inteligente e capaz de ver o todo). Além disso, usaram uma técnica chamada "distilação de difusão". Imagine que eles contrataram um artista super talentoso (uma IA de geração de imagens) para desenhar a foto perfeita e depois ensinaram o computador deles a copiar esse estilo de desenho.
AIIALab (O "Detetive de Profundidade"):
Eles ensinaram o computador a não apenas olhar a cor, mas a entender a "profundidade" da cena. É como se o computador usasse óculos 3D para entender o que está na frente (o reflexo) e o que está atrás (a imagem real), separando-os com base na distância.
VIP Lab (O "Time de Especialistas"):
Eles criaram um sistema onde diferentes "especialistas" (redes neurais) olham para partes diferentes da imagem e depois discutem entre si para chegar à melhor solução. É como uma reunião de conselho onde cada membro traz uma peça do quebra-cabeça.

4. O Resultado Final

O que essa competição nos ensinou?

Dados Reais são Rainhas: Os melhores resultados vieram de equipes que entenderam que o mundo real é bagunçado. Modelos treinados apenas com fotos falsas não funcionavam tão bem.
A IA está Madurando: As equipes conseguiram remover reflexos de vidros de ônibus, janelas de lojas e telas de computador com uma qualidade que parece mágica, preservando os detalhes da paisagem original.
O Futuro: Agora, temos um banco de dados público (OpenRR-5k) e um conjunto de técnicas comprovadas. Isso significa que, em breve, quando você tirar uma foto em frente a uma vitrine ou janela, seu celular poderá apagar o reflexo automaticamente com perfeição, sem que você precise de óculos especiais ou truques de fotografia.

Resumo em uma frase:
Foi uma corrida para ensinar computadores a "enxergar através" de reflexos, usando um novo livro de receitas de fotos reais, e os vencedores descobriram que a melhor estratégia foi combinar força bruta com polimento de detalhes, como um artesão restaurando uma pintura antiga.

Resumo Técnico: Desafio NTIRE 2026 de Remoção de Reflexão em Imagem Única no Mundo Real

1. Problema e Contexto

A Remoção de Reflexão em Imagem Única (SIRR - Single Image Reflection Removal) é uma tarefa fundamental na restauração de imagens, visando recuperar a camada de transmissão ( $T$ ) de uma imagem de entrada ( $I$ ) contaminada por reflexos ( $R$ ) provenientes de superfícies transparentes (como vidro).

Apesar dos avanços significativos em pesquisas acadêmicas, a maioria dos métodos existentes é testada em imagens sintéticas ou em conjuntos de dados reais limitados. Isso cria uma lacuna entre a pesquisa acadêmica e as aplicações práticas no mundo real, onde os reflexos variam em intensidade, textura e cenário. O principal gargalo identificado é a escassez de dados reais de alta qualidade, alinhados pixel a pixel, devido ao alto custo de mão de obra e às dificuldades técnicas de captura precisa em ambientes complexos.

2. Metodologia e Contribuições Principais

2.1. Novo Dataset: OpenRR-5k

A contribuição central deste trabalho é a introdução do dataset OpenRR-5k, projetado especificamente para superar as limitações de datasets anteriores.

Coleta de Dados Inovadora: Diferente dos métodos tradicionais que usam panos de veludo preto ou remoção manual de vidro (o que causa desalinhamento e mudanças de cor), os organizadores utilizaram um protocolo baseado em IA.
Pipeline de Geração: Utilizaram a ferramenta de edição de reflexos da OPPO (integrada no smartphone Find X8 Ultra), que combina detecção (YOLO/YOSO), inpainting (LaMa) e remoção de reflexos (NAFNet), seguida de refinamento manual profissional (Photoshop/MeituPic) para garantir fidelidade visual.
Composição do Dataset:
- Treino: 5.000 pares de imagens (Entrada + Ground Truth).
- Validação: 300 pares (apenas entrada fornecida aos participantes para cálculo de métricas).
- Teste: 100 imagens apenas de entrada (sem ground truth), usadas para avaliação cega.
- Diversidade: O dataset cobre 70% paisagens, 18% objetos, 8% humanos e 4% animais, com variações de iluminação (dia, interior, noite).

2.2. Estrutura do Desafio

O desafio foi dividido em duas fases:

Fase de Desenvolvimento/Validação: Os participantes treinaram modelos usando o OpenRR-5k e validaram em um servidor com métricas objetivas (PSNR, SSIM, LPIPS, DISTS, NIQE).
Fase de Teste: Os participantes enviaram resultados para as 100 imagens de teste cegas. A classificação final foi baseada em uma avaliação subjetiva realizada por 5 especialistas, ponderando:
- Limpeza da remoção de reflexos (C).
- Presença de artefatos (A).
- Qualidade geral da imagem (Q).
- Fórmula de Pontuação: $S = 0.25C + 0.25A + 0.5Q$ .

3. Resultados do Desafio

O desafio atraiu mais de 100 inscrições e 11 equipes chegaram à fase final de teste.

3.1. Vencedores

1º Lugar: RRay (Intsig Information Co., Ltd.)
2º Lugar: Xreflect Master (Xiaomi) e AIIALab (HIT)
3º Lugar: VIP Lab, YuFans, KLETech-CEVI

3.2. Análise de Desempenho

Desempenho do Líder (RRay): Alcançou a maior pontuação subjetiva (4.45) e o melhor PSNR (36.17 dB). O método utilizou uma rede em cascata de dois estágios (RdNafNet), combinando RDNet para remoção grossa e NAFNet para refinamento de detalhes.
Correlação Métrica vs. Subjetiva: Observou-se que o PSNR geralmente se alinha bem com a avaliação subjetiva no conjunto de teste realista. No entanto, equipes com PSNRs similares (ex: YuFans e VIP Lab) apresentaram diferenças notáveis na pontuação subjetiva, evidenciando as limitações das métricas puramente numéricas para capturar a qualidade perceptiva.
Técnicas Comuns: As equipes de topo utilizaram estratégias como:
- Aprendizado por Distilação: Uso de modelos de difusão para gerar pseudo-ground truth (Xreflect Master).
- Arquiteturas Híbridas: Combinação de Transformers e CNNs, ou uso de redes recorrentes.
- Augmentação e Ensemble: Uso de Test-Time Augmentation (TTA), checkpoint soup (média de pesos de múltiplos checkpoints) e fusão ponderada de saídas.
- Dados Sintéticos vs. Reais: Algumas equipes (como YuFans) descobriram que adicionar dados sintéticos degradou o desempenho devido à lacuna de domínio, preferindo focar apenas nos dados reais do OpenRR-5k.

4. Significado e Impacto

Este trabalho representa um marco importante na comunidade de visão computacional por:

Ponte Academia-Indústria: O uso de uma ferramenta comercial (OPPO) para gerar ground truth valida a viabilidade de usar IA para criar benchmarks realistas, aproximando a pesquisa de soluções de produtos reais.
Padrão de Avaliação Realista: O dataset OpenRR-5k e a metodologia de avaliação mista (objetiva + subjetiva) estabelecem um novo padrão para avaliar a robustez de modelos de SIRR em cenários não controlados.
Avanço no Estado da Arte (SOTA): Os métodos vencedores demonstraram que é possível remover reflexos complexos preservando detalhes finos e texturas, superando as limitações de métodos anteriores que tendiam a suavizar excessivamente ou deixar resíduos.

O artigo conclui que, embora o progresso seja significativo, desafios permanecem na consistência da qualidade perceptiva em cenas extremamente diversas, incentivando futuras pesquisas em métodos mais robustos para aplicações práticas. Os dados e códigos estão disponíveis publicamente para fomentar o desenvolvimento contínuo.