💻 computer science

NTIRE 2026 The 3rd Restore Any Image Model (RAIM) Challenge: Multi-Exposure Image Fusion in Dynamic Scenes (Track 2)

Este artigo apresenta o desafio NTIRE 2026, a 3ª edição da competição RAIM, que estabeleceu um novo benchmark para fusão de imagens multi-exposição em cenas dinâmicas, reunindo 114 equipes e 987 submissões para desenvolver métodos eficazes na remoção de artefatos e recuperação de detalhes sob condições de movimento e variação de iluminação.

Autores originais: Lishen Qu, Yao Liu, Jie Liang, Hui Zeng, Wen Dai, Guanyi Qin, Ya-nan Guan, Shihao Zhou, Jufeng Yang, Lei Zhang, Radu Timofte, Xiyuan Yuan, Wanjie Sun, Shihang Li, Bo Zhang, Bin Chen, Jiannan Lin, Yuxu

Publicado 2026-04-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lishen Qu, Yao Liu, Jie Liang, Hui Zeng, Wen Dai, Guanyi Qin, Ya-nan Guan, Shihao Zhou, Jufeng Yang, Lei Zhang, Radu Timofte, Xiyuan Yuan, Wanjie Sun, Shihang Li, Bo Zhang, Bin Chen, Jiannan Lin, Yuxu Chen, Qinquan Gao, Tong Tong, Song Gao, Jiacong Tang, Tao Hu, Xiaowen Ma, Qingsen Yan, Sunhan Xu, Juan Wang, Xinyu Sun, Lei Qi, He Xu, Jiachen Tu, Guoyi Xu, Yaoxin Jiang, Jiajia Liu, Yaokun Shi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando tirar uma foto perfeita de um pôr do sol. O problema é que a câmera tem um "olho" limitado: se você focar no céu, as pessoas na sombra ficam pretas; se focar nas pessoas, o céu fica branco e sem detalhes.

A solução clássica é tirar várias fotos de uma vez: uma rápida (para o céu), uma média e uma lenta (para as sombras). Depois, você junta tudo em uma única imagem incrível. Isso se chama Fusão de Imagens Multiexposição.

Mas aqui está o "pulo do gato" do desafio: e se a cena estiver se mexendo? Se o vento balançar as árvores, se as pessoas andarem ou se a sua mão tremer um pouco? Aí, ao juntar as fotos, você acaba com "fantasmas" (sombras duplas) e imagens borradas.

Este artigo descreve a 3ª Edição do Desafio RAIM (NTIRE 2026), que foi basicamente uma Olimpíada de Inteligência Artificial para resolver exatamente esse problema: como juntar várias fotos de uma cena em movimento para criar uma imagem perfeita, sem fantasmas e com todos os detalhes visíveis.

Aqui está o resumo da história, traduzido para o dia a dia:

1. O Cenário da Competição

Os organizadores (um time de pesquisadores de universidades e da OPPO) criaram um "campo de batalha" digital. Eles forneceram:

100 sequências de treino: Como um manual de instruções, com 7 fotos de cada cena em diferentes níveis de luz.
100 sequências de teste: O exame final, com 5 fotos cada, onde a IA não podia "colar" na resposta.

O objetivo? Criar um algoritmo que fosse rápido, inteligente e capaz de lidar com o caos do mundo real (pessoas andando, luzes mudando, câmera tremendo).

2. Como os Concorrentes Tentaram Ganhar (As Estratégias)

114 equipes entraram na briga. Vamos ver como algumas delas pensaram, usando analogias:

WHU-VIP (O Vencedor - A Estratégia do "Chef de Cozinha"):
Eles não usaram todas as 7 fotos disponíveis. Em vez disso, escolheram apenas 3 (uma normal, uma escura e uma clara) para não se perderem no excesso de informação. Eles criaram um sistema que age como um chef de cozinha: ele prova cada ingrediente (foto) e decide, pixel por pixel, o quanto de cada um deve usar. Se uma parte da foto está tremida ou borrada, ele "joga fora" aquela parte e usa a versão nítida das outras fotos. Eles também treinaram a IA em etapas, começando com tarefas fáceis e aumentando a dificuldade, como um atleta que vai do aquecimento ao treino pesado.
SHL (O Estrategista "Visão de Águia"):
Eles perceberam que a IA às vezes foca tanto nos detalhes pequenos que esquece do todo. Então, eles deram à IA uma "visão de águia": além das fotos detalhadas, eles mostraram uma versão pequena e borrada da foto completa para a IA entender o contexto global. É como olhar para um mapa da cidade antes de tentar encontrar uma rua específica. Isso ajudou a manter a estrutura da imagem intacta.
nunucccb (O Detetive de Padrões):
Eles usaram uma tecnologia chamada "Transformador" (a mesma usada em IAs de texto como o ChatGPT, mas para imagens). A ideia foi fazer a IA agir como um detetive: ela olha para uma foto de referência e pergunta: "O que mudou nesta outra foto? É um movimento? É uma sombra?". Ela usa essa atenção para alinhar perfeitamente as peças do quebra-cabeça antes de juntá-las.
untrafusion (O Engenheiro de Precisão):
Eles focaram na física da luz. Como as fotos têm níveis de brilho muito diferentes, a IA pode ficar confusa. Eles criaram um sistema que primeiro "alinha" a luminosidade das fotos (como equalizar o volume de músicas diferentes) antes de fundi-las. Eles também usaram uma estratégia de "tijolos": começaram montando a imagem em pedaços pequenos e foram aumentando o tamanho até cobrir a foto inteira, garantindo que nada saísse torto.
I2 Group & Transsion (O Mestre das Ondas):
Eles dividiram o trabalho. Usaram uma técnica matemática (Transformada Wavelet) para separar a foto em duas partes: a "estrutura" (as formas grandes, como prédios) e os "detalhes finos" (texturas, bordas). Eles trataram cada parte separadamente, como se estivessem consertando a estrutura de uma casa e depois pintando a parede, para evitar que os detalhes se misturassem de forma errada.
NTR (O Aluno que Estuda a Prova):
Eles olharam diretamente para a fórmula de pontuação do concurso. Em vez de tentar apenas fazer uma "boa" imagem, eles treinaram a IA para maximizar exatamente os números que os juízes usariam para dar a nota. É como um aluno que estuda o gabarito da prova para garantir que a resposta esteja no formato exato que o professor quer.

3. O Resultado Final

A equipe WHU-VIP venceu. Por quê? Porque eles conseguiram o equilíbrio perfeito.

Eles não deixaram a imagem ficar borrada (fantasmas).
Eles mantiveram os detalhes nítidos (como o brilho de um carro ou a textura de uma folha).
E o mais importante: o método deles funcionou bem em todas as condições, não apenas em um tipo de foto.

4. Por que isso importa para você?

Você pode estar pensando: "Isso é só para pesquisadores". Na verdade, isso é o futuro do seu celular.
Daqui a pouco, quando você tirar uma foto no seu smartphone em um show, em um pôr do sol ou em uma rua movimentada, o processador do seu celular usará técnicas exatamente como essas para:

Tirar várias fotos em milissegundos.
Juntá-las inteligentemente, ignorando o tremor da sua mão.
Entregar uma foto perfeita, com o céu azul e as pessoas iluminadas, sem que você precise ser um fotógrafo profissional.

Em resumo: Este artigo celebra a vitória de uma nova geração de IAs que aprenderam a "costurar" fotos imperfeitas e em movimento para criar imagens mágicas, limpando o caos do mundo real para que nossas câmeras possam ver o que nossos olhos, às vezes, perdem.

Resumo Técnico: NTIRE 2026 RAIM Track 2

1. Problema e Motivação

O desafio foca na Fusão de Imagens Multi-Exposição (MEF) em cenas dinâmicas, um cenário crítico para a fotografia computacional moderna, especialmente em dispositivos móveis.

Desafio Central: A maioria dos benchmarks acadêmicos assume cenas estáticas. No mundo real, a captura de múltiplas exposições (bracketing) sofre com movimento de objetos, tremores de câmera (jitter) e variações de iluminação entre os quadros.
Consequências: Essas condições causam graves problemas de desalinhamento, fantasmas (ghosting), distorção de cor e artefatos estruturais.
Objetivo do Desafio: Preencher a lacuna entre pesquisa acadêmica e implantação prática, exigindo modelos que não apenas recuperem detalhes e dinâmicas (HDR), mas que sejam robustos a movimentos, eficientes computacionalmente e capazes de operar em pipelines de imagem reais (sRGB não linear).

2. Metodologia e Configuração do Desafio

2.1. Conjunto de Dados (Dataset)

Estrutura: O benchmark contém 100 sequências de treinamento (7 níveis de exposição) e 100 sequências de teste (5 níveis de exposição).
Características: As sequências simulam cenários reais com objetos em movimento, mudanças locais de iluminação e tremores de câmera. O teste com menos quadros (5 vs 7) força os modelos a serem mais estáveis com menos informações de exposição.
Referência: Imagens de referência fundidas (Ground Truth) são fornecidas para treinamento supervisionado.

2.2. Protocolo de Avaliação
A pontuação final é uma combinação ponderada de métricas objetivas e perceptuais:
$\text{Score} = 30 \cdot \frac{\text{PSNR}}{50} + 22.5 \cdot \frac{\text{SSIM} - 0.5}{0.5} + 30 \cdot \left(1 - \frac{\text{LPIPS}}{0.4}\right)$

Métricas: PSNR (fidelidade de sinal), SSIM (similaridade estrutural) e LPIPS (qualidade perceptual).
Requisitos Adicionais: Os participantes devem submeter código executável e pesos pré-treinados para verificação de reprodutibilidade. Métricas de eficiência (tempo de execução, FLOPs, parâmetros) também são consideradas.

2.3. Abordagens dos Métodos Vencedores (Top Teams)
O desafio atraiu 114 equipes e 987 submissões. As principais metodologias vencedoras incluem:

WHU-VIP (1º Lugar):
- Arquitetura: Baseada no AFUNet (Swin Transformer), mas otimizada para eficiência.
- Inovações: Utiliza apenas 3 quadros de entrada (0 EV, ±2 EV) em vez de todos os disponíveis para reduzir artefatos de movimento.
- Módulos Chave:
  - SFT (Spatial Feature Transform): Modulação de características adaptativa espacialmente para lidar com oclusões e exposições extremas.
  - DCM-RG (Data Consistency Module with Reliability Gating): Um mecanismo de "gating" que prediz máscaras de confiança pixel a pixel para suprimir regiões não confiáveis (fantasmas) durante a fusão.
- Estratégia: Aprendizado curricular em 4 estágios, culminando em treinamento consciente de quantização (8-bit).
SHL (2º Lugar):
- Estratégia: Guia global leve.
- Mecanismo: Downsampling da imagem de resolução completa para fornecer um "priors" estrutural global ao modelo, concatenado à entrada.
- Loss Function: Introduz uma perda de Relações de Pixels Vizinhos (NPR) para forçar a consistência estrutural local e preservar detalhes de alta frequência, mitigando o desfoque comum em otimizações pixel a pixel.
- Ensemble: Combina três backbones (Restormer, Uformer, MST++) com média ponderada.
nunucccb (3º Lugar):
- Arquitetura: Baseada no HDR-Transformer (Context-Aware Vision Transformer).
- Fluxo: Extração de características independentes seguida por módulos de atenção espacial para alinhar características não de referência a uma referência central (f3), suprimindo desalinhamentos.
- Reconstrução: Uso de blocos CA-ViT para modelar dependências globais e convoluções dilatadas para expandir o campo receptivo.
Outras Abordagens Notáveis:
- untrafusion: Usa alinhamento óptico de fluxo e uma estratégia de treinamento progressiva com tamanho de patch crescente (curriculum learning) para lidar com ruído e artefatos estruturais.
- I2 Group & Transsion: Abordagem baseada em Transformada Wavelet Discreta (DWT), separando a fusão em ramos de baixa frequência (estrutura) e alta frequência (detalhes), usando um módulo residual leve para fundir detalhes sem introduzir fantasmas.
- NTR: Utiliza um modelo de difusão mascarado pré-treinado, adaptado via fine-tuning supervisionado com uma função de perda alinhada à métrica oficial do desafio.

3. Resultados

Classificação Final:
1. WHU-VIP: Score 58.889 (Melhor equilíbrio entre PSNR, SSIM e LPIPS).
2. SHL: Score 58.034 (Melhor PSNR e SSIM, mas LPIPS ligeiramente inferior).
3. nunucccb: Score 57.000.
Análise Quantitativa: O WHU-VIP destacou-se por obter os menores valores de LPIPS (melhor qualidade perceptual) e manter a estabilidade entre as duas etapas de teste, indicando robustez superior a variações de exposição e movimento.
Análise Visual: As comparações qualitativas mostraram que os métodos de topo conseguiram preservar a estrutura, eliminar fantasmas em regiões de movimento rápido e manter a naturalidade visual, enquanto métodos inferiores apresentavam desalinhamentos e perda de detalhes.

4. Contribuições Principais

Benchmark Realista: Introdução de um dataset desafiador focado especificamente em cenas dinâmicas com movimento, tremores e variações de iluminação, superando as limitações de benchmarks estáticos anteriores.
Protocolo de Avaliação Rigoroso: Combinação de métricas objetivas (PSNR/SSIM) com métricas perceptuais (LPIPS) e verificação obrigatória de reprodutibilidade de código, garantindo que os resultados sejam aplicáveis na prática.
Avanços em Arquiteturas: Demonstração de que abordagens híbridas (Transformers + Módulos de Atenção Espacial + Gating de Confiabilidade) superam métodos puramente baseados em fluxo óptico ou fusão simples em cenários dinâmicos.
Eficiência e Praticidade: Foco em soluções que podem operar em dispositivos móveis, com restrições de latência e memória, através de técnicas como quantização-aware training e uso seletivo de quadros de entrada.

5. Significado e Impacto

O NTIRE 2026 RAIM Track 2 estabelece um novo padrão para a pesquisa em fotografia computacional móvel. Ao focar na fusão de imagens multi-exposição em movimento, o desafio direciona a comunidade de visão computacional para problemas que afetam diretamente a experiência do usuário em smartphones.

Os resultados demonstram que a combinação de robustez a desalinhamentos (através de mecanismos de gating e atenção) e fidelidade perceptual é a chave para o HDR prático. O dataset e o código das equipes vencedoras, disponíveis publicamente, servirão como base fundamental para o desenvolvimento de futuros algoritmos de ISP (Image Signal Processing) e recuperação de imagens em condições adversas.