💻 computer science

TDiR: Transformer based Diffusion for Image Restoration Tasks

Este artigo apresenta o TDiR, um modelo de difusão baseado em transformer que supera 18 técnicas de estado da arte em cinco benchmarks de melhoria subaquática, remoção de ruído e remoção de chuva, restaurando efetivamente a qualidade da imagem degradada para tarefas de downstream.

Autores originais: Abbas Anwar, Ibrahim Radwan, Ali Arshad Nasir, Mudassir Masood, Saeed Anwar

Publicado 2026-07-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Abbas Anwar, Ibrahim Radwan, Ali Arshad Nasir, Mudassir Masood, Saeed Anwar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando observar uma pintura bela, mas alguém a borrifou com névoa, salpicou com lama ou a cobriu com uma espessa camada de chuva. No mundo dos computadores, isso é chamado de "degradação de imagem". Quando uma câmera captura uma foto em uma caverna escura, debaixo d'água ou durante uma tempestade, a imagem resultante costuma ser borrada, ruidosa ou com a cor errada. Isso não é apenas um incômodo para fotógrafos; é um grande problema para robôs, carros autônomos e médicos que precisam enxergar claramente para tomar decisões. Por anos, os computadores tentaram consertar essas imagens usando modelos "discriminativos". Pense neles como um professor de arte rigoroso que olha para uma pintura lamacenta e tenta adivinhar exatamente o que a arte original deveria ter sido, seguindo um único caminho rígido para a resposta. Mas a bagunça do mundo real raramente é tão simples. Às vezes, uma mancha borrada pode ser corrigida de muitas maneiras diferentes, e um palpite único e rígido frequentemente erra o alvo.

Apresentamos uma abordagem mais criativa chamada "modelos de difusão". Se o método antigo é um professor rigoroso, um modelo de difusão é como um escultor trabalhando com argila. Em vez de adivinhar a forma final imediatamente, o escultor começa com um pedaço de ruído aleatório (como uma pilha caótica de poeira de argila) e, passo a passo, vai esculpindo o ruído para revelar a imagem oculta por baixo. Este artigo apresenta uma nova ferramenta chamada TDiR (Transformer-based Diffusion for Image Restoration). Ele combina o poder de "escultura" passo a passo dos modelos de difusão com uma arquitetura "Transformer" — um tipo de cérebro computacional que é muito bom em entender como diferentes partes de uma imagem se relacionam, de forma muito semelhante a como entendemos uma frase ao observar como as palavras se conectam. Os autores quiseram ver se essa combinação poderia consertar três tipos muito bagunçados de fotos: fotos subaquáticas (que costumam ser verdes e nebulosas), fotos cobertas por chuva e fotos cheias de ruído estático.

Os pesquisadores construíram o TDiR pegando uma rede inteligente existente chamada PromptIR e dando a ela uma atualização "condicionada ao ruído". Eles adicionaram um caminho de decodificação especial que diz ao computador: "Ei, estamos neste passo específico do processo de limpeza e o nível de ruído é este". Isso permite que o modelo ajuste sua estratégia enquanto trabalha. Eles testaram este novo sistema em cinco diferentes benchmarks padrão, comparando-o com outras 18 técnicas de alto nível. Os resultados foram impressionantes. Na categoria subaquática, o TDiR alcançou uma pontuação de 22,90 dB em PSNR (uma medida de quão próxima a imagem restaurada está da original) e 0,8724 em SSIM (uma medida de similaridade estrutural), superando o concorrente mais próximo, MetaUE, por 0,89 dB e 0,011 pontos de SSIM. Para remover a chuva, ele marcou 37,43 dB no conjunto de dados Rain100L, vencendo por pouco um modelo que foi treinado especificamente apenas para essa tarefa (PromptIR*) por 0,40 dB.

No entanto, o artigo é cuidadoso ao não chamar isso de um problema perfeito e resolvido. Os autores descobriram que, embora o TDiR seja um "generalista" que pode lidar com ruído, chuva e problemas subaquáticos ao mesmo tempo, ele nem sempre vence modelos "especialistas" que fazem apenas um trabalho. De fato, para a redução de ruído em níveis baixos de ruído, um modelo treinado exclusivamente para essa tarefa ainda teve um desempenho melhor. Eles também notaram uma peculiaridade específica: como o modelo processa imagens em pequenos blocos (como um mosaico), ele às vezes deixa artefatos de "bloqueio" sutis nas bordas onde os blocos se encontram, o que pode reduzir ligeiramente as pontuações técnicas, mesmo que a imagem pareça ótima aos olhos humanos. Além disso, o processo é mais lento e computacionalmente caro do que os métodos antigos porque tem que realizar muitos passos para "esculpir" a imagem de volta à vida.

Em última análise, o estudo sugere que misturar modelos de difusão com transformers é uma maneira poderosa de restaurar imagens degradadas, frequentemente produzindo resultados que parecem mais naturais e lidam com bagunças complexas e de múltiplas camadas melhor do que os métodos antigos. Isso sugere que, para tarefas como exploração subaquática ou direção autônoma, onde a resposta "certa" nem sempre é óbvia, essa abordagem flexível e passo a passo oferece um upgrade significativo na qualidade visual, mesmo que venha com um custo maior em poder computacional e alguns pequenos compromissos técnicos.

Resumo Técnico: TDiR (Transformer-based Diffusion for Image Restoration)

Declaração do Problema

A restauração de imagens é um desafio crítico na visão computacional, visando recuperar imagens limpas e originais de versões degradadas afetadas por ruído, desfoque, desvios de cor e dispersão de luz. Essas degradações prejudicam significativamente a utilidade das imagens em tarefas de alto nível, como detecção de objetos, mapeamento e classificação. Embora métodos não generativos tenham mostrado sucesso em tarefas de visão de alto nível, eles frequentemente lutam com as distribuições multimodais complexas encontradas em tarefas de visão de baixo nível, como reconstrução subaquática, redução de ruído e remoção de chuva. Especificamente, a imagética subaquática apresenta desafios únicos devido à dispersão de luz, absorção e desvios de cor que variam com as condições ambientais, muitas vezes exigindo modelos capazes de navegar por múltiplos estados de degradação potenciais, em vez de mapear um único input degradado para um único output limpo.

Metodologia

O artigo propõe o TDiR, um modelo de difusão condicional baseado em transformer projetado para abordar múltiplas tarefas de restauração de imagem dentro de um framework unificado.

Arquitetura: O núcleo do TDiR é uma arquitetura Transformer-based U-Net, adaptada do backbone PromptIR. O PromptIR utiliza módulos de prompt para se adaptar a níveis variados de degradação sem exigir modelos distintos para cada tarefa.
Processo de Difusão: O modelo opera dentro de um framework de difusão consistindo em um processo de difusão direta (adicionando progressivamente ruído Gaussiano) e um estágio de denoising reverso.
- Processo Direto (Forward Process): Ruído Gaussiano é adicionado à imagem de entrada $y_0$ ao longo de $T$ iterações até que ela se assemelhe a ruído puro.
- Processo Reverso (Backward Process): Uma rede de denoising aprende a reverter este processo, movendo-se da distribuição Gaussiana de volta para a distribuição empírica do conjunto de dados.
Modificação Arquitetural Chave: Os autores introduzem uma modificação leve onde um caminho de decoder dedicado concatena o input degradado com um embedding do timestep de difusão. Isso permite que a rede condicione seu processo de restauração com base no nível específico de ruído introduzido durante o passo direto.
Estratégia de Treinamento: Para lidar com a natureza ávida por dados dos transformers, os autores utilizam um encoder pré-treinado (congelado) como backbone. Apenas os parâmetros do decoder são otimizados durante o treinamento. O modelo é treinado em um dataset combinado que cobre três tarefas: realce subaquático, redução de ruído e remoção de chuva. A função objetivo minimiza o erro $L_1$ entre o ruído previsto e o ruído real adicionado à imagem.
Inferência: O processo de restauração envolve um procedimento de denoising iterativo, exigindo múltiplas passagens diretas por imagem.

Principais Contribuições

Modelo de Difusão Condicional Unificado: A proposta do TDiR, que converte um backbone PromptIR pré-treinado em um denoiser condicionado ao ruído, permitindo a aplicação em diversas tarefas de restauração (subaquática, redução de ruído, remoção de chuva) sem a necessidade de alternância de modelos específicos para cada tarefa.
Condicionamento de Timestep Leve: A introdução de um caminho de decoder que concatena o input degradado com embeddings de timestep de difusão, permitindo que o modelo adapte dinamicamente sua estratégia de restauração com base no nível de ruído.
Avaliação Abrangente: Uma avaliação rigorosa do TDiR através de três tarefas distintas usando cinco datasets de benchmark (UIEB, Test-60, BSD68, Rain100L, etc.) e quatro métricas de avaliação (PSNR, SSIM, UCIQE, UIQM). O estudo compara o TDiR contra 18 técnicas de estado da arte.
Análise Qualitativa: Um exame do processo de restauração baseado em difusão comparado a redes puramente discriminativas, destacando as vantagens no tratamento de degradações multimodais enquanto reconhece restrições como artefatos residuais baseados em patches.

Resultados Experimentais

O artigo relata que o TDiR supera os métodos atuais de estado da arte em todas as tarefas avaliadas:

Realce de Imagem Subaquática: No dataset UIEB, o TDiR alcançou as pontuações de referência total mais altas com 22.90 dB PSNR e 0.8724 SSIM, superando o competidor mais próximo (MetaUE) em 0.89 dB e 0.011 SSIM, respectivamente. No subset de não-referência Test-60, alcançou uma pontuação UIQM de 2.73, superando significativamente outros métodos. Resultados qualitativos mostram fidelidade de cor superior e supressão de desvios de cor esverdeados em comparação ao PromptIR e outros baselines.
Redução de Ruído (Denoising): No dataset BSD68, o TDiR superou todos os métodos de benchmark (incluindo modelos especialistas de tarefa única) em níveis de ruído $\sigma=15, 25, 50$ . Notavelmente, em $\sigma=50$ , o TDiR superou o modelo especialista PromptIR. Embora o SSIM tenha diminuído ligeiramente em altos níveis de ruído devido a artefatos de patch, o modelo produziu resultados perceptualmente mais limpos com menos artefatos de grão visíveis em regiões uniformes.
Remoção de Chuva (Deraining): No dataset Rain100L, o TDiR alcançou um PSNR de 37.43, superando a baseline PromptIR* retreinada em 0.40 dB e excedendo significativamente outros métodos como AirNet e MPRNet. A análise qualitativa confirmou a remoção completa de estrias de chuva em regiões uniformes (céu, areia) e melhor preservação de texturas finas em comparação aos concorrentes.

Significância e Alegações

O artigo afirma que a combinação de modelos de difusão e transformers oferece uma solução robusta para a restauração de imagens, particularmente em cenários envolvendo degradações multimodais complexas. Os autores enfatizam que os modelos de difusão se destacam ao navegar pelas diversas distribuições de imagens degradadas, permitindo uma restauração mais matizada que reflete a variabilidade do mundo real, o que é particularmente benéfico para o imaging subaquático, onde a iluminação e a clareza variam significativamente.

No entanto, o artigo mantém um tom modesto quanto às suas limitações. Ele reconhece que:

Custo Computacional: A natureza iterativa da difusão torna o TDiR significativamente mais caro para inferência do que modelos discriminativos de passagem única, potencialmente limitando aplicações de tempo real.
Artefatos: O processamento por patch do denoiser baseado em transformer pode levar a artefatos de bloco nas fronteiras de costura (stitch boundaries), o que pode reduzir marginalmente as pontuações de PSNR/SSIM em relação à qualidade perceptual.
Trade-offs de Generalização: Embora o modelo unificado seja versátil, ele consistentemente performa abaixo de modelos especializados de tarefa única em cenários específicos (ex: cenas subaquáticas de baixa profundidade com fundos planos), sugerindo um compromisso entre versatilidade e precisão máxima.
Dependência de Profundidade: O modelo depende de pistas relacionadas à profundidade para uma restauração subaquática eficaz, que podem estar ausentes em certas cenas desafiadoras.

Os autores concluem que, embora o TDiR demonstre melhorias significativas na qualidade da imagem em múltiplas tarefas, trabalhos futuros poderiam abordar suas limitações através de técnicas como inferência de patch sobreposto, destilação para menos passos de difusão ou fine-tuning condicionado à tarefa.