UniSER: A Foundation Model for Unified Soft Effects Removal

1. O Problema

Imagens capturadas em ambientes reais frequentemente sofrem degradações causadas por "efeitos suaves" (soft effects), como luzes de lente (lens flare), neblina (haze), sombras e reflexos. Esses fenômenos degradam a radiância da cena de forma aditiva ou multiplicativa, reduzindo o contraste, a fidelidade de cor e os detalhes finos.

As abordagens existentes enfrentam dois desafios principais:

• Modelos Especialistas: Métodos atuais tratam cada tipo de degradação isoladamente (ex: um modelo apenas para remover neblina, outro para sombras). Isso limita a escalabilidade e falha em explorar as essências compartilhadas entre esses problemas de restauração.
• Modelos Generalistas (Foundation Models): Modelos grandes baseados em texto (como GPT-4o, Flux, Nano Banana) oferecem edição poderosa, mas são instáveis em tarefas de restauração de alta fidelidade. Eles frequentemente dependem de prompts complexos, alteram a identidade dos objetos de fundo e falham no controle preciso pixel a pixel, tornando-os inadequados para edição profissional.

Além disso, muitos efeitos são "semi-transparentes" e entrelaçados com a cena, tornando a recuperação uma tarefa mal-posta (ill-posed), especialmente quando há perda irreversível de informação (ex: áreas superexpostas).

2. Metodologia

O UniSER é introduzido como um modelo fundacional versátil e unificado para a tarefa de Remoção de Efeitos Suaves (Soft Effects Removal - SER). A metodologia baseia-se em dois pilares principais:

A. Curadoria de Dados em Grande Escala

Para garantir robustez e generalização, os autores criaram um conjunto de dados massivo de 3,8 milhões de pares de imagens (imagem com efeito vs. imagem limpa).

• Integração: Unificou conjuntos de dados existentes de quatro domínios: remoção de lens flare, sombras, neblina e reflexos.
• Expansão Sintética e Realista: Para preencher lacunas críticas (especialmente em dados de flare e neblina complexa), foram gerados novos dados:
  • HALO Dataset: 70k pares renderizados em 3D (Blender) com efeitos de flare geometricamente consistentes e fisicamente plausíveis.
  • LR-SRD: 26k pares de sombras sintetizados a partir de objetos reais sem sombras, costurados em fundos reais.
  • Neblina Físicamente Motivada: Uso de um pipeline de renderização atmosférica baseado na Equação de Transferência Radiativa (RTE), utilizando mapas de profundidade monoculares para simular neblina não homogênea, fumaça e névoa com controle preciso de parâmetros físicos (visibilidade, cor da luz aérea, espalhamento).

B. Arquitetura e Controle Fino

O modelo utiliza uma arquitetura baseada em Diffusion Transformer (DiT) dentro de um espaço latente (VAE).

• Treinamento Unificado: O problema é reformulado como geração de frames descontínuos. O modelo recebe a imagem latente ruidosa, embeddings textuais (ex: "remover neblina") e condições de controle.
• Estratégia de Máscara Aleatória: Como muitos dados não possuem máscaras de efeito, o modelo é treinado com máscaras binárias aleatórias (combinando formas geométricas e pinceladas livres). Isso ensina o modelo a lidar com qualquer forma de máscara fornecida pelo usuário.
• Controle de Intensidade (Strength Control): Além da máscara espacial, o modelo aceita um valor escalar contínuo $\alpha \in [0, 1]$.
  • $\alpha = 1.0$: Remoção completa.
  • $\alpha = 0.0$: Sem alteração.
  • Valores intermediários: Remoção parcial.
  • O alvo de treinamento é gerado interpolando linearmente entre a imagem limpa e a imagem degradada baseada na máscara e na força.
• Generalização Zero-Shot: O modelo é treinado com prompts genéricos ("remover efeitos") e tarefas auxiliares para aprender o conceito de remoção de oclusões arbitrárias, permitindo lidar com efeitos não vistos durante o treinamento (ex: chuva, manchas).
• Inversão: O mesmo framework pode ser invertido para adicionar ou realçar efeitos em imagens limpas.

3. Principais Contribuições

1. Conjunto de Dados de Grande Escala: A curadoria de ~3,8M de pares de imagens equilibrados e de alta qualidade, incluindo dados sintéticos fisicamente plausíveis que superam benchmarks públicos existentes.
2. Modelo Versátil UniSER: Um modelo fundacional único que supera modelos especialistas e generalistas na remoção de múltiplos efeitos suaves, mantendo a identidade da cena.
3. Edição Controlável: Implementação de controles de usuário de granularidade fina, incluindo máscaras espaciais precisas e controle contínuo da intensidade da remoção, permitindo restaurações sob medida.
4. Capacidade de Generalização Zero-Shot: Demonstração de que o modelo pode remover artefatos não vistos (como chuva ou manchas) e adicionar efeitos realistas.

4. Resultados

Os experimentos demonstram o estado da arte (SOTA) do UniSER em diversas frentes:

• Benchmarks Padrão: Em métricas de referência completa (PSNR e SSIM) em conjuntos como Flare7K, SRD, RESIDE e SIR2, o UniSER supera ou iguala os melhores modelos especialistas em cada categoria específica.
• Dados do Mundo Real (In-the-Wild): Em testes com 39 imagens reais sem ground truth, o UniSER superou significativamente modelos generalistas (Nano Banana, Flux Kontext, GPT-4o) e especialistas.
  • Métricas Sem Referência: Alcançou as pontuações mais altas em LIQE (qualidade de imagem), ganho de contraste e QwenQA (avaliação baseada em VLM).
  • Preservação de Identidade: Ao contrário dos modelos generativos que alteram o conteúdo da cena, o UniSER preserva fielmente os objetos de fundo e a estrutura da imagem.
• Estudo com Usuários: Em um estudo comparativo, o UniSER recebeu entre 89,2% e 97,5% das preferências dos usuários em todas as tarefas, superando amplamente concorrentes.

5. Significância

O UniSER representa um avanço significativo na restauração de imagens ao demonstrar que é possível unificar tarefas de baixa nível complexas em um único modelo fundacional, superando a fragmentação dos métodos especialistas e as inconsistências dos modelos generativos gerais.

• Aplicabilidade Prática: Oferece ferramentas essenciais para editores de fotos profissionais e pipelines de visão computacional, onde a preservação da identidade e o controle preciso são críticos.
• Paradigma de Dados: Destaca a importância de curadoria de dados massiva e fisicamente plausível para treinar modelos fundacionais robustos, em vez de depender apenas de arquiteturas maiores.
• Flexibilidade: A capacidade de não apenas remover, mas também adicionar e controlar a intensidade de efeitos, abre novas possibilidades para edição criativa e aumento de dados sintéticos.

Em resumo, o UniSER estabelece um novo padrão para a remoção de efeitos suaves, combinando a robustez de modelos treinados em grandes dados com o controle fino necessário para aplicações de alta fidelidade.