A Comprehensive Survey on Underwater Image Enhancement Based on Deep Learning

Este artigo apresenta uma revisão abrangente e sistemática sobre o aprimoramento de imagens subaquáticas baseadas em aprendizado profundo, cobrindo modelos físicos, algoritmos recentes, uma avaliação comparativa justa em múltiplos benchmarks e direções futuras para a pesquisa na área.

O essencial

Imagine que você está mergulhando em um oceano profundo. O que você vê através da sua máscara não é a cena vibrante e colorida que sua câmera de terra captaria. Em vez disso, tudo parece um borrão azul-esverdeado, turvo, escuro e com pouca definição. É como se a água tivesse colocado um filtro sujo e colorido sobre o mundo.

Este artigo é um guia definitivo (uma "bibliografia") sobre como os cientistas estão ensinando computadores a "limpar" essas fotos subaquáticas, usando uma tecnologia chamada Inteligência Artificial (Deep Learning).

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Problema: A "Neblina" do Oceano

Quando a luz viaja pela água, ela se comporta de forma diferente do que no ar.

• As cores somem: A água "come" as cores quentes (vermelho, laranja, amarelo) primeiro. Por isso, tudo fica azul ou verde.
• A neblina: Partículas de areia e sujeira na água espalham a luz, criando um efeito de neblina ou fumaça.
• A escuridão: Quanto mais fundo, menos luz chega.

O objetivo do artigo é reunir todas as soluções criadas por pesquisadores para "desfazer" esse estrago e devolver a foto original, brilhante e colorida.

2. A Grande Comparação: Quem é o Melhor?

Antes deste artigo, cada cientista testava seu método em laboratórios diferentes, com regras diferentes. Era como comparar o tempo de corrida de dois atletas, mas um corria na areia e o outro no asfalto. Não dava para saber quem era realmente o mais rápido.

Os autores deste artigo decidiram: "Vamos colocar todos no mesmo estádio!"
Eles pegaram os melhores algoritmos (os "atletas") e os fizeram correr nas mesmas pistas (os mesmos bancos de dados de fotos).

• O Veredito: Eles descobriram que, embora muitos métodos sejam bons, dois se destacaram:
  • UIE-DM: É o campeão em seguir regras estritas (quando temos uma foto perfeita de referência para comparar). É como um aluno que decora a resposta certa.
  • UGAN: É o campeão em situações reais (quando não temos a foto perfeita). Ele é mais criativo e consegue "adivinhar" como a foto deveria ser, mesmo sem um modelo perfeito.

3. Como Eles Fazem Isso? (As 6 Estratégias)

O artigo organiza as soluções em 6 categorias, como se fossem 6 ferramentas diferentes na caixa de ferramentas de um mecânico:

1. Arquitetura da Rede (O Motor): Alguns usam "convoluções" (como filtros de foto comuns), outros usam "Transformers" (que olham para a foto inteira de uma vez, como um pássaro voando alto) ou "Fourier" (que analisa as frequências da imagem, como um equalizador de som).
2. Estratégia de Aprendizado (O Treinador):
   • Aprendizado Adversário: Imagine um falsário tentando pintar um quadro e um detetive tentando descobrir a fraude. Eles competem até que o falsário pinte algo perfeito.
   • Aprendizado de Ranking: Em vez de dizer "esta foto é perfeita", o computador aprende a dizer "esta foto é melhor do que aquela".
3. Estágios de Aprendizado (O Processo): Alguns fazem tudo de uma vez (um tiro só). Outros fazem "do grosso para o fino" (primeiro corrigem a cor geral, depois os detalhes). Há até os que usam "Difusão", que é como tirar uma foto borrada e ir adicionando detalhes pixel por pixel até ficar nítida.
4. Tarefas de Ajuda (O Assistente): Às vezes, a IA ajuda a IA. Se o computador também tentar adivinhar a profundidade da água ou identificar se é um peixe ou uma pedra, ele entende melhor a foto e a corrige melhor.
5. Perspectiva de Domínio (A Tradução): Às vezes, a IA aprende a traduzir a "língua" da água para a "língua" do ar, ou vice-versa, para entender como a luz se comporta.
6. Desemaranhar e Fundir (A Separação): Imagine que a foto estragada é um suco misturado com água suja. Alguns métodos tentam separar o suco (a cor real) da água suja (a distorção) e depois misturá-los de volta de forma limpa.

4. O Que Ainda Não Funciona? (O Futuro)

Apesar dos avanços, o artigo aponta que ainda há desafios, como um carro elétrico que ainda precisa de mais bateria:

• Dados Falsos Perfeitos: É muito difícil criar fotos subaquáticas falsas que sejam idênticas à realidade. Eles sugerem usar motores de jogos (como os usados em videogames) para simular o fundo do mar com perfeição.
• O Efeito Colateral: Curiosamente, às vezes, melhorar a foto para o olho humano piora a capacidade do computador de detectar objetos (como um tubarão). Isso precisa ser estudado.
• Luz Artificial: Quando mergulhadores usam holofotes, a luz não é uniforme. Corrigir essas sombras estranhas é difícil.
• Avaliação Humana: As máquinas usam números para medir a qualidade, mas o olho humano é mais complexo. Precisamos de métricas que entendam o que é "bonito" para nós.

Resumo Final

Este artigo é como um mapa do tesouro para quem quer trabalhar com imagens subaquáticas. Ele diz: "Aqui estão todos os mapas que já fizemos, aqui estão os melhores tesouros encontrados até hoje, e aqui estão os lugares onde ainda precisamos escavar."

A mensagem principal é: A tecnologia já é incrível, mas o oceano é complexo e ainda temos muito o que aprender para ver o mundo subaquático com a clareza que ele merece.

Resumo técnico

Resumo Técnico: Melhoria de Imagens Subaquáticas (UIE) Baseada em Deep Learning

1. O Problema

A imagem subaquática é fundamental para exploração de recursos, filmagem e entretenimento, mas sofre degradação severa devido às propriedades físicas da água. Os principais desafios incluem:

• Atenuação e Espalhamento da Luz: A absorção diferencial de comprimentos de onda faz com que as cores quentes (vermelho, laranja, amarelo) desapareçam com a profundidade, resultando em imagens com dominância azul-esverdeada.
• Baixo Contraste e Neblina: Partículas suspensas e lama causam espalhamento, gerando efeitos de neblina, ruído e desfoque.
• Baixa Iluminação: Em grandes profundidades, a luz natural é insuficiente, exigindo fontes de luz auxiliares que podem criar iluminação não uniforme.

Embora existam métodos tradicionais (não baseados em aprendizado profundo), eles frequentemente falham devido à dificuldade de modelagem física perfeita e à dependência de suposições prévias que não se aplicam a todos os cenários. O objetivo deste trabalho é fornecer uma revisão sistemática e abrangente das soluções baseadas em Deep Learning (DL) para a tarefa de Melhoria de Imagens Subaquáticas (UIE).

2. Metodologia e Abordagem

Os autores realizaram uma análise exaustiva da literatura recente, estruturando o estado da arte em seis categorias principais baseadas nas contribuições dos algoritmos:

• A. Arquitetura de Rede:

  • Operações de Convolução: Uso de conexões residuais e densas (ex: UWCNN, UResNet).
  • Mecanismos de Atenção: Foco em canais e locais espaciais específicos (ex: WaveNet, ADMNNet).
  • Transformers: Aplicação de atenção global e dependências de longo alcance (ex: UWAGA, U-Trans).
  • Transformada de Fourier e Wavelet: Análise no domínio da frequência para separar componentes de amplitude e fase ou sub-bandas de frequência (ex: UHD, UIE-WD).
  • Neural Architecture Search (NAS): Automação do design da rede (ex: AutoEnhancer).

• B. Estratégia de Aprendizado:

  • Aprendizado Adversarial (GANs): Uso de geradores e discriminadores para melhorar a qualidade visual e a consistência da distribuição (ex: FUnIEGAN, EUIGAN).
  • Aprendizado de Classificação (Rank Learning): Otimização baseada em rankings de qualidade visual em vez de apenas erro pixel a pixel (ex: URanker).
  • Aprendizado Contrastivo: Aumento da distância entre exemplos negativos e diminuição entre positivos para lidar com a falta de dados rotulados perfeitos (ex: TACL, HCLR-Net).
  • Aprendizado por Reforço: Uso de funções de recompensa baseadas em métricas sem referência (ex: HPUIE-RL).

• C. Estágio de Aprendizado:

  • Estágio Único: Mapeamento direto de distorção para melhoria.
  • Grossa para Fina (Coarse-to-fine): Refinamento progressivo em múltiplos estágios.
  • Processo de Difusão: Uso de modelos generativos difusivos para remover ruído e restaurar detalhes (ex: UIE-DM).

• D. Tarefas Auxiliares: Integração de segmentação semântica, detecção de objetos ou estimativa de profundidade para fornecer contexto e melhorar a restauração.

• E. Perspectiva de Domínio:

  • Transferência de Conhecimento: Adaptação de modelos treinados em dados sintéticos para o mundo real.
  • Tradução de Domínio: Mapeamento não supervisionado entre imagens distorcidas e claras.
  • Saída Diversificada: Geração de múltiplas versões melhoradas com diferentes estilos ou níveis de intensidade.

• F. Desemaranhamento e Fusão:

  • Modelos Físicos e Retinex: Incorporação de modelos de formação de imagem (como o modelo de espalhamento atmosférico) dentro da rede para melhorar a interpretabilidade.
  • Fusão de Espaços de Cor: Combinação de RGB, HSV, LAB e YCbCr para melhor recuperação de cor.
  • Fusão Multi-entrada: Uso de pré-processamentos (Balanço de Branco, Equalização de Histograma) como entradas adicionais.

3. Contribuições Principais

1. Taxonomia Abrangente: Classificação sistemática dos algoritmos de UIE baseados em DL em 6 categorias principais e subcategorias, facilitando a compreensão das diferenças e similaridades entre os métodos.
2. Revisão de Fundamentos: Detalhamento dos modelos físicos de formação de imagem, estratégias de construção de conjuntos de dados (sintéticos vs. reais), métricas de avaliação e funções de perda.
3. Avaliação Comparativa Justa (Benchmark Unificado):
   • Os autores identificaram que a literatura carece de comparações justas devido a configurações experimentais inconsistentes.
   • Realizaram uma avaliação quantitativa e qualitativa unificada de 17 algoritmos de última geração (SOTA) em múltiplos conjuntos de dados (UIEB, LSUI, EUVP, UFO-120, Challenge-60, U45, UCCS).
   • Padronizaram batch size, tamanho de imagem, aumento de dados e implementação de métricas para garantir imparcialidade.
4. Identificação de Lacunas: Mapeamento de áreas que ainda precisam de pesquisa profunda, como síntese de dados de alta qualidade, métricas de avaliação confiáveis e interação com tarefas downstream.
5. Repositório de Recursos: Fornecimento de um link GitHub com recursos coletados para a comunidade de UIE.

4. Resultados Experimentais

A avaliação unificada revelou os seguintes pontos-chave:

• Capacidade de Ajuste (Dados com Referência): O algoritmo UIE-DM (baseado em Difusão) obteve os melhores resultados quantitativos (PSNR e SSIM) na maioria dos conjuntos de dados com pares de imagens (UIEB, LSUI, etc.). No entanto, a diferença entre os top 5 algoritmos foi mínima, sugerindo que a busca por PSNR/SSIM mais altos pode ter atingido um platô.
• Capacidade de Generalização (Dados sem Referência): Em conjuntos de dados reais sem referência (Challenge-60, U45), o UGAN demonstrou a melhor capacidade de generalização global, seguido por CECF e STSC.
• Análise Visual: As visualizações mostraram que, embora as métricas sejam próximas, os resultados visuais variam significativamente. Alguns métodos ainda sofrem com dominância azul-esverdeada ou perda de detalhes, enquanto outros (como UIE-DM e UGAN) apresentam melhor equilíbrio de cor e nitidez.
• Conclusão dos Resultados: Não existe um único "melhor" algoritmo para todos os cenários; a escolha depende se o foco é a fidelidade a um ground-truth sintético ou a qualidade visual em cenários reais complexos.

5. Significado e Trabalhos Futuros

Este trabalho é significativo por estabelecer um padrão de avaliação justa e fornecer um guia estruturado para pesquisadores e engenheiros na área de visão computacional subaquática.

Os autores propõem as seguintes direções para pesquisas futuras:

• Síntese de Dados com Game Engines: Uso de motores como Unreal Engine para criar pares de imagens perfeitos (distorcida vs. referência) com controle preciso de variáveis físicas (profundidade, partículas, luz).
• Impacto em Tarefas Downstream: Investigar a correlação entre a melhoria da imagem e o desempenho em tarefas como detecção de objetos (estudos recentes sugerem que a melhoria pode, paradoxalmente, prejudicar a detecção em alguns casos).
• Modelos Multimodais (Visão-Linguagem): Integração de modelos pré-treinados grandes (como CLIP) para usar informações semânticas textuais para guiar a restauração.
• Iluminação Não Uniforme: Desenvolvimento de métodos específicos para lidar com luzes artificiais que criam sombras e gradientes de iluminação complexos.
• Métricas de Avaliação Confiáveis: Criação de métricas sem referência que correspondam melhor à estética humana subjetiva.
• Combinação de Tarefas de Restauração: Explorar a transferência de aprendizado entre tarefas como remoção de neblina, chuva e ruído para melhorar a UIE.

Em suma, o artigo consolida o estado atual da UIE baseada em Deep Learning, demonstrando que, embora o campo tenha avançado significativamente, ainda está em uma fase emergente com desafios críticos a serem resolvidos para aplicações práticas robustas.