Task-Guided Prompting for Unified Remote Sensing Image Restoration

1. Problema e Contexto

A restauração de imagens de sensoriamento remoto (RSIR) é crucial para recuperar imagens de alta fidelidade a partir de observações degradadas, habilitando análises subsequentes precisas. No entanto, a literatura atual enfrenta duas limitações fundamentais:

• Especialização Excessiva: A maioria dos métodos existentes foca em um único tipo de degradação (ex: apenas remoção de nuvens ou apenas desgranulação de SAR) ou em um único domínio de sensor (ex: apenas óptico). Isso cria um gargalo operacional, pois cenários do mundo real frequentemente envolvem múltiplas degradações simultâneas e diversas modalidades de sensores (óptico, SAR, infravermelho térmico).
• Incompatibilidade de Domínios: Modelos unificados desenvolvidos para imagens naturais não são diretamente transferíveis para sensoriamento remoto devido às diferenças físicas fundamentais (ex: ruído aditivo em óptico vs. ruído multiplicativo/especular em SAR) e à diversidade espectral.

O objetivo do trabalho é preencher essa lacuna criando um framework unificado capaz de lidar com remoção de ruído, nuvens, sombras, desfoque e desgranulação de SAR em uma única arquitetura, adaptando-se a diferentes modalidades de sensores.

2. Metodologia: TGPNet

Os autores propõem o TGPNet, um framework unificado baseado em uma arquitetura encoder-decoder (adaptada do Restormer) que utiliza uma estratégia inovadora chamada Task-Guided Prompting (TGP).

Componentes Principais:

1. Arquitetura Base: Uma estrutura em U com blocos de Transformers para modelagem de dependências de longo alcance e convoluções para refinamento local.
2. Task-Guided Prompting (TGP): O núcleo da inovação, composto por dois módulos:
   • LTSE (Learnable Task-Specific Embedding): Converte um prompt de tarefa (um vetor inicializável) em uma representação latente compacta e específica da degradação. Isso atua como um descritor físico implícito das características da degradação.
   • HFM (Hierarchical Feature Modulation): Utiliza o embedding gerado pelo LTSE para criar parâmetros afins (fatores de escala $\gamma$ e deslocamento $\beta$) que modulam hierarquicamente os features do decoder.
3. Mecanismo de Adaptação: Ao invés de treinar redes separadas, o TGP permite que uma única rede com pesos compartilhados reconfigure dinamicamente suas estatísticas internas para se adaptar a diferentes tipos de degradação (ex: ruído aditivo vs. speckle multiplicativo) e modalidades de sensor, atuando como múltiplos "especialistas" dentro de um único modelo.

3. Contribuições Chave

• Primeiro Framework Unificado Cross-Domínio: O TGPNet é o primeiro modelo a unificar a restauração de degradações heterogêneas através de modalidades de sensores fundamentalmente distintas (Óptico, SAR e Infravermelho Térmico) em uma única rede guiada por prompts.
• Estratégia de Prompting Guiada por Tarefa: Desenvolvimento de uma estratégia onde embeddings de tarefa aprendíveis guiam a modulação hierárquica de features, permitindo processamento adaptativo dinâmico sem alterar os pesos principais da rede.
• Benchmark Unificado de RSIR: Os autores construíram e disponibilizarão um benchmark abrangente cobrindo cinco tarefas de restauração (remoção de ruído, nuvens, sombras, desgranulação SAR e desfoque) em múltiplas modalidades (RGB, Multiespectral, SAR, TIR).
• Generalização para Degradações Compostas: Demonstração de que o modelo pode lidar com degradações compostas não vistas durante o treinamento através de uma abordagem sequencial (decomposição da tarefa complexa em sub-tarefas ordenadas).

4. Resultados Experimentais

Os experimentos foram conduzidos em um benchmark unificado e compararam o TGPNet com modelos de última geração (SOTA) especializados e unificados (como PromptIR, AdaIR, CR-former).

• Desempenho Unificado: O TGPNet alcançou desempenho SOTA em cenários de múltiplas tarefas (2, 3, 4 e 5 tarefas simultâneas), superando modelos especializados em suas próprias áreas. Por exemplo, superou o modelo especializado CR-former na remoção de nuvens, mesmo sendo um modelo unificado.
• Generalização Cross-Domínio: O modelo demonstrou robustez ao transitar entre domínios ópticos, de micro-ondas (SAR) e térmicos, mantendo alta fidelidade em todas as modalidades.
• Degradações Compostas (Out-of-Distribution): Em tarefas com degradações compostas não vistas (ex: Ruído + Nuvem), o TGPNet superou significativamente os baselines. Enquanto métodos diretos falharam, a abordagem sequencial do TGPNet (remover ruído primeiro, depois nuvens) alcançou ganhos superiores a 8 dB em PSNR em comparação com o segundo melhor método.
• Eficiência: O modelo possui um bom equilíbrio entre desempenho e complexidade computacional. Com ~21M de parâmetros e 71G FLOPs, é mais leve que modelos unificados massivos e mais rápido em inferência (60.84 ms) do que concorrentes diretos como o CR-Former.
• Análise de Features: Estudos de ablação e visualização (t-SNE) confirmaram que o módulo TGP efetivamente desentrelaça as representações de features, criando clusters distintos e bem separados para cada tipo de degradação, o que valida a capacidade do modelo de distinguir tarefas internamente.

5. Significado e Impacto

Este trabalho representa um avanço significativo no campo de sensoriamento remoto, movendo-se de uma abordagem de "modelo único para uma tarefa" para uma solução "tudo-em-um" (all-in-one) prática e escalável.

• Viabilidade Operacional: Ao reduzir a necessidade de implantar e manter múltiplos modelos especializados, o TGPNet simplifica os pipelines de processamento de dados de sensoriamento remoto.
• Adaptabilidade: A capacidade de lidar com cenários complexos e compostos do mundo real (onde múltiplas degradações coexistem) torna a ferramenta altamente relevante para aplicações críticas como monitoramento ambiental e gestão de recursos.
• Futuro: Embora o modelo atualmente dependa de prompts explícitos (restauração não cega), o trabalho estabelece as bases para futuras pesquisas em restauração unificada cega e adaptadores específicos de modalidade para resolver conflitos de otimização entre domínios físicos distintos.

Em resumo, o TGPNet demonstra que é possível unificar tarefas de restauração complexas e heterogêneas em sensoriamento remoto através de mecanismos de prompting inteligentes, superando modelos especializados e oferecendo uma solução robusta para a comunidade.