Heterogeneous SAR-optical fusion for near-real-time land use and land cover mapping under cloud contamination: A novel framework and global benchmark dataset

Resumo Técnico: Fusão Heterogênea SAR–Óptica para Mapeamento de LULC em Tempo Quase Real sob Contaminação de Nuvens

Definição do Problema
O sensoriamento remoto óptico é a principal fonte de dados para o mapeamento de Uso e Cobertura da Terra (LULC) devido às suas ricas informações espectrais e texturais. No entanto, sua confiabilidade é severamente comprometida pela contaminação por nuvens e sombras de nuvens, particularmente em regiões tropicais, de monções e de altas latitudes. Essa limitação dificulta o mapeamento em tempo quase real ou de data-alvo, onde os mapas devem refletir o estado atual da superfície em vez de compostos temporais atrasados. As soluções existentes enfrentam desafios significativos: a fusão temporal homogênea depende de observações ópticas livres de nuvens suficientes, que podem não estar disponíveis em áreas persistentemente nubladas; métodos de reconstrução prévia heterogêneos (usando SAR para restaurar imagens ópticas) frequentemente otimizam para a reconstrução ao nível de pixel em vez de classificação semântica, levando à perda de informações discriminativas de classe; além disso, os métodos de fusão heterogênea de ponta a ponta existentes frequentemente assumem entradas ópticas confiáveis, falhando em abordar adequadamente a incerteza espacialmente variável introduzida pelas nuvens. Por fim, há uma carência de conjuntos de dados de referência padronizados e de larga escala especificamente projetados para o mapeamento de LULC SAR–óptico contaminado por nuvens.

Metodologia: CloudLULC-Net
Para enfrentar esses desafios, os autores propõem a CloudLULC-Net, um framework de fusão heterogênea SAR–óptica de ponta a ponta. Diferente das abordagens de reconstrução prévia, esta rede prevê diretamente mapas de LULC a partir de imagens ópticas Sentinel-2 contaminadas por nuvens e observações de Sentinel-1 SAR temporalmente adjacentes. A arquitetura consiste em quatro estágios primários:

1. Codificação de Características Específicas de Modalidade: Codificadores de dois ramos extraem características das entradas ópticas ($X_o$) e SAR ($X_s$), preservando suas distintas características físicas (espectral vs. estrutural/retroespalhamento).
2. Modulação de Confiabilidade Óptica (ORM): Antes da fusão, um módulo ORM regula adaptativamente as respostas das características ópticas. Ele aprende um portão de confiabilidade latente a partir das próprias características ópticas para suprimir respostas não confiáveis em regiões afetadas por nuvens, enquanto retém pistas espectrais úteis em áreas limpas. Isso é alcançado via um ramo contextual residual que fornece representações alternativas quando a resposta óptica original é considerada não confiável.
3. Agregação Adaptativa de Informação Heterogênea (HIAA): Este módulo modela interações espaciais–canais de alta ordem entre as características ópticas conscientes de confiabilidade e as características SAR. Ele emprega um empilhamento de blocos, cada um contendo:
   • Interação Espacial de Alta Ordem (SHOI): Utiliza modelagem de correlação assistida por Transformada de Fourier para capturar eficientemente dependências espaciais cross-modais de longo alcance sem a complexidade quadrática da atenção padrão.
   • Interação de Canal de Alta Ordem (CHOI): Recalibra as respostas espectrais–estruturais por canal com base nas características espacialmente interagidas, ponderando adaptativamente os canais informativos.
4. Transformer de Mapeamento Semântico Unificado (USMT): Em vez de reconstruir imagens, os tokens fundidos são transformados em um espaço latente semântico de LULC orientado à tarefa usando uma arquitetura do tipo Diffusion Transformer (DiT). Isso organiza as características heterogêneas em um espaço semântico unificado alinhado com as categorias de cobertura da terra.
5. Otimização Guiada por Âncora Semântica: Durante o treinamento, a representação latente semântica intermediária é regularizada usando uma âncora semântica derivada de rótulos. Esta estratégia alinha as características fundidas SAR–ópticas com a estrutura semântica da verdade de campo (ground-truth), melhorando a consistência e a robustez além da perda de classificação padrão por pixel.

Conjunto de Dados de Referência: CloudLULC-Set
O estudo introduz o CloudLULC-Set, um conjunto de dados de referência de larga escala composto por 40.223 tripletos curados de imagens Sentinel-2 contaminadas por nuvens, imagens Sentinel-1 SAR temporalmente adjacentes e anotações de LULC ao nível de pixel.

• Escopo: Abrange 48 regiões de interesse (ROIs) globalmente, abrangendo diversos climas e tipos de cobertura da terra.
• Anotação: Os rótulos são gerados via interpretação de especialistas usando imagens ópticas livres de nuvens temporalmente adjacentes como referências primárias, garantindo consistência temporal com a data alvo, em vez de depender de produtos anuais de cobertura da terra.
• Classes: Seis categorias unificadas: Água, Floresta, Pastagem, Cultivo, Solo Nu e Área Construída.
• Condições: Inclui variabilidade significativa de cobertura de nuvens, com médias mensais frequentemente superiores a 40% em áreas de estudo representativas.

Resultados Experimentais
Experimentos extensivos no CloudLULC-Set demonstram que a CloudLULC-Net supera tanto os baselines de reconstrução prévia heterogênea quanto os de mapeamento de ponta a ponta:

• Desempenho: Alcança uma Acurácia Global (OA) de 86,60%, um F1-score de 83,29% e uma mIoU média de 73,51%. Isso representa uma melhoria significativa sobre o baseline mais forte (SegCR), que alcançou 85,66% de OA e 72,73% de mIoU.
• Eficiência: O modelo mantém alta eficiência computacional com velocidade de inferência de 42,27 FPS e 20,51 G FLOPs, superando muitos baselines complexos em velocidade enquanto reduz o custo computacional.
• Robustez: O desempenho permanece superior através de níveis variados de cobertura de nuvens (0–100%). Embora todos os métodos degradem com o aumento da cobertura de nuvens, a CloudLULC-Net exibe um declínio mais lento, particularmente na faixa de 40–80% de cobertura de nuvens.
• Estudos de Ablação: Confirmam que cada componente contribui significativamente. O módulo HIAA (especificamente a combinação de SHOI e CHOI) fornece o maior ganho de desempenho, seguido pela otimização guiada por âncora semântica e pelo ORM.
• Validação Externa: Quando comparada com produtos globais de LULC existentes (ex: ESA WorldCover, Esri Land Cover, Google Dynamic World) em Maryland (EUA) e Tamil Nadu (Índia), a CloudLULC-Net alcançou maior precisão, particularmente em áreas construídas e agrícolas fragmentadas sob forte cobertura de nuvens, onde produtos puramente ópticos falharam ou estavam incompletos.

Significância e Alegações
O artigo alega que a CloudLULC-Net oferece uma solução robusta para o mapeamento de LULC de data-alvo em regiões propensas a nuvens, abordando uma lacuna crítica onde os produtos globais existentes dependem de compostos anuais ou falham devido à obstrução de nuvens. Ao fundir diretamente dados ópticos contaminados por nuvens com observações SAR de maneira ponta a ponta, o framework evita a degradação semântica associada à reconstrução de imagem intermediária. Os autores enfatem que o framework proposto permite a análise sazonal detalhada (ex: monitoramento hidrológico na Bacia do Lago Poyang) onde esperar por dados ópticos livres de nuvens não é viável. A introdução do CloudLULC-Set fornece um protocolo de avaliação padronizado para pesquisas futuras neste domínio específico, indo além da fusão multimodal geral para abordar os desafios específicos da incerteza semântica induzida por nuvens. O trabalho demonstra que integrar pistas estruturais de SAR com modulação óptica consciente de confiabilidade pode efetivamente preencher a lacavra entre observações ópticas degradadas e classificação de cobertura da terra precisa.