Building Change Detection in Earthquake: A Multi-Scale Interaction Network and A Change Detection Dataset

Resumo Técnico: Detecção de Mudanças em Edificações em Terremotos: Uma Rede de Interação Multiescala e um Conjunto de Dados de Detecção de Mudanças

Definição do Problema
Terremotos causam colapsos massivos de edifícios e vítimas humanas, tornando necessária uma avaliação de danos rápida e confiável para operações de resgate de emergência. A detecção de mudanças (CD - Change Detection) usando imagens de sensoriamento remoto (RS) multi-temporais é uma ferramenta crítica para este propósito. Embora os métodos baseados em redes neurais profundas (DNN) tenham alcançado um desempenho impressionante em tarefas gerais de CD, eles enfrentam limitações significativas quando aplicados a cenários pós-terremoto com intervalos de imagem curtos. Especificamente, quando as imagens pós-evento são adquiridas pouco tempo após um desastre (por exemplo, dentro de dias), as variações nos ângulos de imagem entre as imagens pré e pós-evento levam a problemas de "visão lateral" (side-looking). Esses desalinhamentos geométricos, particularmente em áreas com edifícios de grande altura, causam desalinhamentos espaciais que degradam a precisão dos métodos de CD existentes. Além disso, a falta de conjuntos de dados especializados com intervalos de aquisição curtos dificulta o desenvolvimento e a avaliação de métodos adaptados para o socorro imediato pós-desastre.

Metodologia: MSI-Net
Para enfrentar esses desafios, os autores propõem uma Rede de Interação de Características Multiescala com Calibração de Deslocamento (MSI-Net - Multi-Scale Feature Interaction Network with Offset Calibration). A arquitetura é construída sobre um codificador siamês de compartilhamento de pesos (baseado em ResNet-18) para extrair características multiescala de imagens de RS bi-temporais. A rede integra três módulos inovadores:

1. Módulo de Atenção Conjunta Cruzada (JCA): Projetado para facilitar a interação suficiente entre as características bi-temporais em diferentes escalas. Ele compreende dois subblocos:

   • Atenção Cruzada de Canal (CCA): Melhora a troca de informações entre as imagens temporais calculando mapas de atenção cruzada-temporal, tornando as distribuições de características mais semelhantes.
   • Atenção Conjunta Espacial (SJA): Utiliza mecanismos de atenção cruzada e de autoatenção para explorar as distribuições de detalhes espaciais e capturar dependências de longo alcance. Ele concatena consultas (queries) de ambas as imagens temporais para alcançar simultaneamente a autoatenção e a atenção cruzada, modelando efetivamente as relações espaciais globais.
   • Nota: As características de baixo nível (shallow features), que contêm menos informação semântica, ignoram o módulo JCA e são enviadas diretamente para o módulo de calibração.

2. Módulo de Calibração de Deslocamento Multiescala (MOC): Este módulo visa especificamente o problema de desalinhamento de visão lateral (side-looking). Ele estima um campo de deslocamento (offset field) entre as características bi-temporais através da convolução e concatenação delas. Usando este campo de deslocamento, o módulo realiza o alinhamento adaptativo via interpolação bilinear para corrigir desalinhamentos espaciais causados por diferentes ângulos de imagem. Esta calibração mitiga o impacto negativo dos problemas de visão lateral na precisão da detecção de mudanças.

3. Módulo de Integração de Características (FeI): Este módulo funde as características calibradas do módulo MOC com as características multiescala do módulo JCA. Ele emprega um mecanismo de projeção para reduzir discrepâncias antes de concatenar as características para a predição final do mapa de mudança.

A rede é otimizada usando uma função de perda de entropia cruzada ponderada para lidar com o desequilíbrio de classes entre pixels alterados e não alterados.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Conjunto de Dados TUE-CD: Os autores construíram um novo conjunto de dados de Detecção de Mudanças, o conjunto de dados de Detecção de Mudanças do Terremoto na Turquia (TUE-CD), especificamente para avaliar danos em edifícios no curto prazo após um terremoto. Ele contém 1.656 pares de imagens de RS bi-temporais de 256×256 capturadas pelo satélite WorldView-2 dentro de 5 dias do terremoto de magnitude 7,8 ocorrido em 6 de fevereiro de 2023, na Turquia. O conjunto de dados inclui explicitamente amostras com desalinhamentos de visão lateral, fornecendo um referencial para avaliação de desastres de curto intervalo.
2. Arquitetura MSI-Net: A proposta de uma rede especificamente projetada para suprimir o impacto dos problemas de visão lateral através da integração dos módulos JCA, MOC e FeI, permitindo um melhor alinhamento das características de diferentes imagens de RS temporais.
3. Design de Módulo Inovador: O design do módulo JCA (combinando atenção conjunta espacial e atenção cruzada de canal) para interação de características suficiente e o módulo MOC para calibração espacial precisa de características bi-temporais para mitigar desalinhamentos espaciais.

Resultados Experimentais
Os autores realizaram experimentos extensivos em três conjuntos de dados: WHU-CD (mudanças de edifícios), CLCD (mudanças de terras cultiváveis) e o recém-construído TUE-CD. A MSI-Net foi comparada contra nove métodos de CD baseados em DNN de última geração (incluindo FC-EF, BIT, GAS-Net e HANet).

• WHU-CD: A MSI-Net alcançou o melhor desempenho em Precisão (96,66%), mF1 (95,58%), mIoU (91,81%) e Acurácia Global (99,27%).
• CLCD: A MSI-Net obteve as pontuações mais altas em Recall, mF1, mIoU e OA, superando o segundo melhor método (HANet) em 0,6% em mF1.
• TUE-CD: No desafiador cenário de terremoto com severos problemas de visão lateral, a MSI-Net alcançou o melhor mF1 (78,02%), mIoU (68,48%) e OA (96,16%). Demonstrou uma melhoria de 1,13% e 1,24% em mF1 e mIoU, respectivamente, sobre o segundo melhor método (AMTNet).
• Estudos de Ablação: Experimentos confirmaram que a remoção de qualquer um dos módulos JCA, MOC ou FeI levou à degradação do desempenho. Especificamente, a remoção do módulo MOC resultou em bordas borradas e regiões de mudança incompletas devido aos desalinhamentos de visão lateral não corrigidos, enquanto a remoção do JCA levou à estimativa incorreta de áreas irrelevantes.

Significância e Alegações
O artigo afirma que a MSI-Net fornece uma solução mais eficaz para a avaliação de danos em edifícios pós-terremoto em comparação com os métodos atuais de última geração, particularmente em cenários que envolvem intervalos de imagem curtos onde os desalinhamentos de visão lateral são prevalentes. Ao introduzir o conjunto de dados TUE-CD, os autores visam preencher a lacuna na disponibilidade de dados para resposta a desastres de curto prazo. A capacidade da rede proposta de interagir eficientemente com as características bi-temporais e calibrar deslocamentos espaciais permite gerar informações de borda mais completas e reduzir falsos positivos em cenários de desastres complexos. Os resultados sugerem que a MSI-Net é uma ferramenta robusta para esforços de socorro imediato após terremotos.