Building Damage Detection using Satellite Images and Patch-Based Transformer Methods

Resumo Técnico: Detecção de Danos em Edificações utilizando Imagens de Satélite e Métodos de Transformer Baseados em Patches

Definição do Problema
A avaliação rápida de danos em edificações após desastres naturais é crítica para uma resposta pós-desastre eficaz. Embora as imagens de satélite ofereçam um método escalável para consciência situacional, o desenvolvimento de classificadores de danos confiáveis é dificultado por desafios significários de dados. Especificamente, os conjuntos de dados de satélite frequentemente sofrem com um desequilíbrio severo de classes (uma forte inclinação para rótulos de "sem danos") e ruído nos rótulos. Além disso, as distinções visuais entre as categorias de danos — particularmente entre "danos leves", "danos graves" e "destruído" — são frequentemente sutis. O conjunto de dados xBD, um benchmark padronizado para danos em nível de edificação através de diversas geografias, exemplifica essas questões, apresentando um campo de teste difícil para modelos de aprendizado de máquina.

Metodologia
O estudo avalia o desempenho de arquiteturas Vision Transformer (ViT) no conjunto de dados xBD, focando especificamente em DeiT-Tiny e DINOv2-small. A pesquisa emprega um pipeline de pré-processamento direcionado e inovador e estratégias específicas de ajuste fino (fine-tuning) para lidar com limitações de dados dentro de ambientes computacionais restritos (Google Colab Pro/Pro+).

• Pré-processamento Baseado em Patches: Para mitigar o ruído de fundo (ex: nuvens, estradas) e isolar características estruturais, os autores projetaram um pipeline personalizado. Este processo filtra as imagens para reter apenas aquelas que contêm edificações com rótulos de danos específicos. Em seguida, extrai patches aleatórios centrados nos centroides das edificações. Uma etapa crítica envolve o cálculo de uma "razão de vazio" (a proporção de pixels transparentes ou pretos); patches que excedem um limiar de 0,01 são recortados novamente para garantir que a edificação permaneça o foco principal. Isso reduz o tamanho do conjunto de dados em aproximadamente 50%, mas aumenta a densidade de sinal.
• Arquiteturas de Modelos:
  • DeiT-Tiny: Um modelo de 5 milhões de parâmetros pré-treinado no ImageNet, utilizando uma abordagem de destilação professor-aluno com um token [CLS] e um token de destilação distinto.
  • DINOv2-small: Um modelo de 22 milhões de parâmetros pré-treinado de forma autossupervisionada no conjunto de dados LVD-142M. Ele utiliza Unidades Lineares com Gate Swish (SwiGLUs) e um token [CLS], mas omite o token de destilação usado no DeiT.
• Estratégias de Treinamento: Os autores compararam duas abordagens de treinamento:
  1. Ajuste Fino End-to-End: Treinamento total do modelo com buscas de grade de hiperparâmetros (taxas de aprendizado, tamanhos de lote) limitadas por memória de GPU e tempo.
  2. Ajuste Fino de Cabeça Congelada (Frozen-Head): Apenas a cabeça do classificador foi treinada enquanto os pesos da espinha dorsal (backbone) permaneceram congelados, uma estratégia adotada para gerenciar custos computacionais.
• Avaliação: Os modelos foram avaliados usando acurácia, precisão, recall e pontuações F1 de média macro. Para mitigar os efeitos do desequilíbrio de classes durante a avaliação, o processo de teste foi repetido ao longo de cinco execuções independentes.

Principais Contribuições

1. Pipeline de Pré-processamento Direcionado: A introdução de um método baseado em patches que isola estruturas de edificações e minimiza o ruído de fundo, projetado especificamente para lidar com a natureza ruidosa e desequilibrada do conjunto de dados xBD.
2. Benchmarking de Transformers: Uma avaliação comparativa de DINOv2-small e DeiT para classificação de danos em edificações multiclasse, fornecendo evidência empírica de seu desempenho em dados de desastres altamente desequilibrados.
3. Otimização para Recursos Restritos: Uma análise de estratégias de ajuste fino (End-to-End vs. Frozen Head) especificamente adaptadas para ambientes com recursos computacionais limitados, como o Google Colab.

Resultos
O estudo descobriu que pequenas arquiteturas ViT, quando combinadas com o pré-processamento e métodos de treinamento propostos, alcançaram um desempenho competitivo contra baselines anteriores de Redes Neurais Convolucionais (CNN).

• Métricas de Desempenho: O modelo DeiT (End-to-End) alcançou o maior desempenho geral com uma acurácia de 0,782 e um F1 de média macro de 0,599. O modelo DINOv2 (End-to-End) seguiu com um F1 de 0,565.
• Comparação com Baselines:
  • Ambos os modelos de transformer superaram o baseline original de ResNet (Gupta et al., 2019), que reportou um F1 de 0,320.
  • O modelo DeiT (E2E) subperformou ligeiramente o baseline de poucos disparos (few-shot) (Koukouraki et al., 2021), que alcançou um F1 de 0,638, mas permaneceu competitivo.
  • Comparado ao método UNet Encoder + ResNet18 (Chen, 2020), os modelos de transformer mostraram métricas de média macro geral menores, mas demonstraram desempenho individual superior por classe para "Sem danos" (0,90 vs 0,88), "Danos graves" (0,73 vs 0,53) e "Destruído" (0,73 vs 0,55).
• Desafios Específicos de Classe: Os modelos tiveram dificuldades significativas com a classe "Danos leves" (F1 de 0,14), onde as pistas visuais são mais sutis. Por outro lado, o desempenho foi forte para as classes "Sem danos", "Danos graves" e "Destruído".

Significância e Alegações
O artigo afirma que pequenas arquiteturas ViT, quando pareadas com um pipeline de pré-processamento baseado em patches direcionado, podem lidar efetivamente com os dados ruidosos e desequilibrados típicos de cenários de resposta a desastres. Os autores sustentam que sua abordagem alcança pontuações F1 de média macro competitivas em relação aos baselines de CNN anteriores, melhorando particularmente a detecção de categorias de danos severos.

Os autores permanecem modestos em relação à classificação de "Danos leves", reconhecendo que as diferenças visuais sutis entre danos leves e ausência de danos continuam sendo um desafio. Eles sugerem que trabalhos futuros poderiam abordar isso através do reequilíbrio explícito do conjunto de dados (ex: reduzindo amostras de "sem danos" ou usando IA generativa para aumento de dados), modelando contextos de cena mais amplos em vez de apenas recortes de edifícios individuais, e potencialmente simplificando o espaço de rótulos para alinhar-se melhor com protocolos de triagem humana. O estudo conclui que esses passos poderiam estabelecer ainda mais os modelos baseados em transformer como benchmarks fortes para classificação de desastres confiável.