Satellite to Street : Disaster Impact Estimator

Esta tese apresenta o "Satellite to Street: Disaster Impact Estimator", um framework de aprendizado profundo baseado em uma arquitetura U-Net modificada e uma função de perda ponderada que gera mapas de danos pixel a pixel precisos e objetivos a partir de imagens de satélite pré e pós-desastre, superando as limitações de métodos manuais e de modelos existentes na detecção de variações estruturais sutis e em conjuntos de dados desbalanceados.

O essencial

Imagine que um grande desastre natural, como um furacão ou um terremoto, acabou de acontecer. O mundo precisa saber rapidamente: "Onde os prédios caíram? Quem precisa de ajuda urgente?"

Antigamente, especialistas tinham que olhar para fotos de satélite, uma por uma, com seus próprios olhos. Era como tentar achar uma agulha num palheiro, mas o palheiro era gigante e as agulhas eram prédios destruídos. Era lento, cansativo e dependia muito do humor de quem estava olhando.

Os autores deste projeto, quatro estudantes de engenharia da Índia, criaram uma solução inteligente chamada "Satélite para Rua: Estimador de Impacto de Desastres". Vamos explicar como funciona usando analogias do dia a dia:

1. O Detetive de "Antes e Depois"

Pense no sistema deles como um detetive superpoderoso que tem duas fotos na mão:

• Foto A: Como a cidade estava antes do desastre (tudo intacto).
• Foto B: Como a cidade está depois do desastre (com destruição).

Em vez de apenas olhar para a Foto B, o sistema compara as duas lado a lado. É como se você tirasse uma foto da sua sala antes de uma festa e outra depois. O sistema olha para as duas e diz: "Ei, aqui o sofá virou de ponta-cabeça e aqui o teto sumiu!".

2. O "Cérebro" que Aprende a Ver Detalhes (A Rede Neural)

O coração do sistema é uma inteligência artificial chamada U-Net. Imagine que essa IA é um pintor muito talentoso que recebe as duas fotos e começa a pintar um mapa de cores sobre a cidade.

• O Problema: A maioria dos sistemas antigos só sabia dizer "Prédio destruído" ou "Prédio inteiro". Era como um semáforo que só tinha vermelho e verde.
• A Solução: Este sistema é mais fino. Ele usa uma paleta de cores para dizer:
  • 🟢 Verde: Nada aconteceu.
  • 🟡 Amarelo: Um telhado levemente danificado (precisa de reparo rápido).
  • 🟠 Laranja: Danos graves (o prédio está inseguro).
  • 🔴 Vermelho: Destruição total (o prédio virou escombros).

Isso é crucial porque ajuda os bombeiros a saberem: "Não vamos gastar tempo consertando aquele telhado amarelo agora; vamos primeiro salvar as pessoas no prédio vermelho!".

3. Lidando com o "Deserto de Dados"

Um grande problema na inteligência artificial é que, na natureza, a maioria dos prédios não é destruída. É como tentar ensinar um cachorro a reconhecer um leão, mas você só mostra fotos de gatos. O cachorro fica confuso.

Os autores criaram um truque matemático (chamado de "função de perda ponderada") que diz para o cérebro da IA: "Ei, preste MUITA atenção nos prédios destruídos, porque eles são raros, mas são os mais importantes!". Isso garante que o sistema não ignore os escombros só porque eles são poucos comparados aos prédios inteiros.

4. O Resultado: Um Mapa de "Raio-X" da Cidade

Quando o sistema termina de trabalhar, ele entrega um mapa colorido e detalhado.

• Para os socorristas: É como ter um mapa do tesouro, mas em vez de ouro, mostra onde estão as vítimas e os escombros.
• Para a velocidade: O que levaria dias para humanos analisarem, a máquina faz em minutos.
• Para a precisão: Ele não erra tanto quanto humanos, porque não fica cansado e não se distrai.

Por que isso é importante?

Imagine que você é o chefe de uma equipe de resgate. Você tem 100 prédios danificados. Sem esse sistema, você teria que enviar uma equipe para inspecionar cada um, gastando horas preciosas. Com o sistema, você olha para o mapa colorido e diz: "Vamos direto para a área vermelha e laranja primeiro".

Em resumo:
Este projeto é como dar superpoderes de visão para os socorristas. Ele pega fotos frias de satélite e as transforma em um guia de ação quente e rápido, ajudando a salvar vidas ao garantir que a ajuda certa chegue ao lugar certo, no momento certo. Eles não estão substituindo os humanos, mas estão dando a eles um "super-olho" para trabalhar melhor e mais rápido.

Resumo técnico

Título: Satellite to Street: Estimador de Impacto de Desastres

1. Problema Identificado

A avaliação precisa de danos pós-desastre é crucial para priorizar respostas de emergência e alocação de recursos. No entanto, as práticas atuais dependem fortemente da interpretação manual de imagens de satélite, um processo que é:

• Demorado e intensivo em mão de obra.
• Subjetivo e difícil de escalar em grandes áreas afetadas.
• Limitado pela incapacidade de detectar variações estruturais sutis.

Embora modelos de aprendizado profundo existentes para segmentação semântica e detecção de mudanças tenham melhorado a automação, eles enfrentam desafios significativos:

• Desequilíbrio de classes severo: Em conjuntos de dados reais, prédios não danificados dominam, fazendo com que os modelos ignorem estruturas danificadas.
• Classificação grosseira: A maioria dos modelos classifica danos apenas como "danificado" ou "não danificado", falhando em distinguir níveis de gravidade (leve, moderado, grave, destruído).
• Falta de contexto: Dificuldade em capturar padrões contextuais amplos e variações estruturais finas entre imagens pré e pós-desastre.

2. Metodologia

O sistema proposto, Satellite to Street, é um framework de aprendizado profundo projetado para gerar mapas de danos detalhados em nível de pixel. A metodologia divide-se em três componentes principais:

A. Preparação de Dados

• Dataset: Utilização do conjunto de dados xView2, que contém pares de imagens de satélite (pré e pós-desastre) e anotações em formato JSON.
• Pré-processamento:
  • Redimensionamento das imagens de alta resolução (1024x1024) para 256x256 pixels usando interpolação LANCZOS para preservar detalhes estruturais.
  • Normalização de intensidade de pixels para o intervalo [0, 1].
  • Conversão de anotações poligonais (JSON) em máscaras de segmentação de pixel único, mapeando categorias de dano para valores inteiros (0: sem dano, 1: dano menor, 2: dano maior, 3: destruído).
• Pipeline de Dados: Implementação de uma classe personalizada (DisasterDataset) no PyTorch para carregar pares de imagens e máscaras, aplicando aumentação de dados (rotação, espelhamento, ajuste de brilho).

B. Arquitetura do Modelo
O núcleo do sistema é uma arquitetura U-Net modificada de dupla entrada (Dual-Input):

• Entrada Múltipla: O modelo aceita 6 canais de entrada (3 canais RGB da imagem pré-desastre + 3 canais RGB da imagem pós-desastre), permitindo que a rede aprenda características sensíveis às mudanças ao analisar ambas simultaneamente.
• Codificador (Encoder): Utiliza blocos DoubleConv (duas convoluções 3x3 seguidas de BatchNorm e ReLU) com tamanhos de características [64, 128, 256, 512].
  • Inovação: O codificador emprega SE-ResNeXt50 (com mecanismos de atenção Squeeze-and-Excitation e convoluções agrupadas) para capturar melhor variações estruturais finas em comparação com um ResNet-50 padrão.
• Decodificador (Decoder): Espelha o codificador, utilizando ConvTranspose2d para upsampling e conexões de salto (skip connections) para fundir mapas de características do encoder, preservando detalhes espaciais (bordas, pequenos prédios).
• Função de Perda: Utilização de uma função de perda ponderada por classe (class-aware weighted loss) para mitigar o desequilíbrio de classes, dando mais peso às categorias de danos raros (maior destruição).

C. Avaliação e Métricas

• Métricas principais: Precisão de Pixel, Dice Score (por classe e média) e IoU (Interseção sobre União).
• Foco na avaliação por classe para garantir que categorias críticas (como "destruído") sejam detectadas com precisão.

3. Contribuições Principais

1. Segmentação Multiclasse de Alta Granularidade: Diferente de modelos binários, o sistema classifica danos em quatro níveis distintos (sem dano, menor, maior, destruído), fornecendo uma visão acionável para equipes de emergência.
2. Arquitetura de Fusão de Características Dupla: A integração de imagens pré e pós-desastre em uma única entrada de 6 canais, combinada com a atenção SE-ResNeXt, melhora a detecção de mudanças sutis e contextuais.
3. Tratamento de Desequilíbrio de Classes: A aplicação de pesos na função de perda permite que o modelo aprenda eficazmente a identificar estruturas destruídas, que são minoria nos dados.
4. Pipeline Completo: O projeto não é apenas um modelo teórico; inclui pré-processamento, treinamento, inferência e uma interface de visualização (web deployment) para uso prático.

4. Resultados

Os experimentos foram realizados no benchmark xBD com uma divisão 70-30 (treino-teste).

• Desempenho Geral: O modelo alcançou um IoU médio de 0,74 e um Dice Score médio de 0,81.
• Comparação de Arquiteturas: A versão com codificador SE-ResNeXt50 superou a versão com ResNet-50 padrão (IoU de 0,74 vs. 0,69), demonstrando a eficácia dos mecanismos de atenção na captura de mudanças estruturais.
• Detalhamento por Classe:
  • Sem Dano: Dice 0,89
  • Destruído: Dice 0,83
  • Dano Maior: Dice 0,72
  • Dano Menor: Dice 0,68
• Análise Qualitativa: O modelo conseguiu identificar danos sutis em nível de edifício (como deslocamento de telhados e fundações expostas) que modelos de linha de base (baselines) falharam em detectar. As máscaras geradas mostram uma forte correlação com as anotações de verdade absoluta (ground truth).

5. Significância e Impacto

O sistema Satellite to Street oferece uma solução escalável e objetiva para a avaliação de desastres, complementando (não substituindo) o julgamento de especialistas humanos.

• Tomada de Decisão Rápida: Ao fornecer mapas de danos coloridos e classificados por gravidade, o sistema permite que equipes de resposta priorizem áreas de "destruição total" e "dano maior" com maior velocidade.
• Resiliência: O sistema demonstra robustez a variações de qualidade de imagem e condições de iluminação, embora ainda enfrente desafios com oclusão por árvores ou sombras.
• Futuro: O trabalho abre caminho para a integração de imagens de drones (para visão de nível de rua), dados multiespectrais/SAR e modelos baseados em Transformers (como DeepLabv3+) para melhorar ainda mais a precisão em áreas urbanas densas.

Em resumo, o projeto valida que a combinação de imagens de satélite duplas, arquiteturas de atenção avançadas e estratégias de perda ponderada pode transformar a resposta a desastres, tornando-a mais rápida, precisa e baseada em dados.