GeoFormer: A Lightweight Swin Transformer for Joint Building Height and Footprint Estimation from Sentinel Imagery

O artigo apresenta o GeoFormer, um modelo leve baseado em Swin Transformer que utiliza dados de satélite Sentinel e DEM para estimar com precisão a altura e a área de edifícios em escala global, superando as redes neurais convolucionais tradicionais e demonstrando forte capacidade de generalização entre continentes.

O essencial

Imagine que você quer entender a "personalidade" de uma cidade inteira, mas não tem acesso a um mapa 3D detalhado ou a uma lista de endereços com altura de cada prédio. Você só tem fotos de satélite (algumas que mostram cores, outras que "enxergam" através de nuvens e à noite) e um mapa de relevo do terreno.

É exatamente esse o desafio que o GeoFormer resolve.

Aqui está uma explicação simples, usando analogias do dia a dia, sobre o que os pesquisadores fizeram:

1. O Problema: "Cidades que não conhecemos"

Muitas cidades no mundo, especialmente em países em desenvolvimento, não têm dados precisos sobre a altura dos prédios ou o tamanho de suas bases (o "pé" do prédio). Isso é crucial para prever enchentes, planejar onde colocar hospitais ou entender como o calor se comporta na cidade.

Os métodos antigos eram como tentar adivinhar a altura de um prédio olhando apenas uma foto pequena e borrada. Eles eram caros, precisavam de dados secretos (que não são gratuitos) ou falhavam quando tentavam funcionar em cidades muito diferentes das que foram usadas para treiná-los.

2. A Solução: O "GeoFormer" (O Detetive Inteligente)

Os autores criaram um modelo de Inteligência Artificial chamado GeoFormer. Pense nele como um detetive superinteligente que aprendeu a ler "pistas" em imagens de satélite para reconstruir a cidade em 3D.

• O que ele usa? Ele não precisa de dados caros. Ele usa apenas o que é gratuito e disponível para todos: imagens do satélite Sentinel (que tiram fotos de dia e de noite) e mapas de altitude do terreno.
• A "Lente" Mágica: Em vez de olhar para um único prédio de cada vez (o que é difícil porque as fotos têm resolução limitada), o GeoFormer olha para um quarteirão inteiro (uma área de 100m x 100m). É como se ele não olhasse para uma única peça de Lego, mas para o bloco inteiro para entender o tamanho e a forma da construção.

3. A Grande Inovação: O "Cérebro" Leve e Eficiente

Aqui está a parte mais genial da tecnologia:

• O Modelo Antigo (CNNs): Imagine que os modelos antigos eram como um elefante. Eles eram pesados, lentos e precisavam de muita comida (dados e poder de computador) para aprender. Eles usavam "convoluções" (uma técnica matemática) que olhavam para a imagem de forma muito rígida.
• O GeoFormer (Swin Transformer): O GeoFormer é como um falcão. Ele é leve, rápido e usa uma técnica chamada "atenção local". Em vez de tentar ver tudo de uma vez ou focar apenas em um ponto, ele olha para janelas ao redor, entendendo como os prédios vizinhos se relacionam.
  • Resultado: O GeoFormer é 35 vezes mais leve que os modelos antigos (usa menos "memória" do computador) e ainda é mais preciso. Ele erra menos na altura dos prédios.

4. O Treinamento: Evitando "Vazamento de Dados"

Um dos maiores problemas em inteligência artificial é o "cola" (ou vazamento de dados). Imagine que você estuda para uma prova e o professor deixa você ver as respostas da prova antes de começar. Você tira 10, mas não aprendeu nada de verdade.

Muitos estudos anteriores faziam isso sem querer: misturavam pedaços da cidade de treino com pedaços da cidade de teste.

• A Estratégia GeoFormer: Eles dividiram as cidades em "fatias de pizza" (setores radiais). O modelo aprendeu com uma fatia e foi testado em fatias completamente diferentes e distantes. Isso garante que o modelo realmente aprendeu a "linguagem" das cidades, e não apenas decorou mapas específicos.

5. O Que Eles Descobriram? (As Lições)

Ao testar o modelo em 54 cidades diferentes ao redor do mundo (de Nova York a Seul), eles descobriram três coisas importantes:

1. O Terreno é Essencial: Para saber a altura de um prédio, você precisa saber a altura do chão. Se você tirar o mapa de relevo (DEM) da equação, o modelo fica "cego" para a altura. É como tentar adivinhar a altura de uma pessoa sem saber se ela está no chão ou no topo de uma escada.
2. Cores Importam Mais que "Radar": As imagens coloridas (ópticas) são a principal pista para saber o tamanho da base do prédio. O radar (que vê através de nuvens) ajuda, mas as cores dizem a maior parte da história.
3. O Tamanho Certo da Janela: Olhar para um quarteirão de 500 metros (5x5 blocos) foi o ponto ideal. Olhar para áreas maiores (900m) confundiu o modelo, e olhar para áreas menores não deu contexto suficiente.

6. O Teste de Fogo: O Terremoto

Para provar que o modelo é robusto, eles o aplicaram em uma cidade na Turquia (Kahramanmaraş) que sofreu um terremoto devastador em 2023.

• O Milagre: O modelo nunca viu essa cidade antes e não foi re-treinado para desastres.
• O Resultado: Mesmo assim, ao comparar as imagens de antes e depois do terremoto, o GeoFormer conseguiu "perceber" que os prédios tinham caído. A área coberta por prédios diminuiu e a altura média estimada caiu drasticamente, exatamente onde os prédios desabaram. Isso mostra que a IA aprendeu a estrutura da cidade de verdade, não apenas a memorizou.

Resumo Final

O GeoFormer é como um engenheiro civil virtual, barato e rápido, que pode olhar para qualquer lugar do mundo usando apenas fotos gratuitas de satélite e dizer: "Aqui, os prédios têm em média 10 metros de altura e ocupam 30% do terreno".

Isso é um passo gigante para ajudar governos e cientistas a entenderem nossas cidades, preverem desastres e planejarem o futuro, sem precisar gastar milhões com mapas 3D caros. E o melhor: o código e os mapas gerados por eles são gratuitos para todo mundo usar!

Resumo técnico

Resumo Técnico: GeoFormer

1. Problema e Contexto

A estimativa precisa de altura de edifícios (BH) e área de cobertura (footprint - BF) é fundamental para modelagem climática, avaliação de riscos de desastres e mapeamento populacional. No entanto, dados globais consistentes e de alta resolução são escassos, especialmente no Hemisfério Sul.

• Limitações das abordagens atuais: Métodos baseados em imagens de altíssima resolução (VHR) ou LiDAR aéreo são precisos, mas caros e de cobertura limitada. Modelos baseados em dados abertos (Sentinel) muitas vezes falham em generalizar para diferentes morfologias urbanas, dependem de dados auxiliares proprietários (como mapas de uso do solo ou cadastros) ou tratam BH e BF como tarefas isoladas, ignorando sua relação física.
• Desafio de Escala: Trabalhar em resolução de 10m (pixel original do Sentinel) gera ruído devido à mistura de pixels (edifícios, sombras, vegetação). A resolução de 100m é escolhida como o "ponto ideal" para produtos globais operacionais, alinhando-se com modelos climáticos e de energia urbana, enquanto permite o uso exclusivo de dados gratuitos (Sentinel-1, Sentinel-2 e DEM).

2. Metodologia

A. Dados e Pré-processamento

• Fontes de Dados: O modelo utiliza exclusivamente dados de acesso aberto:
  • Sentinel-1: Imagens SAR (VV e VH polarizações).
  • Sentinel-2: Imagens ópticas multiespectrais (B2, B3, B4, B8).
  • SRTM: Modelo Digital de Elevação (DEM).
• Rótulos de Referência: Utiliza o conjunto de dados SHAFTS, que fornece métricas de BH e BF agregadas em uma grade de 100m x 100m, derivadas de inventários de edifícios vetoriais.
• Estratégia de Divisão de Dados (GeoSplit): Para evitar vazamento de dados (data leakage) comum em amostragem aleatória quando se usam janelas de contexto, os autores propõem uma divisão geo-bloqueada. Cada cidade é dividida em 10 setores radiais, garantindo independência espacial estrita entre os conjuntos de treinamento, validação e teste.

B. Arquitetura do Modelo (GeoFormer)

• Base: Um Swin Transformer leve adaptado para aprendizado multi-tarefa.
• Entrada: Tensor unificado de 8 bandas (SAR, Óptico, DEM + máscara binária).
• Mecanismo: O modelo processa janelas de contexto (patches) de tamanhos variáveis (3x3, 5x5, 9x9) para capturar dependências espaciais locais e globais.
• Saída: Dois cabeçalhos de previsão independentes (MLPs leves):
  • Um para Altura (BH) (ativação ReLU).
  • Um para Footprint (BF) (ativação Sigmoid, restringindo entre 0 e 1).
• Função de Perda: Perda composta multi-tarefa baseada em incerteza, utilizando Adaptive Huber Loss para cada tarefa, ponderada por incertezas aprendíveis ($\sigma$).

3. Contribuições Principais

1. Desenvolvimento do GeoFormer: Um framework multi-tarefa compacto (apenas 0,32 milhões de parâmetros) que estima simultaneamente BH e BF em 100m de resolução, sem necessidade de dados proprietários.
2. Superioridade da Atenção Local: Demonstra que a atenção local em janelas (Swin Transformer) supera as abordagens convolucionais tradicionais (CNNs) para recuperação de parâmetros de edifícios em nível de cena, com 35x menos parâmetros que um ResNet-18.
3. Análise de Ablação Sistemática: Estabelece que:
   • Uma janela de contexto de 5x5 (500m) é ótima.
   • O DEM é indispensável para a estimativa de altura.
   • A reflectância multiespectral é o sinal preditivo dominante.
4. Reprodutibilidade Global: Todos os códigos, pesos do modelo e o produto global resultante foram liberados publicamente.

4. Resultados e Desempenho

Comparação com Baselines (CNNs):
O GeoFormer foi comparado com ResNet, UNet e SENet em 54 cidades diversas.

• Precisão (BH): GeoFormer (5x5) alcançou um RMSE de 3,19 m, superando a melhor CNN (UNet) em 7,5% (RMSE de 3,45 m).
• Eficiência: O modelo é extremamente leve (0,32M parâmetros vs. 11,19M do ResNet-18) e mantém tempos de inferência competitivos.
• Viés: O GeoFormer reduziu significativamente a subestimação sistemática de edifícios altos observada nas CNNs.

Análise de Ablação:

• Remoção do DEM: Aumentou o erro de altura (RMSE) em 15,0%, confirmando sua importância crítica para a dimensão vertical.
• Remoção do Óptico: Causou o maior colapso de desempenho (+37,9% no RMSE de BH), indicando que a reflectância multiespectral é a fonte primária de informação.
• Remoção do SAR: Causou uma degradação moderada, mas o modelo completo (SAR+Óptico+DEM) foi o melhor.

Generalização e Transferência:

• Teste em Suwon (Coreia do Sul): Modelo aplicado a uma cidade não vista no treinamento, alcançando RMSE de BH < 3,6 m, demonstrando robustez a mudanças morfológicas.
• Caso de Uso em Desastre (Kahramanmaraş, Turquia): Aplicação zero-shot (sem ajuste fino) após o terremoto de 2023. O modelo conseguiu detectar qualitativamente a redução na cobertura de edifícios e na altura média nas áreas afetadas, validando seu potencial para avaliação rápida de danos.

5. Significado e Impacto

O GeoFormer representa um avanço significativo na mapeamento urbano 3D global acessível.

• Acessibilidade: Elimina a barreira de entrada de dados caros, permitindo a geração de produtos globais consistentes usando apenas dados da ESA (Sentinel).
• Aplicações Práticas: Os dados gerados são diretamente utilizáveis por comunidades de modelagem climática (WUDAPT), avaliação de risco de inundações e terremotos, e estimativa populacional.
• Eficiência Computacional: A arquitetura leve permite a execução em escala global com custos computacionais viáveis, facilitando atualizações regulares.

Em suma, o trabalho prova que é possível obter alta precisão na estimativa de parâmetros urbanos 3D através de uma fusão inteligente de dados de satélite gratuitos e arquiteturas de Transformer modernas, superando as limitações das abordagens baseadas em CNNs e dados proprietários.