PolyBuild: An End-to-End Method for Polygonal Building Contour Extraction from High-Resolution Remote Sensing Images

Resumo Técnico: PolyBuild

Definição do Problema
A extração de contornos de polígonos de edifícios vetorizados a partir de imagens de sensoriamento remoto de alta resolução é crítica para mapeamento, modelagem urbana e reconstrução. No entanto, esta tarefa enfrenta desafios significativos devido às variadas condições de imagem, estruturas de edifícios complexas e obstruções como árvores e sombras. As abordagens convencionais geralmente dependem de segmentação semântica ao nível de pixel seguida de pós-processamento de vetorização. Esses métodos frequentemente produzem contornos grosseiros e irregulares, têm dificuldade com oclusões e falham em fornecer informações vetoriais diretas. Embora os métodos baseados em contornos ofereçam uma abordagem mais direta através da regressão de vértices de contorno, as soluções existentes sofrem de limitações: algumas utilizam contornos iniciais excessivamente simplistas (ex: caixas delimitadoras ou elipses) que estão distantes do alvo real, enquanto outras dependem de características limitadas de pontos centrais, o que leva ao acúmulo de erros à medida que a distância de regressão aumenta. Além disso, muitos métodos carecem da capacidade de capturar relações espaciais globais entre os vértices do contorno, resultando em deslocamentos de regressão imprecisos.

Metodologia
O artigo propõe o PolyBuild, um framework de ponta a ponta que extrai diretamente polígonos vetoriais de edifícios sem a necessidade de pós-processamento. A arquitetura consiste em dois módulos primários:

1. Módulo de Geração de Contorno Inicial (ICGM):

   • Em vez de depender de um único ponto central do edifício, o ICGM primeiro prevê uma caixa delimitadora (bbox) para cada instância de edifício e a divide em quatro sub-regiões (superior-esquerda, superior-direita, inferior-esquerda, inferior-direita).
   • Ele extrai características dos centros dessas quatro sub-regiões e as concatena.
   • Essas características acopladas são utilizadas para regredir um conjunto de deslocamentos de vértices. Os deslocamentos são somados aos respectivos centros das sub-regiões para gerar o contorno inicial.
   • Esta abordagem aproveita informações de edifícios mais ricas e reduz a distância de regressão em comparação com métodos de centro único, resultando em um contorno inicial mais estável e preciso.
   • O módulo utiliza um backbone DLA-34, uma cabeça de predição de centro (treinada com Focal Loss), uma cabeça de predição de parâmetros de bbox (treinada com Smooth L1 Loss) e uma cabeça de predição de deslocamentos.

2. Módulo de Otimização de Contorno (COM):

   • Os contornos iniciais gerados pelo ICGM são frequentemente grosseiros e requerem refinamento. O COM emprega uma arquitetura híbrida CNN-Transformer para otimizar iterativamente o contorno ao longo de três iterações.
   • Ajuste Grosseiro: Um ajuste global preliminar é realizado utilizando características concatenadas dos vértices do contorno e dos centros das sub-regiões.
   • Otimização Fina: O núcleo do COM utiliza um decodificador Transformer. Ele recebe características locais do contorno (extraídas via convolução circular) e informações de posição dos vértices como entrada. O mecanismo de autoatenção do Transformer permite que o modelo consulte vértices globais e estabeleça dependências entre vértices em diferentes posições, capturando relações espaciais tanto locais quanto globais.
   • Funções de Perda: As duas primeiras iterações de otimização são supervisionadas usando perda Smooth L1. A terceira iteração utiliza a Perda de Correspondência Dinâmica (DML), que alinha os vértices previstos com os pontos de borda mais próximos do solo e visa especificamente os vértices de canto para garantir a precisão topológica.

Principais Contribuições

• Framework de Ponta a Ponta: O PolyBuild permite a implementação paralela da detecção de edifícios e da extração de contornos, eliminando a necessidade de etapas separadas de pós-processamento.
• Nova Geração de Contorno Inicial: O artigo introduz o ICGM, que utiliza características acopladas de centros de sub-regiões em vez de um único ponto central. Esta estratégia fornece informações de contorno mais ricas e reduz significativamente a complexidade da otimização subsequente.
• Integração CNN-Transformer: O Módulo de Otimização de Contorno (COM) integra inovadoramente CNNs para extração de características locais e Transformers para modelagem de dependência global. Isso permite que a rede consulte e indexe automaticamente vértices associados, corrigindo erros de contorno de forma mais precisa do que métodos que dependem apenas de kernels de convolução fixos ou RNNs.
• Desempenho de Estado da Arte: Experimentos extensos demonstram que o PolyBuild supera os métodos baseados em máscara e baseados em contorno existentes em múltiplos conjuntos de dados.

Resultados Experimentais
Os autores avaliaram o PolyBuild em três conjuntos de dados: o dataset de edifícios aéreos WHU, o dataset de edifícios WHU-Mix (Vetor) e o dataset Crowd AI.

• Dataset WHU Aerial: O PolyBuild alcançou uma Precisão Média (AP) de 74,0% e um Recall Médio (AR) de 80,7%, superando o segundo melhor método baseado em contorno (Line2Poly, 73,8% AP) e superando significativamente métodos baseados em máscara como o Mask R-CNN (65,3% AP).
• Dataset WHU-Mix: No desafiador e diversificado dataset WHU-Mix, o PolyBuild alcançou 53,5 mAP e 62,2 mAR, superando o melhor método baseado em máscara por 0,6 AP e o melhor método baseado em contorno por 0,9 mAP. Manteve alta precisão no Test Set II (geograficamente distinto do treinamento), demonstrando forte generalização.
• Dataset Crowd AI: O PolyBuild alcançou 60,6% AP, superando outros métodos, incluindo o PolyMapper (55,7% AP).
• Estudos de Ablação: Os resultados confirmaram que a estratégia ICGM (concatenação de quatro características de sub-região) produz os contornos iniciais mais precisos. Além disso, a inclusão do módulo COM melhorou significativamente a precisão final do contorno, com o modelo completo apresentando um aumento de 2,0% em AP sobre o baseline.
• Eficiência: Apesar da arquitetura complexa, o PolyBuild possui uma contagem de parâmetros de apenas 30,3M e alcança uma velocidade de inferência de 30,46 FPS em imagens de 512×512 usando uma GPU RTX 2080 Ti.

Significância e Alegações
O artigo afirma que o PolyBuild aborda as limitações fundamentais dos atuais métodos de extração de edifícios ao fornecer uma solução direta de ponta a ponta para a geração de polígonos vetoriais. Ao se afastar da segmentação ao nível de pixel e da regressão de ponto único, o método alcança maior precisão e robustez, particularmente no tratamento de formas de edifícios complexas e oclusões. Os autores destacam que a integração das arquiteturas CNN e Transformer permite uma melhor compreensão das posições dos vértices e suas interdependências, levando a uma delineação de bordas de alta qualidade. O método é apresentado como um avanço significativo para aplicações de levantamento e mapeamento que exigem contornos de edifícios precisos ao nível de instância. Os autores reconhecem que, embora o PolyBuild seja robusto, seu desempenho ainda depende da etapa inicial de detecção de objetos, e trabalhos futuros podem explorar a integração de RNNs com Transformers para melhorar ainda mais a reconstrução de regiões fortemente ocluídas com topologias complexas.