BuildMamba: A Visual State-Space Based Model for Multi-Task Building Segmentation and Height Estimation from Satellite Images

Resumo Técnico de "BuildMamba: Um Modelo Baseado em Espaço de Estados Visual para Segmentação de Edifícios Multi-tarefa e Estimativa de Altura a partir de Imagens de Satélite"

Declaração do Problema
A segmentação precisa de edifícios e a estimativa de altura a partir de imagens de satélite RGB de visão única são críticas para a análise urbana, incluindo planejamento, monitoramento de infraestrutura e avaliação de riscos. No entanto, essa tarefa é inerentemente mal-posta devido à geometria de imagem quase top-down, que obscurece estruturas 3D, e à dependência de pistas de aparência indiretas, como textura e sombras. Abordagens existentes, que frequentemente adaptam arquiteturas de profundidade monoculares, sofrem de várias limitações:

• Fraqueza Estrutural: Elas frequentemente dependem de correlações implícitas entre textura da imagem e altura, carecendo de compreensão estrutural explícita das formas dos edifícios.
• Artefatos: Problemas comuns incluem sangramento de limites, subestimação sistemática de estruturas de grande altura e sensibilidade a texturas de telhados homogêneas e mudanças de iluminação.
• Dependência de Dados Auxiliares: Muitos métodos robustos exigem modalidades auxiliares (por exemplo, SAR, LiDAR ou MDEs) ou supervisão auxiliar (por exemplo, máscaras de uso do solo) que frequentemente não estão disponíveis durante a inferência, limitando a escalabilidade em configurações apenas RGB.
• Compensações Computacionais: A modelagem global tradicional via Transformers incorre em complexidade computacional quadrática, enquanto CNNs lutam com dependências de longo alcance.

Metodologia: BuildMamba
Os autores propõem o BuildMamba, um framework unificado multi-tarefa projetado para realizar conjuntamente a segmentação de edifícios e a estimativa de altura usando apenas entrada RGB. A arquitetura é construída sobre um backbone de espaço de estados visual (VMamba) para equilibrar a modelagem de contexto global com eficiência computacional. O framework consiste em quatro componentes principais:

1. Backbone de Espaço de Estados Visual (VMamba):
   Em vez de mecanismos de atenção padrão, o modelo utiliza Modelos de Espaço de Estados Selecionados (S6) generalizados para dados visuais 2D. Isso emprega um Módulo de Varredura Cruzada (CSM) que desdobra patches de imagem em quatro sequências distintas que percorrem o mapa de características em direções diferentes. Isso permite que o modelo capture dependências globais de longo alcance com complexidade computacional linear ($O(N)$) enquanto preserva a localidade espacial, abordando os gargalos de eficiência dos Transformers.

2. Módulo de Atenção Mamba (MAM):
   Integrado na saída de cada estágio do codificador, o MAM recalibra dinamicamente a importância espacial. Ele processa características ao longo das dimensões de altura e largura via pooling médio adaptativo, gerando um mapa de atenção que enfatiza regiões informativas e suprime ruído. Isso aprimora a fusão de características locais e globais extraídas pelo codificador de dois caminhos.

3. S-MambaFPN Consciente de Espaço:
   Para abordar as limitações das Redes de Pirâmide de Características (FPN) padrão na propagação de dependências de longo alcance, os autores substituem o operador de refinamento por uma varredura de espaço de estados com portão. Este módulo combina um ramo Mamba de base com um ramo de varredura consciente de espaço que usa convoluções profundas (3×3 e 7×7) para capturar pistas locais e de médio alcance. As saídas são combinadas via multiplicação elemento a elemento, permitindo que a rede funda evidências espaciais com contexto de longo alcance em cada nível da pirâmide.

4. Refinamento de Altura Consciente de Máscara (MHR):
   Este módulo explora a assimetria entre segmentação e estimativa de altura, onde máscaras de segmentação frequentemente convergem mais rápido e fornecem limites estruturais mais confiáveis. O módulo MHR trata a máscara de segmentação como um prior de confiança consciente de estrutura. Ele recebe a previsão de altura bruta e a máscara de segmentação como entrada de dois canais, prevendo uma correção residual de altura. Uma função de atualização com portão modula esse residual com base na confiança da segmentação, suprimindo efetivamente artefatos de altura (ruído de granulação) em regiões de baixa textura e afiando limites sem colapsar a estimativa de altura em uma função trivial da máscara.

Função de Perda
O framework é treinado com uma função objetivo composta:

• Perda de Segmentação: Um híbrido de Entropia Cruzada, perda Dice (para lidar com desequilíbrio de classes) e um termo consciente de limites usando mapas de borda Laplacianos para impor consistência estrutural.
• Perda de Regressão: A perda Huber é usada para estimativa de altura para lidar com valores aberrantes e a distribuição de cauda longa das alturas dos edifícios, garantindo diferenciabilidade enquanto impede que valores extremos desestabilizem os gradientes.

Contribuições Principais
O artigo afirma as seguintes contribuições:

• Framework Unificado Apenas RGB: Um modelo multi-tarefa que acopla explicitamente segmentação e regressão de altura através de restrições estruturais, eliminando a necessidade de modalidades auxiliares como MDEs ou SAR.
• Módulos Arquiteturais Novos: A integração do Módulo de Atenção Mamba (MAM) e do S-MambaFPN Consciente de Espaço para aprimorar a interação de características global-local e a agregação multi-escala.
• Refinamento Consciente de Máscara: Um módulo específico que usa saídas de segmentação como priores de confiança para limpar artefatos de regressão e corrigir resíduos de altura.
• Estratégia Consciente de Limites: Uma estratégia de perda que enfatiza descontinuidades de altura ao longo das bordas dos edifícios para reduzir o alisamento de limites.

Resultados Experimentais
O BuildMamba foi avaliado em três benchmarks: DFC19, DFC23 e o desafiador conjunto de dados Huawei BHE (que apresenta ambientes urbanos diversos, rotulagem incorreta e dados ausentes).

• Desempenho de Segmentação: O BuildMamba alcançou pontuações IoU state-of-the-art de 0,90 no DFC19 e 0,93 no DFC23. No complexo conjunto de dados Huawei BHE, alcançou um IoU de 0,60, superando o segundo melhor modelo (UANet) em 7,0%.
• Desempenho de Estimativa de Altura: O modelo alcançou um RMSE de 1,06 m no DFC19 e 1,77 m no DFC23. No conjunto de dados Huawei BHE, alcançou um RMSE de 9,23 m e uma precisão $\delta_1$ de 0,806.
• Comparação: O modelo consistentemente superou baselines como UANet, FarSeg++, DSMNet e HTC-DC. Notavelmente, superou o melhor método anterior apenas RGB (HTC-DC) em aproximadamente 31,6% no RMSE no DFC23.
• Estudos de Ablação: Experimentos confirmaram que cada componente (backbone VMamba, MAM, S-MambaFPN e MHR) contribui incrementalmente para o desempenho. O backbone Mamba mostrou oferecer uma melhor compensação precisão-complexidade em comparação com backbones ResNet-101 e Swin-S.

Significado e Afirmações
Os autores posicionam o BuildMamba como uma solução para os desafios específicos da estimativa de altura baseada em satélite monoculares, particularmente a compensação entre contexto global e eficiência computacional. O artigo afirma que, ao aproveitar modelos de espaço de estados visuais, o BuildMamba estabelece um novo limite superior de desempenho para métodos apenas RGB. O significado reside em sua capacidade de fornecer previsões robustas e estruturalmente consistentes em cenários do mundo real diversos e fracamente rotulados sem depender de dados auxiliares, permitindo assim reconstrução urbana 3D escalável a partir de imagens de visão única. Os autores observam que este trabalho é uma versão significativamente expandida de seu framework preliminar anterior, oferecendo uma análise mais rigorosa de escalabilidade e robustez em múltiplos conjuntos de dados.