Resumo Técnico: Modelo de Espaço de Estados de Fusão Guiado por Relação Axial para Segmentação de Imagens de Sensoriamento Óptico e de Elevação

Declaração do Problema

A segmentação semântica de imagens de sensoriamento remoto de alta resolução é crítica para tarefas de observação da Terra, como planejamento urbano e gestão de desastres. No entanto, confiar exclusivamente em imagens ópticas frequentemente produz resultados subótimos em cenas complexas devido à informação espectral e textural limitada. Embora os dados de elevação do Modelo de Superfície Digital (DSM) forneçam pistas geométricas e estruturais complementares, os métodos existentes de fusão multimodal enfrentam dois desafios principais:

1. Modelagem Multiescala Insuficiente: A maioria dos métodos baseados em Modelo de Espaço de Estados (SSM) opera em sequências de tokens de escala única, lutando para capturar simultaneamente detalhes locais de alta granularidade e dependências contextuais globais grosseiras inerentes aos objetos de sensoriamento remoto.
2. Fusão Cross-Modal Subótima: A relevância semântica entre características ópticas (espectro/textura) e de elevação (geométricas/estruturais) varia entre as categorias de objetos. Estratégias de fusão existentes frequentemente falham em modelar adaptativamente essas correlações cross-modais complexas e conscientes do contexto.

Metodologia: ARG-Mamba

Os autores propõem o ARG-Mamba (Fusão Guiada por Relação Axial Mamba), um framework codificador-decodificador de dois fluxos baseado em Modelos de Espaço de Estados (SSMs) projetado para segmentação semântica óptica-elevação. A arquitetura integra modelagem de dependência de longo alcance de complexidade linear com fusão cross-modal explícita.

1. Módulo de Espaço de Estados Multiescala (MS-SSM)

Para abordar a variação de escala, os autores introduzem o MS-SSM dentro dos Blocos de Espaço de Estados Visuais (VSSBs) do codificador.

• Mecanismo: O módulo divide os mapas de características de entrada em múltiplos sub-recursos ao longo da dimensão do canal, cada um processado em diferentes escalas espaciais (ex: $\{1, 2, 4, 8\}$).
• Varredura: Emprega uma Varredura Seletiva Multiescala (MS-SS2D) que realiza varredura bidirecional dentro de janelas não sobrepostas para cada escala. Isso restringe a distância de varredura para minimizar ruído enquanto captura estruturas locais.
• Fusão: Características de todas as escalas são concatenadas e processadas via projeção linear e convolução profunda (DConv) para fundir adaptativamente pistas multiescala e reconciliar redundâncias de canal. Isso permite que o modelo capture tanto detalhes locais quanto dependências globais com complexidade computacional linear.

2. Módulo de Fusão Guiado por Relação Axial (ARGFM)

Inserido entre as etapas correspondentes dos codificadores óptico e de elevação, o ARGFM facilita a interação cross-modal estruturada.

• Camada de Atenção de Relação Axial (ARAL): Em vez de calcular uma matriz de atenção 2D completa (que possui complexidade $O((HW)^2)$), a ARAL decompõe a matriz de relação densa entre tokens ópticos e de elevação em atenções axiais linha a linha e coluna a coluna. Isso reduz a complexidade para $O(HW(H+W))$ enquanto captura padrões de interação alinhados com estruturas de sensoriamento remoto em grade (ex: estradas, edifícios).
• SSM de Fusão (Fus-SSM): Os tokens conscientes de relação gerados pela ARAL atuam como moduladores para um bloco SSM de fusão. Este bloco concatena cruzadamente tokens de contexto local e tokens de relação, usando varredura seletiva para propagar informações e facilitar a interação profunda entre pistas espectrais e geométricas.
• Integração: As características refinadas são passadas através de atenção cruzada e projeções lineares para produzir representações fundidas para o decodificador, enquanto características específicas da modalidade continuam para a próxima etapa do codificador.

Contribuições Principais

O artigo delineia três contribuições primárias:

1. Framework ARG-Mamba: Um framework inovador que integra SSMs com fusão guiada por relação axial explícita para capturar eficientemente dependências de longo alcance em imagens de sensoriamento remoto de múltiplas fontes.
2. MS-SSM: Um módulo projetado para lidar com variações de escala em imagens de alta resolução, permitindo a modelagem conjunta de detalhes locais de alta granularidade e contexto global dentro de um framework unificado de complexidade linear.
3. ARGFM: Um mecanismo que modela explicitamente correlações cross-modais globais via decomposição axial, permitindo fusão eficiente e estruturada de características ópticas e de elevação heterogêneas.

Resultados Experimentais

Os autores avaliaram o ARG-Mamba em dois conjuntos de dados de referência: ISPRS Vaihingen (9 cm GSD) e ISPRS Potsdam (5 cm GSD), ambos contendo seis classes de cobertura do solo.

• Desempenho Quantitativo: O ARG-Mamba superou consistentemente seis métodos de última geração (incluindo PSTNet, FEANet, GMNet, CMNeXt, FTransUNet e MFNet) em todas as métricas (pontuação F1, Precisão Geral e mIoU).
  • Em Vaihingen, alcançou um mIoU de 83,72% (vs. 82,42% para o próximo melhor, MFNet).
  • Em Potsdam, alcançou um mIoU de 85,30% (vs. 85,10% para MFNet).
  • Melhorias notáveis foram observadas na detecção de objetos pequenos e complexos como "Carros" e "Vegetação Baixa".
• Análise Qualitativa: Resultados visuais mostraram que o ARG-Mamba produziu mapas de segmentação com limites de objetos mais claros e rotulagem de regiões mais consistente, particularmente na extração de edifícios e reconhecimento de objetos pequenos, com ruído de desordem reduzido em comparação com as bases CNN e Transformer.
• Eficiência Computacional: O modelo demonstrou eficiência favorável, exigindo significativamente menos parâmetros (77,1M) e FLOPs (56,4G) do que modelos híbridos pesados como MFNet (313,2M parâmetros) e FEANet (255,3M parâmetros), mantendo tempos de inferência mais rápidos (0,268s).

Significado e Alegações

O artigo alega que o ARG-Mamba oferece uma solução equilibrada para segmentação óptica-elevação ao abordar as limitações das abordagens multiescala e multimodais existentes. Ao aproveitar a complexidade linear dos SSMs e a eficiência estrutural da decomposição de relação axial, o framework alcança precisão de última geração sem os custos computacionais proibitivos associados a arquiteturas baseadas em Transformer ou híbridas pesadas. Os autores afirmam que sua abordagem é particularmente adequada para tarefas de sensoriamento remoto em grande escala onde tanto alta precisão quanto eficiência computacional são necessárias. O código é disponibilizado publicamente para apoiar pesquisas adicionais neste domínio.