Multi-Modal Building Inspection via Perceiver IO Fusion of Satellite and Street-Level Imagery

Resumo Técnico: Inspeção de Edifícios Multimodal via Fusão Perceiver IO de Imagens de Satélite e de Nível de Rua

Declaração do Problema
Manter e segurar o ambiente construído em escala nacional exige conhecimento detalhado de atributos individuais dos edifícios, como materiais de telhado e elementos estruturais. Inspeções manuais tradicionais são custosas, lentas e geram emissões significativas de carbono. Embora o sensoriamento remoto ofereça uma alternativa escalável, confiar exclusivamente em imagens de satélite limita a análise a atributos visíveis de cima, perdendo detalhes críticos ao nível da fachada. Por outro lado, imagens de nível de rua fornecem vistas de perto de fachadas e materiais, mas sofrem com oclusão, cobertura variável e ângulos de câmera inconsistentes. O desafio central reside em fundir essas modalidades heterogêneas — imagens de satélite e de nível de rua — em uma estrutura unificada que possa lidar com números variáveis de entradas de nível de rua por edifício, isolar a estrutura-alvo de seus arredores sem perder pistas contextuais e prever conjuntamente atributos de telhado multirrótulo.

Metodologia
Os autores propõem uma estrutura de classificação multimodal centrada em uma arquitetura Perceiver IO operando em tokens de patch espacial derivados de uma espinha dorsal compartilhada DINOv2.

• Construção do Conjunto de Dados: Um conjunto de dados em grande escala foi construído, compreendendo 32.135 edifícios (61.672 segmentos de telhado) em dez países. Cada segmento é emparelhado com uma única imagem de satélite e um número variável de vistas de nível de rua (média de 4,54 por segmento, até 8 amostrados durante o treinamento). O conjunto de dados suporta duas tarefas multirrótulo: identificar seis elementos de telhado (por exemplo, painéis solares, mansardas) e sete materiais de telhado (por exemplo, ardósia, betume).
• Estratégias de Mascaramento: Para isolar o edifício-alvo, quatro estratégias foram avaliadas: (1) imagem completa, (2) recorte rígido (zerando o fundo), (3) recorte invertido (zerando o edifício) e (4) RGB-M, onde a máscara binária da pegada do edifício é anexada como um quarto canal de entrada. A estratégia RGB-M foi encontrada para fornecer um "priori espacial suave", permitindo que o modelo se concentre no edifício enquanto retém o contexto ambiental, superando o recorte rígido, que interrompe as estatísticas de patch pré-treinadas.
• Espinha Dorsal e Ajuste Fino: O estudo compara ResNet-50 e DINOv2-S. Os resultados indicam que o ajuste fino completo do DINOv2-S supera significativamente a sondagem linear e o ajuste fino parcial, sugerindo que a mudança de domínio de imagens naturais para imagens de edifícios aéreos/de nível de rua exige a atualização das camadas iniciais de características.
• Arquitetura de Fusão: Três estratégias de fusão foram comparadas:
  1. Concatenação: Mesclagem de vetores de características globais de imagens de satélite e vistas de nível de rua com média máxima.
  2. Transformador de Vetor de Características: Processamento de uma sequência de vetores globais com um codificador transformador.
  3. Perceiver IO: O método proposto processa tokens de patch espacial brutos de ambas as modalidades. Usa atenção cruzada para comprimir uma sequência de comprimento variável de tokens (de uma imagem de satélite e $N$ imagens de nível de rua) em uma representação latente de tamanho fixo. Isso preserva informações de patch de alta granularidade e lida naturalmente com contagens de entrada variáveis sem preenchimento ou truncamento.

Principais Resultados

• Mascaramento: A estratégia RGB-M produziu consistentemente o melhor desempenho em ambas as modalidades e espinais dorsais, alcançando 0,939 mAP para elementos de telhado e 0,729 para materiais de telhado em imagens de satélite com DINOv2-S.
• Desempenho de Fusão: O modelo de fusão Perceiver IO superou tanto as bases de concatenação quanto de Transformador de Vetor de Características. Embora a base apenas de satélite tenha mantido uma ligeira vantagem no mAP médio macro (devido a classes como claraboias e betume serem melhor vistas de cima), o modelo Perceiver IO entregou ganhos substanciais por classe para atributos visíveis da rua. Melhorias notáveis incluíram +11,3 AP para ardósia, +4,5 AP para vidro e +1,3 AP para mansardas.
• Sensibilidade da Arquitetura: O desempenho do Perceiver IO foi encontrado como mais sensível à dimensionalidade latente ($D_z$) do que ao número de vetores latentes ($N_z$). Uma configuração de $N_z=128$ e $D_z=512$ forneceu o melhor compromisso.
• Análise de Atenção: Visualizações Grad-CAM confirmaram que a estratégia RGB-M produz padrões de atenção equilibrados, focando no edifício enquanto utiliza o contexto de fronteira. Por outro lado, para classes como chaminés, a atenção às vezes foi difusa, sugerindo que o modelo pode recorrer a atalhos contextuais em vez de localização direta.

Significado e Alegações
O artigo estabelece uma arquitetura escalável e flexível para inspeção de edifícios multimodal capaz de acomodar entradas heterogêneas e múltiplas tarefas de saída. Os autores afirmam que seu trabalho difere da arte anterior ao fundir no nível de token espacial em vez do nível de vetor de características, preservando assim detalhes de alta granularidade. Além disso, o uso do Perceiver IO permite o tratamento natural de números variáveis de vistas de nível de rua sem degradação de desempenho.

O estudo conclui que a fusão multimodal é mais valiosa quando as modalidades fornecem vistas genuinamente complementares. Embora o modelo apenas de satélite permaneça superior para métricas médias macro devido à prevalência de classes visíveis de cima, a abordagem de fusão aprimora significativamente a detecção de atributos específicos de nível de rua. Os autores sugerem que trabalhos futuros poderiam envolver a codificação de metadados de câmera como embeddings geométricos, utilizar a arquitetura baseada em tokens para mascaramento ao nível de patch e expandir a estrutura para aprendizado multitarefa (segmentação e regressão).