Align and Segment: Unsupervised Learning for Building Segmentation From Misaligned Labels

Resumo Técnico: Alinhar e Segmentar (AnS)

Definição do Problema
O aprendizado supervisionado para segmentação de imagens normalmente requer conjuntos de imagens e rótulos espacialmente alinhados. No entanto, no sensoriamento remoto e em outros domínios, os rótulos frequentemente originam-se de fontes diferentes (ex: OpenStreetMap, dados de crowdsourcing) das imagens (ex: satélite ou drone), resultando em um desalinhamento espacial significativo. Este desalinhamento atua como uma forma de ruído de rótulo que pode deteriorar severamente o desempenho do modelo.

Um desafio crítico identificado neste trabalho é o desalinhamento sistemático (ruído enviesado), como erros de translação consistentes causados por ortorretificação errônea ou imprecisões de registro de terras. Redes de segmentação padrão possuem capacidade suficiente para simplesmente aprender esses rótulos desalinhados, "atalhando" o processo de aprendizado ao prever diretamente os rótulos ruidosos em vez de aprender a segmentação subjacente verdadeira. As abordagens existentes para este problema frequentemente assumem desalinhamentos pequenos e não enviesados ou exigem rótulos "golden" (limpos, de referência/ground-truth) para supervisão, que são escassos em muitos cenários do mundo real, particularmente em regiões carentes de dados de alta qualidade sobre edificações.

Metodologia: Alinhar e Segmentar (AnS)
Os autores propõem o Align and Segment (AnS), uma estrutura agnóstica ao modelo e não supervisionada que aprende simultaneamente o alinhamento de rótulos e a segmentação semântica sem exigir quaisquer rótulos "golden". A arquitetura consiste em dois componentes primários:

1. Rede de Segmentação (SNet): Uma rede de segmentação semântica canônica (ex: U-Net com codificador ConvNeXt) que mapeia imagens de entrada para máscaras de segmentação probabilísticas.
2. Rede de Transformação (TNet): Um módulo leve inspirado em Redes de Transformação Espacial (STN). Ela recebe a máscara de rótulo desalinhada e a máscara de segmentação prevista pela SNet como entrada para prever os parâmetros de uma transformação afim ($\hat{\theta}$). Esta transformação é aplicada ao rótulo desalinhado para produzir uma máscara realinhada ($I_{\hat{y}a}$).

Para evitar que a SNet aprenda os rótulos desalinhados diretamente (aprendizado de atalho) e para garantir que a TNet aprenda a transformação correta, os autores introduzem dois mecanismos fundamentais:

• Perda de Consistência ($L_{Con}$): Um termo de regularização autossupervisionado. O sistema aplica uma transformação aleatória conhecida ao rótulo desalinhado e a fornece à TNet. A TNet é penalizada se não conseguir prever o inverso desta transformação conhecida. Crucialmente, esta perda é independente da saída da SNet, forçando a TNet a aprender o alinhamento baseado na relação entre as duas máscaras de segmentação, em vez de depender das previsões potencialmente ruidosas da SNet.
• Aumento de Dados (Data Augmentation): Para neutralizar vieses sistemáticos (ex: um deslocamento constante de 50 pixels), os autores aplicam aumentos geométricos (giros, rotações) aos pares de imagem e rótulo desalinhado. Isso garante que, em expectativa, o viés de translação seja removido, impedindo que o modelo se instale em um ótimo local onde ele aprende o viés em vez do alinhamento verdadeiro.

O objetivo total de treinamento combina a perda de entropia cruzada padrão entre os rótulos realinhados e a previsão da SNet com a perda de consistência.

Principais Contribuições

1. Metodologia Inovadora: A proposta do AnS, uma abordagem plug-and-play que permite o aprendizado direto de rótulos desalinhados usando qualquer rede de segmentação semântica existente, sem a necessidade de rótulos "golden" ou de assumir transformações não enviesadas.
2. Estratégia de Desmembramento (Disentanglement): A demonstração de que a combinação de uma perda de auticonsistência com aumentos de dados específicos mitiga efetivamente o aprendizado de atalho, permitindo que a rede desmembre a correção de alinhamento da previsão de segmentação.
3. Validação Empírica: Experimentos extensos em conjuntos de dados sintéticos e do mundo real (Las Vegas, Paris, Khartoum, San Juan e um conjunto de dados multi-cidades ReBO) mostrando que o AnS generaliza através de diferentes cidades, densidades de edifícios e níveis de ruído (tanto aleatórios quanto sistemáticos).

Resultados

• Desempenho: Em conjuntos de dados sintéticos com viés sistemático ($D_{bias}$), o AnS superou significativamente os basais não supervisionados (Map Alignment, AutoCorrect, Spatial Correction) e alcançou resultados competitivos contra basais supervisionados (MapRepair, Alignment Correction Network) que tipicamente exigem rótulos limpos ou condições de treinamento específicas.
• Robustez: O método permaneceu robusto a magnitudes de desalinhamento de até 100 pixels em cenários de ruído aleatório e aproximadamente 70 pixels em cenários de viés sistemático.
• Estudos de Ablação: Experimentos confirmaram que tanto a perda de consistência quanto o aumento de dados são complementares; remover qualquer um deles levou à degradação do desempenho, particularmente em configurações de viés sistemático.
• Aplicação no Mundo Real: Ao ser aplicado a pegadas de edifícios do OpenStreetMap pareadas com imagens WorldView-3, o AnS corrigiu com sucesso os desalinhamentos. Embora as máscaras de segmentação resultantes tenham exibido certa borra (atribuída a erros inerentes de rótulo e à falta de uma perda de borda especializada), as transformações de alinhamento foram estimadas com precisão.

Significância
O artigo argumenta que o desalinhamento entre imagens independentes e dados de pegadas existentes (como OpenStreetMap ou Google Open Buildings) é um grande gargalo que impede a utilização em larga escala desses valiosos conjuntos de dados curados manualmente para treinar modelos de aprendizado profundo. Ao demonstrar que a segmentação de edifícios de alta qualidade e o alinhamento preciso de rótulos-imagem podem ser aprendidos simultaneamente sem rótulos "golden", o AnS oferece um caminho para gerar dados de pegadas de edifícios de alta qualidade e baixo custo com ampla cobertura. Isso é particularmente significativo para aplicações em planejamento urbano e avaliação de riscos em assentamentos informais, onde os dados curados são escassos. O trabalho estabelece que o aprendizado conjunto de alinhamento e segmentação não é apenas viável, mas essencial para aproveitar a vasta quantidade de dados geoespaciais existentes, embora desalinhados.