Finding Change in Satellite Archives from Text: How to Combine Before-and-After Images Efficiently

Resumo Técnico: Encontrando Mudanças em Arquivos de Satélite a partir de Texto

Definição do Problema
A observação da Terra (EO) operacional exige cada vez mais a capacidade de responder a consultas em linguagem natural, tais como "encontre os pares de imagens onde um novo edifício apareceu". Isso necessita da busca em arquivos de pares de imagens de satélite bi-temporais (antes e depois) e do ranqueamento destes com base no quão bem correspondem a uma descrição textual de uma mudança. Embora modelos de visão-linguagem como o CLIP possam incorporar imagens e texto em um espaço compartilhado, o desafio específico da recuperação de mudanças requer a fusão de duas visões temporais antes do emparelhamento com o texto. Em implementações realistas, o pesado codificador de visão é computado uma única vez por quadro durante a ingestão, mas o módulo de fusão deve ser executado no momento da consulta para cada par candidato formado pelo intervalo de tempo e região solicitados. Consequentemente, a velocidade e a pegada de memória deste módulo de fusão ditam amplamente o custo e a viabilidade da busca interativa, particularmente em plataformas com recursos limitados.

Metodologia
Os autores conduzem uma comparação controlada de oito arquiteturas de fusão projetadas para combinar características de imagens "antes" e "depois". O estudo utiliza um codificador CLIP ViT-B/16 fixo e congelado para extrair características de patches ($L=196$ patches, $D_{in}=768$), que são projetadas para uma largura de $D=320$ antes da fusão. Todos os modelos são treinados usando a mesma receita (AdamW, objetivo simétrico InfoNCE) ao longo de dez sementes aleatórias em dois benchmarks: LEVIR-CC (urbanização de alta resolução) e Dubai-CC (ladrilhos Landsat 7).

As arquiteturas avaliadas dividem-se em três famílias:

1. Baseadas em Atenção:
   • Transformer de Concatenação: Concatena características ao longo do eixo de canais ($L \times 2D$) e as processa com um Transformer padrão. Isso dobra a largura das características, quadruplicando o custo das camadas lineares e de feed-forward.
   • TFF (Text-ITSR): Aplica atenção cruzada entre as características de diferença e as características bi-temporais originais.
2. Modelos de Espaço de Estados (SSM/Mamba):
   • Mamba de Concatenação: Substitui o Transformer por blocos Mamba com largura $2D$.
   • Mamba de Gargalo (Bottleneck Mamba): Comprime as características para a largura $D$ antes dos blocos Mamba.
   • Mamba Intercalado: Intercala tokens temporais em uma única sequência de comprimento $2L$.
3. Compressão Aprendida:
   • Fusão de Gargalo Temporal (TBF): Aplica um padrão de "concatenação-então-redução". Um MLP projeta as características concatenadas de volta para a largura $D$ antes do mecanismo de autoatenção, reduzindo o custo quadrático das camadas de atenção enquanto preserva a interação global.
4. Baselines: Subtração simples elemento a elemento e uma fusão por MLP (mistura de canais sem interação de tokens).

Adicionalmente, os autores propõem uma cascata de recuperação de dois estágios livre de treinamento: um modelo de subtração barato seleciona os candidatos, seguido por uma etapa de re-ranqueamento usando um módulo baseado em atenção (TBF ou Transformer de Concatenação) nos top-$N$ pares.

Resultos Principais

• Compromisso Eficiência vs. Precisão: A Fusão de Gargalo Temporal (TBF) emerge como o ponto de operação mais favorável. Ela reduz os parâmetros em 2,3$\times$ e a latência em 1,6$\times$ em comparação com o Transformer de Concatenação completo, com uma queda negligenciável no score BLEU-1 de mudança única (diferença de 0,007).
• Desempenho do Mamba: Contrariamente às expectativas teóricas de complexidade de tempo linear, as variantes Mamba não ofereceram benefícios de velocidade de tempo real (wall-clock) para comprimentos de sequência padrão de vision transformer ($L=196$). O escaneamento seletivo é limitado pela largura de banda da memória e é sequencial, enquanto os mapas de atenção mapeiam eficientemente para núcleos de tensor paralelos. O Mamba só se torna mais rápido que a atenção em comprimentos de sequência superiores a $L \approx 400$.
• Recuperação em Cascata: A busca proposta de dois estágios (Subtração $\to$ TBF) alcança uma redução de 10–15$\times$ no custo de consulta no LEVIR-CC, enquanto iguala ou excede o recall das bases de fusão total. No dataset menor Dubai-CC, alcançou recall comparável com aproximadamente 2,6$\times$ menos custo.
• Robustez: O ranking relativo de desempenho dos módulos de fusão permaneceu consistente quando testado com backbones congelados alternativos (GeoRSCLIP e SigLIP 2), confirmando que as descobertas não são específicas da arquitetura CLIP.

Significância e Alegações
O artigo afirma fornecer a primeira comparação controlada e estatisticamente fundamentada de fusão baseada em atenção, gargalo e SSM para recuperação de mudanças baseada em texto. Suas principais contribuições são:

1. Eficiência Prática: Demonstrar que uma estratégia simples de compressão (TBF) oferece um equilíbrio superior entre eficiência e qualidade para tamanhos padrão de ladrilhos de satélite, reduzindo a carga computacional sem perda significativa de precisão.
2. Checagem de Realidade de Hardware: Destacar que as vantagens de complexidade teórica dos SSMs (como o Mamba) não se traduzem em benefícios de latência em comprimentos de sequência de visão típicos devido aos gargalos de memória de hardware.
3. Estratégia de Implementação: Validar que uma cascata de recuperação de dois estágios, livre de treinamento, pode reduzir drasticamente o custo de busca em grandes arquivos mantendo um alto recall, tornando a recuperação de mudanças baseada em texto interativa mais viável para sistemas operacionais.

Os autores concluem que, para contagens de patches padrão, a atenção otimizada (especificamente com compressão de gargalo) deve permanecer o padrão, e que a fusão não precisa ser computada para cada par candidato em um arquivo.