GeoSAM-Lite: A Lightweight Foundation Model for Onboard Remote Sensing Segmentation

Resumo Técnico do GeoSAM-Lite: Um Modelo de Fundação Leve para Segmentação de Sensoriamento Remoto Embarcado

Declaração do Problema
A implantação de modelos de fundação de grande escala, como o Segment Anything Model (SAM), em plataformas de observação da Terra com recursos limitados (ex: satélites e UAVs), é atualmente dificultada por dois desafios principais. Primeiro, o custo computacional de codificadores de imagem pesados (ex: ViT-H com mais de 600 milhões de parâmetros) é proibitivo para o processamento embarcado. Segundo, as adaptações leves existentes do SAM sofrem de um "desvio de domínio" significativo porque destilam conhecimento de professores treinados em imagens naturais, carecendo de priors geoespaciais essenciais. Além disso, a redução agressiva de parâmetros em modelos leves genéricos frequentemente induz um efeito de "filtragem passa-baixa", levando à atenuação de detalhes de alta frequência e bordas borradas — um modo de falha crítico para tarefas de sensoriamento remoto de grão fino, como a detecção de nuvens, que envolvem variações extremas de escala e bordas complexas.

Metodologia
Os autores propõem o GeoSAM-Lite, um framework de segmentação leve e livre de prompts, projetado para reconciliar a fidelidade da segmentação com a eficiência embarcada. A arquitetura emprega um paradigma desacoplado de dois estágios:

1. Estágio I: Inicialização de Domínio Geoespacial (Geo-Init):
   Em vez de destilar de um modelo de visão de propósito geral, o GeoSAM-Lite utiliza um Professor Especialista em Domínio (RSAM-Seg com um backbone ViT-L) pré-treinado em conjuntos de dados de sensoriamento remoto de grande escala. O modelo aluno (um ViT-S leve) passa por uma estratégia de pré-treinamento envolvendo:

   • Modelagem de Imagem Mascarada (MIM): O aluno aprende a reconstruir o contexto holístico de patches de imagem mascarados (razão de mascaramento de 75%), forçando a abstração de características para cenas geoespaciais.
   • Destilação de Conhecimento Guiada pelo Professor: O aluno alinha suas representações de visão parcial com o espaço de características de visão total do professor especialista congelado, garantindo a transferência de semântica geoespacial específica do domínio.

2. Estágio II: Ajuste Fino Específico de Tarefa com Camadas de Fusão de Características (FFL):
   Para compensar os gargalos de capacidade do backbone leve, o codificador pré-treinado é aumentado com dois módulos especializados antes de ser ajustado para tarefas específicas de downstream com um decodificador convolucional leve:

   • FFL-S (Recalibração Espacial): Incorporado dentro dos blocos ViT, este módulo utiliza uma estrutura de gargalo residual para recalibrar dinamicamente as características com base na significância global, lidando com alvos de amplas escalas espaciais.
   • FFL-F (Injeção de Alta Frequência): Este módulo aborda explicitamente o efeito de "filtragem passa-baixa". Ele converte as características de entrada para o domínio da frequência via Transformada Rápida de Fourier (FFT), aplica um filtro passa-alta para isolar componentes de alta frequência (HFC) ricos em informações de borda, e reconstrói essas informações via FFT Inversa. Esses sinais são injetados de volta no codificador para restaurar bordas de segmentação nítidas.

Principais Contribuições

1. Framework GeoSAM-Lite: Um framework leve e livre de prompts que reduz os parâmetros em 92,8% em comparação ao modelo professor pesado (RSAM-Seg), mantendo uma precisão de segmentação competitiva.
2. Estratégia Geo-Init: Uma abordagem de pré-treinamento consciente do domínio que destila conhecimento específico de sensoriamento remoto de um professor especialista via alinhamento de características mascaradas, preenchendo efetivamente a lacuna de domínio entre imagens naturais e geoespaciais.
3. Camadas de Fusão de Características (FFL): Um design de módulo duplo integrando recalibração espacial (FFL-S) e reconstrução no domínio da frequência (FFL-F) para compensar explicitamente o viés espectral e o borrão de bordas inerentes a redes compactas.

Resultados Experimentais
O framework foi avaliado em conjuntos de dados representativos de sensoriamento remoto, com foco principal na detecção de nuvens (38-Cloud, CloudSEN12, SPARCS) para testar o desempenho sob variações extremas de escala e bordas complexas, e uma avaliação secundária em segmentação de terras agrícolas (Sentinel-2) para avaliar a generalização.

• Desempenho: No conjunto de dados CloudSEN12, o GeoSAM-Lite melhorou o índice Jaccard em aproximadamente 15% em relação a outros baselines leves (EfficientSAM, MobileSAM). Embora tenha mostrado uma leve queda de desempenho em comparação ao RSAM-Seg pesado, manteve alto Recall e Precisão, validando sua praticidade.
• Eficiência: Comparado ao RSAM-Seg (ViT-L), o GeoSAM-Lite (ViT-S) alcançou uma redução de 92,8% nos parâmetros e uma redução de 92,5% nos FLOPs. O consumo de recursos de hardware foi significativamente reduzido, com uma redução de 58,3% no uso de memória GPU e uma redução de 50% nos requisitos de RAM do sistema.
• Estudos de Ablação: A remoção do pré-treinamento Geo-Init causou uma queda significativa no desempenho em métricas chave, confirmando a necessidade de inicialização específica de domínio. Da mesma forma, a remoção do FFL-F levou à degradação da fidelidade das bordas, destacando seu papel crítico na preservação de detalhes de alta frequência.
• Generalização: O modelo demonstrou generalização robusta para cenários de terras agrícolas sem modificações arquiteturais, delineando efetivamente os limites de parcelas agrícolas.

Significância
O artigo afirma que o GeoSAM-Lite estabelece uma fronteira de Pareto superior entre eficiência e fidelidade, oferecendo uma solução prática para segmentação em tempo real em dispositivos de borda (edge devices). Ao desacoplar o aprendizado de representação em inicialização consciente do domínio e adaptação espaço-frequencial, o modelo herda com sucesso a semântica geoespacial enquanto recupera os detalhes de alta frequência perdidos. Esta abordagem aborda os desafios duplos do desvio de domínio e da degradação de características, permitindo a implantação de capacidades de modelos de fundação em ambientes de sensoriamento remoto embarcados com recursos restritos, onde as adaptações leves anteriores falharam em preservar detalhes críticos de borda.