RS-OVC: Open-Vocabulary Counting for Remote-Sensing Data

Título: RS-OVC: Contagem de Vocabulário Aberto para Dados de Sensoriamento Remoto

1. O Problema

A contagem de objetos em imagens de sensoriamento remoto (RS) é fundamental para aplicações como planejamento urbano, monitoramento de desastres, rastreamento de vida selvagem e vigilância marítima. No entanto, os métodos existentes enfrentam duas limitações críticas:

• Restrição a Vocabulário Fechado (Closed-Set): A maioria dos modelos atuais é treinada para contar apenas um conjunto pré-definido e finito de classes de objetos. Contar novos tipos de objetos (não vistos durante o treinamento) exige anotação de dados custosa e retreinamento do modelo, o que inviabiliza o uso em cenários dinâmicos do mundo real.
• Falta de Diversidade de Dados: Os conjuntos de dados públicos de contagem em RS (como RSOC, NWPU-MOC) são limitados em número de categorias e diversidade de objetos, o que dificulta o treinamento de modelos robustos de "vocabulário aberto" (Open-Vocabulary).

O objetivo deste trabalho é preencher essa lacuna propondo o RS-OVC, o primeiro modelo de Contagem de Vocabulário Aberto (OVC) especificamente para imagens aéreas e de sensoriamento remoto, capaz de contar objetos inéditos baseando-se apenas em condicionamento textual e/ou visual.

2. Metodologia

O RS-OVC é construído sobre o framework CountGD (originário da visão computacional geral), mas com adaptações cruciais para lidar com as especificidades do sensoriamento remoto.

• Arquitetura Base (CountGD): O modelo utiliza um codificador de imagem (Swin Transformer), um codificador de texto (BERT) e um mecanismo de decodificação cruzada. Ele permite a contagem baseada em prompts de texto, exemplares visuais (caixas delimitadoras de exemplo) ou ambos.
• Injeção de Recursos de Sensoriamento Remoto (RS Feature Injection):
  • O desafio principal é que o fine-tuning direto do CountGD em dados de RS leva a desempenho subótimo devido à falta de diversidade nos dados de RS, causando "colapso de modo" e "esquecimento catastrófico".
  • Solução: Em vez de retreinar os codificadores principais, os autores propõem uma fusão de características. Eles utilizam um codificador pré-treinado em dados de RS (DINOv3) e o codificador Swin Transformer (pré-treinado em dados gerais de CV).
  • As características do Swin (visão geral) são usadas como Keys e Values, enquanto as características do DINO (visão específica de RS) são usadas como Queries em um mecanismo de atenção cruzada. Isso injeta conhecimento específico de RS no espaço de características sem descartar o conhecimento rico do modelo base.
• Codificadores Congelados: Durante o treinamento, os codificadores de imagem e texto são mantidos congelados. Apenas as camadas de projeção, o aprimorador de características e o decodificador são otimizados. Isso preserva o conhecimento pré-treinado e reduz a instabilidade computacional.
• Curação de Dados: Para superar a escassez de dados diversificados, os autores combinaram múltiplos conjuntos de dados de detecção de RS (FAIR1M, DIOR, DOTA) com benchmarks de contagem (NWPU-MOC). Eles converteram caixas delimitadoras em rótulos baseados em pontos (centroides) e estruturaram os dados para permitir o condicionamento few-shot (3 exemplos visuais por amostra).

3. Contribuições Principais

1. Primeiro Modelo OVC para RS: Introdução do RS-OVC, o primeiro framework capaz de contar objetos em imagens aéreas de classes nunca vistas antes, usando prompts de texto ou imagens.
2. Mecanismo de Fusão de Características: Proposta de uma abordagem eficiente para injetar conhecimento específico de sensoriamento remoto em modelos de visão geral, evitando o esquecimento catastrófico e mantendo a robustez.
3. Conjunto de Dados Unificado: Curação de um grande conjunto de dados combinando múltiplas fontes de detecção e contagem de RS para treinar modelos de vocabulário aberto.
4. Validação em Cenários Complexos: Demonstração de que a contagem baseada em densidade supera a detecção baseada em caixas delimitadoras em cenas densas e de baixa resolução, comuns em RS.

4. Resultados

Os resultados foram avaliados em vários conjuntos de dados de teste (NWPU-MOC, FAIR-1M, DOTA, DIOR, RSOC) comparando o RS-OVC com:

• LAE (Locate-Anything-on-Earth): Um modelo de estado da arte para detecção de vocabulário aberto em RS.
• CountGD (Original): Modelo pré-treinado em CV aplicado diretamente a RS.
• CountGD (RS-FT): CountGD com fine-tuning simples em dados de RS.
• RS-OVC (RS-only): Versão do modelo usando apenas o codificador de RS, sem fusão.

Principais achados:

• Desempenho Superior em Cenas Densas: O RS-OVC superou significativamente todos os baselines em classes de objetos densos e de baixa resolução (ex: barcos, casas, tanques de armazenamento), onde os modelos de detecção (LAE) falham devido à sobreposição e resolução.
• Generalização: O modelo conseguiu contar com precisão classes não vistas durante o treinamento.
• Cenários Simples: Em cenas esparsas com objetos grandes e distintos (ex: estádios, campos de beisebol), modelos baseados em detecção (LAE) ou fine-tuning simples às vezes obtiveram resultados ligeiramente melhores, mas o RS-OVC manteve um desempenho competitivo.
• Métricas: O modelo alcançou os menores erros médios absolutos (MAE) e raiz do erro quadrático médio (RMSE) na maioria das médias gerais dos conjuntos de dados.

5. Significado e Conclusão

O trabalho demonstra que é possível adaptar modelos de visão computacional geral para o domínio de sensoriamento remoto sem a necessidade de arquiteturas complexas e custosas do zero.

• Impacto Prático: O RS-OVC permite o monitoramento dinâmico de novos tipos de objetos em tempo real sem a necessidade de coletar e anotar novos dados para cada nova categoria de interesse.
• Compreensão Semântica: Os resultados qualitativos mostram que o modelo não apenas conta, mas entende relações semânticas locais (ex: "caminhão vermelho") e globais (ex: "tanques próximos a estradas"), demonstrando raciocínio contextual.
• Limitações Futuras: O desempenho em objetos de grande escala e baixa densidade ainda pode ser melhorado. Além disso, a dependência de um limiar estático para a contagem final é uma limitação herdada do CountGD que pode ser abordada em trabalhos futuros.

Em resumo, o RS-OVC representa um avanço significativo na automação da análise de imagens de satélite e drones, tornando a contagem de objetos mais flexível, escalável e aplicável a cenários do mundo real.