RefAerial: A Benchmark and Approach for Referring Detection in Aerial Images

1. O Problema

A Detecção de Referência (ou Visual Grounding) visa localizar regiões específicas em uma imagem com base em uma descrição linguística natural. Embora existam avanços significativos em imagens terrestres (ground images), a aplicação em imagens aéreas (captadas por drones) enfrenta desafios críticos não abordados pelos conjuntos de dados e métodos existentes:

• Limitações dos Dados Atuais: Conjuntos como RefCOCO e RefCOCOg focam em cenas terrestres onde os objetos são grandes, centralizados e ocupam uma proporção significativa da imagem.
• Desafios Específicos de Imagens Aéreas:
  1. Baixa e Diversa Razão Objeto-Cena (O2S): Objetos em imagens aéreas ocupam uma fração muito pequena dos pixels, com variações extremas de escala dentro e entre imagens.
  2. Numerosos Alvos e Distratores: Uma única imagem aérea contém muitos objetos e distratores visualmente similares (ex: múltiplos carros ou pessoas), dificultando a discriminação.
  3. Descrições Complexas e Granulares: As descrições necessárias são longas, detalhadas e exigem compreensão de atributos finos, posições relativas e interações, ao contrário das frases curtas de datasets terrestres.
  4. Cenas Diversas e Amplas: Variação extrema em altitude, ângulo de visão, iluminação e condições climáticas.
• Degradação de Desempenho: Métodos de ponta (SOTA) projetados para imagens terrestres sofrem uma queda drástica de desempenho ao serem aplicados em imagens aéreas devido à incapacidade de lidar com essa variabilidade intrínseca de escala.

2. Metodologia

O trabalho aborda o problema através de duas frentes principais: a criação de um novo dataset e o desenvolvimento de uma nova arquitetura de rede.

A. Dataset RefAerial

Foi criado um dataset de grande escala e desafio para detecção de referência em imagens aéreas:

• Estatísticas: 10.056 imagens de alta resolução (1920x1080) com 114.517 pares de caixas delimitadoras (Bbox) e descrições.
• Características: Média de 11,4 alvos por imagem, razão O2S média de 5,6% (muito baixa) e descrições médias de 12,5 palavras.
• REA-Engine (Referring Expansion and Annotation Engine): Para superar o custo e a complexidade da anotação manual, os autores desenvolveram um motor de anotação semi-automático com "humano no loop".
  • Utiliza Modelos Fundamentais Multimodais (MFMs) (como GPT-4 e CogVLM) para expandir descrições visuais e gerar pares candidatos.
  • Emprega um ciclo de feedback onde especialistas humanos validam, corrigem e refinam as saídas dos modelos, garantindo precisão e granularidade.

B. Framework SCS (Scale-Comprehensive and Sensitive)

Para resolver o problema da variabilidade de escala, foi proposto um novo framework baseado na arquitetura DETR, composto por:

1. Atenção de Misto de Granularidade (MoG - Mixture-of-Granularity):

   • Substitui a atenção padrão token-wise por múltiplas sub-atenções com campos receptivos variados (taxas de dilatação diferentes).
   • Ramos de Granularidade Fina: Focam em detalhes locais e objetos pequenos.
   • Ramos de Granularidade Grossa: Capturam informações não-locais e estruturas de grande escala.
   • Uma rede de fusão pondera dinamicamente esses ramos para criar uma representação abrangente de todas as escalas.

2. Estratégia de Decodificação "Comprehensive-to-Sensitive" (CtS) em Duas Etapas:

   • Etapa 1 (Decodificador Compreensivo - SCD): Utiliza a atenção MoG para entender e codificar alvos potenciais de forma abrangente, capturando representações de múltiplas escalas.
   • Etapa 2 (Decodificador Sensível - SSD): Refina as previsões de forma "grosseira para fina" (coarse-to-fine), utilizando representações hierárquicas do codificador para localizar com precisão o alvo específico descrito.

3. Principais Contribuições

1. RefAerial Dataset: O primeiro benchmark de grande escala e desafio focado exclusivamente em detecção de referência em imagens aéreas, destacando-se por sua baixa razão objeto-cena, alta densidade de alvos e descrições complexas.
2. REA-Engine: Um pipeline inovador de anotação semi-automática que integra modelos de linguagem multimodal com validação humana, permitindo a criação eficiente de datasets complexos.
3. Framework SCS: Uma nova arquitetura que introduz a atenção MoG e a estratégia CtS, especificamente projetada para lidar com a variabilidade extrema de escala em imagens aéreas.
4. Validação Transversal: Demonstração de que o framework SCS não apenas supera os métodos existentes em imagens aéreas, mas também oferece melhorias (embora menores) em datasets terrestres tradicionais, provando sua robustez.

4. Resultados

• Desempenho no RefAerial: O framework SCS alcançou o melhor desempenho em todas as métricas de precisão (P@0.5 a P@0.8 e mP).
  • P@0.5: O SCS atingiu 28,15%, superando o segundo melhor método (SegVG com 26,53%) e modelos grandes como LLaVA-v1.5 (25,12%).
  • Comparação com SOTA Terrestre: Métodos que funcionam bem no RefCOCO (~80% de acurácia) caíram para cerca de 13-26% no RefAerial, evidenciando a dificuldade do novo dataset. O SCS mitigou essa queda significativamente.
• Ablação: Estudos mostraram que cada componente (SCE, SCD, SSD) contribui positivamente, sendo a combinação de todos necessária para o desempenho ótimo.
• Análise de Granularidade: A configuração com 4 granularidades de atenção mostrou-se a mais eficaz; aumentar além disso resultou em degradação de desempenho.
• Visualização: As visualizações confirmam que o SCS consegue localizar objetos pequenos e com variações de escala que os métodos base (como TransVG e SegVG) falham em identificar ou delimitar corretamente.

5. Significado e Impacto

Este trabalho é fundamental para o avanço da economia de baixa altitude e aplicações baseadas em drones. Ao fornecer um dataset realista e um método robusto, o artigo:

• Preenche a lacuna crítica entre a detecção de referência terrestre e aérea.
• Estabelece um novo padrão de avaliação para tarefas de grounding visual em cenários complexos e de grande escala.
• Oferece uma solução técnica (SCS) que pode ser adaptada para outras tarefas de visão computacional onde a variabilidade de escala é um obstáculo, como monitoramento agrícola, resgate em desastres e proteção ecológica.
• Demonstra a eficácia de combinar modelos fundamentais (Foundation Models) com validação humana para a criação de dados de treinamento de alta qualidade.