Do Open-Vocabulary Detectors Transfer to Aerial Imagery? A Comparative Evaluation

Resumo Técnico: Detectores de Vocabulário Aberto Transferem para Imagens Aéreas?

Declaração do Problema
A Detecção de Objetos de Vocabulário Aberto (OVD - Open-Vocabulary Object Detection) demonstrou sucesso no reconhecimento de categorias inéditas em imagens naturais ao nível do solo, aproveitando modelos de visão-linguagem (VLMs). No entanto, a transferibilidade desses modelos para o domínio aéreo permanece inexplorada. As imagens aéreas apresentam desafios distintos, incluindo variação extrema de escala, perspectivas de nadir (topo para baixo) rigorosas e agrupamentos densos de objetos. Além disso, as categorias semânticas em conjuntos de dados aéreos frequentemente dependem de atributos granulares ou terminologia específica do domínio que pode não se alinhar com os priors de linguagem natural codificados em VLMs treinados em imagens de nível do solo. Este artigo aborda a questão crítica de se modelos de OVD de propósito geral, zero-shot, podem servir como uma base viável para aplicações de Veículos Aéreos Não Tripulados (UAVs) sem ajuste fino especializado.

Metodologia
Os autores apresentam o primeiro benchmark sistemático avaliando cinco modelos de OVD de última geração no conjunto de dados LAE-80C, um teste de estresse rigoroso que agrega divisões de validação de quatro conjuntos de dados aéreos estabelecidos (DOTA-v2.0, DIOR, FAIR1M e xView). O conjunto de dados compreende 3.592 imagens e 8os 8.558 instâncias anotadas em 80 categorias, apresentando complexidades taxonômicas significativas, como sobreposições hierárquicas (ex: "veículo" vs. "carro de passeio") e classes dependentes de atributos (ex: "em funcionamento" vs. "fora de funcionamento" em chaminés).

A avaliação envolve cinco modelos pré-treinados exclusivamente em imagens naturais, ao nível do solo:

1. Grounding DINO (Baseado em Transformer, backbone Swin-L)
2. OWLv2 (Correspondência densa imagem-texto, backbone ViT-L/14)
3. YOLO-World (Tempo real, arquitetura RepVL-PAN)
4. YOLOE (Tempo real, baseado em YOLOv11)
5. LLMDet (Integra um LLM congelado para raciocínio semântico)

O protocolo experimental utiliza uma configuração zero-shot estrita (sem ajuste fino em dados aéreos) e isola fatores de desempenho através de três modos de inferência:

• Inferência Global: Prompting com todas as 80 categorias simultaneamente para testar a confusão semântica.
• Inferência Oracle: Prompting apenas com as categorias da verdade fundamental (ground-truth) presentes na imagem para isolar as capacidades de localização visual.
• Oracle de Categoria Única: Inferência iterativa por classe para testar a degradação da atenção.

Adicionalmente, o estudo avalia estratégias de engenharia de prompt, incluindo prefixação específica do domínio ("Vista aérea de {categoria}") e expansão de sinônimos, utilizando a Interseção sobre Área (IoA) como a métrica principal para considerar a variação de escala em imagens de satélite.

Resultos Principais
O estudo revela uma falha severa de transferência de domínio em todos os modelos avaliados:

• Desempenho Geral: O melhor modelo, OWLv2, alcança apenas um F1-score de 27,6% com uma taxa de falsos positivos de 69%. Outros modelos apresentam desempenho significativamente inferior, com variantes YOLO atingindo F1-scores abaixo de 4%.
• Confusão Semântica como o Principal Gargalo: Reduzir o tamanho do vocabulário de 80 classes (modo Global) para uma média de 3,2 classes (modo Oracle) gera uma melhoria de 15× no F1-score para o Grounding DINO (de 0,5% para 7,4%). Isso indica que os modelos conseguem extrair características visuais relevantes, mas falham em mapeá-las para a categoria correta devido a taxonomias sobrepostas e confusão semântica, em vez de uma falha total de localização visual.
• Falha da Engenharia de Prompt: Estratégias como adicionar prefixos de "Vista aérea de" ou expandir sinônimos não conseguiram melhorar o desempenho. Em alguns casos, degradaram os resultados ao restringir demais o modelo ou introduzir deriva semântica, confirmando que a adaptação baseada em texto não pode compensar o hiato visual do domínio (perfil lateral vs. características de nadir).
• Fragilidade do Conjunto de Dados: O desempenho varia drasticamente entre os subconjuntos de dados. Os modelos alcançam resultados moderados em conjuntos de dados centrados em objetos como o DIOR (F1 ~0,53 para LLMDet), mas colapsam diante da alta densidade do FAIR1M (F1 ~0,12) ou das variações extremas de escala do xView.

Significância e Alegações
O artigo estabelece que a promessa de "vocabulário aberto" dos atuais detectores baseados em VLM não se transfere efetivamente dos domínios naturais para os aéreos sem mudanças arquiteturais fundamentais ou pré-treinamento adaptativo ao domínio. Os autores afirmam que:

1. O hiato de domínio é arquitetural, não lexical: O descompasso reside em como os codificadores visuais extraem características (treinados em perfis laterais) e não nas descrições linguísticas dos objetos.
2. A confusão semântica domina: A principal barreira ao desempenho é a incapacidade do modelo de desambiguar categorias finas e hierárquicas em uma configuração zero-shot, e não a incapacidade de ver os objetos.
3. Os modelos atuais são inadequados para implantação autônoma: As trocas observadas entre precisão e revocação (precision-recall) são extremas; modelos conservadores perdem a maioria dos objetos, enquanto modelos agressivos geram muitos alarmes falsos para uso autônomo.

O trabalho estabelece uma base para pesquisas futuras, sugerindo que os futuros sistemas de OVD aéreos devem focar em filtragem inteligente de vocabulário baseada no contexto da cena, pipelines de detecção híbridos ou mecanismos de adaptação em tempo de teste, em vez de depender de modelos de imagens naturais prontos para uso (off-the-shelf).