Do Open-Vocabulary Detectors Transfer to Aerial Imagery? A Comparative Evaluation

Resumen Técnico: ¿Se transfieren los detectores de vocabulario abierto a la imaginería aérea?

Planteamiento del problema
La detección de objetos de vocabulario abierto (OVD, por sus siglas en inglés) ha demostrado éxito en el reconocimiento de categorías novedosas en imágenes naturales a nivel del suelo, aprovechando los modelos de visión y lenguaje (VLM). Sin embargo, la transferibilidad de estos modelos al dominio aéreo permanece inexplorada. La imaginería aérea presenta desafíos distintivos, incluyendo una variación de escala extrema, puntos de vista de nadir (cenitales) estrictos y agrupamientos densos de objetos. Además, las categorías semánticas en los conjuntos de datos aéreos suelen depender de atributos finos o terminología específica del dominio que puede no alinearse con los sesgos del lenguaje natural codificados en los VLM entrenados con imágenes a nivel del suelo. Este artículo aborda la pregunta crítica de si los modelos de OVD de propósito general y de cero disparos (zero-shot) pueden servir como una base viable para aplicaciones de Vehículos Aéreos No Tripulados (UAV) sin un ajuste fino especializado.

Metodología
Los autores presentan el primer banco de pruebas sistemático que evalúa cinco modelos de estado del arte en OVD sobre el conjunto de datos LAE-80C, una rigurosa prueba de estrés que agrega divisiones de validación de cuatro conjuntos de datos aéreos establecidos (DOTA-v2.0, DIOR, FAIR1M y xView). El conjunto de datos comprende 3,592 imágenes y 86,558 instancias anotadas a través de 80 categorías, presentando complejidades taxonómicas significativas como solapamientos jerárquicos (p. ej., "vehículo" frente a "automóvil de pasajeros") y clases dependientes de atributos (p. ej., "chimenea en funcionamiento" frente a "chimenea sin funcionamiento").

La evaluación involucra cinco modelos preentrenados exclusivamente en imágenes naturales a nivel del suelo:

1. Grounding DINO (Basado en Transformer, columna vertebral Swin-L)
2. OWLv2 (Coincidencia densa de imagen-texto, columna vertebral ViT-L/14)
3. YOLO-World (Tiempo real, arquitectura RepVL-PAN)
4. YOLOE (Tiempo real, basado en YOLOv11)
5. LLMDet (Integra un LLM congelado para razonamiento semántico)

El protocolo experimental emplea un entorno estricto de cero disparos (zero-shot, sin ajuste fino en datos aéreos) y aísla los factores de rendimiento a través de tres modos de inferencia:

• Inferencia Global: Uso de prompts con las 80 categorías simultáneamente para probar la confusión semántica.
• Inferencia Oráculo: Uso de prompts únicamente con las categorías de verdad de campo presentes en la imagen para aislar las capacidades de localización visual.
• Oráculo de Categoría Única: Inferencia iterativa por clase para probar la degradación de la atención.

Adicionalmente, el estudio evalúa estrategias de ingeniería de prompts, incluyendo el prefijado específico del dominio ("Vista aérea de {categoría}") y la expansión de sinónimos, utilizando la Intersección sobre el Área (IoA) como la métrica principal para contabilizar la variación de escala en la imaginería satelital.

Resultados Clave
El estudio revela un severo fallo de transferencia de dominio en todos los modelos evaluados:

• Rendimiento General: El modelo con mejor desempeño, OWLv2, logra solo un F1-score del 27.6% con una tasa de falsos positivos del 69%. Otros modelos desempeñan significativamente peor, con las variantes de YOLO logrando F1-scores por debajo del 4%.
• La Confusión Semántica como el Principal Cuello de Botella: Reducir el tamaño del vocabulario de 80 clases (modo Global) a un promedio de 3.2 clases (modo Oráculo) genera una mejora de 15 veces en el F1-score para Grounding DINO (del 0.5% al 7.4%). Esto indica que los modelos pueden extraer características visuales relevantes pero fallan al mapearlas a la categoría correcta debido a taxonomías superpuestas y confusión semántica, en lugar de un fallo total de la localización visual.
• Fracaso de la Ingeniería de Prompts: Las estrategias como añadir el prefijo "Vista aérea de" o expandir sinónimos no lograron mejorar el rendimiento. En algunos casos, degradaron los resultados al sobre-restringir al modelo o introducir deriva semántica, confirmando que la adaptación basada en texto no puede compensar la brecha del dominio visual (perfil lateral frente a características de nadir).
• Fragilidad del Conjunto de Datos: El rendimiento varía drásticamente entre los subconjuntos de datos. Los modelos logran resultados moderados en conjuntos de datos centrados en objetos como DIOR (F1 ~0.53 para LLMDet) pero colapsan ante la alta densidad de FAIR1M (F1 ~0.12) o las variaciones extremas de escala de xView.

Significación y Reivindicaciones
El artículo establece que la promesa de "vocabulario abierto" de los detectores actuales basados en VLM no se transfiere efectivamente de imágenes naturales a dominios aéreos sin cambios arquitectónicos fundamentales o preentrenamiento adaptativo al dominio. Los autores afirman que:

1. La brecha de dominio es arquitectónica, no léxica: El desajuste reside en cómo los codificadores visuales extraen características (entrenados en perfiles laterales) más que en las descripciones lingüísticas de los objetos.
2. La confusión semántica predomina: La principal barrera para el rendimiento es la incapacidad del modelo para desambiguar categorías finas y jerárquicas en un entorno de cero disparos, no la incapacidad de ver los objetos.
3. Los modelos actuales son inadecuados para el despliegue autónomo: Los compromisos observados entre precisión y exhaustividad (precision-recall) son extremos; los modelos conservadores pierden la mayoría de los objetos, mientras que los modelos agresivos generan demasiadas falsas alarmas para el uso autónomo.

El trabajo proporciona una base para investigaciones futuras, sugiriendo que los futuros sistemas de OVD aéreos deben centrarse en el filtrado inteligente del vocabulario basado en el contexto de la escena, tuberías de detección híbridas o mecanismos de adaptación en tiempo de prueba, en lugar de depender de modelos de imágenes naturales listos para usar.