RefAerial: A Benchmark and Approach for Referring Detection in Aerial Images

1. El Problema

La detección de referencia (también conocida como visual grounding) tiene como objetivo localizar regiones específicas en una imagen basándose en una descripción de lenguaje natural. Aunque existen datasets y métodos establecidos para imágenes terrestres (como RefCOCO), estos presentan limitaciones críticas cuando se aplican a imágenes aéreas:

• Diferencias intrínsecas: Las imágenes terrestres suelen tener objetivos grandes y centrados en escenas pequeñas. En contraste, las imágenes aéreas (capturadas por drones) presentan una relación objeto-escena (O2S) muy baja y diversa, donde los objetivos ocupan una fracción mínima de píxeles en una escena amplia.
• Complejidad del entorno: Las imágenes aéreas contienen numerosos objetivos y distractores similares, descripciones de referencia complejas y de granularidad fina, y una gran variedad de condiciones (altitud, ángulo, iluminación, clima).
• Degradación del rendimiento: Los métodos de estado del arte (SOTA) diseñados para imágenes terrestres sufren una caída drástica en el rendimiento al aplicarse a datos aéreos debido a la variabilidad de escala inherente dentro y entre las imágenes aéreas.

2. Metodología Propuesta

El trabajo aborda el problema mediante dos pilares principales: la creación de un nuevo dataset y el desarrollo de un nuevo marco de trabajo (framework) de detección.

A. Dataset: RefAerial

Se introduce RefAerial, un dataset a gran escala diseñado específicamente para la detección de referencia en imágenes aéreas.

• Características: Contiene 10,056 imágenes de alta resolución (1920x1080) y 114,517 pares de cajas delimitadoras (Bbox) y descripciones.
• Diferenciadores:
  • Relación O2S baja (media 5.6%) pero muy diversa.
  • Promedio de 11.4 objetivos por imagen (vs. 1-3 en datasets terrestres).
  • Descripciones complejas con un promedio de 12.5 palabras, enfocadas en atributos finos, acciones y relaciones espaciales.
• Herramienta de Anotación (REA-Engine): Se desarrolló un motor de anotación semi-automático "humano-en-el-bucle" que combina Modelos Fundacionales Multimodales (MFMs) con expertos humanos. Utiliza un flujo de trabajo iterativo de expansión de visión-a-texto y generación de pares de referencia para garantizar alta calidad y granularidad.

B. Marco de Trabajo: SCS (Scale-Comprehensive and Sensitive)

Para abordar el problema de la variabilidad de escala, los autores proponen un nuevo framework llamado SCS, que consta de dos componentes clave:

1. Atención de Mezcla de Granularidad (MoG - Mixture-of-Granularity):

   • Diseñada para comprender objetivos a múltiples escalas simultáneamente.
   • Utiliza múltiples sub-atenciones con campos receptivos variables (tasas de dilatación diferentes).
   • Las ramas de granularidad fina capturan detalles locales y objetivos pequeños, mientras que las ramas de granularidad gruesa capturan estructuras a gran escala y relaciones no locales.
   • Una red de fusión ligera integra adaptativamente estas múltiples granularidades.

2. Estrategia de Decodificación de Dos Etapas: De Integral a Sensible (CtS - Comprehensive-to-Sensitive):

   • Etapa 1 (Decodificador Integral de Escala - SCD): Utiliza la atención MoG para realizar una decodificación inicial que captura representaciones de objetivos a todas las escalas de manera integral.
   • Etapa 2 (Decodificador Sensible a la Escala - SSD): Refina los resultados de la primera etapa mediante una decodificación de fina a gruesa (coarse-to-fine), utilizando representaciones jerárquicas para localizar con precisión los objetivos específicos descritos.

3. Resultados Experimentales

Los experimentos se realizaron en el dataset RefAerial y se compararon con datasets terrestres estándar (RefCOCO, RefCOCO+, RefCOCOg).

• Rendimiento en RefAerial:
  • Los métodos existentes (TransVG, SegVG, LLaVA, etc.) sufrieron una degradación severa, obteniendo puntuaciones P@0.5 muy bajas (ej. TransVG: 13.91%, SegVG: 26.53%).
  • El framework SCS propuesto logró el mejor rendimiento con un P@0.5 de 28.15% y una precisión media (mP) de 18.29%, superando consistentemente a todos los competidores.
• Rendimiento en Datasets Terrestres:
  • SCS también mostró mejoras marginales pero positivas en datasets terrestres (ej. +0.80% en RefCOCO), demostrando su robustez general, aunque la mayor ganancia se observa en el dominio aéreo donde el problema de escala es crítico.
• Estudios de Ablación:
  • Se confirmó que tanto el codificador integral (SCE) como los decodificadores (SCD y SSD) son esenciales. La combinación de los tres módulos proporciona el mejor rendimiento.
  • Se determinó que 4 granularidades en la atención MoG es la configuración óptima; más allá de este número, el rendimiento disminuye.

4. Contribuciones Clave

1. RefAerial: El primer dataset a gran escala y desafiante para la detección de referencia en imágenes aéreas, que aborda la brecha entre la investigación terrestre y la emergente economía de baja altitud/drones.
2. REA-Engine: Un motor de anotación semi-automático eficiente que utiliza modelos fundacionales multimodales y validación humana para generar datos de alta calidad de forma escalable.
3. Framework SCS: Una arquitectura novedosa que introduce la atención MoG y la estrategia CtS para resolver específicamente el problema de la variabilidad de escala en imágenes aéreas.
4. Validación Empírica: Demostración de que los métodos actuales fallan en escenas aéreas y que el enfoque propuesto no solo mejora el rendimiento aéreo, sino que también es efectivo en entornos terrestres.

5. Significado e Impacto

Este trabajo es fundamental para el avance de la economía de baja altitud y aplicaciones de drones en rescate de emergencias, monitoreo agrícola, protección ecológica y seguridad. Al proporcionar un benchmark realista y un método robusto para la interacción lenguaje-visión en vistas aéreas, RefAerial y el framework SCS permiten que los sistemas de IA comprendan y localicen objetivos en entornos complejos y a gran escala, superando las limitaciones de los modelos entrenados exclusivamente en imágenes terrestres. Esto abre la puerta a aplicaciones más sofisticadas de navegación visión-lenguaje y percepción inteligente en el cielo.