WildBox: A Dataset and Benchmark for Aerial Monocular 3D Detection of African Savanna Wildlife

Resumen Técnico: WildBox – Un Conjunto de Datos y Benchmark para la Detección 3D Monocular Aérea de la Fauna de la Sabana Africana

Planteamiento del Problema
Si bien el monitoreo mediante drones es cada vez más vital para la ecología y la conservación de la vida silvestre, los procesos de visión computacional existentes para video aéreo siguen siendo predominantemente bidimensionales. Aunque la detección, el conteo y el seguimiento en 2D están consolidados, son insuficientes para tareas posteriores que requieren razonamiento geométrico en el mundo real, como la reidentificación consciente del punto de vista y la autonomía de drones. Los benchmarks actuales de detección 3D monocular (p. ej., KITKI, nuScenes, Omni3D) están dominados por imágenes de vehículos a nivel del suelo o interiores. Por el contrario, los conjuntos de datos aéreos de vida silvestre existentes solo proporcionan supervisión en 2D. Existen conjuntos de datos sintéticos, pero carecen de contrapartes del mundo real. Esta brecha plantea la siguiente pregunta crítica: ¿Es factible la percepción 3D monocular en videos reales de drones de vida silvestre, y qué tan bien se transfieren los detectores 3D de vocabulario abierto existentes a este dominio?

Metodología y Construcción del Conjunto de Datos
Los autores presentan WildBox, un conjunto de datos y benchmark que comprende 237,505 anotaciones de cajas delimitadoras (bounding boxes) 3D a través de siete especies de la sabana africana (agrupadas en seis clases de benchmark: jirafa reticulada, cebra de llanura, cebra de Grévy, elefante africano de sabana, gacela de Thomson y rinoceronte).

• Fuente de Datos: El conjunto de datos agrega filmaciones oblicuas de drones DJI recolectadas entre 2023 y 2026 en el Conservatorio Ol Pejeta (Kenia), la Sociedad Zoológica de Bristol (Reino Unido) y el Centro de Investigación Mpala.
• Pipeline de Anotación: Se utilizó un enfoque de "modelo en el bucle" (model-in-the-loop). El metraje bruto se segmentó en clips (máximo 200 fotogramas) con puntos de vista estables. El sistema WildLIFT propuso cajas delimitadoras orientadas 3D, las cuales fueron refinadas y confirmadas fotograma a fotograma por revisores humanos.
• Formato de Anotación: Las anotaciones siguen un formato compatible con KITTI/Omni3D dentro de un marco de cámara normalizado por escala por segmento. Las cajas incluyen posición, extensión, matrices de rotación completas de 3×3 e IDs de instancia consistentes dentro de los segmentos. No se afirma una escala métrica absoluta a través de los vuelos; en su lugar, las coordenadas se normalizan mediante la mediana de la profundidad absoluta de la reconstrucción del segmento.
• Configuración del Benchmark: El conjunto de datos se divide en 51 videos de entrenamiento y 13 de validación (345 segmentos totales), con estratificación por especie para evitar filtraciones (leakage).

Protocolo de Evaluación
El artículo evalúa dos arquitecturas 3D de vocabulario abierto estructuralmente distintas:

1. OVMono3D-LIFT: Una arquitectura Cube R-CNN con un clasificador impulsado por prompts de texto de CLIP.
2. DetAny3D: Un modelo fundacional parametrizable que fusiona backbones de SAM congelado y DINOv2 preentrenado con UniDepth.

Se probaron cuatro configuraciones de evaluación:

1. Zero-Shot de Vocabulario Cerrado: Utilizando la etapa 2D nativa de la arquitectura entrenada en Omni3D (filtrada para clases que no sean de vida silvestre).
2. Zero-Shot de Vocabulario Abierto: Utilizando GroundingDINO para propuestas 2D.
3. Zero-Shot con Prompt de Verdad de Campo 2D: Alimentando cajas 2D perfectas y etiquetas de clase al cabezal 3D para aislar fallos de la etapa 3D.
4. Ajuste Fino Supervisado (Fine-Tuning): Entrenando en la división de entrenamiento de WildBox.

Además, se probó una estrategia de inicialización por currículo para OVMono3D-LIFT, preentrenando en una clase "cebra" combinada (llanura + Grévy) antes de realizar el ajuste fino en las clases divididas.

Resultos Clave

• Colapso Zero-Shot: Los modelos fundacionales 2D de vocabulario abierto localizan con éxito la vida silvestre (50.55 AP@50 para OVMono3D-LIFT, 60.89 para DetAny3D). Sin embargo, la elevación 3D zero-shot colapsa a 0.00 AP en todas las arquitecturas y condiciones de entrada 2D, incluyendo cuando se proporcionan cajas 2D de verdad de campo. Esto aisla el fallo estrictamente a la etapa 3D (estimación de profundidad y elevación de la caja) y no a la detección 2D o al diseño de los cabezales.
• Recuperación mediante Ajuste Fino: El ajuste fino supervisado en WildBox recupera un rendimiento mensurable. La mejor configuración (OVMono3D-LIFT con inicialización por currículo) logra 8.68 ± 0.47 AP-BEV@0.50 y 13.17 ± 0.69 AP3D.
• Descomposición del Error: Un análisis desentrelazado de la Distancia de Hausdorff Normalizada (NHD) revela que la profundidad (eje z) representa el 84–99% del error total. En entornos zero-shot, la profundidad contribuye con más del 99% del error. Incluso con entradas 2D perfectas, el error de profundidad sigue siendo dos órdenes de magnitud mayor que otros componentes, identificando la estimación de profundidad aérea monocular como el cuello de botella dominante.
• Aprendizaje por Currículo: El preentrenamiento en una superclase combinada (cebras) antes del ajuste fino en subclases mejoró el rendimiento macro con menos iteraciones totales en comparación con el ajuste fino directo. Las ganancias fueron más significativas para la subclase más rara (cebra de Grévy) y la clase principal (cebra de llanura).
• Diversidad de Video vs. Conteo de Instancias: El rendimiento se correlaciona más fuertemente con el número de videos de entrenamiento (diversidad de puntos de vista/escenas) que con el número bruto de instancias anotadas. Por ejemplo, las gacelas (3 videos, 43k instancias) tuvieron un desempeño peor que los rinocerontes (15 videos, 28k instancias).

Significancia y Reivindicaciones
El artículo afirma que WildBox es el primer conjunto de datos que combina imágenes de drones del mundo real, múltiples especies de vida silvestre y anotaciones de cajas delimitadoras 3D rastreadas en formato estándar. Su principal contribución es establecer un benchmark que revela las limitaciones actuales de la percepción 3D de vocabulario abierto en dominios aéreos.

Los autores concluyen modestamente que, si bien los modelos fundacionales 2D son efectivos para la localización de la vida silvestre, la estimación de profundidad aérea monocular sigue siendo el problema abierto dominante que impide una detección 3D exitosa. El dataset y los baselines se liberan para permitir el progreso en la percepción 3D de la vida silvestre, la percepción 3D rastreada, la reidentificación consciente del punto de vista y la autonomía de drones consciente de la vida silvestre, cerrando la brecha entre el monitoreo ecológico y la comprensión de escenas 3D monoculares. El benchmark evita explícitamente las afirmaciones de escala métrica absoluta, centrándose en la detección 3D de escala relativa dentro de los segmentos de video.