WildBox: A Dataset and Benchmark for Aerial Monocular 3D Detection of African Savanna Wildlife

Resumo Técnico: WildBox – Um Conjunto de Dados e Benchmark para Detecção 3D Monocular Aérea de Vida Selvagem na Savana Africana

Problema
Embora o monitoramento baseado em drones seja cada vez mais vital para a ecologia e conservação da vida selvagem, os pipelines existentes de visão computacional para vídeo aéreo permanecem predominantemente bidimensionais. Embora a detecção, contagem e rastreamento 2D sejam estabelecidos, eles são insuficientes para tarefas subsequentes que exigem raciocínio geométrico no mundo real, como a reidentificação consciente do ponto de vista e a autonomia de drones. Os benchmarks atuais de detecção 3D monocular (ex: KITKI, nuScenes, Omni3D) são dominados por imagens automotivas ao nível do solo ou de ambientes internos. Por outro lado, os conjuntos de dados aéreos de vida selvagem existentes fornecem apenas supervisão 2D. Conjuntos de dados sintéticos existem, mas carecem de contrapartes do mundo real. Esta lacuna levanta a questão crítica: é a percepção 3D monocular viável em vídeos reais de drones de vida selvagem, e quão bem os detectores 3D de vocabulário aberto existentes se transferem para este domínio?

Metodologia e Construção do Conjunto de Dados
Os autores apresentam o WildBox, um conjunto de dados e benchmark que compreende 237.505 anotações de caixas delimitadoras (bounding boxes) 3D através de sete espécies da savana africana (agrupadas em seis classes de benchmark: girafa reticulada, zebra das planícies, zebra de Grévy, elefante africano, gazela de Thomson e rinoceronte).

• Fonte de Dados: O conjunto de dados agrega filmagens oblíquas de drones DJI coletadas entre 2023 e 2026 no Conservatório Ol Pejeta (Quênia), Bristol Zoological Society (Reino Unido) e Mpala Research Centre.
• Pipeline de Anotação: Foi utilizada uma abordagem de modelo no loop (model-in-the-loop). As filmagens brutas foram segmentadas em clipes (máx. 200 quadros) com pontos de vista estáveis. O sistema WildLIFT propôs caixas delimitadoras orientadas 3D, que foram então refinadas e confirmadas quadro a quadro por revisores humanos.
• Formato de Anotação: As anotações seguem um formato compatível com KITTI/Omni3D dentro de um quadro de câmera normalizado por escala por segmento. As caixas incluem posição, extensão, matrizes de rotação 3×3 completas e IDs de instância consistentes dentro dos segmentos. A escala métrica absoluta não é afirmada entre os voos; em vez disso, as coordenadas são normalizadas pela mediana da profundidade absoluta da reconstrução do segmento.
• Configuração do Benchmark: O conjunto de dados é dividido em 51 vídeos de treinamento e 13 de validação (345 segmentos no total), com estratificação por espécie para evitar vazamento de dados (leakage).

Protocolo de Avaliação
O artigo avalia duas arquiteturas 3D monoculares de vocabulário aberto estruturalmente distintas:

1. OVMono3D-LIFT: Uma arquitetura Cube R-CNN com um classificador estimulado por prompts de texto do CLIP.
2. DetAny3D: Um modelo de fundação promptável que funde os backbones congelados SAM e UniDepth pré-treinados em DINOv2.

Quatro configurações de avaliação foram testadas:

1. Zero-Shot de Vocabulário Fechado: Usando a etapa 2D nativa da arquitetura treinada no Omni3D (filtrada para classes não relacionadas à vida selvagem).
2. Zero-Shot de Vocabulário Aberto: Usando GroundingDINO para propostas 2D.
3. Zero-Shot com Prompt de Ground-Truth 2D: Alimentando caixas 2D perfeitas e rótulos de classe para o cabeçalho 3D para isolar a falha da etapa 3D.
4. Fine-Tuning Supervisionado: Treinando no split de treinamento do WildBox.

Adicionalmente, uma estratégia de inicialização por currículo foi testada para o OVMono3D-LIFT, pré-treinando em uma classe "zebra" mesclada (planície + Grévy) antes do ajuste fino nas classes divididas.

Resultos Principais

• Colapso Zero-Shot: Modelos de fundação 2D de vocabulário aberto localizaram com sucesso a vida selvagem (50,55 AP@50 para OVMono3D-LIFT, 60,89 para DetAny3D). No entanto, a elevação 3D zero-shot colapsa para 0,00 AP em todas as arquiteturas e condições de entrada 2D, incluindo quando caixas 2D de verdade de campo (ground-truth) são fornecidas. Isso isola a falha estritamente para a etapa 3D (estimativa de profundidade e elevação de caixa) e não para a detecção 2D ou designs específicos de cabeçalho.
• Recuperação via Fine-Tuning: O ajuste fino supervisionado no WildBox recupera o desempenho mensurável. A melhor configuração (OVMono3D-LIFT com inicialização por currículo) atinge 8,68 ± 0,47 AP-BEV@0.50 e 13,17 ± 0,69 AP3D.
• Decomposição de Erro: Uma análise desagregada da Distância de Hausdorff Normalizada (NHD) revela que a profundidade (eixo z) responde por 84–99% do erro total. Em configurações zero-shot, a profundidade contribui com mais de 99% do erro. Mesmo com entradas 2D perfeitas, o erro de profundidade permanece dois ordens de magnitude maior do que outros componentes, identificando a estimativa de profundidade aérea monocular como o gargalo dominante.
• Aprendizado por Currículo: O pré-treinamento em uma superclasse mesclada (zebras) antes do ajuste fino em subclasses melhorou o desempenho macro com menos iterações totais em comparação ao ajuste fino direto. Os ganhos foram mais significativos para a subclasse mais rara (zebra de Grévy) e para a classe principal (zebra das planícies).
• Diversidade de Vídeo vs. Contagem de Instâncias: O desempenho correlaciona-se mais fortemente com o número de vídeos de treinamento (diversidade de ponto de vista/cena) do que com o número bruto de instâncias anotadas. Por exemplo, as gazelas (3 vídeos, 43k instâncias) tiveram desempenho pior do que os rinocerontes (15 vídeos, 28k instâncias).

Significância e Alegações
O artigo afirma que o WildBox é o primeiro conjunto de dados a combinar imagens de drones do mundo real, múltiplas espécies de vida selvagem e caixas delimitadoras 3D rastreadas em formato padrão. Sua principal contribuição é estabelecer um benchmark que revela as limitações atuais da percepção 3D de vocabulário aberto em domínios aéreos.

Os autores concluem modestamente que, embora os modelos de fundação 2D sejam eficazes para a localização da vida selvagem, a estimativa de profundidade aérea monocular continua sendo o problema aberto dominante que impede a detecção 3D bem-sucedida. O conjunto de dados e os baselines são lançados para permitir o progresso na percepção 3D de vida selvagem, percepção 3D rastreada, reidentificação consciente do ponto de vista e autonomia de drones consciente da vida selvagem, preenchendo a lacuna entre o monitoramento ecológico e a compreensão de cenas 3D monoculares. O benchmark evita explicitamente alegações de escala métrica absoluta, focando na detecção 3D de escala relativa dentro de segmentos de vídeo.