UE5-Forest: A Photorealistic Synthetic Stereo Dataset for UAV Forestry Depth Estimation

1. O Problema

O desenvolvimento de redes de correspondência estéreo supervisionadas para a estimativa de profundidade em ambientes florestais enfrenta uma barreira crítica: a indisponibilidade de mapas de disparidade (disparity maps) densos e com "ground truth" (verdadeiro valor de referência).

• Desafios Ambientais: As copas das árvores apresentam ramos finos, sobrepostos e uma geometria complexa que derrotam sensores de profundidade convencionais, como LiDAR e sensores de luz estruturada.
• Impacto na Automação: A falta de dados de treinamento precisos impede o avanço de sistemas de UAVs (drones) autônomos para poda florestal, uma aplicação que exige precisão de nível centimétrico (1–2 m de distância) para posicionar ferramentas com segurança em torno de pinheiros radiata (Pinus radiata), espécie dominante na silvicultura da Nova Zelândia.
• Limitações de Soluções Atuais: Abordagens que utilizam modelos de base ("foundation models") para gerar "pseudo-ground truth" propagam erros do modelo professor para o estudante, estabelecendo um teto de precisão não verificável no campo.

2. Metodologia

Os autores desenvolveram o UE5-Forest, um conjunto de dados estéreo sintético e fotorealista construído inteiramente no Unreal Engine 5 (UE5). O pipeline de geração envolve três etapas principais:

• Ativos de Árvore: Foram utilizados 115 modelos de árvores escaneados via fotogrametria da biblioteca Quixel Megascans. Esses ativos preservam texturas realistas de casca, geometria de folhas e topologia de ramos, cobrindo diversas espécies e formas de crescimento.
• Simulação de Câmera e Geometria Estéreo:
  • Uma câmera estéreo simulada orbita cada árvore a uma distância de até 2 metros.
  • Os parâmetros ópticos foram calibrados para corresponder exatamente à câmera ZED Mini montada em drones reais:
    • Baseline (distância entre lentes): 63 mm.
    • Distância focal: 2.8 mm.
    • Largura do sensor: 3.84 mm.
    • Resolução: 1920 × 1080 pixels.
  • A focalização em pixels foi calculada como 1400 px.
• Captura de Dados: Para cada árvore, foram capturadas 48 pares estéreo em três faixas de elevação (anéis):
  1. Horizontal (0°).
  2. Elevada (+45°).
  3. Deprimida (-45°).
  • Cada anel possui 16 pontos de vista espaçados igualmente (intervalos de 22,5° de azimute).
• Renderização e Ground Truth: O UE5 utiliza os sistemas Lumen (iluminação global) e Nanite (geometria de micropolígonos) para renderização física. Para cada par de imagens RGB, é gerado um mapa de profundidade por pixel (32-bit float), que é convertido matematicamente em um mapa de disparidade perfeito (pixel-perfect). Pixels de fundo (céu) são mascarados como inválidos.

3. Principais Contribuições

O artigo apresenta três contribuições fundamentais:

1. Dataset Fotorealista com Rótulos Precisos: Um conjunto de dados estéreo florestal com 5.520 pares estéreo (1920 × 1080) e mapas de disparidade com rótulos de precisão de pixel, gerados a partir de ativos escaneados do mundo real e parâmetros de câmera idênticos ao hardware real (ZED Mini).
2. Caracterização Estatística e Qualitativa: Uma análise detalhada do dataset, incluindo distribuições de disparidade (variando de ~44 a 700 px, cobrindo distâncias de 0,1 a 2 m), métricas de diversidade de cenas e uma comparação visual direta com imagens reais do conjunto "Canterbury Tree Branches", confirmando a alta fidelidade fotorealista e a plausibilidade geométrica.
3. Recurso Público para Pesquisa: O lançamento do dataset como um benchmark pronto para uso, preenchendo a lacuna de dados supervisionados para estimativa de profundidade em florestas, permitindo o treinamento e avaliação rigorosa de redes de correspondência estéreo.

4. Resultados e Análise

• Distribuição de Disparidade: Os dados mostram uma concentração de valores entre 60 e 200 px (correspondendo a troncos e ramos principais em distâncias de trabalho típicas) e uma cauda longa para disparidades maiores (folhagem próxima).
• Fidelidade Visual: A comparação lado a lado entre as renderizações do UE5 e imagens reais da Nova Zelândia demonstra que a iluminação do Lumen e as texturas escaneadas produzem padrões de sombra, oclusão ambiental e geometria de perspectiva indistinguíveis das imagens reais.
• Validação do "Sim-to-Real": Ao alinhar estritamente os parâmetros intrínsecos da câmera simulada com o hardware real, os autores eliminam uma grande fonte de domain gap (lacuna de domínio) óptica, facilitando a transferência de modelos treinados no sintético para o real.

5. Significado e Impacto

O UE5-Forest é, segundo os autores, o primeiro conjunto de dados estéreo sintético publicamente disponível com rótulos de disparidade densos e livres de erros especificamente para o domínio florestal.

• Preenchimento de Lacuna Crítica: Resolve o problema da escassez de dados de treinamento supervisionado, permitindo o desenvolvimento de redes de aprendizado profundo mais robustas para aplicações de UAVs.
• Complementaridade: O dataset é projetado para ser usado em pipelines híbridos: fornecendo supervisão matemática exata para o pre-treinamento (usando dados sintéticos) e permitindo o fine-tuning posterior com dados reais (usando pseudo-rótulos ou adaptação de domínio).
• Futuro: Embora o dataset atual foque em árvores isoladas (sem sobreposição de copas complexas de florestas densas), ele estabelece a base para extensões futuras que incluirão composições de múltiplas árvores, variações de iluminação e simulação de ruído de sensor.

Em resumo, o trabalho oferece uma infraestrutura essencial para avançar a automação na silvicultura, permitindo que algoritmos de visão computacional aprendam a interpretar a complexa geometria das florestas com precisão que seria impossível de obter apenas com dados do mundo real.