Neural Tree Reconstruction for the Open Forest Observatory

Resumen Técnico: Reconstrucción de Árboles mediante Redes Neuronales para el Open Forest Observatory

Planteamiento del Problema
El Open Forest Observatory (OFO) es una iniciativa colaborativa destinada a proporcionar datos de mapeo forestal de bajo costo y accesibles para ecólogos, gestores de tierras y el público en general. Actualmente, los mapas forestales 3D del OFO se generan utilizando técnicas clásicas de Estructura desde el Movimiento (SfM, por sus siglas en inglés). Aunque son efectivas para mapear el dosel forestal, los enfoques de SfM sufren limitaciones significativas cuando se aplican a entornos forestales complejos:

• Artefactos y Falta de Detalle: Las mallas 3D resultantes suelen oscurecer detalles finos necesarios para la clasificación semántica.
• Visibilidad del Sotobosque: El SfM tiene dificultades con el suelo del bosque, donde la visibilidad desde la parte superior es limitada, lo que provoca errores de reconstrucción.
• Impacto en Procesos Derivados: Estos errores de reconstrucción, como los "floaters" (puntos desconectados) o la falta de detalles estructurales, pueden propagarse a tareas científicas posteriores como simulaciones de incendios forestales, estimación de la captura de carbono y evaluación de la carga de combustible.
• Limitaciones de Medición: Métricas forestales críticas, como el Diámetro a la Altura del Pecho (DBH), son difíciles de obtener con precisión utilizando fotogrametría estándar, incluso en masas forestales dispersas.

Metodología
El artículo explora la integración de los Campos de Radiancia Neuronal (NeRF) en el conjunto de datos del OFO para abordar estas deficiencias de reconstrucción.

• Arquitectura NeRF: Los autores utilizan NeRF, una función implícita que modela la geometría y la apariencia volumétrica de la escena. Toma las coordenadas 3D $(x, y, z)$ y las direcciones de visión $(\theta, \phi)$ como entrada, procesándolas a través de un Perceptrón de Capas Múltiples (MLP) para producir color $(r, g, b)$ y densidad $\sigma$.
• Renderizado y Entrenamiento: Las nuevas vistas se sintetizan mediante el trazado de rayos, acumulando colores y densidades utilizando técnicas clásicas de renderizado volumétrico. La red es supervisada mediante la minimización de la pérdida $L_1$ entre el color del píxel predicho y el color real de las imágenes de entrada.
• Configuración Experimental: Para esta prueba de concepto, los autores procesaron metraje de drones (recopilado mediante un DJI Phantom 4 Pro v2) de un pino contorta (Pinus contorta) aislado en el Bosque Nacional de Tahoe. Los datos fueron procesados utilizando nerfstudio con el método nerf-facto para generar modelos NeRF.
• Comparación: Los resultados de NeRF se compararon con las nubes de puntos y mallas basadas en SfM ya existentes en la base de datos del OFO.

Contribuciones Clave

1. Introducción de Conjunto de Datos: El artículo presenta el conjunto de datos del Open Forest Observatory a la comunidad de IA, el cual incluye datos 2D/3D derivados de drones, geolocalización basada en campo e información de clasificación de especies.
2. Mejora Cualitativa: Los autores demuestran que la aplicación de NeRF a datos forestales produce una calidad de reconstrucción significativamente mayor en comparación con SfM. Esto incluye una visualización más clara de las estructuras de los árboles, troncos, hojas y ramas.
3. Calidad de la Malla: El artículo muestra que las mallas extraídas de las reconstrucciones NeRF contienen menos artefactos (como los "floaters" comunes en las nubes de puntos de SfM) y retienen más detalles de grano fino.
4. Vía para la Evaluación Virtual: El trabajo describe cómo las reconstrucciones 3D de alta fidelidad podrían facilitar las evaluaciones cualitativas remotas virtuales por parte de expertos (por ejemplo, estimando la densidad de combustible o el espaciamiento entre árboles), reduciendo potencialmente la necesidad de estudios de campo físicos en áreas remotas.

Resultados

• Fidelidad Visual: Los modelos NeRF producidos a partir de las mismas imágenes que los modelos SfM demostraron un fotorrealismo superior. Detalles como las estructuras de ramas y hojas fueron mucho más distintivos en los renderizados de NeRF.
• Reducción de Artefactos: En comparaciones directas, las nubes de puntos de SfM exhibieron un alto número de "floatos" que impedían un mallado razonable, mientras que las mallas derivadas de NeRF ofrecieron una representación más coherente del árbol.
• Desafíos del Sotobosque: Aunque NeRF mejoró el detalle general, los autores señalan que las imágenes aéreas aún limitan la visibilidad del sotobosque, haciendo que los árboles aparezcan ocasionalmente como si "flotaran" sin conexión al suelo en la implementación actual de NeRF convencional.

Significancia y Direcciones Futuras
El artículo postula que las reconstrucciones 3D de alta calidad son vitales para aplicaciones forestales que dependen de una estimación precisa de la densidad y la biomasa, como la reducción del peligro de incendios forestales y el monitoreo de la captura de carbono. Si bien este trabajo es una prueba de concepto, sirve como puerta de entrada para una mayor integración de la visión computacional de vanguardia en la silvicultura.

Los autores describen varias direcciones futuras para transformar aún más la gestión forestal:

• Escalabilidad: Escalar el procesamiento de NeRF para manejar áreas forestales más grandes, inspirándose en los esfuerzos de NeRF a gran escala.
• Reconstrucción del Sotobosque: Explorar la combinación de modelos de difusión con NeRF para rellenar mejor las áreas del sotobosque difíciles de capturar, aprovechando los conocimientos previos de que los árboles deben estar conectados al suelo.
• Integración de Lenguaje: Investigar el uso de Campos de Radiancia Embebidos en Lenguaje (LERF) para permitir la búsqueda mediante lenguaje natural dentro de la escena 3D para la identificación y el conteo de especies.
• Benchmarking: El OFO planea curar "problemas de desafío" con una verdad de terreno de alta calidad (específicamente mediciones de DBH) para establecer nuevas métricas de validación para la comunidad de reconstrucción 3D, adaptadas específicamente a los umbrales de error requeridos por las aplicaciones forestales.

El artículo concluye invitando a la comunidad de IA a participar con el conjunto de datos del OFO para desarrollar métodos que puedan mejorar las capacidades de preparación ante incendios forestales y la estimación de carbono.