Viking Hill Dataset: A Lidar-Radar-Camera Dataset for Detection and Segmentation in Forest Scenes

Resumen Técnico: Conjunto de Datos Viking Hill

Planteamiento del Problema
Los robots autónomos que operan en entornos forestales enfrentan desafíos de percepción significativos debido a condiciones adversas, que incluyen terrenos irregulares, vegetación densa y contaminación de los sensores (tierra, serrín, escombros). Aunque los Vehículos Terrestres No Tripulados (UGV) se utilizan cada vez más para tareas forestales, los sistemas de percepción existentes que dependen de cámaras y LiDAR son susceptibles a la degradación visual y la oclusión. Si bien el radar de imagen 4D ofrece resiliencia ante estas condiciones, su aplicación en la silvicultura sigue siendo poco explorada. Existe una brecha crítica en la disponibilidad de conjuntos de datos multimodales co-registrados (LiDAR, Radar, Cámara) con anotaciones 3D compartidas que permitan una comparación directa y justa del rendimiento de la segmentación a través de estas modalidades en entornos forestales naturales.

Metodología
Los autores presentan el Viking Hill Dataset, un conjunto de datos multisensores recolectado por un robot móvil Clearpath Husky en un bosque cerca de la Universidad de Örebro, Suecia. La recolección de datos se realizó en dos sesiones (mayo y junio de 2024) para capturar estados de vegetación contrastantes: "hierba corta" (bajo crecimiento) y "hierba alta" (crecimiento máximo).

• Suite de Sensores: El robot estaba equipado con un radar de imagen 4D FMCW de alta resolución (Sensrad Hugin A3), un LiDAR de 32 canales (Ouster OS0-32), una cámara RGB (IDS uEye), una IMU (Xsens MTi-30) y receptores duales RTK-GNSS.
• Procesamiento de Datos: Se generó un mapa de nubes de puntos de referencia utilizando SLAM (HDL Graph SLAM) auxiliado por poses GNSS de alta precisión donde estaban disponibles. Debido a que la oclusión del dosel limita la precisión del GNSS, los mapas presentan cierta deriva global pero mantienen la precisión local.
• Anotación: El conjunto de datos cuenta con anotaciones de cuboides 3D para nueve clases (por ejemplo, Suelo, Tronco de Árbol, Dosel de Árbol, Roca, Arbusto). Estas etiquetas fueron creadas manualmente en el mapa de referencia LiDAR utilizando herramientas de Segments.ai y proyectadas sobre los datos de radar y cámara. Este enfoque se eligió porque la anotación manual de nubes de puntos de radar dispersas es poco práctica.
• Métricas por Árbol: El conjunto de datos incluye anotaciones aproximadas del Diámetro a la Altura del Pecho (DBH) para 149 (vegetación baja) y 169 (vegetación alta) troncos de árboles, derivadas mediante el ajuste de círculos a los puntos de LiDAR acumulados a 1.3 m de altura.
• Evaluación de Línea Base: Los autores entrenaron una arquitectura MinkowskiUNet (adaptada del conjunto de datos DigiForests) para la segmentación semántica tanto en nubes de puntos LiDAR como de radar. También realizaron un análisis de cross-modality comparando la segmentación de LiDAR y radar contra un modelo de detección de troncos RGB pre-entrenado (PercepTreeV1) y realizaron una evaluación estratificada basada en el diámetro del árbol.

Contribuciones Clave

1. Primer Conjunto de Datos Forestal Multimodal: El primer conjunto de datos disponible públicamente que combina datos de radar de imagen 4D, LiDAR y cámara RGB en un entorno forestal con anotaciones 3D compartidas.
2. Herramientas Basadas en ROS: Desarrollo de herramientas ROS para etiquetar nubes de puntos y proyectar cuboides 3D sobre imágenes RGB, soportando formatos como COCO.
3. Anotaciones de Diámetro por Árbol: Inclusión de estimaciones de DBH para permitir un análisis estratificado del rendimiento de la segmentación relativo al tamaño del árbol.
4. Resultados de Línea Base: Provisión de líneas base de segmentación semántica utilizando MinkowskiUNet para LiDAR y radar, junto con análisis de rendimiento cross-modal.

Resultados

• Segmentación Semántica: La línea base MinkowskiUNet logró puntuaciones de Intersección sobre Unión (IoU) competitivas para las clases dominantes. Para la clase "Suelo", el radar alcanzó un 90.5% de IoU (acumulación de 5 escaneos) frente al 98.4% de LiDAR. Para "Dosel de Árbol", el radar alcanzó un 85.5% frente al 91.0% de LiDAR. Sin embargo, el rendimiento del radar fue significativamente inferior en estructuras geométricas finas; para "Tronco de Árbol", el radar logró un 55.8% de IoU comparado con el 74.3% de LiDAR.
• Análisis Cross-Modality: Al analizar la segmentación de troncos de árboles condicionada al éxito de la detección RGB:
  • En vegetación baja, LiDAR mantuvo un recall consistente independientemente de si el modelo RGB tuvo éxito o falló.
  • El rendimiento del radar cayó significativamente cuando el modelo RGB falló (Falsos Negativos), debido principalmente a que muchas detecciones perdidas se ubicaban en los bordes del rango de azimut del radar o fuera del cuadro de la cámara, lo que resulta en retornos de puntos dispersos.
  • El radar demostró la capacidad de detectar puntos de troncos hasta los 50 m en vegetación baja, aunque con una mayor varianza en el recall en comparación con LiDAR.
• Evaluación Estratificada por Diámetro: La calidad de la segmentación varió con el tamaño del árbol. Para LiDAR, el IoU fue más alto para árboles delgados (65.1%) y más bajo para árboles gruesos (55.0%) en la sesión de vegetación baja. Esto sugiere que las métricas de clase agregadas pueden enmascarar las variaciones de rendimiento entre diferentes tamaños de objetos.

Significancia y Reivindicaciones
El artículo afirma que el Viking Hill Dataset es un recurso único para investigar la utilidad del radar de imagen en la percepción forestal. Los autores sostienen que, si bien el radar actualmente está por detrás del LiDAR en la segmentación de detalles geométricos finos como los troncos de los árboles, ofrece un rendimiento competitivo para las clases dominantes (suelo y dosel) y proporciona robustez en condiciones donde los sensores visuales fallan.

El conjunto de datos está destinado a estimular la investigación en:

• Fusión de Sensores: Combinar datos de radar, LiDAR y cámara para una percepción redundante en la silvicultura autónoma.
• Robustez: Investigar el rendimiento de los sensores bajo la oclusión de la vegetación y la potencial contaminación de la superficie.
• Mapeo y Localización: Utilizar los mapas de referencia asistidos por RTK-GNSS para SLAM y análisis de terreno bajo el dosel.

Los autores mantienen una postura modesta, reconociendo limitaciones como el uso de cuboides 3D (que pueden introducir ruido de etiqueta para formas complejas como bifurcaciones o ramas) y la falta actual de integración de Doppler en la segmentación de línea base. Posicionan el conjunto de datos como una base para trabajos futuros para refinar los métodos de anotación y explorar el pleno potencial del radar en entornos naturales desafiantes.