Low-Cost Stereo Vision for Robust 3D Positioning of Thin Radiata Pine Branches in Autonomous Drone Pruning

Resumen Técnico: Visión Estéreo de Bajo Costo para la Posicionamiento 3D Robusto de Ramas Finas de Pino Radiata

Enunciado del Problema
La poda manual de Pinus radiata (pino radiata) es peligrosa y laboriosa, generando una demanda de soluciones autónomas. Las plataformas de poda autónomas existentes dependen típicamente de sensores LiDAR costosos y se limitan a detectar ramas gruesas (20–40 mm), sin abordar las ramas finas de la copa alta (tan delgadas como 10 mm) críticas para producir madera clara y libre de nudos. El principal cuello de botella no es el mecanismo de corte, sino la capacidad del pipeline de percepción para detectar con precisión y determinar la posición 3D de estas estructuras delgadas y escasamente texturizadas utilizando hardware de bajo costo. Este artículo investiga si una única cámara estéreo de bajo costo, sin sensores de profundidad auxiliares, puede proporcionar la precisión suficiente para esta tarea.

Metodología
El sistema propuesto es un pipeline de percepción integrado que comprende dos etapas paralelas: segmentación de ramas y estimación de profundidad, fusionadas mediante un algoritmo de triangulación novedoso.

1. Segmentación de Ramas:
   El estudio evalúa modelos de segmentación de instancias para generar máscaras a nivel de píxel de las ramas. Se comparan dos familias:

   • Detectores de dos etapas: Siete variantes de Mask R-CNN (utilizando backbones ResNet-50/101 y ResNeXt-101 con configuraciones C4, DC5 y FPN).
   • Detectores de una etapa en tiempo real: Variantes de YOLOv8 (n, s, m, l, x) y YOLOv9 (c, e).
     Los modelos se entrenan en un conjunto de datos personalizado de 71 pares de imágenes estéreo capturados en interiores con una cámara ZED Mini.

2. Estimación de Profundidad:
   El pipeline compara métodos de correspondencia estéreo tradicionales y basados en aprendizaje profundo para generar mapas de disparidad:

   • Línea Base Tradicional: Semi-Global Block Matching (SGBM) con post-filtrado de Mínimos Cuadrados Ponderados (WLS).
   • Aprendizaje Profundo: Seis arquitecturas que incluyen redes de volumen de costos (PSMNet, ACVNet, GWCNet, MobileStereoNet), redes de refinamiento iterativo (RAFT-Stereo) y Estéreo Profundo Supervisado por NeRF.
   • Análisis Transversal de Conjuntos de Datos: Los experimentos incluyen el ajuste fino de PSMNet en conjuntos de datos de conducción urbana (KITTI 2012, KITTI 2015) y Scene Flow para cuantificar la brecha de dominio entre los puntos de referencia urbanos y las escenas forestales. Los modelos de profundidad monoculares (MiDaS, Depth Anything) se evalúan únicamente como una verificación de sentido común para la ambigüedad de la escala métrica.

3. Fusión y Posicionamiento 3D (Contribución Principal):
   Para convertir una máscara de segmentación y un mapa de disparidad ruidoso en una única distancia robusta, el artículo introduce un algoritmo de triangulación basado en el centroide con rechazo de valores atípicos mediante Desviación Absoluta Mediana (MAD):

   • Muestreo del Centroide: En lugar de promediar todos los píxeles en la máscara (que incluye píxeles de silueta/fondo ruidosos), los puntos de borde se agrupan en triángulos. Los centroides de estos triángulos sirven como ubicaciones de muestreo, sesgando las muestras hacia la línea medial de la rama donde la correspondencia es más fiable.
   • Expansión del Vecindario: Cada centroide se expande mediante puntos de muestra vecinos para reducir la varianza.
   • Filtrado MAD: Los valores atípicos se rechazan basándose en la Desviación Absoluta Mediana de los valores de profundidad dentro del grupo de muestras. Solo se retienen los valores dentro de $mediana \pm k \cdot MAD$ (donde $k=3$).
   • Estimación Final: La distancia final de la rama a la cámara es la media de los valores de profundidad retenidos y filtrados.

Resultados Clave

• Rendimiento de Segmentación: En el conjunto de datos de ramas, las variantes de YOLOv8 y YOLOv9 superaron significativamente a Mask R-CNN en la calidad de la máscara. Mientras que Mask R-CNN logró una alta precisión en cajas delimitadoras (77–88 mAPbox), su precisión de máscara colapsó por debajo de 12 mAPmask. Por el contrario, las variantes de YOLO lograron 98.7–99.6 mAPbox y 77.1–82.0 mAPmask. Los autores atribuyen esto a la predicción de prototipos de alta resolución de YOLO frente al aumento de escala de máscara de baja resolución fijo de Mask R-CNN, que lucha con estructuras delgadas.
• Estimación de Profundidad:
  • Brecha de Dominio: El ajuste fino de PSMNet en conjuntos de datos de conducción urbana (KITTI) degradó el rendimiento en ramas finas, confirmando una brecha de dominio significativa.
  • Comparación de Arquitecturas: El Estéreo Profundo Supervisado por NeRF produjo los mapas de disparidad más limpios para ramas sin requerir verdad terreno dentro del dominio, superando a SGBM y otras redes profundas en la preservación de los bordes de las ramas.
  • Eficacia de la Fusión: La triangulación basada en el centroide con filtrado MAD convirtió con éxito los mapas de disparidad ruidosos en estimaciones de distancia estables. Los histogramas cualitativos mostraron que el pipeline NeRF-Stereo produjo estimaciones de profundidad más concentradas alrededor de la distancia real (1m, 1.5m, 2m) en comparación con SGBM.
• Ablación: Eliminar el filtrado MAD o utilizar el muestreo de máscara completa (en lugar del muestreo de centroide) resultó en una deriva significativa de la distancia (decenas de centímetros) debido a la sangrado de fondo y artefactos de silueta.

Significado y Afirmaciones
El artículo afirma que la visión estéreo pasiva de bajo costo, cuando se combina con segmentadores de una etapa basados en prototipos y el algoritmo de fusión propuesto, es un frente de percepción viable para la poda autónoma de ramas finas (hasta 10 mm).

• Novedad: La contribución principal es el acoplamiento de la segmentación estéreo con una triangulación basada en el centroide y el rechazo de valores atípicos MAD, lo que aborda los desafíos específicos de la textura dispersa, las estructuras delgadas y los valores de disparidad ruidosos en escenas forestales.
• Factibilidad: El estudio demuestra que los sensores de profundidad auxiliares (como LiDAR) no son estrictamente necesarios para la posición de ramas a distancias de trabajo de 1–2 m, siempre que el pipeline de percepción sea robusto al ruido.
• Limitaciones y Trabajo Futuro: Los autores notan modestamente que el conjunto de datos actual se limita a condiciones interiores y carece de movimiento por viento o desorden denso de la copa. Identifican la necesidad de recolección de campo en exteriores con datos de referencia LiDAR para proporcionar cifras cuantitativas de precisión de extremo a extremo y el desarrollo de arquitecturas de múltiples tareas para reducir la latencia a bordo para la operación de drones en tiempo real.