Low-Cost Stereo Vision for Robust 3D Positioning of Thin Radiata Pine Branches in Autonomous Drone Pruning

기술 요약: 얇은 라디에타 소나무 가지의 견고한 3 차원 위치 추정을 위한 저비용 스테레오 비전

문제 제기
Pinus radiata(라디에타 소나무) 의 수동 가지치기는 위험하고 노동 집약적이어서 자율 솔루션에 대한 수요가 발생합니다. 기존 자율 가지치기 플랫폼은 일반적으로 고가의 LiDAR 센서에 의존하며, 두꺼운 가지 (20–40 mm) 만 탐지하는 데 제한되어 있어, 깨끗하고 매듭이 없는 목재를 생산하는 데 필수적인 얇고 높은 수관 가지 (최소 10 mm 까지) 를 처리하지 못합니다. 주요 병목 현상은 절단 메커니즘이 아니라, 저비용 하드웨어를 사용하여 이러한 얇고 질감이 희소한 구조물을 정확하게 탐지하고 3 차원 위치를 결정하는 인식 파이프라인의 능력입니다. 본 논문은 보조 깊이 센서 없이 단일 저비용 스테레오 카메라가 이 작업에 충분한 정확도를 제공할 수 있는지 조사합니다.

방법론
제안된 시스템은 가지 분할과 깊이 추정의 두 가지 병렬 단계를 포함하며, 새로운 삼각측량 알고리즘을 통해 융합된 통합 인식 파이프라인입니다.

1. 가지 분할:
   본 연구는 가지의 픽셀 단위 마스크를 생성하기 위해 인스턴스 분할 모델을 평가합니다. 두 가지 계열이 비교됩니다:

   • 이단계 탐지기: ResNet-50/101 및 ResNeXt-101 백본과 C4, DC5, FPN 구성을 사용하는 Mask R-CNN 의 7 가지 변형.
   • 일단계 실시간 탐지기: YOLOv8(n, s, m, l, x) 및 YOLOv9(c, e) 의 변형.
     모델들은 ZED Mini 카메라로 실내에서 촬영한 71 개의 스테레오 이미지 쌍으로 구성된 맞춤형 데이터셋으로 훈련되었습니다.

2. 깊이 추정:
   파이프라인은 불일치 맵 (disparity maps) 을 생성하기 위해 전통적인 방법과 딥러닝 기반 스테레오 매칭 방법을 비교합니다:

   • 전통적 기준: 가중 최소 제곱 (WLS) 사후 필터링이 적용된 Semi-Global Block Matching(SGBM).
   • 딥러닝: 비용 볼륨 네트워크 (PSMNet, ACVNet, GWCNet, MobileStereoNet), 반복적 정제 네트워크 (RAFT-Stereo), 그리고 NeRF-감독 딥 스테레오를 포함한 6 가지 아키텍처.
   • 교차 데이터셋 분석: 실험에는 도시 주행 데이터셋 (KITTI 2012, KITTI 2015) 과 Scene Flow 에서 PSMNet 을 미세 조정하여 도시 벤치마크와 임업 장면 간의 도메인 격차를 정량화하는 작업이 포함됩니다. 단안 깊이 모델 (MiDaS, Depth Anything) 은 측정 스케일 모호성에 대한 sanity check 로만 평가됩니다.

3. 융합 및 3 차원 위치 추정 (주요 기여):
   분할 마스크와 노이즈가 있는 불일치 맵을 단일 견고한 거리로 변환하기 위해, 본 논문은 중심점 기반 삼각측량 알고리즘과 중앙값 절대 편차 (MAD) 이상치 제거를 도입합니다:

   • 중심점 샘플링: 마스크 내 모든 픽셀을 평균화하는 것 (노이즈가 있는 실루엣/배경 픽셀을 포함함) 대신, 경계점을 삼각형으로 그룹화합니다. 이러한 삼각형의 중심점들이 샘플링 위치로 사용되어, 매칭이 더 신뢰할 수 있는 가지의 중앙선 쪽으로 샘플을 편향시킵니다.
   • 이웃 확장: 각 중심점은 분산을 줄이기 위해 이웃 샘플 점들로 확장됩니다.
   • MAD 필터링: 이상치는 샘플 풀 내 깊이 값의 중앙값 절대 편차를 기반으로 제거됩니다. $median \pm k \cdot MAD$(여기서 $k=3$) 범위 내의 값만 유지됩니다.
   • 최종 추정: 최종 가지 - 카메라 거리는 유지된 필터링된 깊이 값들의 평균입니다.

주요 결과

• 분할 성능: 가지 데이터셋에서 YOLOv8 및 YOLOv9 변형은 마스크 품질 측면에서 Mask R-CNN 을 크게 능가했습니다. Mask R-CNN 은 높은 바운딩 박스 정확도 (77–88 mAPbox) 를 달성했지만, 마스크 정확도는 12 mAPmask 미만으로 급락했습니다. 반면, YOLO 변형은 98.7–99.6 mAPbox 및 77.1–82.0 mAPmask 를 달성했습니다. 저자들은 이를 얇은 구조물에 어려움을 겪는 Mask R-CNN 의 고정된 저해상도 마스크 업샘플링과 비교하여 YOLO 의 고해상도 프로토타입 예측에 기인합니다.
• 깊이 추정:
  • 도메인 격차: 도시 주행 데이터셋 (KITTI) 에서 PSMNet 을 미세 조정하면 얇은 가지에 대한 성능이 저하되어, 상당한 도메인 격차가 확인되었습니다.
  • 아키텍처 비교: NeRF-감독 딥 스테레오는 도메인 내 정답 (ground truth) 이 필요 없이 가지에 대한 가장 깨끗한 불일치 맵을 생성하여, 가지 가장자리를 보존하는 측면에서 SGBM 및 기타 딥 네트워크보다 우수했습니다.
  • 융합 효과: MAD 필터링이 적용된 중심점 기반 삼각측량은 노이즈가 있는 불일치 맵을 안정적인 거리 추정치로 성공적으로 변환했습니다. 정성적 히스토그램은 SGBM 에 비해 NeRF-Stereo 파이프라인이 실제 거리 (1m, 1.5m, 2m) 주변에 더 집중된 깊이 추정치를 생성했음을 보여주었습니다.
  • 애블레이션: MAD 필터링을 제거하거나 전체 마스크 샘플링 (중심점 샘플링 대신) 을 사용할 경우, 배경 번짐과 실루엣 아티팩트로 인해 수십 센티미터의 상당한 거리 편차가 발생했습니다.

의의 및 주장
본 논문은 프로토타입 기반 일단계 분할기와 제안된 융합 알고리즘과 결합된 저비용 패시브 스테레오 비전이 얇은 가지 (최소 10 mm) 의 자율 가지치기를 위한 실현 가능한 인식 프론트엔드라고 주장합니다.

• 신규성: 주요 기여는 스테레오 분할을 중심점 기반 삼각측량 및 MAD 이상치 제거와 결합한 것으로, 이는 임업 장면에서의 희소한 질감, 얇은 구조물, 노이즈가 있는 불일치 값이라는 특정 문제를 해결합니다.
• 실현 가능성: 이 연구는 인식 파이프라인이 노이즈에 견고하다면, 작업 거리 1–2 m 에서 가지 위치 추정을 위해 LiDAR 와 같은 보조 깊이 센서가 반드시 필요하지 않음을 보여줍니다.
• 한계 및 향후 작업: 저자들은 현재 데이터셋이 실내 조건으로 제한되어 있으며 바람 운동이나 밀집된 수관 혼란이 부족하다는 점을 겸손하게 지적합니다. 정량적인 종단간 정확도 수치를 제공하기 위해 LiDAR 참조 데이터가 포함된 야외 현장 수집의 필요성과 실시간 드론 운용을 위한 온보드 지연 시간을 줄이기 위한 멀티태스크 아키텍처 개발의 필요성을 확인합니다.