💻 computer science

Real-Time Branch-to-Tool Distance Estimation for Autonomous UAV Pruning: Benchmarking Five DEFOM-Stereo Variants from Simulation to Jetson Deployment

이 논문은 Unreal Engine 5 기반의 합성 데이터로 훈련된 다섯 가지 DEFOM-Stereo 변형 모델을 NVIDIA Jetson Orin 에서 평가하여, UAV 가지치기 작업의 실시간 안전성을 보장하는 최적의 정확도 - 속도 균형 모델인 'DEFOM-PrunePlus'를 도출하고 시뮬레이션에서 실제 환경으로의 전이 가능성을 검증했습니다.

원저자: Yida Lin, Bing Xue, Mengjie Zhang, Sam Schofield, Richard Green

게시일 2026-03-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yida Lin, Bing Xue, Mengjie Zhang, Sam Schofield, Richard Green

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 드론이 스스로 나무 가지를 치는 (가지치기) 작업을 할 때, 어떻게 하면 부드럽고 정확하게 가지를 잘라낼 수 있는지에 대한 연구입니다.

마치 눈이 보이지 않는 상태에서 칼로 가지를 자르는 것처럼, 드론은 날아가는 동안 가지를 얼마나 가까이 다가갔는지 정확히 알아야 합니다. 너무 멀면 자를 수 없고, 너무 가까우면 드론이 가지에 부딪혀 떨어질 수 있으니까요.

이 연구는 **"가장 정확한 방법"**과 "가장 빠른 방법" 사이에서 가장 좋은 균형을 찾는 여정입니다.

🌳 1. 문제 상황: "눈이 먼" 드론의 고민

드론이 가지치기를 하려면 두 가지 카메라 (양쪽 눈) 를 통해 나무의 거리를 재야 합니다. 하지만 나무 가지는 매우 얇고, 나뭇잎이 흔들리며, 하늘 배경과 섞여 있어 컴퓨터가 거리를 재는 게 매우 어렵습니다. 마치 안개 낀 날에 가늘게 늘어진 실을 찾아내는 것처럼 난이도가 높습니다.

또한, 드론은 강력한 컴퓨터가 아니라 **작은 칩 (Jetson)**을 달고 다니기 때문에, 복잡한 계산을 하느라 느려지면 안 됩니다. "정확하지만 느린" 방법은 드론이 가지에 부딪히기 전에 멈추지 못하게 하고, "빠하지만 부정확한" 방법은 드론이 잘못된 거리를 믿고 위험한 행동을 하게 만듭니다.

🎮 2. 해결책: "가상 현실 (게임)"에서 훈련하기

실제 나무에 가지를 치면서 정확한 거리를 재는 것은 불가능에 가깝습니다. 그래서 연구팀은 **언리얼 엔진 5(UE5)**라는 고화질 게임 엔진을 이용해 가상의 나무 숲을 만들었습니다.

가상 나무 숲: 실제 나무 115 그루를 게임 속에 만들고, 드론 시점 (위, 아래, 옆) 에서 5,500 개 이상의 사진을 찍었습니다.
완벽한 정답: 게임 속에서는 가지를 자르는 정확한 거리를 컴퓨터가 100% 알고 있기 때문에, 드론 AI 에게 "이건 2 미터야, 저건 1.5 미터야"라고 완벽하게 가르칠 수 있었습니다. (실제 나무에서는 이렇게 정확한 정답을 얻기 어렵습니다.)

🧠 3. 다섯 명의 선수 (AI 모델) 대결

연구팀은 같은 기본 설계 (DEFOM-Stereo) 를 바탕으로 다섯 가지 버전의 AI를 만들었습니다. 마치 다섯 명의 요리사가 같은 레시피를 가지고 있지만, 각자 다른 재료를 넣고 속도를 조절하는 것과 같습니다.

빅 브라더 (ViT-S & ViT-L): 가장 똑똑하고 정교한 모델입니다.
- 특징: 얇은 가지까지 아주 정확하게 구별합니다. (정확도 1 위)
- 단점: 머리가 너무 좋아서 계산이 느립니다. 드론이 가지를 자르기 전에 "잠깐만요, 계산 중입니다"라고 말하며 멈추게 할 정도로 느립니다. (약 2.2 초에 1 장 처리)
밸런스형 (PrunePlus): 이 연구의 주인공입니다.
- 특징: "정확함"과 "빠름"을 적당히 섞었습니다. 아주 정밀하지는 않지만, 가지를 자르기 전에 드론이 멈출 수 있을 만큼 충분히 빠르고 정확합니다. (약 3.3 초에 1 장 처리)
- 결과: 드론이 실제로 가지치기를 할 때 가장 현실적으로 쓸모 있는 모델로 선정되었습니다.
스피드형 (PruneStereo & PruneNano): 가장 빠른 모델들입니다.
- 특징: 계산 속도가 매우 빠릅니다. (약 7~8 초에 1 장 처리)
- 단점: 너무 빠르게 계산하려다 보니 거리를 잘못 재는 경우가 많습니다. "3 미터인데 1 미터라고" 잘못 말하면 드론이 가지에 들이받아 추락할 수 있습니다. 너무 위험해서 쓸 수 없습니다.

⚖️ 4. 결론: "완벽함"보다 "적당한 균형"이 필요하다

이 연구는 드론 가지치기에서 중요한 교훈을 줍니다.

**가장 정확한 모델 (빅 브라더)**은 이론적으로는 좋지만, 너무 느려서 실시간으로 반응하기엔 무리입니다.
**가장 빠른 모델 (스피드형)**은 속도는 좋지만, 거리를 잘못 재서 드론을 추락시킬 수 있습니다.
**밸런스형 (PrunePlus)**이 최고의 선택입니다.
- 드론이 가지를 향해 날아갈 때, 이 모델은 약 3 초에 한 번씩 거리를 알려줍니다.
- 드론이 초당 30cm 정도 날아간다고 가정하면, 이 모델은 드론이 약 9cm 날아갈 때마다 "지금 거리가 안전해, 계속 가자" 혹은 "지금 멈춰!"라고 알려줍니다.
- 이 정도 속도면 드론이 가지에 부딪히기 전에 충분히 멈출 수 있습니다.

🚀 5. 현실 세계로: 가상에서 실전까지

가상 게임에서 훈련한 AI 가 실제 나무에서도 잘 작동할까 걱정할 수 있습니다. 하지만 실험 결과, 이 AI 는 실제 나무 사진에서도 가지의 모양과 거리를 잘 파악했습니다. 마치 비행 시뮬레이터에서 훈련한 파일럿이 실제 하늘에서도 비행할 수 있는 것과 같습니다.

💡 한 줄 요약

이 논문은 **"드론이 나무 가지를 치려면, 너무 느린 천재보다는 적당히 빠르고 안전한 '실전형' AI 가 필요하다"**는 것을 증명했습니다. 연구팀은 이를 위해 가상의 숲에서 훈련한 AI 를 최적화하여, 드론이 안전하고 정확하게 가지치기를 할 수 있는 길을 열었습니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 자율 무인 항공기 (UAV) 를 이용한 나무 가지 치기는 안전하고 효율적인 산림/원예 작업이지만, UAV 가 날카로운 가지를 자르기 위해서는 작업 도구 (커터) 와 얇은 가지 사이의 거리를 실시간으로 정밀하게 추정해야 합니다.
핵심 문제:
1. 정밀도 vs. 실시간성: 얇은 가지 (수 픽셀 폭) 와 복잡한 배경 (하늘, 나뭇잎) 은 스테레오 매칭에 매우 어렵습니다. 높은 정확도의 딥러닝 모델은 종종 임베디드 하드웨어 (UAV 탑재 GPU) 에서 실시간 제어 (Closed-loop control) 에 필요한 프레임 속도 (FPS) 를 달성하지 못합니다.
2. 데이터 부족: 실제 환경에서 얇은 가지에 대한 밀도 있는 깊이 (Depth) 데이터 (Ground Truth) 를 수집하고 주석 (Annotation) 하는 것은 비용이 많이 들고 비현실적입니다.
3. 배포 제약: NVIDIA Jetson Orin Super 과 같은 임베디드 장치에서 작동하면서도 충돌 없이 안전하게 도구를 작동시킬 수 있는 거리 추정 모델이 필요합니다.

2. 방법론 (Methodology)

A. 데이터셋 구축 (Synthetic Dataset)

시뮬레이션 환경: Unreal Engine 5 (UE5) 를 사용하여 115 개의 나무 인스턴스로 구성된 가상 환경을 구축했습니다.
카메라 설정: 시뮬레이션된 ZED Mini 스테레오 카메라를 사용하여 2m 거리에서 3 가지 시점 (위에서 아래, 아래에서 위, 평행) 으로 촬영했습니다.
데이터 규모: 총 5,520 개의 스테레오 쌍 (Stereo Pairs) 을 생성했으며, EXR 포맷의 밀도 있는 깊이 맵을 정밀한 지도 (Supervision) 로 활용했습니다. 이는 실제 이미지에서 불가능한 얇은 가지의 정확한 기하학적 구조를 제공합니다.

B. 모델 아키텍처 비교 (Five Model Variants)

저자는 최신 스테레오 기반 모델인 DEFOM-Stereo를 기반으로 5 가지 변형 모델을 설계하고 비교했습니다.

DEFOM-Stereo ViT-S & ViT-L: 원본 모델. DINOv2 기반 인코더와 66 레이어의 DPT 디코더를 사용하여 최고 정확도를 목표로 함.
DEFOM-PrunePlus (제안 모델):
- 전략: "양을 줄이고 품질은 유지 (Reduce quantity, preserve quality)".
- 변경 사항: DINOv2 인코더는 풀 해상도로 유지, GRU(반복 신경망) 는 풀 스텝 유지, 하지만 디코더를 66 레이어에서 14 레이어의 계층적 디코더로 축소.
- 목적: 정확도와 속도 사이의 최적 균형을 찾기 위함.
DEFOM-PruneStereo: 중간 수준의 압축. DINOv2 해상도 축소 (0.75x), 경량 디코더 (6 레이어), 좁은 채널 사용.
DEFOM-PruneNano: 극단적인 실시간 최적화. DINOv2 해상도 대폭 축소 (0.5x), Ghost Convolution, DS-GRU, TurboDecoder 도입.

C. 배포 및 평가

하드웨어: NVIDIA Jetson Orin Super 16GB (UAV 탑재).
구현: PyTorch 와 TensorRT (FP16) 를 사용하여 추론 속도를 측정.
평가 지표: EPE(End-Point Error), D1-all, $\delta_1$ , 깊이 MAE (Mean Absolute Error), 그리고 실제 FPS.
Zero-Shot 검증: UE5 에서만 학습된 모델을 실제 나무 가지 사진에 적용하여 도메인 적응 (Sim-to-Real) 능력을 검증.

3. 주요 기여 (Key Contributions)

작업 특화형 합성 데이터셋: UE5 기반의 5,520 개 스테레오 쌍 데이터셋을 구축하여 얇은 가지 기하학에 대한 정확한 지도를 제공했습니다.
5 모델 벤치마크: DEFOM-Stereo 의 5 가지 변형 모델을 통합된 프로토콜로 평가하여 정확도 - 속도 간의 계층적 관계와 "정확도 절벽 (Accuracy Cliff)" 현상을 규명했습니다.
DEFOM-PrunePlus 제안: 디코더만 경량화하고 인코더/GRU 는 유지한 새로운 변형 모델을 소개하여, Jetson 환경에서 실용적인 정확도 - 지연 시간 균형을 달성했습니다.
Jetson 배포 실증: 실제 UAV 하드웨어에서 5 개 모델의 추론 지연 시간을 측정하고, 2m 작동 거리에서의 가지 - 도구 거리 추정 가능성을 검증했습니다.
Sim-to-Real 전이 검증: 합성 데이터만 학습한 모델이 실제 나무 가지의 연속성과 깊이 순서를 잘 보존함을 Zero-Shot 테스트를 통해 입증했습니다.

4. 실험 결과 (Results)

A. 정확도 (Synthetic Test Set)

ViT-S (Full): 가장 높은 정확도 (EPE 1.74 px, 깊이 MAE 23.40 cm).
ViT-L: EPE 는 가장 낮았으나 (1.63 px), 깊이 MAE 는 ViT-S 보다 오히려 나빴으며 (26.94 cm), 학습 및 추론 시간이 매우 길었습니다.
PrunePlus: EPE 5.87 px, 깊이 MAE 64.26 cm. ViT-S 보다 정확도는 낮지만, 경량화 모델 (PruneStereo/Nano) 보다는 훨씬 우수했습니다.
PruneStereo/Nano: EPE 와 깊이 MAE 가 급격히 악화됨 (MAE 57cm~112cm). 얇은 가지의 세부 구조를 복원하지 못해 가지 단위의 정밀 제어에 부적합했습니다.

B. Jetson Orin 배포 성능 (Inference Speed)

모델	TensorRT FPS	깊이 MAE (cm)	실용성
ViT-S	2.2 FPS (450ms)	23.40	△ (정확하지만 너무 느림)
ViT-L	0.8 FPS	26.94	× (실시간 불가)
PrunePlus	3.3 FPS (300ms)	64.26	✓ (추천)
PruneStereo	6.9 FPS	57.63	× (오차가 너무 큼)
PruneNano	8.5 FPS	112.16	× (사용 불가)

ViT-S: 정확도는 최고이나 2.2 FPS 는 UAV 의 최종 접근 단계에서 실시간 제어 (Closed-loop) 에 필요한 반응 속도를 제공하지 못함 (약 13.5cm 이동 동안 업데이트 없음).
PrunePlus: 3.3 FPS로 UAV 가 0.3m/s 로 접근할 때 약 9cm 이동마다 새로운 깊이 정보를 제공하여 제어기에 충분한 반응 여유를 줌. 깊이 오차 (64cm) 는 시간적 필터링으로 보정 가능.
PruneStereo/Nano: 속도는 빠르지만 깊이 오차가 너무 커서 (특히 Nano 는 1m 초과) 안전하지 않음.

C. Zero-Shot 전이

UE5 에서 학습된 모델 (특히 ViT-S 와 PrunePlus) 이 실제 나무 가지 사진에서도 가지의 연속성과 깊이 순서를 잘 유지함을 확인하여, 합성 데이터 학습의 유효성을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

최적의 솔루션: 자율 UAV 가지 치기 시스템에는 DEFOM-PrunePlus가 가장 실용적인 선택지입니다. 이는 Jetson Orin 에서 3.3 FPS의 실시간 성능을 유지하면서도, 2m 거리에서의 가지 접근 계획에 필요한 충분한 깊이 정확도 (MAE 64.26 cm) 를 제공합니다.
기술적 통찰:
- 디코더의 축소 (66 레이어 $\to$ 14 레이어) 는 정확도 하락의 주된 원인이지만, 인코더 (DINOv2) 와 GRU 의 풀 스텝 유지는 중요한 정확도를 회복시킵니다.
- 단순히 프레임 속도를 높이는 것 (PruneNano 등) 은 잘못된 거리 추정을 빠르게 만들어 오히려 위험할 수 있으며, 정확도와 속도의 균형이 필수적입니다.
미래 전망:
- ViT-S 모델은 향후 하드웨어 가속화 (INT8 양자화, 차세대 Jetson) 를 통해 4 FPS 이상으로 도달하면 더 높은 정확도의 기본 모델이 될 수 있습니다.
- PrunePlus 모델은 실제 현장 데이터로 미세 조정 (Fine-tuning) 하거나 시간적 필터링을 적용하여 최종 작동 거리 (Actuation distance) 의 정확도를 높일 수 있습니다.

이 논문은 합성 데이터 학습, 모델 경량화 전략, 그리고 임베디드 하드웨어 배포를 통합하여 자율 UAV 의 안전하고 정밀한 가지 치기 작업을 가능하게 하는 구체적인 기술 로드맵을 제시했습니다.