Progressive Per-Branch Depth Optimization for DEFOM-Stereo and SAM3 Joint Analysis in UAV Forestry Applications

이 논문은 DEFOM-Stereo 와 SAM3 를 통합한 점진적 분기별 깊이 최적화 파이프라인을 제안하여 복잡한 산림 환경에서 UAV 를 활용한 개별 가지의 3D 재구성 정밀도를 크게 향상시키고 자율 가지치기를 가능하게 합니다.

핵심

이 논문은 드론이 숲속 나무 가지를 잘라내는 '자율 로봇'이 되기 위해 필요한 기술을 설명하고 있습니다.

마치 **"어지러운 방을 정리해서 딱 필요한 물건만 찾아내는 과정"**처럼, 이 연구는 드론이 찍은 복잡한 나무 사진에서 '가지'만 깔끔하게 분리해 내고, 그 가지의 정확한 3D 모양을 만들어내는 방법을 개발했습니다.

이 과정을 6 단계의 업그레이드 (버전 1~6) 로 나누어, 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

🌲 배경: 왜 이 기술이 필요할까요?

뉴질랜드의 소나무 농장은 매우 크고 중요합니다. 하지만 나무 가지를 치는 (가지치기) 작업은 사람이 직접 올라가서 해야 하므로 매우 위험합니다.
이제 드론이 날아와서 가지를 자동으로 잘라주면 안전해지겠죠? 하지만 드론이 가지를 잘라려면 **"어느 가지가 얼마나 두껍고, 정확히 어디에 있는지"**를 센티미터 단위로 알아야 합니다.

문제는 드론이 찍은 사진이 너무 복잡하다는 점입니다. 나뭇잎, 하늘, 다른 가지들이 뒤섞여 있어서 컴퓨터가 "어느 것이 가지인지, 어느 것이 배경인지" 구분하기 어렵고, 거리 정보도 엉망진창입니다.

---

🛠️ 해결 과정: 6 단계의 '청소 및 정돈' 프로젝트

연구팀은 처음부터 완벽한 시스템을 만들기보다, 실수를 하나씩 찾아내어 고쳐가는 (Progressive) 방식을 썼습니다.

1 단계 (버전 1): "일단 찍고 보자" (초기 실패)

• 상황: 드론이 찍은 사진에 AI(DEFOM-Stereo) 가 거리를 재고, 또 다른 AI(SAM3) 가 "이건 가지야"라고 테두리를 그었습니다.
• 문제: 마치 테두리를 그을 때 펜이 너무 뻣뻣해서 가지 바깥의 하늘이나 나뭇잎까지 같이 포함해 버린 것입니다. 결과물은 가지 모양이 아니라, 하늘색과 나뭇잎색이 섞인 엉망진창의 구름 뭉치였습니다.

2 단계 (버전 2): "테두리 다듬기 (과도한 자르기)"

• 해결: 테두리가 너무 넓게 나왔으니, 안쪽으로 15 픽셀씩 잘라내서 (침식) 정리했습니다.
• 문제: 두꺼운 가지들은 깔끔해졌지만, 얇은 가지들은 너무 많이 잘려서 아예 사라져 버렸습니다. (마치 얇은 실을 자르려다 실이 끊어지는 상황)

3 단계 (버전 3): "얇은 실을 살리는 지능형 자르기"

• 해결: 얇은 가지가 끊어지지 않도록, 가지의 가장자리만 잘라내고 중심선 (뼈대) 은 남겨두는 기술을 썼습니다.
• 효과: 두꺼운 가지의 테두리는 정리되면서도, 얇은 가지의 연결고리는 무사히 보존되었습니다. 이제 가지의 '형체'는 잡았습니다.

4 단계 (버전 4): "색깔로 위장한 가짜 제거"

• 문제: 테두리는 정리했지만, 가지 모양 안에 색깔이 다른 나뭇잎 조각들이 섞여 있었습니다. (예: 갈색 가지 안에 초록색 잎이 끼어 있는 경우)
• 해결: 가지의 '핵심 부분' 색깔을 기억해 두고, 그 색깔과 너무 다른 픽셀들은 색깔이 다르면 가짜로 간주하고 제거했습니다. 또한, 서로 겹친 가지들 사이에서 "이 픽셀은 누구 거야?"라고 다투는 부분을 해결했습니다.
• 결과: 이제 가지 모양은 매우 깔끔해졌습니다.

5 단계 (버전 5): "거리 데이터의 잡음 제거 (초급)"

• 문제: 가지 모양은 깔끔한데, 거리 숫자 (깊이) 가 엉망입니다. 어떤 점은 1 미터, 바로 옆 점은 5 미터로 튀어 오르는 등 데이터에 '잡음'이 많았습니다.
• 해결: 통계학적인 방법 (이상치 제거) 을 써서 튀는 숫자들을 다듬었습니다.
• 문제: 하지만 이 방법은 가지의 날카로운 모서리까지 다듬어 버려서 가지가 뭉개진 것처럼 보였습니다.

6 단계 (버전 6): "최고급 정밀 연마 (완성)"

• 해결: 이번에는 더 똑똑한 5 단계 필터를 적용했습니다.
  1. 전체적인 잡음 제거: 아주 튀는 숫자를 찾아냅니다.
  2. 이웃과 비교: 주변과 너무 다른 숫자는 의심합니다.
  3. 국소적 정밀 검사: 작은 영역에서도 이상한 점을 찾습니다.
  4. 색깔 가이드 필터: 가장 중요한 부분! 가지의 색깔 (이미지) 을 보고 "여기가 가지 끝이니까 여기서부터는 거리를 부드럽게 이어주되, 모서리는 날카롭게 유지해라"라고 지시했습니다.
  5. 적응형 다듬기: 가지의 두께에 따라 다듬는 강도를 조절했습니다. (두꺼운 줄기는 부드럽게, 얇은 가지는 정밀하게)
• 결과: 82% 의 잡음이 사라졌습니다. 이제 드론은 가지의 정확한 3D 모양을 볼 수 있게 되어, 칼을 대야 할 위치를 정확히 계산할 수 있게 되었습니다.

---

💡 핵심 요약 및 비유

이 논문의 성과를 한 마디로 요약하면 다음과 같습니다:

"어지러운 방 (숲) 에서 드론이 나뭇가지 (보물) 를 찾아내려면, 단순히 '찾는 것'만으로는 부족합니다. 테두리를 다듬고 (버전 2~3), 색깔 위조를 걸러내고 (버전 4), 데이터의 잡음을 지능적으로 제거하는 (버전 6) 정교한 청소 과정이 필요합니다."

• 기존 방식: "가지라고 생각되는 모든 것을 다 줍는다" → 잡동사니가 섞임.
• 이 논문의 방식: "가지의 뼈대를 살리고, 색깔이 다른 가짜를 걸러내며, 거리를 정밀하게 다듬는다" → 순수한 가지 3D 모델 완성.

🚀 이것이 왜 중요한가요?

이 기술이 완성되면, 드론은 위험한 나무 위를 사람이 직접 올라가지 않아도 안전하게 가지치기를 할 수 있습니다. 이는 목재 산업의 비용을 줄이고, 작업자의 생명을 보호하는 큰 혁신이 될 것입니다.

연구팀은 이 모든 코드와 결과를 공개하여, 앞으로 더 많은 사람들이 이 기술을 발전시켜 자율 농업과 임업에 활용할 수 있도록 도왔습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 뉴질랜드의 주요 임업인 라디에타 소나무 (Radiata pine) 의 고부가가치 목재 생산을 위해서는 정기적인 가지 치기 (pruning) 가 필수적입니다. 하지만 수동 작업은 낙하나 체인소 사고 등 심각한 안전 위험을 초래합니다. 이를 해결하기 위해 UAV(무인항공기) 를 활용한 자동화 가지 치기가 주목받고 있습니다.
• 핵심 문제: 자동화 가지 치기를 위해서는 UAV 가 가지까지 1~2m 거리에서 개별 가지당 센티미터 수준의 정밀한 3D 깊이 정보가 필요합니다.
• 현재 기술의 한계:
  1. 마스크 경계 오염 (Mask Boundary Contamination): 최신 분할 모델인 SAM3(Segment Anything Model 3) 은 가지의 외곽선을 완벽하게 구분하지 못해 배경 (하늘 등) 픽셀이 가지 마스크에 포함됩니다. 이는 깊이 값이 급격히 다른 배경 픽셀이 가지의 깊이 히스토그램을 왜곡시킵니다.
  2. 분할 정확도 부족 (Segmentation Inaccuracy): 색상 불일치 픽셀이 포함되거나 인접한 가지 간의 마스크가 겹치는 (overlap) 문제가 발생합니다.
  3. 깊이 노이즈 (Depth Noise): 최신 스테레오 매칭 모델인 DEFOM-Stereo 는 전역적으로 정확하지만, 개별 픽셀 수준의 노이즈, 이상치, 경계 아티팩트가 존재하여 3D 재구성을 방해합니다.

2. 제안된 방법론 (Methodology)

저자들은 단일 솔루션 대신 점진적 파이프라인 (Progressive Pipeline) 접근법을 채택하여 6 개의 버전 (Version 1~6) 을 거쳐 세 가지 오류 유형을 순차적으로 해결했습니다.

A. 기반 모듈 (Shared Foundation)

• 데이터: ZED Mini 카메라 (베이스라인 63mm) 를 탑재한 UAV 로 뉴질랜드 캔터베리 지역의 라디에타 소나무를 촬영 (1920x1080 해상도).
• 깊이 추정: DEFOM-Stereo (DINOv2 ViT-L 기반의 Foundation Model) 를 사용하여 밀도 있는 불일치 맵 (disparity map) 을 생성하고 삼각측량으로 깊이 (Z) 로 변환합니다.
• 분할: SAM3 을 사용하여 가지별 인스턴스 마스크를 생성합니다 (신뢰도 0.7 이상 유지).

B. 점진적 개선 단계 (Progressive Refinements)

1. Version 1 (Baseline): DEFOM → 깊이 변환 → SAM3 분할 → 3D 포인트 클라우드 생성. 후처리 없음. (모든 오류 존재)
2. Version 2 (형태학적 침식): 마스크 경계 오염을 줄이기 위해 타원형 구조 요소를 사용한 침식 (Erosion) 적용.
   • 한계: 가는 가지는 연결이 끊어지거나 사라짐.
3. Version 3 (골격 보존 침식): 가는 가지의 위상학적 연결성을 유지하기 위해 거리 변환 (Distance Transform) 과 위상학적 골격화 (Skeletonization) 를 결합한 새로운 침식 알고리즘 도입.
   • 마스크를 침식하되, 원래 마스크의 골격을 추출하여 다시 팽창시킨 후 합쳐서 가는 가지의 연결성을 보장합니다.
4. Version 4 (색상 검증 분할):
   • LAB Mahalanobis 색상 검증: 가지 핵심 영역 (deeply-eroded core) 의 CIELAB 색상 분포를 기반으로 Mahalanobis 거리를 계산하여 색상 불일치 픽셀 제거.
   • 교차 가지 오버랩 해결: 겹치는 픽셀은 Mahalanobis 거리가 가장 작은 가지에 할당.
   • 결과: 깨끗하고 겹치지 않는 가지 마스크 확보.
5. Version 5 (통계적 깊이 최적화):
   • IQR(사분위 범위), Z-score, 국소 공간 이상치 탐지, 중앙값 필터링을 4 단계로 적용하여 노이즈 제거.
   • 한계: IQR 은 25% 이상치 허용 한계가 있어 극단적 노이즈에 취약하며, 중앙값 필터는 깊이 경계를 흐리게 만듦.
6. Version 6 (최종: 고급 강건한 깊이 최적화): 5 단계의 강건한 파이프라인으로 재설계.
   • Stage 1 (MAD 글로벌 이상치 탐지): IQR 대신 중위수 절대 편차 (MAD) 사용 (50% 붕괴점, IQR 의 25% 보다 우월한 이상치 내성).
   • Stage 2 (공간적 합의): 이웃 픽셀 간의 합의 (consensus) 를 통해 고립된 이상치 탐지.
   • Stage 3 (국소 MAD): 국소 영역에서 다시 MAD 기반 이상치 제거.
   • Stage 4 (RGB 유도 필터링): RGB 이미지를 가이드로 사용하여 색상 경계와 일치하는 깊이 경계를 보존하면서 매끄럽게 처리 (Guided Filter).
   • Stage 5 (적응형 양측 필터링): 가지별 깊이 변동성 (MAD) 에 따라 필터링 강도 (σd) 를 자동 조정하여 얇은 가지와 굵은 줄기에 맞는 최적의 평활화 수행.

3. 주요 기여 (Key Contributions)

1. 최초의 엔드 - 투 - 엔드 파이프라인: 스테레오 기반 모델 (DEFOM) 과 인스턴스 분할 (SAM3) 을 결합하여 임업 분야에서 가지 단위 (per-branch) 3D 재구성을 수행하는 최초의 시스템.
2. 골격 보존 마스크 침식 알고리즘: 경계 정제 과정에서 얇은 가지의 위상학적 연결성을 파괴하지 않는 새로운 알고리즘 제안.
3. LAB Mahalanobis 색상 검증: 픽셀 단위 분할 검증 및 가지 간 오버랩 해결을 위한 색상 기반 검증 체계 개발.
4. 5 단계 강건한 깊이 최적화 파이프라인: MAD 통계, 공간 합의, 유도 필터링, 적응형 양측 필터링을 통합하여 에지 보존이 뛰어난 깊이 노이즈 제거 기술 제시.
5. 체계적인 제거 분석 (Ablation Study): 각 개선 단계가 최종 3D 품질에 기여하는 정도를 정량화.

4. 실험 결과 (Results)

• 데이터셋: 뉴질랜드 캔터베리 지역의 라디에타 소나무 1920x1080 스테레오 이미지 (ZED Mini 카메라).
• 성능 향상:
  • 평균 가지당 깊이 표준편차 (Avg. σZ): Version 1 (440.3mm) 에서 Version 6 (31.5mm) 로 82% 감소.
  • 깊이 범위 (Range): 1545mm 에서 128mm 로 크게 축소되어 극단적 이상치 제거 효과 입증.
  • 마스크 품질: Version 2 의 단순 침식은 85.6% 의 픽셀 손실을 초래했으나, Version 3 의 골격 보존 기법은 얇은 가지의 연결성을 모두 유지하면서 경계 오염을 제거했습니다.
  • 3D 포인트 클라우드: Version 1 은 산란된 노이즈가 많았으나, Version 6 은 가지 내부의 깊이 값이 밀집되고 경계가 선명하며 고립된 이상치가 거의 없는 기하학적으로 일관된 3D 클라우드를 생성했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이 파이프라인은 UAV 기반 자동 가지 치기 작업에 필수적인 센티미터 수준의 정밀한 거리 측정과 가지 직경 추정, 절단 경로 계획을 위한 신뢰할 수 있는 3D 데이터를 제공합니다.
• 기술적 통찰:
  • 임업 환경 (복잡한 가시성, 다양한 조명) 에서 기존 통계 기법 (IQR) 보다 MAD 기반 접근법이 훨씬 강건함을 입증했습니다.
  • 단순한 공간 필터링이 아닌, RGB 색상 정보를 활용한 유도 필터링이 깊이 경계 보존에 결정적임을 보였습니다.
• 공개: 모든 코드와 처리된 데이터, 3D 시각화 자료가 공개되어 향후 UAV 임업 연구의 기반을 마련했습니다.

이 연구는 Foundation Model 과 고급 신호 처리 기법을 결합하여 복잡한 자연 환경에서의 정밀 3D 재구성 문제를 해결한 성공적인 사례로 평가됩니다.