💻 computer science

A Lightweight Lychee Detection Network for Orchard Harvesting Robots via ODConv and Spatial Feature Restoration

본 논문은 복잡한 과수원 환경에서 고정밀 실시간 리치 탐지를 달성하는 동시에 엣지 로봇 배포를 위한 계산 복잡도를 크게 줄이기 위해, 전방위 차원 동적 컨볼루션(Omni-Dimensional Dynamic Convolution)과 경량 공간 특징 복원 모듈(Lightweight Spatial Feature Restoration Module)을 통합한 초경량 객체 탐지기인 ODAF-YOLOv11-n을 제안한다.

원저자: Dong Liu, Jing Chang, Jixiang Yang

게시일 2026-09-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dong Liu, Jing Chang, Jixiang Yang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

중국 남부의 무성하고 습한 과수원에는 향긋한 리치 열매가 묵직한 송이로 매달려 있으며, 이는 오랫동안 인간의 손길에 의존해 수확해 온 귀중한 수확물입니다. 그러나 농촌 노동력이 부족해지고 효율성에 대한 요구가 높아짐에 따라, 농부들은 열매를 따기 위해 로봇을 활용하기 시작했습니다. 기계가 과일을 수확하려면 먼저 그것을 명확하게 볼 수 있어야 합니다. 이것이 바로 카메라와 소프트웨어가 협력하여 세상 속의 물체를 식별하는 분야인 컴퓨터 비전의 영역입니다. 과수원의 과제는 자연이 좀처럼 협조적이지 않다는 점입니다. 빛은 눈부신 태양에서 깊은 그림자로 끊임없이 변하며, 열매는 종종 잎사귀와 다른 가지들에 가려져 있습니다. 성공하기 위해서 로봇은 주변이 어지럽거나 조명이 열악한 상황에서도, 로봇에 부착된 작은 컴퓨터만으로 이미지를 즉각적으로 처리할 수 있는 '두뇌'를 갖추어야 합니다.

연구자들은 수년 동안 이러한 시각 시스템을 개발해 왔으며, 종종 딥러닝 네트워크라고 불리는 복잡한 수학적 모델을 사용해 왔습니다. 이러한 시스템은 수천 장의 이미지를 학습하여 패턴을 인식하는 법을 배우지만, 어려운 트레이드오프(trade-off) 문제에 직면합니다. 가장 정확한 시스템은 대개 너무 무겁고 느려서 로봇이 운반하기 어렵고, 반대로 가볍고 빠른 시스템은 환경이 복잡해지면 성능이 떨어지는 경우가 많습니다. 이에 대해 남중국 상업대학교와 광둥 공업상업기술대학교의 연구팀은 이 문제를 해결하기 위해 설계된 새로운 솔루션을 제안했습니다. 그들은 ODAF-YOLOv11-n이라는 경량화된 시각 시스템을 만들었는데, 이는 슈퍼컴퓨터 없이도 실제 과수원의 무질서하고 구조화되지 않은 환경에서 리치를 찾아낼 수 있도록 구축되었습니다.

그들의 연구 핵심은 기존의 시도들을 괴롭혔던 세 가지 구체적인 장애물을 해결하는 것입니다. 첫째, 과수원의 빛은 예측 불가능합니다. 로봇은 정오의 밝은 햇빛 아래에서 과일 껍질이 강한 하이라이트를 반사하는 환경에서 작업할 수도 있고, 캐노피 아래의 어둡고 초록빛이 도는 그림자 속에서 작업할 수도 있습니다. 표준적인 컴퓨터 비전 도구들은 여기서 어려움을 겪으며 과일과 잎사귀를 구분하는 능력을 잃곤 합니다. 이를 해결하기 위해 연구진은 로봇의 시각 처리 과정에 동적 필터 역할을 하는 특별한 메커니즘을 삽ert했습니다. 이미지를 보는 데 고정된 규칙을 사용하는 대신, 이 시스템은 실시간으로 자체 감도를 조정합니다. 어두운 곳에서는 희미한 질감을 증폭시키고 밝은 곳에서는 눈부신 광채를 억제하는 방식으로 초점을 전환하여, 날씨와 상관없이 로봇이 과일을 명확하게 볼 수 있게 합니다.

둘째, 물리적 차폐 문제입니다. 리치는 잎사귀 아래에 파묻히거나 다른 과일들에 밀착되어 빽빽하게 자랍니다. 과일의 일부만 보일 때, 표준 시스템은 숨겨진 부분의 형태를 추측하지 못해 아예 놓치는 경우가 많습니다. 연구진은 이 시스템에 '복원' 단계를 추가함으로써 이 문제를 해결했습니다. 몇 개의 조각이 빠진 퍼즐을 상상해 보십시오. 표준 시스템은 포기할 수도 있지만, 이 새로운 시스템은 보이는 가장자리와 주변 맥락을 사용하여 누락된 부분을 정신적으로 재구성합니다. 이 시스템은 이미지의 서로 다른 층 사이의 관계를 분석하여, 잎사귀에 의해 심하게 가려진 과일의 위치를 찾기 위해 빈틈을 효과적으로 채워 넣습니다. 이를 통해 로봇은 아주 적은 부분만 노출된 상태에서도 리치를 식별할 수 있습니다.

마지막으로, 연구팀은 시스템이 로봇의 온보드 컴퓨터에서 실행될 수 있을 만큼 가벼운지 확인해야 했습니다. 기존의 고정밀 모델들은 너무 육중하여 로봇의 배터리를 소모하거나 움직임을 둔하게 만드는 막대한 양의 에너지와 처리 능력을 요구했습니다. 연구진은 시스템에서 불필요한 계산적 무게를 제거함으로써 이 문제를 해결했습니다. 그들은 무거운 표준 처리 단계를 공간 및 채널 정보를 별도로 처리하는 훨씬 더 효율적인 방법으로 대체하여, 필요한 계산 횟수를 획기적으로 줄였습니다. 이를 통해 까다로운 조명과 차폐 문제를 처리하는 데 필요한 강력한 기능은 유지하면서도 시스템을 작고 빠르게 유지할 수 있었습니다.

이 연구의 결과는 두 가지 대규모 리치 이미지 컬렉션(공공 데이터셋 하나와 광저우 콩화 지역에서 직접 촬영한 데이터셋 하나)을 통해 테스트되었습니다. 새로운 시스템은 놀라울 정도로 효과적이었습니다. 공공 데이터셋에서 95.53%의 탐지 정확도를 달축성했으며, 더 까다로운 실제 환경 데이터셋에서는 88.13%에 도달했습니다. 무엇보다 중요한 점은, 이 시스템이 초당 29.6억 번의 계산과 단 294만 개의 파라미터 메모리만을 사용하면서도 이 성과를 냈다는 것입니다. 이는 더 낮은 정확도를 보이면서도 두 배 이상의 계산 능력을 요구했던 기존 모델들과 비교했을 때 복잡성이 크게 감소한 수치입니다.

시스템의 진정한 강점은 연구진이 극한 조건에서 테스트했을 때 드러났습니다. 과일의 80%가 잎사귀에 가려진 환경을 시뮬레이션했을 때, 새 시스템은 32.75%의 성공률로 목표물을 찾아내며, 22% 미만으로 떨어졌던 다른 선도적인 모델들을 압도했습니다. 마찬가지로 극심한 밝기와 깊은 그림자가 포함된 테스트에서도 높은 정밀도와 재현율을 유지하며, 적응형 메커니즘이 의도대로 작동함을 입증했습니다. 연구진은 동적 조명 적응, 공간 특징 복원, 그리고 계산 효율성을 결합함으로써 복잡한 인공지능과 현장 로봇 공학의 실질적인 요구 사이의 간극을 메우는 도구를 만들어냈음을 확인했습니다.

이 연구는 자동 수확의 미래가 거대하고 느린 컴퓨터를 필요로 하는 것이 아니라, 자연의 무질서한 현실을 이해하도록 설계된 영리하고 경량화된 시스템을 필요로 할 것임을 시사합니다. 연구진은 현재의 작업이 2차원 비전에 집중되어 있음을 인정하며, 향후 단계에서는 로봇이 3차원 공간에서 과일을 잡는 데 도움을 줄 수 있도록 깊이 센서를 통합할 것이라고 밝혔습니다. 또한 바람이나 로봇의 움직임으로 인해 과일이 흔들리는 문제, 즉 움직이는 타겟 문제도 다룰 계획입니다. 그러나 현재의 연구 결과는 복잡하고 도전적인 환경 속에서 리치를 효율적으로 수확할 수 있게 해주는 신뢰할 수 있는 시각적 토대를 제공하며, 중요한 진전을 이루었음을 보여줍니다.

기술 요약: ODConv 및 공간 특징 복원을 통한 과수 수확 로봇용 경량 리치 탐지 네트워크

문제 정의
자율 주행 리치(Lychee) 수확 로봇의 개발은 과수원의 복잡하고 비정형적인 환경으로 인해 어려움을 겪고 있다. 기존의 경량 객체 탐지 모델들은 다음과 같은 세 가지 핵심 과제의 균형을 맞추는 데 어려움을 겪는다:

동적 조명 변화성: 자연 상태의 과수원은 변동성이 큰 조명 조건(예: 강한 역광, 캐노피 그림자, 과다 노출)을 보이며, 이는 정적 컨볼루션 커널이 적응적으로 보상할 수 없는 특징 저하 및 정보 손실을 초래한다.
심각한 물리적 폐쇄(Occlusion): 리치는 밀집된 클러스터 형태로 잎과 겹쳐진 가지 사이에 자라기 때문에, 표준 특징 피라미드가 해결하지 못하는 파편화된 타겟과 절단된 공간 위상(spatial topologies)을 생성한다.
에지 배포 제약: 수확 로봇은 자원이 제한된 임베디드 플랫폼(예: NVIDIA Jetson)에 의존한다. 에지 효율성을 위해 모델 크기를 줄이면 수용 불가능한 정확도 저하가 발생하는 반면, 고정밀 모델은 실시간 추론을 수행하기에 연산 비용이 너무 높다는 지속적인 트레이드오프 관계가 존재한다.

방법론
저자들은 높은 정확도와 계산 효율성을 위해 YOLOv11 아키텍처를 기반으로 최적화된 초경량 객체 탐지기인 ODAF-YOLOv11-n을 제안한다. 이 프레임워크는 세 가지 시너지 효과가 있는 구조적 수정 사항을 통합한다:

조명 적응형 특징 추출 (OD-C3k2):
- 백본(Backbone)의 표준 C3k2 모듈을 Omni-Dimensional Dynamic Convolution (OD-C3k2) 모듈로 교체한다.
- 정적 컨볼루션과 달리, ODConv는 커널 전문가(kernel experts), 입력 채널, 출력 채널, 공간 위치라는 네 가지 차원에 걸쳐 커널 가중치를 동적으로 재조정하는 다차원 어텐션 메커니즘을 활용한다.
- 이를 통해 네트워크는 외부 전처리 없이도 입력 샘플의 특정 조명 상태에 따라 특징 추출을 적응적으로 조정하여, 변동성이 큰 조명 아래에서도 미세한 질감과 경계 디테일을 보존할 수 있다.
폐쇄 인지 공간 특징 복원 (LSFRM):
- 넥(Neck, 특징 융합) 단계에 **경량 공간 특징 복원 모듈(LSFRM)**을 삽로한다.
- 이 모듈은 교차 스케일 텐서 정렬(cross-scale tensor alignment)과 다중 어텐션 가중치 융합을 수행함으로써 물리적 폐쇄로 인한 시맨틱 격차를 해결한다.
- 서로 다른 스케일의 특징 맵을 정렬하고, 이를 압축하여 공간 어텐션 가중치를 생성하며, 주변 특징으로부터 얻은 가려지지 않은 문맥적 단서(unoccluded contextual cues)를 활용하여 누락된 기하학적 위상을 재구성한다. 이를 통해 심하게 가려진 과일에 대한 변별력 있는 단서를 복구할 수 있다.
Depthwise Separable Convolutions를 통한 계산 재분배:
- 에지 효율성을 유지하기 위해, 핵심 레이어가 아닌 부분의 표준 3×3 컨볼루션을 LightConv3×3(Depthwise Separable Convolutions) 모듈로 교체한다.
- 이 전략은 공간 및 채널 계산을 분리하여, 이론적으로 표준 컨볼루션 대비 약 $1/k^2$ 수준으로 연산 오버헤드를 줄인다.
- 절약된 계산 예산은 특징 복원 모듈에 재할당되어, 감소된 FLOPs와 향상된 지각적 견고성 사이의 균형을 보장한다.

주요 기여

아키텍처 혁신: 리치 수확의 고유한 과제를 위해 설계된 조명 적응을 위한 ODConv의 백본 통합 및 폐쇄 복원을 위한 LSFRM의 넥 통합.
효율성 최적화: 핵심 모듈의 동적 특징 추출 능력을 유지하면서 모델 복잡도를 획기적으로 줄이기 위해 표준 컨볼루션을 경량 변형으로 체계적으로 교체함.
데이터셋 벤치마킹: 극단적인 폐쇄 시나리오와 다양한 조명 조건을 특징으로 하는 신규 벤치마크 데이터셋인 CH-Lychee 데이터셋을 공공 SZU-Lychee 데이터셋과 함께 도입하여 모델의 견고성을 엄격하게 평가함.

실험 결과
SZU-Lychee 및 CH-Lychee 데이터셋에 대해 ODAF-YOLOv11-n을 최신 모델들(YOLOv11 변형, Gold-YOLO, RT-DETR 등)과 비교하는 종합적인 실험을 수행하였다:

전반적인 성능: SZU-Lychee 데이터셋에서 ODAF-YOLOv11-n은 mAP@50 95.53% 및 **mAP@50:95 91.84%**를 달성했다. 더 까다로운 CH-Lychee 데이터셋에서는 88.13% mAP@50 및 66.38% mAP@50:95를 기록했다.
효율성: 초경량 변형인 ODAF-YOLOv11-n은 단 2.94 M 파라미터와 2.96 G FLOPs로 동작한다. 이는 베이스라인인 YOLOv11-n과 비교했을 때, 우수한 정확도를 유지하면서도 계산 복잡도를 53.60% 감소시킨 것이다.
조명에 대한 견고성: 약한 조명 조건에서 모델은 84.37%의 mAP@50을 달성하여(베이스라인보다 3.11% 상회), 강한 조명(과다 노출) 조건에서도 76.29%의 mAP@50을 유지하며 Gold-YOLO-n(58.14%)과 같은 경쟁 모델을 크게 앞질렀다.
폐쇄에 대한 견고성: 극단적인 80% 폐쇄 시나리오에서 모델은 mAP@50 32.75% 및 재현율(Recall) **53.93%**를 달성하여, 베이스라인 YOLOv11-n(mAP@50 21.98%, 재현율 31.41%)을 대폭 상회했다. 이는 파편화된 타겟을 재구성하는 LSFRM의 효과를 입증한다.

의의 및 주장
본 논문은 ODAF-YOLOv11-n이 비정형 과수 환경을 위한 매우 효과적인 시각적 인지 솔루션을 제공한다고 주장한다. 탐지 정확도와 추론 속도 사이의 트레이드오프를 성공적으로 해결함으로써, 이 프레임워크는 현장 로봇 플랫폼을 위한 배포 가능한 솔루션을 제공한다. 저자들은 자신들의 접근 방식이 복잡한 딥러닝 모델과 에지 장치의 엄격한 계산 제약 사이의 간극을 메워, 전천후 자율 과일 수확을 가능하게 한다고 단언한다. 본 연구는 제안된 아키텍처가 단순히 모델 크기를 줄이는 것에 그치지 않고, 표적화된 구조적 혁신을 통해 환경적 섭동(조명 및 폐쇄)에 대한 특징 견고성을 능동적으로 강화한다는 점을 강조한다.

한계 및 향후 과제
저자들은 현재의 연구가 2D 시각 인지에 집중되어 있으며, 아직 로봇 모션 계획이나 엔드 이펙터(end-effector) 제어 전략과 통합되지 않았음을 인정한다. 향후 연구로는 정밀한 피킹 지점 추정을 위해 시스템을 3D 인지(RGB-D 센서 사용)로 확장하고, 동적 방해 요소(예: 바람 또는 로봇 유발 진동) 하에서의 타겟 추적을 위한 시공간적 일관성을 통합하는 것이 제안되었다.

유사한 논문