A Method for 3D Morphological Measurement and Cutting Point Localization of Green Asparagus Based on Improved YOLOv8n-seg and RGB-D Data

채소밭의 고요한 줄기 사이에서, 단순하지만 고집스러운 문제 하나가 오랫동안 농부들을 괴롭혀 왔습니다. 그것은 바로 성장이 빠르고, 빽빽하게 모여 자라며, 가만히 머물러 있지 않는 작물을 어떻게 수확하느냐는 것입니다. 아스파라거스는 매년 봄 연한 싹을 틔우는 다년생 식물이지만, 이 싹들은 균일하지 않습니다. 그것들은 휘어지고, 뒤틀리며, 종종 뿌리를 흙 속에 깊이 숨기고 있어 기계가 정확히 어디를 잘라야 할지 알기 어렵게 만듭니다. 수십 년 동안 이는 수확이 전적으로 사람의 손에 의존해 왔음을 의미하며, 이는 점점 더 비용이 많이 들고 인력을 구하기 어려워지는 노동 집약적인 과정이 되고 있습니다. 이를 해결하기 위해 과학자들은 컴퓨터 비전 분야, 즉 카메라를 통해 기계가 세상을 "보고" 이해하도록 가르치는 기술 분야로 눈을 돌렸습니다. 목표는 로봇이 아스파라거스 밭을 보고, 어떤 줄기가 먹기에 적당한지 식별하고, 그 크기를 측정하며, 흙으로부터 그것을 절단할 정확한 지점을 찾아낼 수 있도록 만드는 것입니다. 하지만 기계에게 이 일을 가르치는 것은 단순히 사진을 찍는 것만큼 간단하지 않습니다. 식물의 불규칙한 모양과 농장의 복잡한 조명은 표준 소프트웨어가 종종 해결하지 못하는 시각적 퍼즐을 만들어내기 때문입니다.

강서농업과학원과 중국농업과학원의 연구진은 최근 로봇이 초록색 아스파라거스를 명확하게 볼 수 있도록 돕는 새로운 방법을 개발했습니다. 그들은 사진 속에서 개별 식물을 인식하고 윤곽을 그려내는 일종의 인공지능인 특화된 컴퓨터 프로그램을 만들었습니다. 연구진은 이미지에서 객체를 찾는 기존의 잘 알려진 시스템으로 시작했으나, 그것이 밭을 이동하는 로봇에게는 너무 무겁고 느리다는 것을 깨달았습니다. 원래의 시스템은 마치 작은 배터리 구동 기계에 쓰기에는 연료를 너무 많이 소비하는, 강력하지만 육중한 엔진과 같았습니다. 이를 해결하기 위해 연구진은 프로그램의 핵심을 재설계하여, 불필요한 무게를 덜어내는 동시에 아스파라거스 줄기의 가늘고 긴 형태를 더 날카롭게 포착할 수 있도록 만들었습니다. 그들은 표준적인 시스템의 "두뇌"를 더 효율적인 구조로 교체하여 정확도를 잃지 않으면서도 정보를 더 빠르게 처리할 수 있게 했습니다. 또한 컴퓨터가 식물의 길고 가는 특성을 이해하고, 혼란을 줄 수 있는 잡초나 그림자 같은 노이즈를 무시할 수 있도록 특별한 도구들을 추가했습니다.

이러한 재설계의 결과물은 잠재적인 수확 로봇의 눈 역할을 하는 SES-YOLO라는 새로운 모델입니다. 이 모델이 아스파라거스 밭의 이미지를 볼 때, 단순히 식물을 찾는 것에 그치지 않고 모든 개별 줄기에 대해 정밀한 윤곽을 그려 토양 및 잎사귀와 분리합니다. 이는 껍질이 뚜렷하거나 형태가 확연한 과일과 달리, 아스파라거스는 어느 방향으로든 휠 수 있는 길고 연속적인 줄기이기 때문에 매우 중요한 단계입니다. 연구진은 이 새로운 모델을 여러 다른 인기 있는 시스템들과 비교 테스트하였으며, SES-YOLO가 더 빠를 뿐만 아니라 더 정확하다는 것을 발견했습니다. 테스트 결과, 새 모델은 98.6%의 정밀도로 아스파라거스 줄기를 정확하게 식별하고 윤곽을 그려냈는데, 이는 식물을 놓치거나 잡초를 작물으로 착각하는 경우가 거의 없음을 의미합니다. 또한 이 모델은 이전 버전보다 현저히 빠르게 작동하여, 이동하는 로봇의 속도에 맞춰 신속하게 이미지를 처리할 수 있었습니다. 이 속도는 수확 로봇이 느린 컴퓨터가 생각하기를 기다릴 수 없으며, 행을 따라 이동하면서 실시간으로 결정을 내려야 하기 때문에 매우 중요합니다.

컴퓨터가 성공적으로 식물의 윤곽을 잡고 나면, 다음 과제는 그것을 측정하고 어디를 자를지 결정하는 것입니다. 연구진은 시각적 윤곽선과 이미지의 모든 부분까지의 거리를 알려주는 특수 렌즈인 깊이 카메라(depth camera)의 데이터를 결합했습니다. 평면적인 사진을 이 거리 정보와 병합함으로써, 시스템은 아스파라거스 줄기가 휘어져 있더라도 실제 길이와 굵기를 계산할 수 있습니다. 연구진은 줄기를 작은 마디로 나누어 각각을 측정함으로써, 평균 오차 2% 미만으로 전체 길이를 결정할 수 있다는 것을 발견했습니다. 이러한 수준의 정확도는 농부가 수확할 준비가 되었는지 판단하기 위해 작물의 크기를 알아야 하기 때문에 중요합니다. 또한 시스템은 "절단 지점", 즉 식용 가능한 부분이 시작되고 딱딱하고 나무 같은 뿌리가 끝나는 특정 지점을 찾아냅니다. 연한 초록색 윗부분과 하얀 지하 뿌리 사이의 경계는 종종 흙 표면 바로 아래에 숨겨져 있기 때문에, 연구진은 줄기의 기하학적 구조를 바탕으로 이 지점을 추정하도록 시스템을 프로그래밍했습니다. 현장 테스트에서 이 시스템은 평균 오차 단 0.34cm로 이 절단 지점을 찾아냈으며, 이는 기계 팔이 쉽게 조정할 수 있을 만큼 매우 작은 오차 범위입니다.

이 시스템이 실제 환경에서 작동할 수 있음을 증명하기 위해, 연구진은 로봇용으로 설계된 소형 휴대용 컴퓨터인 Jetson Orin NX에 이 새로운 프로그램을 설치했습니다. 이 장치는 복잡한 소프트웨어를 실행할 수 있을 만큼 강력하면서도, 밭에서 로봇이 휴대하기에 충분히 작고 효율적입니다. 이 하드웨어에서 시스템을 테스트했을 때, 초당 38.69 프레임의 속도로 이미지를 처리했습니다. 이는 로봇이 초당 38번 이상 이미지를 "보고" 결정을 내릴 수 있음을 의미하며, 이는 수확 중에 요구되는 빠른 움직임을 처리하기에 충분한 속도입니다. 연구진은 이 속도가 수정되지 않은 기존 시스템보다 거의 60% 더 빠르다는 점을 언급하며, 경량화된 설계가 속도와 정확도의 균 균형을 성공적으로 맞추었음을 입증했습니다. 이 연구는 이 방식이 자동화된 아스파라거스 수확기를 구축하기 위한 신뢰할 수 있는 기술적 토대를 제공하며, 인간의 손으로 직접 따는 고된 노동을 인간과 같은 정밀도로 보고, 측정하고, 자를 수 있는 기계로 대체할 수 있는 길을 제시한다고 결론지었습니다.