Robotic Strawberry Harvesting with Robust Vision and Deep Reinforcement Learning based Sim-to-Real Control

기술 요약: 견고한 비전 및 심층 강화학습 기반 시뮬레이션-실제 제어에 의한 로봇 딸기 수확

문제 제기
제어된 환경 농업 (CEA) 에서의 로봇 수확은 작업의 노동 집약적 성격과 환경의 복잡성으로 인해 상당한 도전에 직면해 있습니다. 구체적으로 딸기 수확은 개별 과일을 선택하고, 이를 신중하게 취급하며, 좁은 성숙도 창 내에서 이를 제거해야 합니다. 현재 시스템은 세 가지 밀접하게 결합된 문제, 즉 혼란스러운 장면에서의 정확한 과일 인식, 조작을 위한 안정적인 3 차원 목표 추정, 그리고 불확실성과 작업 공간 제약 하에서의 효율적인 운동 생성에 어려움을 겪고 있습니다. 전통적인 접근법은 종종 역기구학 (IK) 과 범용 인식에 의존하는데, 이는 불안정한 궤적, 보정 노이즈에 대한 민감성, 그리고 밀집되고 가려진 농업 환경에서의 신뢰할 수 없는 목표 생성으로 이어질 수 있습니다. 또한, 물리적 로봇에서 제어 정책을 훈련시키는 것은 비용이 많이 들고 느리며 하드웨어 손상 위험이 있습니다.

방법론
저자들은 견고한 비전 모듈, 시뮬레이션 훈련된 심층 강화학습 (DRL) 제어, 그리고 ROS 기반 실제 로봇 실행을 통합한 폐루프 로봇 수확 시스템을 제안합니다.

1. 비전 모듈 (HRAttnEdge-YOLO26-seg):
   혼란스러운 온실 장면에서의 인스턴스 분할 문제를 해결하기 위해, 저자들은 YOLO26-seg 아키텍처를 HRAttnEdge-YOLO26-seg로 수정했습니다. 주요 아키텍처 개선 사항은 다음과 같습니다:

   • 고해상도 P2 브랜치: 저해상도 특징에서 종종 손실되는 미세한 공간적 세부 사항 (예: 꽃받침 및 반사 에지) 을 보존하기 위해 스트라이드 4 특징 브랜치 ($P2/4$) 를 통합했습니다.
   • 분할 경로 주의 (Segmentation-Path Attention): $P2$ 및 $P3$ 특징 경로에 교차 단계 부분 공간 주의 (C2PSA) 를 적용하여 전역 네트워크 계산을 증가시키지 않고 마스크 경계를 선명하게 만들었습니다.
   • 에지 감독 프로토타입 학습: 표준 프로토타입 브랜치를 보조 에지 헤드와 경계 감독 손실을 포함하는 Proto26Edge로 대체하여 훈련 중 선명한 객체 경계를 장려했습니다.
   • 3 차원 위치 추정: 시스템은 2D 마스크 중심점과 RGB-D 카메라에서 정렬된 깊이 데이터를 융합하여 3 차원 과일 중심을 추정합니다. 깊이 노이즈와 가려짐으로 인한 목표의 떨림을 줄이기 위해 시간적 연관 및 평활화 기법이 적용됩니다.

2. 제어 모듈 (시뮬레이션-실제 DRL):
   역기구학 기반 플래너에 의존하는 대신, 저자들은 Isaac Lab 시뮬레이션 환경에서 훈련된 근접 정책 최적화 (PPO) 를 사용합니다.

   • 훈련 설정: 정책은 도메인 무작위화 시뮬레이션 내 UR10e 매니퓰레이터에서 훈련됩니다. 관찰 공간에는 상대적 관절 위치/속도, 명령받은 엔드 이펙터 포즈, 그리고 이전 동작이 포함됩니다. 동작 공간은 연속적인 관절 위치 명령으로 구성됩니다.
   • 보상 함수: 보상 함수는 위치 추적 오차 (유클리드 거리 및 목표 근처의 세밀한 지수 항), 방향 오차, 그리고 매끄럽고 안정적인 운동을 보장하기 위한 급격한 동작 변화 및 높은 관절 속도에 대한 페널티를 결합합니다.
   • 배포: 훈련된 정책은 TorchScript 모델로 내보내져 ROS 프레임워크에 통합됩니다. 명령 스트리밍 레이어는 정책 출력을 실행 가능한 관절 궤도로 변환하며, 목표 근처의 정상 상태 진동을 억제하기 위한 정지 메커니즘을 포함합니다.

3. 시스템 통합:
   인식, 제어, 작업 실행 레이어는 ROS 1 을 통해 통합됩니다. 시스템은 순차적으로 작동합니다: 익은 딸기를 국소화하고, 가장 가까운 목표를 우선순위로 지정하며, 학습된 도달 정책을 실행하고, 하향식 당김 기반 분리 수행, 그리고 과일을 수확 바구니로 이동시킵니다.

주요 기여

1. HRAttnEdge-YOLO26-seg: 고해상도 특징 통합 및 에지 감독을 통해 우수한 경계 정밀도를 달성하도록 온실 딸기 장면을 위해 특별히 설계된 새로운 인스턴스 분할 아키텍처.
2. 시뮬레이션 훈련 PPO 제어기: Isaac Lab 을 사용하여 UR10e 암을 위한 목표 조건부 도달 제어기 개발로, 광범위한 물리적 시행착오 없이 매끄럽고 동역학적으로 안정적인 운동 생성 가능.
3. 통합 폐루프 파이프라인: 전문화된 인식과 시뮬레이션 훈련된 제어를 성공적으로 연결하여 물리적 이동 로봇 플랫폼에서 자율 수확을 실행하는 ROS 기반 프레임워크.

결과

• 비전 성능: 자체 수집 및 공개 데이터셋 모두에서 제안된 모델은 베이스라인 YOLO26-seg 및 기타 최첨단 모델 (YOLOv8-seg, YOLO11-seg) 보다 우수한 성능을 보였습니다. 특히 작고, 부분적으로 가려지며, 혼란스러운 과일 인스턴스를 처리하는 데 분할 성능 (mAP75 및 mAP50:95) 에서 10% 에서 14% 향상을 보였습니다.
• 운동 품질: 내부 비교에서 PPO 제어기는 IK 기반 MoveIt 베이스라인에 비해 훨씬 더 안정적이고 동역학적으로 매끄러운 운동 (더 낮은 RMS 저크 및 변동성) 을 생성하는 것으로 나타났습니다.
• 수확 성공: 130 건의 시도에 걸쳐 281 개의 딸기를 대상으로 한 온실 시험에서 시스템은 다음을 달성했습니다:
  • 96.6% 도달 성공률.
  • 91.3% 잡기 및 당기기 성공률.
  • 84.3% 전체 수확 성공률.
    도달에서 최종 수확으로의 감소는 주로 인식이나 도달 실패가 아닌 소프트 그리퍼의 접촉 후 과일 취급 한계로 인한 것이었습니다.

의의 및 주장
본 논문은 이 작업이 조작 분야에서 기존 플래너 의존 도달에 대한 실용적이고 자원 효율적인 대안을 제공한다고 주장합니다. 작업 특화 인식과 시뮬레이션 훈련된 PPO 를 결합함으로써, 시스템은 복잡한 농업 환경에서 신뢰할 수 있는 폐루프 로봇 수확을 가능하게 합니다. 저자들은 정책 학습 단계에서 광범위한 물리적 시도가 필요 없음을 제거함으로써 하드웨어 의존성과 개발 비용을 줄인다고 강조합니다. 이를 IK 기반 및 비전 서보 시스템에서 흔히 발생하는 불안정성 및 특이점 문제를 해결하는 확장 가능한 자율 수확 청사진으로 위치시킵니다.

한계
저자들은 겸손하게 몇 가지 한계를 인정합니다:

• 3 차원 목표 생성은 전체 6 차원 과일 포즈나 꽃자루 기하학이 아닌 분할된 중심점과 국소 깊이에 의존하므로 더 복잡한 분리 전략이 제한될 수 있습니다.
• 시스템은 가려진 목표를 위한 능동적 인식 또는 시점 조정이 부족합니다.
• 경험적 오프셋을 사용한 보정 프레임 변환에 대한 의존성은 다른 하드웨어 구성이나 온실 레이아웃 간 이식성을 제한할 수 있습니다.
• 현재 수확 정책은 순차적이고 반응적이며, 밀집된 수관 (canopy) 을 위한 상위 수준 계획이 부족합니다.