ROG-Grasp: Root-Oriented Geometry for Robotic Grasping and Placement

기술 요약: ROG-Grasp

문제 정의

로봇 시스템이 농업용 수확 및 탐지 분야에서 크게 발전했음에도 불구하고, 수확 후 처리 및 포장 단계에는 여전히 중요한 격차가 존재한다. 현대적인 패크하우스(packhouse)에서는 하류 공정, 검사 및 상업적 제시를 용이하게 하기 위해 농산물을 일관되고 특정한 방향으로 컨테이너에 분류하고 배치해야 한다. 기존의 로봇 솔루션은 일반적으로 객체의 최종 포즈(pose)를 명시적으로 제어하지 않고 단순히 잡고 놓는 것에 집중한다. 또한, 시각-언어-행동(VLA) 모델이 일반적인 조작에서 유망한 성능을 보여주었으나, 예비 조사 결과 VLA는 농산물의 특정 뿌리 영역을 안정적으로 식별하는 데 어려움을 겪으며, 이로 인해 불규칙한 환경에서 부정확한 방향 추정과 불안정한 파지(grasping)로 이어진다는 것이 밝혀졌다.

방법론

본 논문은 RGB-D 인식을 사용하여 농산물의 뿌리 표면 기하학으로부터 방향을 추정하도록 설계된 기하학 기반 프레임워크인 ROG-Grasp를 제안한다. 이 시스템은 **시각적 인지(Visual Perception)**와 **동작 실행(Motion Execution)**이라는 두 가지 주요 모듈을 통해 작동한다.

1. 시각적 인지

• 뿌리 탐지: YOLO 기반 세그멘테이션 모델을 미세 조정하여 농산물의 본체와 특정 뿌리 영역을 모두 탐지한다. 훈련 데이터셋은 본체 마스크는 전경-배경 대비를 통해 생성하고, 뿌리 주석(annotation)은 수동으로 작성하는 반자동 파이프라인을 사용하여 구축되었다.
• 3D 포인트 클라우드 추출: 탐지된 뿌리 영역은 깊이 데이터와 카메라 내부 파라미터를 사용하여 3D 공간으로 투영되어 로봇 베이스 프레임에서의 포인트 클라우드를 생성한다.
• 방향 추정: 뿌리 표면(예: 토마토, 양파, 마늘)이 낮은 곡률을 가진 대략적인 평면 기하학을 나타낸다는 관찰을 활용하여, 시스템은 뿌리 포인트 클라우드에 **최소제곱 평면 피팅(Least-Squares Plane Fitting)**을 적용한다.
  • 중심화된 포인트 클라우드에 대해 특이값 분해(SVD)가 수행된다.
  • 가장 작은 특이값에 대응하는 고유벡터가 **뿌리 법선 벡터($\mathbf{n}$)**를 정의한다.
  • 이 법선 벡터는 객체 방향의 주요 단서 역할을 한다.

2. 동작 계획 및 제어

• 파지 포즈 생성: 파지 위치는 뿌리 포인트 클라우드의 중심점($\mathbf{c}$)에 법선 벡터($\mathbf{n}$) 방향으로 사전 정의된 오프셋($\delta$)을 더한 값으로 정의된다. 그리퍼의 Z축은 $\mathbf{n}$과 정렬된다.
• 배치 포즈: 고정된 "홀더 프레임(holder frame)"이 원하는 직립 배치 구성을 정의한다. 로봇은 객체를 놓기 위해 그리퍼 프레임을 이 홀더 프레임에 정렬한다.
• 실행 파이프라인: 안전을 보장하고 충돌을 피하기 위해, 로봇은 6개의 중간 웨이포인트($wp_0$ ~ $wp_5$) 시퀀스를 실행한다.
  1. 관측(Observation): 장면을 캡처하고 뿌리를 탐지한다.
  2. 접근(Approach): 타겟 상단의 웨이포인트로 이동한 후 수직으로 하강한다.
  3. 후퇴(Retreat): 주변 물체를 피하기 위해 파지 후 위로 이동한다.
  4. 재정렬(Reorientation): 배치를 위해 뿌리가 아래를 향하도록 방향을 조정한다.
  5. 배치(Placement): 홀더로 이동하여 객체를 놓는다.
  6. 복귀(Return): 초기 포즈로 후퇴한다.
• 좌표 변환: 시스템은 카메라, 그리퍼, 커넥터, 베이스 프레임 간의 변환을 관리하기 위해 $SE(3)$의 동차 변환 행렬(homogeneous transformation matrices)을 활용하며, 이를 통해 역기구학(IK)을 통한 정밀한 데카르트 운동 명령을 생성한다.

핵심 기여

1. 기하학 기반 방향 추정: 복잡한 학습 기반 포즈 추정기에 의존하지 않고, 포인트 클라우드의 평면 피팅을 통해 농산물의 뿌리 표면 기하학을 활용하여 방향을 추정하는 새로운 방법을 제시한다.
2. 통합 인지-행동 파이프라인: YOLO 기반 뿌리 세그멘테이션과 3D 기하학적 피팅을 결합하여 안정적인 파지 포즈와 방향이 제약된 데카르트 운동 계획을 계산하는 시각 가이드 전략을 결합한다.
3. 실증적 검증: 토마토와 양파를 대상으로 단일 및 다중 객체 시나리오에서 종합적인 실험을 수행하여, 최신 VLA 정책 대비 본 방법의 견고함을 입증한다.

실험 결과

시스템은 Fairino FR5 매니퓰레이터와 RGB-D 카메라를 사용하여 토마토와 양파에 대해 평가되었다.

• 성공률: ROG-Grasp는 높은 성공률을 달성했다: 토마토의 경우 단일 85%, 다중 80%, 양파의 경우 단일 90%, 다중 **80%**를 기록했다.
• VLA와의 비교: 이와 대조적으로, VLA 정책($\pi_0$ 모델 기반)은 현저히 낮은 성공률(토마토 단일 40%, 다중 10%)을 보였으며, 혼잡한 장면에서 어려움을 겪으며 종종 올바른 배치 방향을 추론하는 데 실패했다.
• 실행 시간: ROG-Grasp는 VLA 정책(~20–26초)에 비해 현저히 빠른 실행 시간(~7–8초)을 보여주었는데, 이는 VLA의 폐루프 액션 청킹(action chunking)과 기하학 기반 방법의 효율적인 개루프 궤적 계획의 차이에서 기인한다.
• 실패 모드: ROG-Grasp의 주요 실패 모드는 개루프 하강 단계에서 발생했으며, 의도치 않은 접촉이 객체를 방해할 수 있었다. VLA 정책은 폐루프 방식임에도 불구하고 혼잡한 환경에서 진동과 불안정성을 겪었다.

의의 및 주장

본 논문은 기하학 기반 인지가 VLA와 같은 엔드투엔드 학습 방식에 비해 농업 환경에서의 방향 제어 조작을 위한 더 신뢰할 수 있고 효율적인 솔루션을 제공한다고 주장한다. 뿌리 표면의 평면적 특성을 명시적으로 모델링함으로써, ROG-Grasp는 딥러닝 정책과 관련된 학습 데이터 부담과 추론 지연 없이 안정적인 파지와 정밀한 배치를 달현한다. 저자들은 이 접근 방식이 시각적 조직화와 일관된 방향성이 상업적 제시 및 보호를 위해 중요한 고부가가치 농산물 포장과 같은 작업에 실질적이고 견고한 솔루션을 제공한다고 강조한다.

향-후 연구로는 파지 단계에서 예상치 못한 객체 움직임을 처리하기 위한 폐루프 시각 피드백의 통합과, 매우 비정형적인 환경을 위해 기하학 기반 추정을 학습 기반 정책과 결합하는 것이 제시되었다.