기술 요약: UNCLE-Grasp

문제 정의

비정형 농업 환경에서의 로봇 딸기 수확은 잎에 의해 과실의 기하학적 구조가 가려지는 부분 폐쇄(partial occlusion) 문제로 인해 상당한 어려움에 직면해 있습니다. 이러한 폐쇄는 불완전한 포인트 클라우드 관측을 초래하여, 추정된 중심점(centroid)을 이동시키고 불안정하거나 도달 불가능한 파지(grasp)를 유발하는 기하학적 왜곡을 일으킵니다. 기존의 불확실성 인지형 파지 방법들은 포즈, 형상 또는 개별 파지 후보에 대한 불확실성을 추정하는 데는 능숙하지만, 여러 개의 완성된 객체 가설(object hypotheses) 전반에 걸쳐 파지 가능성을 명시적으로 집계하는 데는 실패합니다. 결과적으로, 이들은 객체 수준의 "시도 또는 포기(attempt-or-abstain)" 결정을 지원할 수 있는 메커니즘이 부족합니다. 또한, 결정론적인 파지 예측 모델은 분포 변화(distribution shifts) 상황에서 성능이 낮은 신뢰 점수를 생성하여, 심하게 폐쇄된 장면에서 취약한 의사결정을 내리는 경향이 있습니다.

방법론

본 논문은 학습된 형상 완성(shape completion), 몬테카를로(MC) 드롭아웃 기반의 변동성 추정, 물리적으로 근거한 파지 평가, 그리고 위험 인지형 의사결정을 통합한 태스크 적응형 프레임워크인 UNCLE-Grasp(UNCertainty-aware grasping of LEaf-occluded strawberries)를 제안합니다.

1. 파이프라인 개요

이 프레임워크는 부분적으로 폐쇄된 딸기의 RGB-D 관측 데이터를 네 가지 주요 단계를 통해 처리합니다:

1. 인지 및 전처리(Perception & Preprocessing): RGB-D 이미지를 노이즈 제거 및 세분화하여 감지된 딸기에 대한 개별적인 부분 포인트 클라우드를 추출합니다.
2. MC-Dropout 완성 및 불확실성 추정: 트랜스포머 기반의 포인트 클라우드 완성 네트워크(PointAttN)가 누락된 기하학적 구조를 재구성합니다. 추론 과정에서 드롭아웃 레이어를 유지함으로써, 시스템은 $K$개의 확률적 완성 샘플을 생성합니다. 이러한 샘플들 사이의 변동성은 인식론적 불확실성(epistemic uncertainty)의 대리 지표 역할을 합니다.
   • 전역 필터링(Global Filtering): 평균 포인트 수준 변동성이 임계값($\delta_{global}$)을 초과하는 딸기는 즉시 제외됩니다.
3. 파지 생성 및 필터링(Grasp Generation & Filtering): 남은 각 완성 샘플에 대해, 파지 생성 네트워크(CGNet)가 파지 후보들을 생성합니다. 이 후보들은 세 단계의 필터링 과정을 거칩니다:
   • 지역 불확실성 필터(Local Uncertainty Filter): 그리퍼 폐쇄 영역 내에 확률적 완성본들 사이에서 높은 불일치를 보이는 포인트가 포함된 후보를 제거합니다.
   • 기하학적 필터(Geometric Filters): 접근 방향(정면 접근), 수직 파지 방향, 충돌 방지를 위한 조(jaw)와 객체 간의 간격 등 태스크 특화된 제약 조건을 강제합니다.
4. 위험 인지 의사결정(LCB): 각 완성 샘플 $k$에 대해, 유지된 파지 후보들을 단일 파지 렌치 공간(grasp wrench space)으로 결합하여 힘 폐쇄(force-closure) 점수 $\epsilon_k$를 계산합니다.
   • 시스템은 이 점수들의 평균($\bar{\epsilon}$)과 표준 편차($\sigma_\epsilon$)를 계산합니다.
   • **하한 신뢰 구간(Lower Confidence Bound, LCB)**이 계산됩니다: $LCB = \bar{\epsilon} - z_\alpha \sigma_\epsilon$.
   • 매개변수 $z_\alpha$는 추정된 폐쇄 수준 $\alpha$에 따라 선형적으로 변하며, 폐쇄가 심해질수록 더 엄격해집니다.
   • 의사결정 규칙: LCB가 0보다 큰 경우에만 딸기 파지를 시도하며, 그렇지 않으면 포기합니다.

2. 핵심 기술 구성 요소

• 불확실성 모델링: 본 프레임워크는 알레아토리 불확실성(aleatoric uncertainty)을 명시적으로 모델링하기보다, MC 드롭아웃 변동성을 사용하여 인식론적 불확실성을 근사합니다. 이는 두 원인을 분리하지 않습니다.
• 힘 폐쇄 메로(Force-Closure Metric): 파지 타당성은 파지 렌치 공간의 볼록 껍질(convex hull) 내에 원점을 중심으로 하는 가장 큰 구(ball)의 반지름으로 정의되는 $\epsilon$ 메트릭을 사용하여 평가됩니다.
• 선택적 포기(Selective Abstention): 핵심 의사결정 로직은 수확량보다 신뢰성을 우선시합니다. 타당한 완성본들 사이에서 파지 가능성이 일관되지 않은 대상에 대해 파기를 포기함으로써, 과일을 손상시키거나 실패할 위험이 있는 시도를 피합니다.

주요 기여

1. 객체 수준 의사결정 프레임워크: 확률적 형상 완성으로부터 파지 필터링 및 힘 폐쇄 평가로 불확실성을 전파하여, 시도할지 혹은 미룰지를 결정하는 새로운 파이프라인을 제시합니다.
2. 태스크 적응형 통합: 기존의 포인트 클라우드 완성 및 파지 생성 모델을 재학습시키지 않고도, 전역/지역 불확실성 필터링, 딸기 특화 기하학적 제약 조건, 그리고 LCB 방식의 타당성 점수를 결합하는 방법을 제안합니다.
3. 통제된 평가: 합성 및 실제 잎 폐쇄 수준을 높여가며 시뮬레이션과 물리 로봇 모두에서 수행된 종합적인 평가를 포함하며, 형상 완성, 기하학적 필터링, 불확실성 인지 필터링, 객체 수준 포기에 대한 절제 연구(ablation studies)를 수행했습니다.

실험 결과

본 프레임워크는 안전성과 반복성을 보장하기 위해 고정밀 플라스틱 딸기를 사용하여 Intel RealSense D435i 카메라가 장착된 Unitree Z1 로봇 암에서 평가되었습니다. 실험은 0%에서 약 87.45%까지의 폐쇄 수준을 다룹 most.

• 시뮬레이션 성능: 최고 수준의 시뮬레이션 폐쇄(87.45%)에서, UNCLE-Grasp는 시도 대비 성공률(success rate over attempted grasps) 측면에서 강력한 베이스라인(CGNet+Geom Completed, 0.780)보다 향상된 0.870을 기록했습니다. 시도율(attempt rate)은 약간 낮았지만(0.860 vs 0.880), 전체 성공률(전체 딸기 대비 성공률)은 0.680에서 0.740으로 증가했습니다.
• 물리 로봇 성능: 약 87%의 합성 폐쇄 조건에서, UNCLE-Grasp는 시도 대비 성공률 0.800을 달성하여 가장 강력한 베이스라인(0.483)을 크게 앞질렀습니다. 그러나 이는 시스템의 보수적인 위험 회피 성향을 반영하여 더 낮은 시도율을 동반했습니다.
• 실제 잎 폐쇄: 실제 잎 폐쇄(~70%) 상황에서, UNCLE-Grasp는 베이스라인(0.367) 대비 성공률을 0.517로 개선했습니다.
• 절제 연구(Ablation Studies): 형상 완성이 심한 폐쇄 상황에서 가장 큰 이득을 제공하며, 학습된 파지 생성(CGNet)이 중심점 기반 배치보다 우수하고, 기하학적 필터링이 물리적으로 불가능한 후보를 제거함을 확인했습니다. 그러나 불확실성 인지 선택을 포함한 전체 UNCLE-Grasp 파이프라인만이 일관되게 가장 높은 조건부 성공률을 달로 달성했습니다.

의의 및 주장

본 논문은 UNCLE-Grasp의 주요 이점이 선택적 포기를 통한 더 신뢰할 수 있고 위험을 인지한 실행에 있다고 주장합니다. 결과는 파지 신뢰도와 수확량 사이의 트레이드오프를 보여줍니다. 즉, 불확실한 대상을 미룸으로써 시스템은 전체 시도 횟수는 줄어들 수 있지만, 실패하거나 손상을 주는 파지의 비율을 크게 줄일 수 있습니다.

저자들은 이 연구가 위험 인지 자동화를 위한 더 넓은 원칙을 강조한다고 설명합니다. 즉, 인지가 모호할 때는 항상 행동하는 것보다 선택적으로 포기하는 것이 더 바람직할 수 있다는 것입니다. 본 연구는 불확실성이 단순히 인지 점수로 보고되는 것을 넘어, 명시적인 다운스트림 의사결정(시도 vs 포기)과 연결될 때 가장 유용하다는 점을 역설합니다.

저자들은 현재의 파이프라인이 연구용 프로토타입으로서 높은 계산 비용(최적화된 버전 기준 딸기당 약 57.53초)이 들며, 미검출(missed detection)이나 충돌 인지 접근 계획을 다루지 않는다는 한계를 인정합니다. 또한, 시스템이 특정 파지의 성공을 보장하는 것이 아니라, 기하학적 불확실성에도 불구하고 최소 하나 이상의 타당한 파지가 존재한다는 것을 높은 신뢰도로 나타내는 것임을 명시합니다. 저자들은 실시간 상업적 배포를 주장하는 것이 아니라, 농업 로봇 공학에서 불확실성 인지형 선택적 실행의 타당성을 입증하고자 합니다.