RetrDex: Efficient Object Retrieval in Cluttered Scenes with a Dexterous Hand

기술 요약: RetrDex – 숙련된 손을 이용한 복잡한 장면에서의 효율적인 객체 검색

문제 정의

물체들이 뒤섞여 있는 곳에서 숨겨진 물체를 찾아내는 것은 체화된 지능(embodied intelligence), 특히 가구와 같은 비정형 환경에서 매우 중요한 과제입니다. 핵심적인 어려움은 복잡한 지지 관계와 폐쇄(occlusion) 현상으로 인해, 수동적인 시각 정보만으로는 정밀한 포즈나 실행 가능한 파지점(grasp point)을 얻기 어렵다는 점에 있습니다. 기존의 접근 방식은 대개 물리적 상호작용(예: 밀기)을 파지 전의 독립적이고 순차적인 준비 단계로 취급하는 "인식-계획-행동" 패러다임에 의존합니다. 이러한 방법들은 장면 탐색과 대상물 검색을 연속적이고 깊게 결합된 과정으로 모델링하는 데 실패하는 경우가 많습니다. 또한, 표준적인 평행 그리퍼는 선형적인 제거 동작에 국한되는 반면, 숙련된 손(dexterous hand)을 사용하는 접근 방식조차도 연속적인 조작 기술의 스펙트럼을 학습하기보다는 이산적인 상호작용-파지의 조합에 집중하는 경향이 있습니다.

방법론

저자들은 숙련된 암-핸드(arm-hand) 시스템이 시뮬레이션에서 현실 세계로 제로샷(zero-shot) 전이가 가능한 효율적인 객체 검색 정책을 학습할 수 있도록 설계된 프레임워크인 RetrDex를 제안합니다. 이 방법론은 네 가지 핵심 요소로 구성됩니다.

1. 작업 구성 및 환경

시스템은 IsaacGym을 사용하여 다양하고 현실적인 혼란스러운 장면을 생성합니다. 각 에피소드에서는 다양한 질량, 크기, 모양을 가진 20개 이상의 가전제품 객체들이 상자 안에 떨어지며, 대상 객체는 바닥에 배치됩니다. 안정적인 학습을 보장하기 위해, 로봇 손은 "준비 포즈"(상자 위)와 "현수 포즈"(상자에서 떨어진 위치)를 번갈아 수행하며, 이는 초기화 시 객체의 물리 법칙에 간섭하는 것을 방지하고 폐쇄 없이 픽셀 기반 보상을 주기적으로 계산하기 위함입니다.

2. 공간 인지 표현 (교사 정책)

학습 프레임워크의 핵심은 교사-학생(Teacher-Student) 구조입니다.

• 공간 표현: 그래프 신경망(GNN) 모듈은 대상, 숙련된 손, 그리고 주변의 혼란스러운 물체들 사이의 폐쇄 패턴과 공간적 관계를 인코딩하는 공간 인지 표현($h^*_{t}$)을 학습합니다. 이 그래프에는 대상, 손, 그리고 $K$개의 인접한 이웃 객체가 포함됩니다. 노드는 샘플링된 포인트 클라우드 상의 PointNet++를 사용하여 인코딩되며, EdgeConv 레이어는 문맥(context)을 모델링하기 위해 특징을 전파합니다.
• 교사 학습: 교사 정책은 512개의 환경에서 병렬로 **근사 정책 최적화(PPO)**를 사용하여 학습됩니다. 교사는 GNN 표현, 손가락의 전체 운동학적 상태, 객체 속도를 포함한 특권 정보(privileged information)를 받습니다.
• 보상 설계: 보상 함수는 능동적인 노출을 장려하는 다섯 가지 구성 요소를 통해 대상의 노출을 유도합니다.
  • 거리 보상 ($r_{dist}$): 폐쇄된 영역으로 접근하도록 유도합니다.
  • 저어주기 보상 ($r_{stir}$): 깊은 폐쇄를 해소하기 위해 주변 객체의 변위를 촉진합니다.
  • 근접 제거 보상 ($r_{clean}$): 대상에 인접한 객체들을 제거하는 데 집중합니다.
  • 픽셀 가시성 보상 ($r_{pixel}$): 탑다운 세그멘테이션 마스크에서 보이는 대상 픽셀의 수를 보상합니다.
  • 패널티: 행동, 접촉 및 대상 변위에 대한 패널티를 포함합니다.
  • 셰이핑(Shaping): 학습을 가속화하고 보상 해킹(reward hacking)을 줄이기 위해 잠재 기반 보상 셰이핑 프레임워크가 사용됩니다.

3. 학생 정책 및 Sim-to-Real 전이

실제 하드웨어 배포를 위해, 학생 정책은 행동 복제(Behavior Cloning, BC)를 통해 교사로부터 증류(distilled)됩니다.

• 입력: 학생은 오직 고유 수용 감각 데이터(팔 관절 위치)와 시각 데이터(탑다운 카메라로부터의 대상 픽셀 좌표)만을 관찰하며, 이는 15 타임스텝의 이력을 처리하는 트랜스포머(Transformer) 네트워크를 통해 처리됩니다.
• 증류: 교사는 시뮬레이션에서 고품질의 궤적을 생성합니다. 성공적인 롤아웃(손가락이 상자 바닥을 피하고 대상이 고르게 분포된 경우)은 필터링되어 학생 학습에 사용됩니다. 이 접근 방식은 학생이 교사가 가진 특권적인 공간 정보 없이도 복잡한 시간적 의존성과 조작 기술(밀기, 저어주기, 찌르기 등)을 학습할 수 있게 합니다.

주요 기여

1. 통합된 연속 프레임워크: RetrDex는 객체 검색을 이산적인 단계(밀기 후 파지)의 시퀀스가 아니라, 로봇이 대상을 노출하기 위해 혼란을 능동적으로 탐색하고 조작하는 연속적이고 결합된 과정으로 모델링합니다.
2. 공간 인지 그래프 표현: 폐쇄와 공간적 관계를 명시적으로 인코딩하는 GNN 기반 표현의 도입은 정책이 복잡한 혼란 구조를 추론하고 다양한 조작 전략을 개발할 수 있게 합니다.
3. 제로샷 Sim-to-Real 전이: 본 프레임워크는 시뮬레이션에서 학습된 정책을 미세 조정 없이 실제 숙련된 다지형 로봇(Realman RM-75 암에 장착된 Inspire Hand)으로 성공적으로 전이하여, 보지 못한 객체와 혼란 구성에 대한 강건성을 입증했습니다.
4. 기술 발견: 시스템은 수동으로 인코딩하거나 표준 그리퍼로는 학습하기 어려운 저어주기(stirring), 찌르기(poking), 재배향(reorienting)과 같은 효과적인 기술을 자율적으로 발견합니다.

실험 결과

저자들은 16개의 가전제품 객체를 대상으로 다양한 혼란 구성에서 VMP(Visual-based Motion Planning), 순차적 Grasp-Pick, 그리고 SAC 또는 평행 그리퍼를 사용한 변형 모델들을 포함한 베이스라인과 비교하여 RetrDex를 평가했습니다.

• 성공률 및 효율성: RetrDex는 시뮬레이션에서 본 적 있는 객체에 대해 **91.4%의 검색 성공률(RSR)**을, 보지 못한 작은 객체에 대해 **86.2%**를 달이트며 베이스라인을 크게 앞질렀습니다. 또한 VMP 대비 평균 38%, Grasp-Pick 대비 90% 적은 단계로 검색을 완료했습니다.
• 일반화: 이 방법은 보지 못한 객체 형태(작은 것 및 큰 것)와 증가하는 혼란 밀도(L2 및 L3 설정)에 대해 강력한 일반화 성능을 보여주었습니다. 반면, 순차적 제거 방식의 성능은 혼란의 복잡성이 증가함에 따라 급격히 하락했습니다.
• 실제 세계 성능: 실제 실험에서 RetxDex는 다양한 객체 유형(직육면체, 원기둥, 구형)과 위치에 대해 높은 성공률을 달성했습니다. VMP 대비 51.2%, 순차적 grasp-and-remove 방식 대비 **61.9%**의 검색 시간을 단축했습니다.
• 절제 연구(Ablation Studies):
  • GNN 모듈이나 "stir" 보상을 제거하면 특히 큰 객체와 깊은 폐쇄 상황에서 성능이 크게 저하되었습니다.
  • 숙련된 손 변형 모델은 평행 그리퍼 변형 모델보다 훨씬 뛰어난 성능을 보였으며, 이는 선형적인 밀기보다 미세한 조작 기술(찌르기, 저어주기)의 이점을 확인시켜 줍니다.

의의 및 주장

본 논문은 RetrDex가 현재 로봇 조작의 근본적인 한계인 수동적 관찰과 순차적/이산적 의사결정에 대한 의존성을 해결한다고 주장합니다. 다지형 손의 숙련도를 활용하고 대규모 강화 학습을 적용함으로써, 이 프레임워크는 로봇이 폐쇄 문제를 해결하기 위한 효율적인 전략을 자율적으로 발견할 수 있게 합니다.

저자들은 숙련된 손의 진정한 이점이 이산적인 사전 파지 동작을 넘어 넓은 범위의 상호작용을 학습할 수 있는 능력에 있다고 강조합니다. 시뮬레이션에서 학습된 복잡하고 접촉이 많은 조작 기술을 실제 환경에 배포하기 위한 성공적인 제로샷 전이는 그 실용성을 입증합니다. 이 연구는 폐쇄 해소를 보조적인 단계가 아닌, 하나의 연속적이고 결합된 과정으로 취급하는 것이 더 효과적인 패러다임임을 시사합니다.