💻 computer science

SpaceDex: Generalizable Dexterous Grasping in Tiered Workspaces

이 논문은 가시성 저해와 좁은 공간 제약이 있는 계단식 작업 환경에서 고도화한 손의 잡기 성능을 향상시키기 위해, 비전 - 언어 모델을 활용한 계층적 공간 계획과 팔 - 손 특징 분리를 결합한 'SpaceDex' 프레임워크를 제안하고 실증합니다.

원저자: Wensheng Wang, Chuanjun Guo, Wei Wei, Tong Wu, Ning Tan

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wensheng Wang, Chuanjun Guo, Wei Wei, Tong Wu, Ning Tan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"SpaceDex"**라는 이름의 새로운 로봇 기술을 소개합니다. 쉽게 말해, **"어려운 선반 속에서 물건도 잘 찾아내고, 손가락으로 정교하게 잡는 로봇"**을 만든 이야기입니다.

기존의 로봇들은 주로 탁자 위처럼 넓고 막힘없는 곳에서 물건을 잡는 데는 능숙했지만, 냉장고 안이나 책장처럼 물건이 빽빽하고 가려진 곳에서는 매우 서툴렀습니다. SpaceDex 는 바로 이런 **'좁고 복잡한 공간'**에서 인간처럼 똑똑하게 행동할 수 있도록 설계되었습니다.

이 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

1. "지도 보는 선장"과 "손을 쓰는 선원" (계층적 계획)

기존 로봇은 "저기 컵이 있네, 잡자!"라고 생각하다가, 컵 뒤에 다른 병이 있어서 부딪히거나, 선반 위쪽 천장에 팔이 걸려서 실패하곤 했습니다.

SpaceDex 는 두 명의 전문가가 팀을 이루어 일합니다.

고수준 계획자 (VLM, Vision-Language Model): 이 분은 **'지도 보는 선장'**입니다. 로봇이 "저기 있는 빨간 컵을 가져와"라고 말하면, 이 선장은 카메라 여러 개를 통해 주변을 훑어봅니다. "아, 컵 뒤에 병이 있네? 먼저 병을 치워야겠다"거나 "위쪽 선반은 너무 좁아서 팔이 닿을 수 없으니 아래쪽에서 접근해야겠다"라고 3 차원 공간의 장애물과 가려진 부분을 분석합니다. 그리고 로봇의 손이 닿을 정확한 위치를 지도에 표시해 줍니다.
저수준 컨트롤러: 이 분은 **'손을 쓰는 선원'**입니다. 선장이 준 지도를 보고 실제로 팔을 움직이고 손가락을 구부려 물건을 잡습니다.

이 두 명이 따로따로 일하는 게 아니라, 선장이 "어디로 가야 해"라고 알려주면 선원은 그 길만 따라가며 손만 집중할 수 있게 되어 훨씬 효율적입니다.

2. "눈이 가려져도 손끝으로 느끼는" (다중 감각과 분리)

좁은 선반 안으로 팔을 넣으면 로봇의 팔이 카메라 시야를 가려서 물건을 못 보게 됩니다. 이때 기존 로봇은 당황해서 멈추거나 넘어집니다. 하지만 SpaceDex 는 다릅니다.

여러 개의 눈 (다중 카메라): 책장 앞, 옆, 위, 그리고 로봇 손목에까지 카메라를 달아두었습니다. 한쪽 눈이 가려져도 다른 눈이 "여기야!"라고 알려줍니다. 마치 우리가 어두운 방에서 물건을 찾을 때 손으로 더듬으면서도 주변을 두리번거리는 것과 같습니다.
손끝의 촉각 (터치 센서): 물건을 잡을 때 시각이 막히면, **손끝의 센서가 "아, 딱딱하게 닿았네", "아, 미끄러운데?"**라고 느끼게 됩니다. 이 감각을 통해 로봇은 물건을 꽉 잡아야 할지, 살짝만 잡아야 할지 실시간으로 조절합니다.
팔과 손의 분리 (Feature Separation): 이것이 SpaceDex 의 가장 큰 비밀입니다. 기존 로봇은 팔을 움직이는 것과 손가락을 구부리는 것을 하나의 뇌로 처리해서 서로 간섭이 많았습니다. SpaceDex 는 **팔의 움직임 (장애물 피하기)**과 **손의 움직임 (정교하게 잡기)**을 뇌의 다른 영역으로 분리했습니다.
- 비유: 마치 마라톤 선수가 달리는 데만 집중하고, 스케이트 선수가 빙판 위 균형을 잡는 데만 집중하는 것처럼, 로봇도 팔은 "부딪히지 않게" 가고, 손은 "물건을 잘 잡게" 하는 데 각각 집중하게 만든 것입니다.

3. "실수해도 다시 일어나는" (회복 훈련)

로봇이 물건을 떨어뜨리거나 선반에 살짝 부딪히는 실수를 할 때, 기존 로봇은 "에이, 실패야!" 하고 멈추는 경우가 많았습니다.

SpaceDex 는 훈련 과정에서 의도적으로 실수를 만들어내고, 그걸 어떻게 고칠지 배우는 데이터를 포함시켰습니다. 마치 아이가 자전거를 타다가 넘어졌을 때, 바로 일어나서 다시 타는 법을 배우는 것과 같습니다. 덕분에 실제 환경에서 작은 실수가 발생해도 로봇이 스스로 상황을 복구하여 작업을 계속할 수 있습니다.

결론: 왜 이것이 중요한가요?

이 연구팀은 실제 실험에서 100 번의 시도를 해보았는데, 63% 성공률을 기록했습니다. 반면, 기존에 탁자 위에서 잘하던 다른 로봇 기술은 같은 환경에서 39% 만 성공했습니다.

요약하자면:
SpaceDex 는 "좁고 복잡한 선반 속에서도, 지도를 보고 (시각), 손끝을 느끼며 (촉각), 팔과 손을 따로 움직여 (분리), 실수하면 바로 고쳐서 (회복)" 물건을 잡을 수 있는 똑똑한 로봇 기술입니다. 이는 앞으로 우리 집 냉장고 정리나 창고에서 물건을 찾는 일 등을 로봇이 훨씬 더 자연스럽게 해낼 수 있게 해줄 것입니다.

1. 문제 정의 (Problem Definition)

기존의 지능형 그리퍼 (Dexterous Hand) 연구는 주로 개방된 탁상 (Open Tabletop) 환경에서 수행되었습니다. 이러한 환경은 물체가 위에서 내려다보일 때 잘 보이고, 로봇 팔의 이동 경로에 공간적 제약이 거의 없습니다.

하지만 실제 현실 세계 (창고 선반, 냉장고, 좁은 캐비닛 등) 는 다음과 같은 심각한 제약을 가집니다:

심각한 가려짐 (Occlusion): 물체가 다른 물체나 선반 구조에 의해 가려져 단일 시점 (Single-view) 인식만으로는 위치 파악이 어렵습니다.
공간적 제약 (Spatial Constraints): 선반의 높이, 벽, 천장 층 사이의 좁은 간격으로 인해 충돌 회피가 매우 어렵습니다.
높이 의존성 (Height-dependent Constraints): 쌓여 있는 물체 간의 의존 관계 (예: 아래 물체를 먼저 치워야 위 물체에 접근 가능) 를 이해해야 합니다.

기존 방법론들은 이러한 3 차원 공간적 추론과 정밀한 손 제어를 동시에 처리하지 못해, 제한된 공간에서의 그리핑 성공률이 낮았습니다.

2. 방법론 (Methodology)

저자들은 SpaceDex라는 계층적 (Hierarchical) 프레임워크를 제안하여, 비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델을 기반으로 한 견고한 그리핑을 구현했습니다.

가. 계층적 구조 (Hierarchical Framework)

시스템은 고수준 계획자 (High-Level Planner) 와 저수준 제어기 (Low-Level Controller) 로 나뉩니다.

고수준: 계층 인식 공간 추론기 (Tier-Aware High-Level Planner)
- VLM 활용: Vision-Language Model (Qwen2.5-VL) 을 사용하여 사용자의 언어 명령을 해석하고, 다중 카메라 뷰 (좌, 전, 우, 손목) 를 병렬로 분석합니다.
- 가려짐 및 높이 관계 추론: 물체 간의 가려짐 관계와 쌓임 순서를 분석하여, 목표 물체에 도달하기 위해 먼저 제거해야 할 장애물을 식별합니다.
- 타겟 지정: 최적의 카메라 뷰를 선택하고, SAM(Segment Anything Model) 과 Cutie 를 활용해 목표 물체의 2D 마스크를 생성 및 추적합니다. 이는 저수준 제어기에 구조화된 공간 가이드를 제공합니다.
저수준: 공간 - 촉각 제어기 (Spatial-Tactile Controller)
- 확산 모델 (Diffusion Policy): 조건부 확산 모델 (Diffusion Transformer, DiT) 을 사용하여 충돌 없는 궤적과 정밀한 그리핑 동작을 생성합니다.
- 멀티뷰 인식 및 손목 중심 크로스 어텐션: 외부 카메라 3 개와 손목 카메라 1 개를 통합합니다. 특히, 팔이 시야를 가리는 경우를 대비해 손목 특징 (Query) 이 글로벌 뷰 (Key/Value) 에서 공간적 제약을 검색하도록 설계된 Wrist-Centric Cross-Attention 메커니즘을 도입했습니다.
- 촉각 피드백: 손끝의 3D 홀 효과 (Hall-effect) 센서 데이터를 통합하여, 시야가 제한될 때에도 그리핑 안정성을 확보합니다.

나. 핵심 기술: 팔 - 손 특징 분리 네트워크 (Arm-Hand Feature Separation Network)

문제: 좁은 공간에서 팔 (전역 장애물 회피) 과 손 (국소 기하학적 정합) 의 제어 목표가 서로 상충하여 특징 간섭 (Feature Interference) 이 발생합니다.
해결: 공유 잠재 공간 (Shared Latent Space) 에서 팔과 손의 특징을 분리하는 두 개의 전용 스트림 ( $\phi_{arm}$ $ϕ_{a r m}$ , $\phi_{hand}$ $ϕ_{han d}$ ) 을 도입했습니다.
- Arm Stream: 선반 층 사이의 충돌 회피를 위한 전역 궤적 회귀에 집중.
- Hand Stream: 물체 모양 매칭 및 접촉 최적화에 집중.
- 이 두 스트림은 보조 손실 (Auxiliary Loss) 을 통해 독립적으로 학습된 후 다시 결합되어 22 자유도 (DoF) 동작을 생성합니다.

다. 데이터 수집 전략

그랩 프리어 (Grasp-Prior) 가이드: 물체의 기하학적 특성을 기반으로 초기 그리핑 포즈를 생성하여 인간 데모의 효율성을 높였습니다.
오류 복구 데이터 (Error-Recovery Data): 성공적인 궤적뿐만 아니라, 실수 (물체 낙하, 충돌 등) 후 이를 교정하는 5% 의 복구 데모 데이터를 포함시켜, 정책이 분포 밖 (Out-of-Distribution) 상태에서도 복구할 수 있도록 훈련했습니다.

3. 주요 기여 (Key Contributions)

SpaceDex 프레임워크: 개방된 탁상 환경에서 제한된 3 차원 계층형 작업 공간 (Tiered Workspaces) 으로 범용 지능형 그리핑을 확장한 최초의 프레임워크 중 하나입니다.
새로운 아키텍처:
- 다중 뷰 VLM 추론을 활용한 계층 인식 고수준 계획기.
- 촉각 피드백, 복구 데모, 그리고 팔 - 손 특징 분리 네트워크를 포함한 저수준 공간 - 촉각 제어기.
실제 환경 검증: 4 가지 카테고리 (경질 직육면체, 경질 원통, 변형 가능, 구형) 의 30 개 이상 미확인 물체를 대상으로 한 100 회 실제 실험을 통해 성능을 입증했습니다.

4. 실험 결과 (Results)

성공률: 제한된 3 차원 환경에서 SpaceDex 는 **63.0%**의 성공률을 기록했습니다. 이는 강력한 탁상 기반 베이스라인 (DexGraspVLA) 의 **39.0%**보다 24% 포인트 높은 수치입니다.
카테고리별 성능:
- 구형 물체 (Near-spherical): 84.0% (베이스라인 52.0% 대비 우세)
- 변형 가능 물체 (Deformable): 40.0% (베이스라인 16.0% 대비 우세)
- 촉각 피드백과 정밀한 손 제어가 특히 중요한 물체에서 성능 차이가 극명하게 나타났습니다.
Ablation Study (성분 분석):
- 팔 - 손 특징 분리 제거 시: 성공률이 63.0% → 44.0% 로 급감 (19% 감소). 특징 간섭이 성능 저하의 주원인임을 입증.
- 복구 데이터 제거 시: 63.0% → 52.0% 로 감소. 오류 복구 데이터의 중요성 확인.
- 멀티 카메라 제거 시 (단일 외부 카메라): 63.0% → 52.0% 로 감소. 전역 공간 인식의 필요성 확인.

5. 의의 및 결론 (Significance)

SpaceDex 는 로봇이 단순한 '잡기 (Pick-and-Place)'를 넘어, 복잡한 3 차원 구조물 내에서 가려짐과 공간적 제약을 극복하며 지능적으로 행동할 수 있음을 보여줍니다.

실용성: 창고 자동화, 가정용 로봇 (냉장고/캐비닛 정리), 소매업 재고 관리 등 실제 산업 및 가정 환경에 적용 가능한 기술적 토대를 마련했습니다.
기술적 통찰: 고수준의 공간적 추론 (VLM) 과 저수준의 정밀 제어 (Diffusion + Tactile) 를 결합하고, 팔과 손의 제어 목표를 명시적으로 분리하는 것이 제한된 공간에서의 성공적인 조작에 필수적임을 증명했습니다.

이 연구는 로봇이 개방된 실험실 환경을 벗어나, 실제 세계의 복잡하고 제한된 공간에서도 인간과 유사한 유연한 조작 능력을 발휘할 수 있는 중요한 전환점이 됩니다.