💻 computer science

ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation

ShapeGrasp는 파지 과정에서 시각적 추정과 촉각 피드백을 반복적으로 결합함으로써 생소한 물체에 대한 3D 객체 형상 재구성을 정교화하는 동시에 파지 성공률을 향상시키는 새로운 로봇 시스템이다.

원저자: Lukas Rustler, Matej Hoffmann

게시일 2026-07-01

📖 3 분 읽기☕ 가벼운 읽기

원저자: Lukas Rustler, Matej Hoffmann

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 한 번도 본 적 없는 기묘한 모양의 도구나 구겨진 상자처럼 이상하게 생긴 물체를 집으려고 시도하는 상황을 상상해 보세요. 로봇이 오직 눈(카메라)만을 사용한다면, 그것은 평면적이고 불완전한 이미지만을 보게 됩니다. 로봇은 물체의 뒷면이 매끄러울 것이라고 추측할 수도 있지만, 실제로는 손잡이가 튀어나와 있을 수도 있습니다. 만약 로봇이 그 추측에 기반해 물체를 잡으려 한다면, 놓치거나, 물체를 떨어뜨리거나, 혹은 물체를 찌그러뜨릴 수도 있습니다.

ShapeGrasp는 로봇에게 인간이 하는 방식과 매우 유사하게, 직접 해보면서 배우도록 가르치는 새로운 방법입니다. 단순히 보고 추측하는 대신, 로봇은 해결책을 찾기 위해 "느낍니다".

작동 방식은 다음과 같이 간단한 단계로 나뉩니다.

1. "눈을 가린" 시작

로봇은 카메라로부터 얻은 단 한 장의 스냅샷으로 시작합니다. 로봇은 스마트한 컴퓨터 프로그램을 사용하여 물체의 나머지 부분이 어떻게 생겼을지 추측합니다. 이것은 퍼즐 조각 하나를 보고 전체 그림을 상상하려는 것과 같습니다. 로봇은 3D 모델을 만들어내지만, 그것은 단지 추측일 뿐입니다.

2. "시행착오"를 통한 잡기

로봇은 그 추측을 바탕으로 물체를 잡으려고 시도합니다.

성공했을 경우: 좋습니다! 로봇은 물체를 들어 올립니다.
실패했을 경우: 물체가 미끄러지거나, 로봇은 "잠깐, 내 추측이 틀렸어. 물체가 생각보다 무겁거나 모양이 다르네"라고 깨달을 수 있습니다.

3. "감각 업데이트"

이것이 마법 같은 부분입니다. 로봇이 물체를 잡으려고 시도할 때마다, 로봇은 두 가지 새로운 사실을 배웁니다.

촉각: 로봇의 손가락이 실제로 물체에 닿으면, 센서가 로봇에게 "여기가 물체의 정확한 표면이다"라고 알려줍니다. 이것은 마치 로봇이 조각상을 손가락으로 훑으며 튀어나온 부분을 느끼는 것과 같습니다.
빈 공간: 설령 로봇이 놓치더라도, 손가락은 공간을 차지합니다. 로봇은 "물체가 가로막고 있어서 내 손가락이 이리로 갈 수 없었구나"라는 것을 알게 됩니다. 로봇은 이 "빈 공간" 데이터를 사용하여 자신의 정신적 지도를 정교하게 다듬습니다.

4. "다시 하기"

첫 번째 잡기가 실패했다면, 로봇은 똑같은 시도를 반복하지 않습니다. 로봇은 이 새로운 촉각 및 공간 정보를 모두 가져와서, 물체의 3D 모델을 더 정확하게 업데이트하고, 더 나아진 지도를 바탕으로 새로운 잡기를 시도합니다. 로봇은 이 루프—잡기, 느끼기, 업데이트하기, 다시 잡기—를 성공할 때까지 반복합니다.

왜 특별한가요?

대부분의 로봇은 물체에 닿기 전에 완벽한 3D 모델을 만들려고 노력하거나, 아니면 그냥 눈을 감고 잡습니다. ShapeGrasp는 *물리적인 잡기 이후에 실세계에서 3D 모델을 업데이트하는* 최초의 방법입니다.

이것을 조각가에 비유해 보세요. 전통적인 로봇은 흐릿한 사진을 바탕으로 조각상을 깎으려 하며 운에 맡기는 사람과 같습니다. 반면 ShapeGrasp는 조금 깎아보고, 뒤로 물러나 돌을 느껴보고, 너무 많이 깎았다는 것을 깨달은 뒤, 다시 깎기 전에 계획을 수정하는 조각가와 같습니다.

결과

연구진은 서로 다른 종류의 "손"(그리퍼)을 가진 두 가지 로봇 팔을 대상으로 테스트를 진행했습니다.

두 손가락 형태의 손 (집게 형태).
세 손가락 형태의 손 (인간의 손과 유사함).

그들은 ShapeGrasp가 이전 방식들보다 물체를 집어 올리는 데 훨씬 더 뛰어나다는 것을 발견했습니다.

두 손가락 손의 성공률은 **91%**였습니다.
세 손가락 손의 성공률은 **84%**였습니다.

결정적으로, 로봇이 물체를 잡으려고 시도할 때마다 해당 물체의 3D 모델은 더 정확하고 상세해졌습니다. 결국 로봇은 물체가 정확히 어떻게 생겼는지 알게 되며, 이는 나중에 물체를 조심스럽게 다루는 데(예를 들어, 사람에게 물건을 건네줄 때) 도움이 됩니다.

트레이드오프 (절충안)

논문은 이 과정이 시간이 다소 걸린다(물체당 약 5~9초)고 언급합니다. 왜냐하면 로봇이 생각하고, 시뮬레이션하고, 신중하게 움직여야 하기 때문입니다. 하지만 이 절충안은 훨씬 더 신뢰할 수 있기 때문에 충분히 가치가 있습니다.

요약하자면, ShapeGाSrp는 로봇을 "추측하고 희망하는" 기계에서, 자신의 실수를 사용하여 세상에 대한 이해를 구축하는 "배우고 적응하는" 기계로 변화시킵니다.

기술 요약: ShapeGrasp: 향상된 로봇 조작을 위한 동시 시각-촉각 형상 완성과 파지(Grasping)

문제 정의
단일 RGB-D 뷰를 통해 물체를 부분적으로만 관찰할 때, 가려진 영역이 커짐에 따라 사전 정보가 없는 물체를 견고하게 파지하는 것은 여전히 어려운 과제로 남아 있습니다. 형상 완성을 위한 방법론들이 누락된 기하학적 구조를 추론할 수는 있지만, 생성된 모델은 종종 불확실성이나 환각된 기하학적 구조를 포함하고 있어, 특히 유연한 물체의 경우 파지 계획의 실패를 초래합니다. 반대로, 파지는 정보가 풍부한 상호작용으로서 촉각 피드백과 그리퍼가 점유하는 공간(자유 공간)에 대한 제약 조건을 제공합니다. 기존의 접근 방식들은 형상 완성(shape completion)과 파지를 별개의 단계로 취급하거나 시간이 많이 소요되는 전용 촉각 탐사 루프에 의존하는 경우가 많습니다. 저자들은 상세한 3D 모델을 재구성하는 동시에 파지를 실행하며, 파지 시도(성공 또는 실패)로부터 얻은 피드백을 활용하여 물체 모델을 반복적으로 정교화하고 재계획하는 시스템의 필요성을 다룹니다.

방법론
저자들은 암시적 표면(implicit-surface) 형상 완성와 물리 기반 파지 계획을 결합한 반복적인 시각-촉각 파이프라인인 ShapeGrasp를 제안합니다. 이 시스템은 폐루프(closed loop)로 작동합니다:

물체 표현: 시스템은 물체를 부호 거리 함수(Signed Distance Function, SDF)로 정의된 암시적 표면 $O = \{x \in \mathbb{R}^3 \mid f(x; \theta, z_r) = 0\}$ 로 표현합니다. 입력값은 초기 시각적 관측, 촉각 접촉, 자유 공간 제약을 포함하는 집계된 포인트 클라우드 $X_r$ 입니다.
형상 완성: 핵심 구성 요소는 IGR(Implicit Geometric Regularization for Learning Shapes)에 기반한 딥 뉴럴 네트워크입니다. 이는 특정 물체 인스턴스에 대한 잠재 벡터 $z_r$ 을 최적화하여 SDF를 근사합니다. 네트워크는 관측된 점들과의 거리를 최소화하고 표면 법선(normals)과 정렬되도록 학습되며, Eikonal 항을 통해 그래디언트 크기를 정규화합니다.
데이터 융합:
- 시각(Visual): 고정된 테이블 카메라로부터의 초기 RGB-D 데이터 및 선택적인 손목 카메라 데이터를 사용합니다.
- 촉각(Tactile): 그리퍼 센서가 물체에 접촉하면, 순방향 운동학(forward kinematics)을 통해 위치를 계산하여 포인트 클라우드 데이터로 추가합니다.
- 자유 공간(Free Space): 접근 과정 중 그리퍼 본체가 점유하는 부피를 포인트 클라우드로 투영합니다. 이 점들은 반드시 물체 외부에 있어야 하는 제약 조건(양의 부호 거리)으로 취급되어, 네트워크가 그리퍼의 경로 내에 기하학적 구조를 환각하는 것을 방지합니다.
포즈 추정: 반복 사이에는 현재 분할된 포인트 클라우드와 초기 참조 프레임 간의 ICP(Iterative Closest Point) 정렬을 사용하여 물체의 6D 포즈를 재추정함으로써 새로운 데이터가 올바르게 융합될 수 있도록 합니다.
파지 생성: 물리 기반 파지 플래너(PyBullet 사용)가 재구성된 삼각형 메쉬로부터 후보를 생성합니다. 표면 점들을 샘로링하고, 접근 벡터를 계산하며, 안정성을 평가하기 위해 파지(닫기, 들어올리기, 회전)를 시뮬레이션합니다. 품질 점수 $q$ 는 미끄러짐, 물체 움직임, 접촉 부족에 대해 페널티를 부여합니다.
반복 루프: 시스템은 가장 높은 품질의 실행 가능한 파지를 시도합니다. 만약 파지가 실패하면(물체가 미끄러지거나 떨어지면), 시스템은 실패를 감지하고, 포즈를 재추정하며, 새로운 촉각 및 자유 공간 데이터로 형상 모델을 업데이트하고, 새로운 파지 후보를 생성합니다. 이 루프는 성공적인 파지가 달성되거나 최대 반복 횟수에 도달할 때까지 계속됩니다.

주요 기여

반복적 파지 및 완성 파이프라인: 저자들은 실제 세계에서 파지 시도 이후 형상 표현을 업데이트하는 최초의 접근 방식(저자들이 아는 바에 의하면)을 제시합니다. 이 파이프라인은 촉각 접촉과 그리퍼 유래 자유 공간 제약을 통합하여 암시적 물체 모델을 정교화하고, 실패 시 재파지를 트리거합니다.
물리 기반 파지 제안 생성기: 재구성된 삼각형 메쉬를 소비하고 URDF 모델을 통해 다지(multi-finger) 그리퍼를 지원하는 새로운 생성기입니다. 이는 강체 시뮬레이션을 활용하여 파지 안정성을 평가하며, 형상 완성 출력과 긴밀하게 통합됩니다.
실제 환경 평가: Kinova Gen3와 KUKA iiwa 두 종류의 로봇과 촉각 센서가 장착된 Robotiq 2F-85 및 Barrett Hand 두 종류의 서로 다른 그리퍼를 사용하여 광범-한 실험을 수행했습니다. 연구에는 정보원(시각 전용, 자유 공간, 촉각, 결합형)에 대한 절제 연구(ablation analysis)가 포함됩니다.
오픈 소스: 코드와 데이터는 공개적으로 제공됩니다.

결과
방법론은 YCB 데이터셋의 9개 물체에 대해 물체당 10회의 실행으로 평가되었습니다.

파지 성공률 (GSR): ShapeGrasp는 베이스라인(HyperPCR, 3DSG hơn, VQDIF, VISHAC 등)보다 우수한 성공률을 보였습니다. 세 손가락 Barrett Hand의 경우 84%, 두 손가락 Robotiq 2F-85 그리퍼의 경우 **91%**의 성공률을 달 기록했습니다.
형상 완성 품질: 이 방법은 Chamfer Distance (CD) 및 Hausdorff Distance (HD) 지표에서 베이스라인을 능가했습니다. Robotiq 그리퍼의 경우, ShapeGrasp는 CD 18.64 mm를 달성하여 최적의 베이스라인인 HyperPCR(23.85 mm)보다 우수한 성능을 보였습니다. 촉각 데이터의 포함은 시각 전용 완성에 비해 통계적으로 유의미한 개선(지표 전반에 걸쳐 평균 약 5.5% 개선)을 제공했습니다.
절제 연구 (Ablation Study):
- 촉각 데이터: 재구성 품질과 파지 성공률을 유의미하게 향상시켰습니다.
- 자유 공간: 결과가 엇갈렸습니다. Robotiq 그리퍼의 경우 성능을 약간 향상시켰으나, Barrett Hand의 경우 성능을 저하시켰는데, 이는 강력한 Barrett Hand가 유연한 물체를 으깰 수 있어 "자유 공간" 제약이 물체 부피 내부로 들어갔기 때문으로 보입니다.
- 손목 카메라: 가장 좋은 재구성 지표를 제공했으나 항상 사용 가능한 것은 아니며, 촉각 데이터는 강력한 대안 역할을 합니다.
효율성: 이 방법은 일부 학습 기반 베이스라인(약 1초 미만)보다 느리지만(완성 및 계획에 약 5초 소요), 특정 물체 카테고리에 대한 사전 학습된 모델이 필요하지 않고 실패를 동적으로 처리하는 통합된 파이프라인을 제공합니다.

의의 및 주장
저자들은 ShapeGrasp가 형상 완성과 파지가 서로를 강화하는 "공생적 파이프라인"을 보여준다고 주장합니다. 주요 의의는 실제 세계의 파지 이후에 3D 형상 표현을 개선할 수 있는 능력에 있으며, 저자들은 이것이 자신들의 접근 방식만이 가진 고유한 특징이라고 밝힙니다. 파지 실패를 종단적 오류가 아닌 정보가 풍부한 이벤트로 취급함으로써, 시스템은 불확실성을 줄이기 위해 내부 모델을 적응시킵니다. 저자들은 이 방법이 현재 정밀도(precision)보다 재현율(recall)을 우선시하여 형상이 약간 "부풀려질" 수 있지만, 시각 데이터나 전용 촉각 탐사 루프에만 의존하는 최신 기술들보다 성공적인 파지와 더 나은 재구성 품질을 달성한다고 언급합니다. 이 연구는 로봇-인간 핸드오버나 분류 작업과 같이 물체의 특성에 대한 정밀한 지식이 필요한 시나리오에서 보다 견고한 자율 조작을 위한 단계로 자리매김하고 있습니다.