💻 computer science

GraspIT: A Dataset Bridging the Sim-to-Real gap and back for Validated Grasping SE(3) Pose Generation

GraspIT는 시뮬레이션과 실제 환경의 테이블탑 장면 전반에 걸쳐 물리적으로 검증된 고품질의 6-DoF 파지 주석 316,000개를 제공함으로써 sim-to-real 간극을 메우고, 강건한 로봇 파지 및 정책 학습을 가능하게 하기 위해 Franka Panda 로봇을 이용한 엄격한 4단계 슬립 테스트를 통해 생성된 새로운 오픈 소스 데이터셋이다.

원저자: Paul Koch. Adem Karakurt, André Sers

게시일 2026-07-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Paul Koch. Adem Karakurt, André Sers

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 손에게 커피 머그컵을 집는 법을 가르치려 한다고 상상해 보세요. 머그컵 사진을 백만 장 보여줄 수는 있겠지만, 만약 로봇에게 물리학—머그컵이 얼마나 무거운지, 얼마나 미끄러운지, 혹은 로봇 팔이 꽃병을 치지 않고 테이블을 돌아 나갈 수 있는지 등—을 가르치지 않는다면, 로봇은 계속 물건을 떨어뜨릴 것입니다.

이 논문은 비디오 게임 시뮬레이션과 현실 세계 사이의 간극을 메움으로써 이 문제를 해결하는 로봇을 위한 거대한 새로운 "훈련 교본", GraspIT를 소개합니다.

작동 원리는 다음과 같습니다. 이해하기 쉽게 몇 가지 개념으로 나누었습니다.

1. 문제점: "비디오 게임"의 함정

대부분의 로봇 훈련은 컴퓨터 시뮬레이션(고성로운 비디오 게임과 같은)에서 이루어집니다. 이러한 게임 속에서 로봇은 모든 것이 완벽하고 단단하다는 것을 가정하는 수학 공식에 기반하여 물건을 잡는 법을 배웁니다.

문제점: 현실 세계에서는 물건이 미끄러지고, 흔들리고, 휘청거립니다. 로봇은 자신이 완벽한 "수학적 움켜쥠"을 가졌다고 생각할 수 있지만, 실제로 물건을 들어 올리는 순간 물건이 손가락 사이로 미끄러져 나갈 수 있습니다. 기존의 데이터셋들은 로봇에게 합격 점수를 주기 전에 이러한 "미끄러짐"을 테스트할 방법이 없었습니다.

2. 해결책: "로봇 학교"

저자들은 **로봇 학교(Robot School)**라고 부르는 시스템을 구축했습니다. 단순히 움켜쥐는 것이 이론적으로 가능한지를 계산하는 대신, 로봇이 실제로 물체를 잡고 시도하게 한 뒤 4단계 물리적 스트레스 테스트를 거치게 합니다.

접근 (The Approach): 로봇 팔이 테이블이나 다른 물건에 부딪히지 않고 물체에 도달할 수 있는가? (도달하지 못하면 즉시 탈락 처리됩니다.)
들어 올리기 (The Lift): 로봇이 물체를 잡고 중력에 맞서 수직으로 들어 올립니다. 만약 미끄러지면 실패입니다.
흔들기 (The Wiggle): 로봇이 물체를 좌우로 흔듭니다. 물체가 너무 많이 흔들리거나 미끄러지면 실패입니다.
휘두르기 (The Swing): 로봇이 물체를 진자처럼 휘두릅니다. 물체가 움켜쥔 손 안에서 뒤틀리면 실패입니다.

이 네 단계를 모두 통과한 물체만이 높은 점수를 받습니다. 이를 통해 단순한 합격/불합격이 아닌 0에서 1 사이의 "품질 점수"를 생성합니다.

3. 마법 같은 기술: "실제 ↔ 시뮬레이션" 루프

이 부분이 GraspIT의 가장 독특한 점입니다. 보통 데이터는 실제 데이터(연구실 카메라로 촬영된 것)이거나 가짜 데이터(컴퓨터로 생성된 것) 중 하나이며, 둘이 완벽하게 일치하는 경우는 드뭅니다.

GraspIT는 영리한 루프를 사용합니다:

1단계: 실제 물체를 가져와 로봇 카메라로 스캔한 뒤 3차원 디지털 모델로 변환합니다.
2단계: 그 디지털 모델을 초현실적인 비디오 게임(Isaac Sim)에 넣습니다.
3단계: 게임 내에서 "로봇 학교" 스트레스 테스트를 실행합니다.
4단계: 결과값(합격/불합격 점수)을 가져와 원래의 실제 사진 위에 "투영(Project)"합니다.

비유하자면: 실제 사과 사진을 찍은 다음, 마법 프로젝터를 사용하여 그 사진 위에 "이 사과는 너무 빨리 들어 올리면 미끄러질 것입니다"라고 적힌 "스티커"를 덧씌우는 것과 같습니다. 디지털 모델과 실제 사진이 완벽하게 정렬되어 있기 때문에, 로봇은 시뮬레이션에서 얻은 물리 지식을 활용하여 실제 사진으로부터 학습할 수 있습니다.

4. 데이터셋에는 무엇이 들어있나요?

저자들은 다음과 같은 방대한 라이브러리를 공개했습니다:

약 316,000장의 이미지: 실제 사진과 초현실적인 컴퓨터 생성 사진이 혼합되어 있습니다.
약 230만 개의 "파지 시도(Grasp Attempts)": 모든 이미지에는 점수가 매겨진 수천 개의 잠재적인 움켜쥐기 방식이 포함되어 있습니다.
하드 네거티브 (Hard Negatives): 그들은 로봇이 물체를 잡긴 했지만 나중에 미끄러진 경우와 같은 "거의 성공할 뻔한" 시도들을 특별히 보관했습니다. 이는 학생에게 수학 문제를 거의 맞혔지만 틀린 부분을 정확히 짚어주어 어디서 잘못되었는지 배우게 하는 것과 같습니다.

5. 이것이 왜 중요한가요?

이전의 데이터셋들이 신호등이나 도로 파손(포트홀)이 포함되지 않은 도시의 지도를 로봇에게 주는 것이었다면, GraspIT는 포트홀, 교통량, 그리고 차량이 그 상황을 어떻게 다루는지에 대한 물리 법칙까지 포함된 지도를 제공합니다.

이 데이터셋을 사용함으로써, 미래의 로봇은 단순히 무엇을 잡아야 하는지가 아니라, 단순한 비디오 게임의 논리가 아닌 실제 세계의 물리학에 기반하여 물건을 떨어뜨리지 않고 어떻게 잡아야 하는지를 배우게 될 것입니다.

요약하자면: GraspIT는 시뮬레이션에서 수백만 번의 움켜쥐기를 스트레스 테스트하고 그 교훈을 실제 사진에 적용함으로써, 로봇에게 "이론적인 움켜쥠"과 "실제 세계의 움켜쥠"의 차이를 가르치는 거대하고 오픈 소스인 라이브러리입니다.

기술 요약: GraspIT

문제 정의

일상적인 물체의 로봇 조작은 특히 새로운 물체, 장면, 조명 조건에 대한 일반화 측면에서 여전히 큰 과제로 남아 있습니다. 주요 병목 현상은 다음과 같은 데이터를 동시에 제공하는 학습 데이터의 부족입니다:

실제 센서 데이터와 연결된 포토리얼리스틱(Photorealistic) RGB-D 관측값.
정적인 힘 폐쇄(force-closure) 메트릭을 넘어선, 물리적으로 검증된 파지 품질(grasp quality) 주석.
시뮬레이션의 레이블이 실제 센서 데이터에 유효하도록 보장하기 위한 원칙적인 Sim-to-Real(Real↔Sim) 가교.

기존 데이터셋들은 이러한 구성 요소 중 하나 이상이 결여되어 있는 경우가 많습니다. 예를 들어, GraspNet-1Billion과 같은 벤치마크는 방대한 규모를 제공하지만, 동적 섭동(dynamic perturbation) 하에서의 실제 성공 여부와 상관관계가 낮은 해석적 힘 폐쇄 메트릭에 의존하며 로봇 도달 가능성(reachability) 필터링이 부족합니다. 반대로, 대규모 모방 학습 데이터셋(예: Open X-Embodiment, DROID)은 시연 시퀀스를 제공하지만, 명시적인 3D 기하 구조, CAD 모델 또는 물리적으로 근거가 있는 파지 품질 점수가 부족합니다. 이러한 격차로 인해 현대적인 시각-언어-행동(VLA) 모델의 시각 인코더는 조작 성공을 예측하는 데 필요한 메트릭 기하학과 물리적 근거를 갖추지 못하게 됩니다.

방법론

GraspIT는 실제 캡처와 NVIDIA Isaac Sim 기반의 고충실도 시뮬레이션을 통합하는 폐쇄 루프 생성 시스템을 통해 이러한 격차를 해결합니다. 이 방법론은 네 가지 설계 원칙에 기초합니다.

1. 4단계 슬립 테스트를 통한 양보다 질 중심의 접근

수십억 개의 해석적 점수가 매겨진 후보를 생성하는 대신, GraspIT는 시뮬레이션 내에서 병렬로 실행되는 Franka Panda 인스턴스들을 통해 모든 파지 후보를 4단계 물리적 슬립 테스트로 검증합니다. 이를 통해 연속적인 품질 점수 $s \in [0, 1]$ 를 생성합니다:

1단계 (궤적 + 접근): 안티포달(antipodal) 힘 폐쇄까지 충돌 없는 궤적 계획을 검증합니다.
2단계 (리프트): 중력 하에서의 수직 변위를 테스트하여 불충분한 마찰력을 감지합니다.
3단계 (수평 진동): 선형 섭동을 적용하여 회전 불안정성을 노출합니다.
4단계 (펜듈럼 스윙): 관절을 회전시켜 무게 중심에서 벗어난 모멘트 암(moment arms)에 대한 저항력을 테스트합니다.

기본 점수 $b$ 는 통과한 가장 높은 단계(0.00 ~ 1.00)를 기준으로 할당됩니다. 이는 실행된 단계 중 위치 슬립이 2cm를 초과하거나 방향 슬립이 10°를 초과할 경우 점수를 차감하는 페널티 함수(식 2)에 의해 더욱 정교하게 조정됩니다. 이 설계는 정적인 힘 폐쇄 메트릭이 놓칠 수 있는 실패 모드(예: 물체가 들리기는 하지만 진동 중에 미끄러지는 경우)를 포착합니다.

2. 로봇 루프 내 도달 가능성 필터링(Robot-in-the-Loop Reachability Filtering)

물리 검증 전, 모든 후보는 Franka Panda 암을 위해 cuRobo 및 Lula를 사용하여 충돌 없는 궤적 계획 과정을 거칩니다. 장애물을 통과해야 하거나 작업 공간 제한을 초과하는 후보는 제외되어, 모든 양수 레이블이 실제 배치 가능한 시스템에서 실행 가능함을 보장합니다.

3. 양방향 Real↔Sim 연결

시스템은 도메인 간에 일관된 주석 좌표계를 구축합니다:

Real-to-Sim: 실제 물체는 TRELLIS(생성형 이미지-투-3D)를 사용하여 3D 스캔되며, 다중 뷰 ICP를 통해 Isaac Sim에 등록됩니다. 실제 장면은 로봇 장착 카메라에 의해 캡처되어 시뮬레이터에 등록됩니다.
Sim-to-Real: 시뮬레이션에서 생성된 물리 검증 레이블은 모든 실제 카메라 프레임으로 역투영됩니다.
이를 통해 단 한 번의 실제 캡처 세션만으로 실시간 RGB-D 이미지와 함께 무제한의 포토리얼리스틱 합성 뷰 및 전체 주석을 얻을 수 있습니다.

4. 개방형 및 확장 가능한 인프라

전체 파이프라인은 Docker로 컨테이너화되어 있어, 어떤 연구실에서도 데이터셋을 재현, 확장 또는 기여할 수 있습니다. 시스템은 ABC 데이터셋(약 1만 개의 CAD 메쉬)으로부터 임의의 장면 생성을 지원하며, 기존 데이터셋(예: BOP, GraspNet)을 검증 파이프라인에 메쉬를 가져오는 방식으로 통합할 수 있습니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

GraspIT 데이터셋: 포토리얼리스틱 RGB-D 관측, 로봇 도달 가능성이 필터링된 파지, 단계별 슬립 테스트 품질 점수를 동시에 제공하는 최초의 데이터셋입니다. 이는 1,035개의 시뮬레이션 장면과 100개의 실제 장면을 아우르는 약 31.6만 개의 주석 처리된 RGBD 프레임 세트를 포함합니다.
Real↔Sim 등록 파이프라인: 메트릭 3D 등록을 통해 시뮬레이션 주석이 실제 센서 데이터로 전이될 수 있도록 검증하는 방법론을 제시하여 도메인 격차를 해결합니다.
확장 가능한 생성 시스템: 최소한의 수동 레이블링으로 무제한의 새로운 장면 생성을 가능하게 하는 개방형 컨테이너 시스템이며, 약 7,400개의 고유 객체 ID를 활용합니다.

결과 및 통계

GraspIT의 초기 릴리스에는 다음이 포함됩니다:

장면: 1,035개의 시뮬레이션 장면 및 100개의 실제 장면.
프레임: 약 31.6만 개의 주석 처리된 프레임 세트 (장면당 256개 뷰).
객체: ABC 데이터셋으로부터 유래한 약 7,396개의 고유 객체 ID 및 100개의 실제 스캔된 객체.
파지 후보: Robot School에 의해 평가된 약 230만 개의 후보.
- 82.94% (1.88M)가 "좋음"( $s \ge 0.50$ )으로 주석 처리됨.
- 17.06% (388k)가 "나쁨"( $s < 0.50$ )으로 주석 처리됨.
- 평균 점수: 모든 파지에 대해 $\bar{s} = 0.72 \pm 0.30$ ; $\bar{s}_{good} = 0.85}$ .
필터링 영향:
- 후보의 11.46%가 궤적 계획(도달 가능성)에서 실패함.
- 17.06%의 후보가 힘 폐쇄를 통과했으나 슬립 테스트에서 실패함 (등급화된 Hard Negative 제공).
- 특정 "페널티" 버킷(94,475개 파지)은 여러 단계를 통과했으나 과도한 슬립으로 인해 등급이 하락하였으며, 이는 이진 통과/실패 메트릭 대비 연속적 점수의 가치를 강조합니다.

의의 및 주장

본 논문은 GraspIT를 차세대 객체 조작 모델을 위한 기초 자원으로 포지셔닝하며, 특히 현재의 시각-언어-행동(VLA) 및 확산 정책(diffusion policies)에서 나타나는 "물리적 근거(physical grounding)" 결핍 문제를 다룹니다.

격차 해소: 양방향 Real↔Sim 연결을 통해, GraspIT는 ACRONYM이나 GraspNet과 같은 기존 데이터셋에는 없는, 시뮬레이션에서 훈련된 정책이 실제 물리 법칙에 따라 검증될 수 있는 능력을 제공합니다.
힘 폐쇄를 넘어서: 단계별 슬립 테스트는 안티포달 힘 폐쇄가 고품질 파지에 충분하지 않음을 입증합니다. 섭동 하에서 기하학적으로는 그럴듯해 보이지만 실패하는 "Hard Negative"를 포함함으로써, 파지 품질 회귀 모델(grasp quality regressors)을 위한 핵심적인 훈련 데이터를 제공합니다.
사전 훈련 잠재력: 저자들은 물리적 근거가 있는 레이블(형태, 무게 중심, 파지 품질)이 VLA의 사전 훈련 단계로 사용될 수 있으며, 이를 통해 현재 인코더에서 관찰되는 깊이 추정 및 물리적 추론 능력의 결핍을 완화할 수 있다고 주장합니다.
한계점에 대한 겸허한 인정: 저자들은 평행 집게(parallel-jaw grippers)로의 제한, 단일 로봇 모델(Fraka Panda) 사용, 그리고 CAD 유래 물리 특성에 대한 의존(재료에 따른 마찰력 무시) 등의 현재 한계를 인정합니다. 또한, 아직 다운스트림 평가 벤치마크가 확립되지 않았음을 언급하며, 본 데이터셋이 커뮤니티 확장을 위한 시작점임을 밝힙니다.

GraspIT 도구와 데이터는 커뮤니티가 새로운 장면, 객체 및 작업 시연을 기여할 수 있도록 공개되어 있으며, 이를 통해 일반화된 로봇 조작을 위한 공유된 기초 자산으로 성장하는 것을 목표로 합니다.