💻 computer science

TabletopGen: Tabletop Scene Generation and Interactive Simulation for Robotic Manipulation

TabletopGen은 대규모의 고충실도 로봇 조작 데이터 합성 및 제로샷 실세계 정책 전이를 가능하게 하기 위해, 텍스트 또는 단일 이미지로부터 물리적으로 타당하고 상호작용 가능한 테이블탑 장면을 생성하는 학습이 필요 없는 자동화된 엔진입니다.

원저자: Ziqian Wang, Yonghao He, Licheng Yang, Wei Zou, Hongxuan Ma, Liu Liu, Wei Sui, Yuxin Guo, Hu Su

게시일 2026-07-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziqian Wang, Yonghao He, Licheng Yang, Wei Zou, Hongxuan Ma, Liu Liu, Wei Sui, Yuxin Guo, Hu Su

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 지저난 주방 조리대를 정리하는 법을 가르치고 싶다고 상상해 보세요. 이를 안전하고 저렴하게 수행하기 위해, 실제 접시를 깨뜨릴 위험을 감수하는 대신 비디오 게임(시뮬레이션)에서 연습하는 것이 좋습니다. 하지만 여기 문제가 있습니다. 대부분의 비디오 게임 세계는 너무 단순하거나(예: 떠 있는 물체가 있는 평평한 테이블), 혹은 너무 엉망이라서(예: 물체들이 서로 겹치거나 중력을 무시함) 현실성이 떨어집니다. 만약 로봇이 망가진 세계에서 연습한다면, 나쁜 습관을 배우게 되어 실제 현장에서 일을 할 때 실패하게 됩니다.

TabletopGen은 로봇 훈련용 세계를 위한 "마법의 건축가" 역할을 하는 새로운 도구입니다. 이 도구는 텍스트 설명이나 단 한 장의 사진을 읽는 것만으로도, 물리 법칙을 준수하며 현실적인 테이블 위 장면을 처음부터 구축합니다.

작동 방식은 다음과 같이 세 가지 간단한 단계로 나뉩니다.

1. "찰흙 조각가" (생성형 인스턴스 추출)

어질러진 책상 사진이 있다고 가정해 봅시다. 당신은 사진 속의 모든 물건(커피 머그잔, 노트북, 스테이플러 등)을 집어 올릴 수 있는 3D 객체로 만들고 싶습니다.

문제점: 단순히 사진을 복사하기만 하면, 뒷면을 볼 수 없기 때문에 물체들이 평면적으로 보이거나 구멍이 뚫린 것처럼 보일 수 있습니다.
TabletopGen의 해결책: 이 도구는 숙련된 조각가처럼 행동합니다. 사진을 보고 각 아이템을 식별한 뒤, 빈 공간을 "채워 넣어" 각 물체의 완전하고 견고한 3D 모델을 만듭니다. 그런 다음, 마치 도공이 물레 위에 점토 그릇을 정렬하듯, 이 물체들을 테이블 위에 놓일 준비가 되도록 똑바로 세웁니다.

2. "풍수지리 마스터" (포즈 및 스케일 정렬)

이제 테이블 위에 놓일 3D 객체 더미가 준비되었습니다. 이제 이 물체들을 사진과 똑같이 보이게 하면서도, 공중에 떠 있거나 나무 테이블 아래로 가라앉지 않도록 배치해야 합니다.

문제점: 그냥 위치를 짐작해서 배치하면, 책이 뒤집혀 있거나 컵이 테이블 위 공중에 두 피트 정도 떠 있는 상황이 발생할 수 있습니다.
TabletopGen의 해결책: 완벽한 배치를 위해 두 가지 특수 도구를 사용합니다.
- 회전 조정기 (DRO): 각 물체를 미세하게 회전시켜 형태와 그림자가 원래 사진과 완벽하게 일치하도록 만듭니다.
- 탑 뷰 플래너 (TSA): 테이블을 바로 위에서 내려다보는 모습(드론처럼)을 상상합니다. 이 도구는 "상식적인" 물리 법칙(예: "컵은 테이블 안에 있는 것이 아니라 테이블 '위에' 놓인다")을 사용하여, 물체들이 서로 충돌하지 않도록 크기를 결정하고 정확한 위치를 잡습니다. 또한, 모든 물체의 크기가 적절한지 확인하기 위해 하나의 신뢰할 수 있는 물체를 "자(ruler)"로 선택합니다.

3. "게임 빌더" (대화형 시뮬레이션)

물체 배치가 완료되면, 이 도구는 물체들을 물리 엔진(비디오 게임 엔진)에 떨어뜨립니다.

결과: 이 과정은 장면을 플레이 가능한 레벨로 변환합니다. 이제 로봇은 컵을 "집어 올리거나" 책을 "움직이는" 연습을 할 수 있습니다. 만약 로봇이 책을 테이블 아래로 밀려고 하면 책은 떨어집니다. 만약 책을 벽 쪽으로 밀면, 책은 벽에 부딪혀 튕겨 나옵니다.
보너스: 각 물체가 독립적이고 분리되어 있기 때문에, 커피 머그잔을 티팟으로 바꾸거나 노트북을 다른 곳으로 옮기는 등의 작업을 아주 쉽게 할 수 있습니다. 즉, 전체 세계를 다시 만들 필요 없이 수천 개의 새로운 연습 시나리오를 즉석에서 만들어낼 수 있습니다.

이것이 왜 중요한가요?

이 논문은 이러한 "마법의 건축가"가 만든 세계에서 훈련받은 로봇이 실제로도 임무를 수행할 수 있음을 증명합니다.

테스트: 연구진은 실제 테이블 사진을 찍고, 이를 바탕으로 시뮬레이션을 구축한 뒤, 로봇 팔이 과일과 블록을 움직이도록 시뮬레이션에서 훈련시켰습니다. 그 후 로봇에게 실제 테이블에서 똑같은 작업을 수행하도록 했습니다.
결과: 로봇은 성공했습니다! 로봇은 실제 테이블에서 추가적인 연습을 할 필요가 없었습니다. 이는 "마법의 건축가"가 구축한 세계가 로봇에게 실제 기술을 가르칠 수 있을 만큼 충분히 정확하다는 것을 보여줍니다.

요약하자면: TabletopGen은 단 한 장의 사진이나 문장을 완벽하고 물리적으로 정확한 로봇 훈련장으로 바꿔주는 도구입니다. 이를 통해 로봇은 값비싼 실물 데이터를 수집할 필요 없이, 복잡한 과업을 빠르고 안전하게 학습할 수 있습니다.

기술 요약: TabletopGen

문제 정의

로봇 조작, 특히 테이블탑 환경에서의 조작은 시각-언어-행동(VLA) 모델 학습을 위한 대규모의 고품질 상호작용 데이터에 크게 의존합니다. 실제 세계에서의 데이터 수집은 비용이 많이 들고 확장이 어렵지만, 시뮬레이션은 유망한 대안을 제공합니다. 그러나 기존의 3D 장면 생성 방식은 시뮬레이션 준비가 된 테이블탑 환경을 효과적으로 생성하지 못합니다.

**검색 기반 방법(Retrieval-based methods)**은 고정된 자산 라이브러리로 인해 다양성이 부족하고 기하학적 불일치가 발생합니다.
**LLM 기반 텍스트 구동 방법(LLM-based text-driven methods)**은 주로 방 규모의 레이아웃에 집중하며, 테이블탑 특유의 고밀도, 소형 객체의 기능적 배치 및 강력한 의미론적 제약을 처리하는 데 실패합니다.
**단일 이미지 재구성 방법(Single-image reconstruction methods)**은 단일 뷰의 폐쇄(occlusion)와 물리적 사전 지식의 부재로 인해 물리적으로 불가능한 레이아웃(예: 객체 간 침투 또는 공중 부양)을 생성하거나 불완전한 메쉬를 생성하는 경우가 많습니다.

결과적으로, 이러한 장면들은 모션 계획을 위해 물리 시뮬레이터로 안정적으로 가져올 수 없으며, 이는 자동화된 조작 데이터 합성을 위한 병목 현상을 야기합니다.

방법론

TabletopGen은 텍스트 설명이나 단일 이미지로부터 고충실도의 인스턴스 단위 상호작용 테이블탑 장면을 생성하는 학습이 필요 없는(training-free) 완전 자동화 프레임워크입니다. 이 프레임워크는 세 단계의 점진적인 과정을 거쳐 작동합니다.

1. 생성적 인스턴스 추출 (Generative Instance Extraction)

시스템은 먼저 텍스트 입력을 상세한 프롬프트로 변환하고 참조 이미지를 합성합니다(또는 제공된 이미지를 사용함). 그 후 3D 자산을 추출하고 재구성합니다.

세그멘테이션 및 완성 (Segmentation & Completion): 멀티모달 대규모 언어 모델(MLLM)이 오픈 보캐블러리 카테고리 인식을 수행하며, GroundedSAM-v2를 결합하여 인스턴스 마스킹을 수행합니다. 폐쇄 문제를 해결하기 위해, 전통적인 인페인팅 대신 멀티모달 생성 모델을 사용하여 인스턴스 마스크를 완성하고 다시 그립니다.
3D 재구성 및 정규화 (3D Reconstruction & Canonicalization): 완성된 2D 인스턴스는 Image-to-3D 모델을 사용하여 3D 메쉬로 재구성됩니다. 결정적으로, 시스템은 각 객체의 로컬 수직 축을 세계 좌표계의 Z-up 방향과 일치시키도록 회전 보정을 적용하여, 자산들이 "Z-up 정규화(Z-up canonicalized)"되어 즉시 배치 가능한 상태가 되도록 합니다.

2. 포즈 및 스케일 정렬 (Pose and Scale Alignment)

이는 핵심 혁신 사항으로, 물리적 타당성을 보장하기 위해 회전, 이동, 스케일 추정을 두 개의 전문화된 단계로 분리합니다.

미분 가능한 회전 최적화기 (Differentiable Rotation Optimizer, DRO): 이 단계에서는 수직 축을 중심으로 각 인스턴스의 회전( $r_i$ )을 최적화합니다. 미분 가능한 렌더러를 사용하여 텍스처가 입혀진 이미지, 소프트 실루엣, 에지 맵을 생성하고, 타겟 인스턴스에 대해 삼중 모드 손실(소프트 IoU를 통한 형상 일관성, Chamfer loss를 통한 윤곽선 매칭, DINOv2 특징을 통한 외관 유사성)을 최소화합니다.
탑 뷰 공간 정렬 (Top-View Spatial Alignment, TSA): 이 단계에서는 물리적 사전 지식을 사용하여 이동( $t_i$ $t_{i}$ )과 스케일( $s_i$ $s_{i}$ )을 추론합니다.
- 적층 사전 지식 (Stacking Priors): MLLM이 적층 관계를 추론하여 객체가 떠 있거나 수직으로 침투하는 것을 방지합니다.
- 탑 뷰 합성 (Top-View Synthesis): 생성 모델이 장면의 탑 뷰를 합성하여 2D 바운딩 박스를 추출함으로써, 객체가 테이블탑 경계 내에 머물도록 합니다.
- RMA-Score: 종횡비 일관성과 픽셀 면적을 기준으로 신뢰할 수 있는 앵커 객체를 선택하는 "비율 매칭 및 면적 가중치 점수(Ratio-Matched and Area-Weighted Score)"를 사용합니다. 이 앵커는 글로벌 스케일링 인자를 결정하여 모든 객체의 미터법 3D 스케일과 수평 이동을 추론합니다.

3. 상호작용 시뮬레이션 (Interactive Simulation)

정렬된 인스턴스들은 물리 시뮬레이터(Isaac Sim)에서 조립됩니다. 충돌 기하 구조는 볼록 분해(convex decomposition)를 통해 생성되며, 물리적 속성(중력, 마찰력)이 활성화됩니다. 프레임워크는 다음을 지원합니다.

태스크 생성 (Task Generation): 의미론적 레이블을 기반으로 조작 태스크(예: "컵을 상자 안에 넣기")를 자동으로 생성합니다.
এটি
데이터 합성 (Data Synthesis): 충돌 없는 궤적을 실행하여 멀티모달 데이터(RGB, 관절 상태, 행동)를 수집합니다.
장면 확장 (Scene Expansion): 전체 파이프라인을 다시 실행하지 않고도 다양한 장면 변형을 생성하기 위해 인-장면 편집(객체 추가, 제거, 교체, 재배치)을 지원합니다.

주요 기여

TabletopGen 프레임워크: 텍스트 또는 단일 이미지로부터 시뮬레이션 준비가 된 테이블탑 장면을 생성하며, 시각적 사실성, 인스턴스 수준의 상호작용성, 물리적 타당성을 동시에 달성하는 자동화된 학습 불필요 엔진입니다.
새로운 정렬 방법: 단일 뷰 재구성의 한계를 극적으로 극복하기 위해, 정밀한 회전 최적화를 위한 DRO와 물리적으로 제약된 이동 및 스케일 추론을 위한 TSA를 사용하는 분리된 포즈 및 스케일 정렬 접근 방식을 제안합니다.
포괄적인 검증: 시각적 충실도와 물리적 유효성 측면에서 최첨단 성능을 입증하는 광범로한 실험을 수행하였으며, 이는 제로샷 real-to-sim-to-real 정책 전이를 통해 검증되었습니다.

결과

정량적 성능: 이미지 기반 베이스라인(ACDC, Gen3DSR, MIDI) 및 텍스트 기반 방법(MesaTask, Holodeck-table)과의 비교에서, TabletopGen은 시각적/지각적 지표(LPIPS, DINOv2, CLIP) 및 GPT-4o 평가에서 가장 높은 점수를 기록했습니다.
물리적 타당성: TabletopGen은 충돌률을 크게 줄였습니다. 베이스라인 모델들이 67%에서 98% 사이의 장면 수준 충돌률(Col_S)을 보인 반면, TabletopGen은 단 7.69%의 Col_S와 0.42%의 메쉬 수준 충돌률(Col_O)을 달성했습니다.
사용자 연구: 128명의 참가자를 대상으로 한 연구에서, TabletopGen은 시각적 충실도, 이미지 정렬, 물리적 타당성 측면에서 베이스라인을 크게 앞서며 83.13%의 경우에서 선호되었습니다.
실제 세계 전이: 제로샷 real-to-sim-to-real 실험에서, TabletopGen이 생성한 합성 데이터로만 학습된 정책을 실제 AgileX PiPER 암에 배포했습니다. 해당 정책은 별도의 실제 세계 미세 조정 없이도 높은 성공률(예: 망고 놓기 84%, 딸기 놓기 80%)을 달연하여 생성된 장면의 물리적 정확성을 검증했습니다.

의의

본 논문은 TabletopGen이 로봇 조작을 위한 신뢰할 수 있는 데이터 엔진 역할을 한다고 주장합니다. 물리적으로 타당한 인스턴스 단위 상호작용 장면을 생성하는 병목 현상을 해결함으로써, 저비용의 확장 가능한 멀티모달 조작 데이터 합성을 가능하게 합니다. 이 능력은 일반화 가능한 VLA 모델을 학습하는 데 필수적이며, 시뮬레이션에서 복잡한 조작 정책을 학습하여 광범-한 실제 데이터 수집 없이도 효과적으로 물리 세계로 전이할 수 있는 "sim-to-real" 패러다임을 지원합니다. 또한, 인-장면 편집을 통해 장면 확장을 지원하는 기능은 Embodied AI를 위한 다양한 시뮬레이션 환경을 커버할 수 있는 확장 가능한 경로를 제공합니다.