ComSim: Building Scalable Real-World Robot Data Generation via Compositional Simulation
이 논문은 소량의 실제 데이터를 활용하여 고전적 시뮬레이션과 신경 시뮬레이션을 결합한 'Compositional Simulation' 방식을 통해 확장 가능한 고품질 로봇 학습 데이터를 생성하고, 시뮬레이션과 현실 간의 격차를 줄여 실제 환경에서의 정책 모델 성능을 향상시키는 방법을 제안합니다.
원저자:Yiran Qin, Jiahua Ma, Li Kang, Wenzhan Li, Yihang Jiao, Xin Wen, Xiufeng Song, Heng Zhou, Jiwen Yu, Zhenfei Yin, Xihui Liu, Philip Torr, Yilun Du, Ruimao Zhang
로봇을 가르치려면 수많은 데이터 (영상과 행동) 가 필요합니다. 하지만 현실에서 로봇을 직접 움직여 데이터를 모으는 건 엄청나게 비싸고 느린 일입니다. (예: 로봇이 컵을 떨어뜨리면 다시 줍고, 다시 시키고... 하루 종일 걸립니다.)
그래서 연구자들은 **컴퓨터 시뮬레이션 (가상 세계)**을 사용합니다.
장점: 컴퓨터 안에서라면 로봇이 수백 번 떨어뜨려도 괜찮고, 순식간에 엄청난 양의 데이터를 만들 수 있습니다.
단점: 문제는 가상 세계와 현실 세계가 너무 달라서 로봇이 혼란을 겪는다는 점입니다.
비유: 가상 세계의 로봇은 "게임 속 캐릭터"처럼 생겼고, 물리 법칙도 게임 같습니다. 현실로 가면 "그림처럼 생긴 로봇"이 실제 물건을 잡으려다 미끄러지거나, 색감이 달라서 물건을 못 찾습니다. 이를 **'시뮬레이션과 현실의 간극 (Sim2Real Gap)'**이라고 합니다.
🎨 새로운 해결책: "조립식 시뮬레이션 (Compositional Simulation)"
이 논문은 **"가상 세계의 빠른 속도"**와 **"현실 세계의 진짜 느낌"**을 합치는 방법을 제안합니다. 마치 레고를 조립하듯 두 세계를 섞는 거죠.
이 과정은 크게 3 단계로 나뉩니다.
1 단계: 디지털 쌍둥이 만들기 (Real2Sim)
우선, 연구자들은 아주 적은 양의 실제 로봇 데이터를 모읍니다. 그리고 이 데이터를 컴퓨터 시뮬레이션에 똑같이 재현합니다.
비유: 요리사 (연구자) 가 실제 요리를 한 번 해보고, 그걸 그대로 가상 주방 (시뮬레이션) 에 재현합니다. 배경, 조명, 식기 색깔까지 실제와 똑같이 맞춥니다.
2 단계: AI 화가에게 그림을 고치게 하기 (Neural Simulation)
이제 **AI 화가 (신경 시뮬레이터)**를 훈련시킵니다. 이 AI 는 "가상 세계의 영상"을 받아서 "실제 세계처럼 보이는 영상"으로 바꿔주는 역할을 합니다.
핵심: AI 는 영상의 색감과 질감은 실제처럼 바꾸되, **로봇의 행동 (손이 어떻게 움직이는지)**은 원래대로 유지합니다.
비유: AI 는 "가상 세계의 흑백 애니메이션"을 받아서, "실제 촬영한 컬러 영화"처럼 바꿔줍니다. 하지만 영화 속 배우의 연기 (로봇 행동) 는 그대로 유지합니다.
3 단계: 가짜 현실 데이터로 대량 훈련 (Pseudo Real Data)
훈련된 AI 화가를 이용해서, 컴퓨터에서 만든 수천 개의 가상 데이터를 **실제처럼 보이는 '가짜 현실 데이터'**로 바꿉니다.
이제 로봇은 이 '가짜 현실 데이터'와 아주 적은 '실제 데이터'를 섞어서 공부합니다.
비유: 로봇은 실제 요리사 (실제 데이터) 10 명에게 배우면서, 동시에 AI 가 만들어낸 '실제처럼 보이는' 요리사 200 명에게도 배웁니다. 결과는? 실제 요리사 200 명을 만나서 배운 것과 거의 비슷해집니다.
🌟 이 방법이 왜 대단한가요?
비용 절감: 실제 로봇을 움직일 필요가 거의 없습니다. 컴퓨터 안에서만 거의 모든 훈련을 끝낼 수 있습니다.
정확한 행동: 기존 AI 영상 생성 기술은 "영상은 예쁘지만, 로봇이 물건을 잡는 행동이 엉뚱하게 나옴 (할루시네이션)"이라는 문제가 있었습니다. 이 방법은 행동과 영상이 완벽하게 일치하도록 설계했습니다.
범용성: 로봇이 처음 보는 물건을 잡거나, 책상 위에 물건이 어지러워도 잘 대처할 수 있도록 훈련시켰습니다. (예: 초록색 블록을 쌓는 법을 배웠다면, 빨간색 블록도 잘 쌓음)
📝 한 줄 요약
"로봇을 가르칠 때, 실제 실험은 너무 비싸고, 컴퓨터 게임은 너무 엉터리라서 고민이었다면? 이제 AI 화가를 시켜서 '컴퓨터 게임 영상을 실제 영상처럼 바꾼 뒤' 로봇에게 가르치면, 적은 비용으로도 로봇이 현실 세계에서 똑똑하게 일할 수 있게 됩니다."
이 연구는 로봇이 우리 일상 (집안일, 공장 작업 등) 에 들어오기 위한 가장 큰 장벽인 '데이터 부족'과 '현실 적용 문제'를 해결하는 획기적인 방법을 제시합니다.
1. 문제 정의 (Problem)
로보틱스 분야에서 대규모 기초 모델 (Large Language Models, World Models 등) 의 발전으로 로봇의 자율적 작업 수행 능력이 향상되었으나, 고품질의 대규모 학습 데이터 확보는 여전히 주요 병목 현상입니다.
실제 데이터 수집의 한계: 실제 환경에서 인간이 직접 수집한 비디오 - 행동 쌍 (Video-Action Pairs) 은 비용이 많이 들고 시간이 소요되며, 다양한 실제 환경의 다양성을 포괄하기 어렵습니다.
전통적 시뮬레이션의 한계: MuJoCo, Isaac Lab 같은 고전적 시뮬레이터는 대량의 데이터를 생성할 수 있지만, 실제 세계와의 외관 (Appearance) 및 물리 (Physics) 격차 (Sim2Real Gap) 가 커서 생성된 데이터로 학습한 정책이 실제 로봇에 적용될 때 성능이 저하됩니다.
신경 시뮬레이션 (Neural Simulation) 의 한계: 최근 비디오 생성 모델을 활용한 신경 시뮬레이션은 실제와 유사한 영상을 생성하지만, 할루시네이션 (Hallucination) 이나 행동 - 비디오 불일치 (Action-Video Inconsistency) 문제로 인해 정확한 제어 신호를 제공하지 못해 학습에 적합하지 않은 경우가 많습니다.
2. 제안 방법: 구성적 시뮬레이션 (Compositional Simulation)
저자들은 고전적 시뮬레이션의 정밀한 물리/행동 제어 능력과 신경 시뮬레이션의 실제 세계 표현 능력을 결합한 하이브리드 접근법인 "Compositional Simulation" 을 제안합니다. 이는 Real-Sim-Real 데이터 증강 파이프라인을 통해 작동합니다.
핵심 단계:
Real-to-Sim 데이터 수집 (정렬):
소량의 실제 세계 데이터 (행동 궤적 및 비디오) 를 수집합니다.
고전적 시뮬레이터 (RoboTwin 등) 에서 동일한 시나리오를 재현하기 위해 3 단계 정렬을 수행합니다:
배경 및 객체 정렬: 색상, 크기, 텍스처, 물리적 치수를 실제 환경과 일치시킵니다.
카메라 보정: 실제 카메라의 내적/외적 파라미터를 시뮬레이션에 정확히 매칭합니다.
객체 위치 정렬: 실제 객체의 초기 위치 정보를 시뮬레이션 공간에 정밀하게 전달합니다.
신경 시뮬레이터 학습 (Compositional Dynamic Video Generation):
수집된 (실제 비디오, 시뮬레이션 비디오, 행동) 쌍을 사용하여 신경 시뮬레이터를 학습합니다.
DiT (Diffusion Transformer) 기반 모델을 활용하며, Control Dynamics (행동) 와 Visual Dynamics (시뮬레이션 관측치) 를 조건으로 삼아 미래 상태를 예측합니다.
구성적 동적 가이드 (Compositional Dynamic Guidance): 샘플링 과정에서 행동과 관측의 영향을 조합하여, 행동 일관성을 유지하면서 실제 세계의 외관과 물리 법칙을 따르는 고품질 비디오를 생성합니다.
대규모 데이터 생성 (Sim-to-Pseudo-Real):
고전적 시뮬레이터에서 생성된 대규모의 다양한 행동 - 비디오 쌍을 신경 시뮬레이터에 입력합니다.
이를 가상 실제 데이터 (Pseudo Real Data) 로 변환하여, 실제 데이터와 결합한 Joint Training 을 수행합니다.
3. 주요 기여 (Key Contributions)
개념 및 패러다임: 고전적 시뮬레이션과 실제 세계 동역학 간의 격차를 해소하는 유연하고 확장 가능한 Compositional Simulation 개념을 도입했습니다.
데이터 파이프라인 및 모델: 정확한 행동 - 비디오 정렬을 보장하고 Sim2Real 격차를 줄이는 Real-Sim-Real 증강 파이프라인과 Compositional Dynamic Video Generation 모델을 제안했습니다.
실험적 성과: 다양한 작업, 공간 배치, 객체 변화에 대해 정책 모델의 성공률과 일반화 능력을 획기적으로 향상시켰음을 실험을 통해 입증했습니다.
4. 실험 결과 (Results)
논문은 8 가지 다양한 조작 작업 (병 흔들기, 블록 쌓기, 카드 이동 등) 에서 Diffusion Policy (DP) 를 학습하여 평가했습니다.
비디오 품질 (Sim2Real Transfer):
제안된 방법 (Ours-Full) 은 PSNR, SSIM, FID, FVD 등 모든 메트릭에서 기존 베이스라인 (Stable Diffusion 기반, Zero-Shot 등) 을 압도적으로 능가했습니다.
특히 행동 일관성과 시각적 사실감을 동시에 달성하여, 기존 방법들이 겪던 할루시네이션이나 행동 불일치 문제를 해결했습니다.
실제 환경 수행 (Real-World Execution):
소량의 실제 데이터 (10 개) + 대규모 가상 실제 데이터 (200 개) 로 학습한 정책은, 실제 데이터만 (20 개) 으로 학습한 정책보다 모든 작업에서 더 높은 성공률을 보였습니다.
기존 시뮬레이션 데이터 (RoboTwin) 를 직접 사용한 경우보다 가상 실제 데이터 (Pseudo-Real) 를 사용한 경우 성공률이 크게 향상되었습니다.
일반화 능력 (Generalization):
공간적 일반화: 학습 데이터에 없던 새로운 객체 위치 (Out-of-Domain) 에서도 높은 성공률을 보였습니다.
객체 일반화: 학습 시 사용되지 않은 새로운 색상/형태의 객체 (예: 다른 병, 다른 카드) 에 대해서도 잘 작동했습니다.
반면, 기존 시뮬레이션 데이터만으로는 이러한 일반화 능력이 거의 나타나지 않았습니다.
5. 의의 및 결론 (Significance)
이 연구는 로봇 학습을 위한 확장 가능하고 견고한 데이터 생성 솔루션을 제시합니다.
비용 효율성: 소량의 실제 데이터만으로 대규모의 고품질 학습 데이터를 생성할 수 있어, 실제 데이터 수집의 비용과 시간을 획기적으로 절감합니다.
Sim2Real 격차 해소: 단순한 도메인 랜덤화를 넘어, 실제 세계의 외관과 물리 법칙을 학습된 신경 시뮬레이터가 재현함으로써 시뮬레이션과 현실 간의 간극을 효과적으로 메꿉니다.
미래 전망: 이 프레임워크는 테이블탑 조작을 넘어 이동형 로봇 등 더 복잡한 embodiment 로 확장 가능하며, 다양한 모달리티와 로봇 시스템에 적용될 수 있는 기반을 마련했습니다.
요약하자면, 이 논문은 고전적 시뮬레이션의 정밀함과 신경 생성 모델의 사실성을 결합하여, 실제 로봇 학습에 필요한 대규모 고품질 데이터의 자동 생성을 가능하게 한 획기적인 방법론을 제시했습니다.