MarketGen: A Scalable Simulation Platform with Auto-Generated Embodied Supermarket Environments

이 논문은 가정용 환경에 국한된 기존 데이터셋의 한계를 극복하기 위해 자동화된 프로시저럴 콘텐츠 생성 (PCG) 프레임워크와 방대한 3D 자산 라이브러리를 활용하여 복잡한 슈퍼마켓 환경을 생성하고, 이를 기반으로 장기적 작업 수행 능력을 평가하는 새로운 벤치마크를 제안하는 확장 가능한 시뮬레이션 플랫폼 'MarketGen'을 소개합니다.

핵심

마켓젠 (MarketGen): 로봇이 마트에서 일할 수 있게 해주는 '가상 마트 시뮬레이터'

이 논문은 로봇이 우리 동네 마트나 대형 슈퍼마켓에서 일하도록 가르치기 위해 만든 새로운 가상 시뮬레이션 플랫폼에 대한 이야기입니다. 기존에 로봇을 훈련시키는 데는 주로 '집'이나 '작은 책상' 같은 환경만 있었는데요, 이 연구는 그보다 훨씬 크고 복잡한 '마트'라는 새로운 무대를 만들어냈습니다.

이 복잡한 내용을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드릴게요.

---

1. 왜 필요한가요? (기존의 한계)

지금까지 로봇을 가르치기 위해 만든 가상 세계들은 대부분 작은 아파트나 책상 위에 집중되어 있었습니다.

• 비유: 로봇을 가르치기 위해 '작은 방'만 만들어 놓고, 갑자기 로봇을 '복잡한 대형 마트'로 데려가면 당황하는 것과 같습니다. 마트는 통로가 좁고, 물건이 빽빽하게 쌓여 있으며, 냉장고나 계산대 같은 큰 시설들이 있기 때문에 훨씬 어렵습니다.
• 문제점: 기존에는 마트 같은 복잡한 장면을 사람이 일일이 손으로 하나하나 만들었기 때문에 시간이 너무 오래 걸리고, 다양한 상황을 만들기 힘들었습니다.

2. 마켓젠 (MarketGen) 은 무엇인가요? (해결책)

마켓젠은 로봇을 위한 '가상 마트'를 자동으로 만들어주는 마법 같은 공장입니다.

• 자동 건축가 (AI + 규칙): 사람이 "밝고 현대적인 과일 마트를 만들어줘"라고 말하거나, 원하는 스타일의 사진을 보여주면, AI 가 마트의 전체 구조 (과일 코너, 유제품 코너, 계산대 등) 를 자동으로 설계합니다.
• 레고 블록 같은 선반 (파라미터화): 마트의 핵심인 선반을 고정된 모양이 아니라, 레고 블록처럼 생각해보세요. 층수, 간격, 크기 등을 숫자로만 조절하면, 수천 가지 다른 모양의 선반이 자동으로 만들어집니다.
• 수천 개의 가상 물건: 이 플랫폼에는 실제 마트에서 볼 수 있는 음료수, 과일, 간식 등 1,100 개 이상의 3D 물건과 100 개 이상의 시설이 준비되어 있습니다. 마치 거대한 가상 창고처럼요.

3. 로봇은 여기서 무엇을 배우나요? (벤치마크)

이 플랫폼은 로봇에게 두 가지 주요 임무를 수행하도록 훈련시킵니다.

1. 계산대 하역 (Checkout Unloading):
   • 상황: 로봇이 계산대에 앉아 쇼핑 바구니에 담긴 물건들을 하나씩 꺼내서 스캔하는 역할입니다.
   • 난이도: 물건들이 서로 겹쳐 있고, 모양도 다양해서 로봇이 "어떤 물건을 먼저 잡아야 할지" 판단해야 합니다. (일종의 정교한 손놀림 훈련)
2. 통로 물건 찾기 (In-Aisle Item Collection):
   • 상황: 로봇이 마트 통로를 돌아다니며 특정 물건을 찾아서 바구니에 담는 역할입니다.
   • 난이도: 좁은 통로에서 다른 물건에 부딪히지 않고 이동하면서, 수천 가지 물건 중 정확한 것을 찾아내야 합니다. (이동 + 탐색 + 잡기 훈련)

4. 실험 결과: 가상과 현실의 연결 (Sim-to-Real)

연구팀은 이 가상 마트에서 훈련된 로봇을 실제 현실 세계로 데려갔습니다.

• 결과: 가상 마트에서 로봇이 물건을 잡는 성공률과 실제 마트에서의 성공률이 매우 비슷했습니다.
• 의미: 이는 마켓젠이 만든 가상 환경이 너무 허구적이지 않고, 실제 물리 법칙과 환경이 매우 정교하게 구현되어 있다는 뜻입니다. 마치 비행 시뮬레이터가 실제 조종사 훈련에 도움이 되는 것과 같습니다.

5. 결론: 왜 이것이 중요할까요?

이 연구는 로봇이 단순히 집안일만 하는 것을 넘어, 실제 상점, 공장, 병원 같은 복잡한 상업 공간에서 일할 수 있는 길을 열었습니다.

• 핵심 메시지: "로봇에게 마트에서 일하는 법을 가르치려면, 먼저 그 마트를 완벽하게 시뮬레이션해야 합니다. 마켓젠은 바로 그 '완벽한 가상 마트'를 자동으로 만들어주는 도구입니다."

한 줄 요약:

마켓젠은 "로봇이 복잡한 마트에서 일할 수 있도록, AI 가 자동으로 현실 같은 가상 마트를 지어주고, 로봇이 그곳에서 실전 훈련을 할 수 있게 해주는 플랫폼"입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 로봇 학습 및 벤치마킹을 위한 시뮬레이션 플랫폼과 데이터셋은 주로 가정 (Household) 이나 테이블톱 (Tabletop) 환경에 집중되어 있으며, 단기적 (short-horizon) 인 작업에 국한되어 있습니다. 반면, 슈퍼마켓, 병원, 공장과 같은 복잡하고 대규모인 상업적 환경은 embodied AI(구현체 인공지능) 의 실제 배포를 위한 핵심 분야임에도 불구하고 다음과 같은 한계로 인해 연구가 미흡합니다.

• 수동 제작의 비효율성: 기존 상업적 환경은 수동으로 설계된 정적 (static) 인 장면을 사용하므로, 제작에 많은 시간과 노력이 소요되며 환경의 다양성이 부족합니다.
• 자동 생성 기술의 한계: 데이터 기반 또는 LLM(대형 언어 모델) 기반의 자동 생성 방법들이 등장했으나, 대부분 가정용 환경에 맞춰져 있습니다. 이를 상업적 공간에 적용할 경우, 공간적 일관성 (controllable scene consistency) 부족, 3D 공간 이해도 부재 (LLM 만의 접근 시), 그리고 복잡한 상업적 레이아웃을 포착하지 못하는 제한된 입력 모드 등의 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 MarketGen이라는 확장 가능한 시뮬레이션 플랫폼을 제안했습니다. 이는 NVIDIA Omniverse Isaac Sim 과 Unreal Engine 을 기반으로 구축되었으며, 다음과 같은 핵심 기술로 구성됩니다.

A. 자동화된 장면 생성 시스템 (Agent-based PCG Framework)

수동 제작을 대체하기 위해 에이전트 기반의 절차적 콘텐츠 생성 (PCG) 워크플로우를 도입했습니다.

• 멀티모달 입력: 텍스트 설명과 참조 이미지 (Reference Image) 를 모두 지원합니다.
• 하이브리드 에이전트 시스템:
  1. Spatial Agent: 텍스트/이미지 입력을 분석하여 슈퍼마켓의 기능적 구역 (과일 코너, 유제품 코너 등) 을 분할합니다. LLM 의 공간 추론 한계를 보완하기 위해 이진 공간 분할 (BSP) 알고리즘과 같은 사전 정의된 규칙을 사용하여 물리적 제약 조건을 준수하는 레이아웃을 생성합니다.
  2. Semantic Agent: 각 구역에 필요한 선반, 냉장고 등의 자산을 지정하고 스타일, 파라미터 (층수, 간격), 시각적 속성을 결정합니다.
  3. Reflection & Refiner: 생성된 레이아웃을 시각적으로 렌더링하여 LLM 에게 다시 피드백함으로써 공간적 오류를 수정하고 계획을 정제합니다.
• PCG 워크플로우: 에이전트가 생성한 2D 레이아웃을 바탕으로 3D 장면을 자동 구축합니다. 자산 검색 (Asset Retrieval), 파라미터 조정 (Asset Adjustment), 자산 배치 및 제품 채우기 (Asset Placement & Product Filling) 단계를 거칩니다.

B. 대규모 3D 자산 라이브러리

• 상품 (Goods): 10 개 이상의 주요 카테고리 (음료, 과일/채소, 유제품, 간식 등) 에 속한 1,100 개 이상의 고충실도 (High-fidelity) 슈퍼마켓 상품 3D 모델.
• 시설 (Facilities): 100 개 이상의 파라미터화된 시설 자산. 특히 선반 시스템을 구성 요소 (수평 판, 뒷판, 받침대 등) 단위로 분해하여, 층수, 간격, 모듈 조합 등을 프로그래밍 방식으로 동적으로 조정할 수 있게 하여 무한한 변형을 지원합니다.
• 물리 및 시각적 속성: 각 자산에 물리 속성 (질량, 마찰 등) 과 PBR(Physically Based Rendering) 재료를 적용하여 시뮬레이션과 실제 간의 시각적 격차 (Sim-to-Real Gap) 를 최소화합니다.

C. 슈퍼마켓 에이전트 벤치마크

실제 슈퍼마켓 운영을 반영한 두 가지 주요 작업을 평가 기준으로 제시합니다.

1. Checkout Unloading (계산대 하역): 계산원이 쇼핑 바구니에서 물건을 꺼내는 장기적 (Long-horizon) 테이블톱 조작 작업.
2. In-Aisle Item Collection (통로 내 물건 수거): 직원이 선반에서 특정 상품을 찾아 바구니에 담는 이동형 조작 (Mobile Manipulation) 작업.

• 모듈형 조작 시스템: Affordance Generator(SAM, AnyGrasp 활용), Action Executor(cuRobo 활용), Long Horizon Planner(LLM/VLM 활용) 로 구성된 모듈형 정책을 도입하여 제로샷 (Zero-shot) 평가를 지원합니다.

3. 주요 기여 (Key Contributions)

1. 확장 가능한 시뮬레이션 플랫폼: 계획 에이전트와 PCG 워크플로우를 결합하여, 유연한 사용자 입력 (텍스트/이미지) 에서 제어 가능한 다양한 슈퍼마켓 레이아웃을 자동 생성하는 최초의 플랫폼.
2. 대규모 3D 자산 라이브러리: 1,000 개 이상의 고충실도 상품과 100 개 이상의 파라미터화된 시설을 포함하는 방대한 자산 컬렉션 제공.
3. 포괄적인 벤치마크: 슈퍼마켓 운영에 특화된 장기적 및 이동형 조작 작업을 평가하기 위한 벤치마크 및 제로샷 모듈형 정책 평가 프레임워크 제시.

4. 실험 결과 (Results)

• 장면 생성 품질: 생성된 장면들은 GRUtopia 와 같은 수동 제작 장면과 비교해도 충실도 (Fidelity) 와 논리적 일관성이 뛰어나며, 기능적 구역의 배치와 선반 구조의 다양성이 입증되었습니다.
• 벤치마크 성능: GPT-4o, Claude, Gemini 등 다양한 멀티모달 LLM 을 테스트한 결과, 성공률 (SR) 이 전체적으로 15% 미만으로 낮게 나타났습니다. 이는 슈퍼마켓 환경의 높은 복잡성 (물체 간 가림, 밀집된 진열, 좁은 통로) 으로 인해 기존 모듈형 방법론만으로는 해결이 어렵다는 것을 시사합니다.
• Sim-to-Real 전이 (Transfer): 실제 로봇 (Franka, Realman) 을 이용한 실험에서 시뮬레이션과 실제 환경 간의 성공률 상관관계가 높게 나타났습니다. (예: 병 55% vs 50%, 캔 45% vs 45%). 이는 MarketGen 이 제공하는 물리 엔진의 정확성과 고충실도 렌더링이 실제 로봇 학습에 효과적임을 증명합니다.

5. 의의 및 결론 (Significance)

MarketGen 은 embodied AI 연구가 가정 환경을 넘어 복잡한 상업적 환경으로 확장되는 데 필수적인 인프라를 제공합니다.

• 데이터 및 환경의 민주화: 수동 제작의 한계를 극복하고 무한히 다양하고 현실적인 슈퍼마켓 시나리오를 생성할 수 있게 하여, 대규모 실험과 평가를 가능하게 합니다.
• 연구 방향성 제시: 실험 결과는 현재 모듈형 접근법의 한계를 명확히 보여주며, 향후 End-to-End 학습 방법의 통합 필요성을 강조합니다.
• 실용적 가치: 시뮬레이션과 실제 간의 격차를 줄이는 데 성공하여, 실제 슈퍼마켓 로봇 (무인 계산대, 재고 관리 로봇 등) 의 개발과 배포를 가속화할 수 있는 기반을 마련했습니다.

이 플랫폼은 프로젝트 페이지 (https://xuhu0529.github.io/MarketGen) 에서 공개되어 있으며, 상업적 환경에서의 로봇 기술 발전에 중요한 이정표가 될 것으로 기대됩니다.