Moving Through Clutter: Scaling Data Collection and Benchmarking for 3D Scene-Aware Humanoid Locomotion via Virtual Reality

이 논문은 VR 기반의 데이터 수집 및 평가 프레임워크인 'Moving Through Clutter(MTC)'를 제안하여, 가구나 사물이 복잡한 3D 환경에서 인간형 로봇의 전체 신체 협응과 충돌 안전성을 보장하는 장면 인식 보행 연구를 위한 대규모 데이터셋과 벤치마크를 제공합니다.

핵심

이 논문은 **"어지러운 방을 통과하는 휴머노이드 로봇을 위한 새로운 지도와 훈련 방법"**을 소개합니다.

기존의 로봇 연구는 대부분 넓고 평평한 운동장 같은 곳에서만 잘 움직이는 것을 목표로 했습니다. 하지만 실제 우리 집이나 사무실은 책상, 의자, 장난감, 책장 등으로 꽉 차 있어 로봇이 넘어지거나 부딪히기 쉽죠. 이 논문은 바로 이런 **'어지러운 3D 공간'**을 헤쳐 나가는 로봇을 만들기 위해, **가상현실 (VR)**을 이용해 인간이 어떻게 움직이는지 데이터를 모으고 평가하는 시스템을 만들었습니다.

이 시스템을 **'MTC(Moving Through Clutter, 어지러운 곳을 통과하기)'**라고 부릅니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이 연구가 필요한가요? (문제 상황)

지금까지 로봇이 춤을 추거나 공중제비를 돌며 멋진 시연회를 할 때는 빈 운동장에서 했습니다. 하지만 로봇이 실제로 우리 집에 들어가려면 가구 사이를 비집고 지나가거나, 낮은 천장 아래로 고개를 숙여야 합니다.

기존에는 이런 '어지러운 환경'에서 로봇이 어떻게 움직여야 할지 배울 데이터가 없었습니다.

• 비유: 마치 수영장에서만 훈련받은 선수가 갑자기 거친 바다를 헤엄쳐야 하는 상황과 같습니다. 물살과 파도 (가구와 장애물) 를 피하는 법을 배울 기회가 없었던 거죠.

2. MTC 시스템은 어떻게 작동하나요? (해결책)

연구팀은 로봇을 직접 어지러운 방에 데려가 실수하게 만드는 대신, **가상현실 (VR)**을 활용했습니다.

A. 가상 현실로 '어지러운 방'을 만듭니다 (Procedural Generation)

컴퓨터로 무작위로 가구를 배치하여 145 가지의 다양한 '어지러운 방'을 만들었습니다.

• 비유: 마치 레고 블록을 가지고 무작위로 집을 짓는 것과 같습니다. 어떤 방은 책상과 의자가 빽빽하고, 어떤 방은 천장에 막대기가 늘어져 있어 고개를 숙여야 지나갈 수 있습니다. 연구팀은 이 방들이 로봇이 지나갈 수 있는지 자동으로 확인하고, 너무 막히면 가구를 조금 치우는 '지능적인 정리' 과정을 거칩니다.

B. 사람이 VR 안으로 들어가서 '실제'로 걸어봅니다 (Embodiment-Scaled Capture)

사람이 VR 헤드셋을 쓰고 가상 방을 걷습니다. 이때 중요한 점은 크기 조절입니다.

• 비유: 만약 로봇이 사람보다 작다면, VR 안의 방도 사람보다 작게 만들어야 합니다. 마치 앨리스의 이상한 나라처럼, 로봇의 눈높이와 몸집에 맞춰 가상 세계를 축소하거나 확대해서, 사람이 가구를 피할 때 로봇이 겪을 것과 똑같은 '좁은 공간'을 느끼게 합니다.
• 사람이 VR 안에서 의자 사이를 비집고 지나가거나, 낮은 천장 아래로 엎드려 기어가는 모습을 카메라로 찍어 데이터로 저장합니다.

C. 로봇에게 그 동작을 가르칩니다 (Retargeting)

사람이 걷는 데이터를 로봇의 관절에 맞춰 옮깁니다.

• 비유: 사람이 쓴 요리 레시피를 로봇이 따라 할 수 있도록 번역하는 과정입니다. 사람이 "의자 옆으로 살짝 비틀어 지나가라"고 했을 때, 로봇도 똑같이 그 동작을 흉내 낼 수 있도록 데이터를 변환합니다.

3. 무엇을 얻었나요? (결과물)

이 과정을 통해 연구팀은 다음과 같은 세 가지 큰 성과를 냈습니다.

1. MTC 캡처러 (도구): VR 을 이용해 로봇 크기에 맞춰 어지러운 환경에서 사람이 걷는 데이터를 모으는 시스템.
2. MTC 데이터셋 (교과서): 145 개의 다양한 어지러운 방에서 수집된 348 개의 '통과 경로' 데이터. (약 2.3 시간 분량의 로봇 걷기 데이터)
3. MTC 벤치마크 (시험지): 로봇이 이 길을 잘 지나갔는지 평가하는 점수판입니다.
   • 적응 점수: 평범하게 걷는 것과 비교해 얼마나 몸을 비틀고, 고개를 숙이고, 발을 들어 올렸는지 측정합니다.
   • 안전 점수: 가구에 부딪히지 않고 지나갔는지, 얼마나 가까이 스쳐 지나갔는지 정밀하게 계산합니다.

4. 왜 이 연구가 중요할까요? (의의)

이 논문은 로봇이 단순히 "움직이는 것"을 넘어, **"주변 환경을 보고 상황에 맞춰 똑똑하게 움직이는 것"**을 배울 수 있는 토대를 마련했습니다.

• 기존의 한계: 로봇이 장애물을 피하는 법을 직접 프로그래밍하기는 너무 어렵습니다.
• 이 연구의 장점: 사람이 VR 에서 자연스럽게 장애물을 피하는 모습을 보여주고, 로봇이 그걸 배우게 함으로써 자연스럽고 안전한 이동을 가능하게 합니다.

요약

이 논문은 **"가상현실 속 어지러운 방에서 사람이 어떻게 지혜롭게 길을 찾는지 관찰하고, 그 지혜를 로봇에게 전수하여, 실제 우리 집에서도 넘어지지 않고 가구를 피해 다닐 수 있는 로봇을 만드는 방법"**을 제시한 것입니다.

마치 비행 시뮬레이터가 조종사를 훈련시키듯, 이 시스템은 로봇이 복잡한 현실 세계를 안전하게 헤쳐 나갈 수 있도록 훈련시키는 최고의 훈련장을 제공한 셈입니다.

기술 요약

1. 문제 정의 (Problem Statement)

최근 휴머노이드 로봇의 보행 기술은 평탄하고 장애물이 없는 환경에서 춤, 무술, 파쿠르와 같은 역동적인 행동을 구현하는 데 큰 진전을 이루었습니다. 그러나 실제 세계 (가정, 사무실, 공공 공간) 는 3 차원적으로 복잡하고 기하학적으로 제약이 많으며, 가구와 사물로 인해 밀집된 '클러터 (Clutter)' 환경입니다.

• 현황의 한계: 기존 연구들은 주로 평탄한 지형이나 단순한 장애물 환경에 집중되어 있으며, 실제 복잡한 3D 환경에서 가구의 기하학적 제약을 인지하고 전신을 조율하여 균형을 유지하며 이동하는 '장면 인식 (Scene-Aware)' 보행 데이터가 부족합니다.
• 데이터 부재: 현재 공개된 데이터셋 중 휴머노이드의 전신 보행과 이를 형성하는 3D 클러터 환경의 기하학을 체계적으로 결합한 자료가 없습니다.
• 수집의 어려움: 물리적으로 다양한 장애물 환경을 구축하는 것은 비용이 많이 들고 재현이 어렵습니다. 또한, 기존 모션 캡처는 장애물이 없는 스튜디오에서 이루어져 공간 제약에 따른 적응 행동을 포착하지 못합니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 **가상 현실 (VR) 기반의 데이터 수집 및 평가 프레임워크인 'Moving Through Clutter (MTC)'**를 제안합니다. 이 프레임워크는 크게 세 가지 핵심 요소로 구성됩니다.

A. MTC Capturer (데이터 수집 파이프라인)

• 절차적 환경 생성 (Procedural Environment Generation):
  • 두 가지 기하학적 레짐 (Regime): '구조화된 가정 (Structured Domestic)' 스타일 (침실, 거실 등 가구 배치) 과 '파편 (Debris)' 스타일 (불규칙한 장애물, 수직적 제약) 을 절차적으로 생성합니다.
  • 클러터 밀도 제어: '클러터니스 (Clutterness)' 파라미터 $c \in [0, 1]$를 사용하여 바닥 점유율을 제어하며, 목적지까지의 이동 경로가 존재하는지 확인하기 위해 형태 인식 (Morphology-Aware) 탐색 가능성 검증을 수행합니다.
  • 제약 보존 리샘플링: 경로가 막힌 경우, 구조적 요소를 유지하면서 작은 장애물부터 점진적으로 제거하여 이동 가능한 레이아웃을 확보합니다.
• 실체 스케일 몰입형 모션 캡처 (Embodiment-Scaled Immersive Motion Capture):
  • 실체 일치 (Embodiment Consistency): 인간 운영자의 키와 목표 휴머노이드 로봇의 키 비율 ($\alpha$) 을 계산하여, VR 환경의 스케일을 $1/\alpha$로 조정합니다. 이를 통해 인간이 VR 에서 경험하는 공간적 여유가 로봇이 실제 환경에서 마주치는 기하학적 제약과 정확히 일치하도록 합니다.
  • 모션 리타게팅: VR 에서 수집된 24 관절 전신 모션을 휴머노이드 로봇의 키펜매틱 모델에 자동으로 매핑합니다.

B. MTC Dataset (데이터셋)

• 규모: 145 개의 다양한 3D 클러터 장면과 348 개의 이동 궤적 (Trajectory) 으로 구성됩니다.
• 내용: Unitree G1 휴머노이드를 기준으로 약 2.3 시간 분량의 데이터 (약 731,000 프레임) 를 포함하며, 다양한 목적지 설정에 따른 경로 다양성을 보여줍니다.
• 특징: 평탄한 지형 보행과 달리, 좁은 통로 통과, 자세 조정, 낮은 장애물 아래 통과 (crouching) 등 기하학적 제약에 따른 적응 행동을 포함합니다.

C. MTC Benchmark (평가 기준)

수집된 데이터의 품질과 로봇의 성능을 정량화하기 위한 두 가지 주요 지표를 제안합니다.

1. 모션 적응 점수 (Motion Adaptation Score):
   • 평탄한 지형 보행 (Baseline) 과의 차이를 4 가지 하위 공간 (자세, 수직 운동, 발 상호작용, 부드러움) 에서 측정합니다.
   • 프레이체 거리 (Fréchet distance) 를 사용하여 평균과 공분산의 변화를 종합적으로 평가하며, 기하학적 제약으로 인한 전신 적응 정도를 수치화합니다.
2. 충돌 안전성 평가 (Collision Safety Assessment):
   • 비볼록 (Non-convex) 한 장면 기하학에 대한 부호付き 거리 (Signed Distance) 쿼리를 수행합니다.
   • 충돌 빈도 ($R_{col}$), 최대 침투 깊이 ($d_{max}$), 조건부 평균 침투 깊이 ($\bar{d}_{cond}$), 전체 침투 강도 ($I_{pd}$) 등을 계산하여 안전성을 정량화합니다.

3. 주요 기여 (Key Contributions)

1. MTC Capturer: 절차적으로 생성된 3D 클러터 환경과 실체 스케일 VR 캡처를 결합하여, 휴머노이드의 기하학적 특성과 일치하는 대규모 데이터를 수집할 수 있는 오픈 소스 파이프라인을 제공합니다.
2. MTC Dataset: 전신 보행 궤적과 해당 3D 장면 구성을 함께 제공하는 최초의 공개 데이터셋으로, 기하학 유도 적응 (Geometry-induced adaptation) 연구의 기반을 마련했습니다.
3. MTC Benchmark: 장면 인식 보행의 난이도와 안전성을 정량적으로 측정하는 이중 평가 기준을 제시하여, 기존 연구의 주관적 평가를 넘어선 표준화된 프로토콜을 확립했습니다.

4. 결과 및 분석 (Results & Analysis)

• 데이터 다양성: PCA 분석 결과, 수집된 클러터 환경 궤적은 평탄한 지형 보행 (Baseline) 과 비교하여 자세 (Posture) 와 발 상호작용 (Foot interaction) 측면에서 광범위한 분포를 보이며, 다양한 적응 행동을 포착했음을 확인했습니다.
• 행동 다양성: 동일한 환경 내에서도 목적지 위치에 따라 좁은 통로 통과, 엎드려 기어가기, 무릎 높게 들어 올리기 등 다양한 이동 전략이 유도됨을 사례 연구를 통해 입증했습니다.
• 학습 가능성: 강화 학습 (RL) 기반 모션 추적 정책을 MTC 데이터로 학습시킨 결과, 낮은 충돌률로 기하학적 제약에 따른 이동 행동을 성공적으로 재현할 수 있음을 preliminary results 를 통해 보였습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 휴머노이드 로봇이 실제 복잡한 실내 환경에서 안전하게 이동하기 위한 '데이터 중심 (Data-centric)' 접근법의 새로운 기준을 제시했습니다.
  • VR 기반의 확장 가능한 데이터 수집 방식을 통해 물리적 환경 구축의 비용과 위험을 제거하면서도 고품질의 훈련 데이터를 생성할 수 있음을 증명했습니다.
  • 단순한 장애물 회피를 넘어, 공간 제약을 인지하고 전신을 조율하는 고급 보행 제어 알고리즘 개발을 촉진합니다.
• 한계 및 향후 과제:
  • 현재는 장면 무관 (Scene-agnostic) 한 리타게팅을 사용하며, 완전한 장면 인식 모션 생성은 여전히 과제로 남아 있습니다.
  • 장면 생성이 학습된 분포가 아닌 수동 설계된 사전 지식에 의존합니다.
  • 극단적인 클러터 환경에서 필요한 접촉 보조 (Contact-assisted) 이동은 모델링되지 않았습니다.
  • VR 기반 모션 캡처의 추적 노이즈 문제 해결을 위해 고정밀 모션 캡처 기술 도입이 필요합니다.

결론적으로, MTC 프레임워크는 휴머노이드 로봇이 실제 세계의 복잡한 3D 환경에서 인간처럼 유연하고 안전하게 이동할 수 있도록 하는 기하학적 적응 연구의 중요한 토대를 제공합니다.