기술 요약: LEGS – 휴머노이드 로코-매니퓰레이션(Loco-manipulation)을 위한 텔레옵레이션 프리(Teleop-Free) VLA 미세 조정

문제 정의

휴머노이드 로코-매니퓰레이션(loco-manipulation)을 위한 시각-언어-행동(VLA) 정책 학습은 현재 인간의 텔레오퍼레이션(원격 조종) 데모 수집에 따르는 높은 비용과 복잡성으로 인해 병목 현상을 겪고 있습니다. 기존 방식들은 다음과 같은 중대한 트레이드오프에 직면해 있습니다:

• 텔레오퍼레이션(Teleoperation): 데이터 수집을 운영자의 노동력과 로봇의 가동 시간에 종속시키며, 피로도로 인해 확장이 어렵고 매 장면마다 캡처가 필요합니다.
• 인간 데모 리타겟팅(Human-Demo Retargeting): 로봇을 루프에서 제외시키지만, 여전히 비용이 많이 드는 장면별 에고센트릭(egocentric) 인간 캡처를 요구합니다.
• 시뮬레이션 갭(Simulation Gaps): 전통적인 메쉬 기반 시뮬레이터는 시각적 "심-투-리얼(sim-to-real)" 격차를 유발합니다. SAM3D를 사용하여 객체를 재구성하는 파이프라인조차 재질-셰이딩 불일치, 단순화된 조명, 에일리어싱(aliasing) 문제를 겪으며, 이는 비주얼 인코더를 편향시켜 실제 로봇으로의 효과적인 전이를 방해합니다.

핵심 과제는 사전 학습된 VLA 모델을 실제 휴머노이드 하드웨어로 제로샷 전이(zero-shot transfer)할 수 있도록 효과적으로 미세 조정할 수 있는, 인간의 텔레오퍼레이션 없이도 고충실도(high-fidelity)의 라벨링된 로코-매니퓰레이션 데이터를 생성하는 것입니다.

방법론: LEGS 프레임워크

저자들은 시각적 심-투-리얼 격차를 줄이고 동작 생성과 외형(appearance)을 분리하도록 설계된 하이브리드 시뮬레이터인 LEGS(Loco-manipulation via Embodied Gaussian Splatting)를 제안합니다.

1. 하이브리드 렌더링 아키텍처

LEGS는 동적 메쉬 전경(foreground)을 정적이고 사실적인 3D 가우시안 스플래팅(3DGS) 배경 위에 합성합니다:

• 배경 (3DGS): COLMAP과 3DGS 최적화를 사용하여 타겟 장면의 짧은(1~2분) 핸드헬드 비디오로부터 재구성됩니다. 이는 실제 사진과 비교했을 때 렌더링 오차가 최소화된 새로운 뷰를 제공하여 정적 환경에 대한 시각적 격차를 효과적으로 제거합니다.
• 전경 (Mesh): 로봇(URDF)과 조작 가능한 객체/소품(단일 이미지로부터 SAM3D를 통해 재구성됨)으로 구성됩니다. 이들은 3DGS 배경 위에 데스(depth) 합성되어 래스터화됩니다.
• 색상 보정(Color Calibration): LEGS는 컴포지트(composite)를 배포 카메라와 정렬하기 위해 결정론적인 2단계 보정을 사용합니다:
  1. 메쉬당 스케일 ($R$): 선형 RGB 공간에서의 대각선 스케일로, 각 메쉬의 렌더링 평균값을 SAM2 마스크 내의 핸드헬드 스캔과 일치시켜 SAM3D의 알베도(albedo) 회귀 오류(예: 물이 빠진 회색을 검은색으로 복구)를 수정합니다.
  2. 글로벌 행렬 ($M$): ColorChecker를 통해 최소 제곱법으로 적합된 $3\times3$ 색상 보정 행렬로, 3DGS 배경를 배포 카메라의 색 공간에 맞게 이동시킵니다.

2. 물리 및 제어

• 물리 백엔드: 렌더링 파이프라인과 별개로 메쉬 기하 구조 상의 역학을 해결하기 위해 500Hz로 작동하는 MuJoCo를 사용합니다.
• 컨트롤러: RL로 학습된 저수준 전신 컨트롤러인 SONIC을 사용합니다. 이는 18차원 명령 스트림(6차원 손목 SE(3) 포즈 + 14차원 상체 그립/포즈 + 4차원 베이스 명령)을 수용합니다. 동일한 바이너리가 시뮬레이션과 실제 로봇에서 실행되므로, 배포 시 정책 변경이 필요하지 않습니다.

3. 절차적 데이터 생성

LEGS는 인간의 텔레오퍼레이션을 절차적 모션 프리미티브 생성기로 대체합니다:

• 분리(Decoupling): 동작은 렌더링 입력과 독립적인 명령 스트림으로 기록됩니다.
• 프리미티브(Primitives): 작업은 고수준 동작(Walk, Pick, Place)으로 분해되며, 이는 장면 수준의 인자(타겟 포즈, 객체 정체성)를 가진 저수준 프리미티브들로 구성됩니다.
• 검증(Verification): 에피소드는 검증 체크를 통과한 경우에만 저장됩니다.
• 재렌더링(Re-rendering): 동작이 외형과 분리되어 있기 때문에, 동일한 데이터셋을 새로운 배경, 객체 메쉬, 카메라 조건 하에서 GPU 비용만으로 재렌더링할 수 있습니다.

주요 기여

1. 텔레옵레이션 프리 데이터 파이프라인: 인간의 수집 데모(텔레옵, 시드 데모, 또는 인간 비디오) 없이 시뮬레이션 내에서 완전히 라벨링된 로코-매니퓰레이션 데이터를 생성하는 절차적 시뮬레이터입니다.
2. 전이를 위한 사실적 렌더링: 3DGS 배경과 메쉬 전경 및 색상 보정을 결합하는 것이 메쉬 전용 베이스라인보다 크게 우수함을 입증하며, 사실적 렌더링이 심-투-리얼 전이의 핵심 동력임을 증명합니다.
3. 확장 가능한 증강(Scalable Augmentation): 기존 모션 데이터를 새로운 외형으로 재렌더링함으로써 새로운 장면에 적응하는 데 드는 한계 비용을 인간의 노동 시간(>1.5시간)에서 약 0.1시간의 GPU 시간으로 단축하는 대규모 병렬화 가능한 워크플로우를 제공합니다.
4. 광범위한 실로봇 평가: Unitree G1 로봇을 대상으로 세 가지 단계별 난이도의 작업과 세 가지 SOTA VLA 백본($\psi_0$, $\pi_{0.5}$, GR00T N1.6)에 걸쳐 총 1,110회의 실험을 통해 검증되었습니다.

실험 결과

저자들은 세 가지 pick-and-place 작업을 Unitree G1에서 평가했습니다:

• 작업 1: 조작 전용 (이동 없음).
• 작업 2: 로코-매니퓰레이션 (테이블로 이동, 집기, 놓기).
• 작업 3: 복합 로코-매니퓰레이션 (걷기, 집기, 회전, 낮은 테이블로 이동, 스쿼트, 놓기).

주요 결과:

• LEGS vs. 텔레오퍼레이션: LEGS 데이터(200 에피소드)로만 미세 조정된 정책은 모든 백본과 작업에서 인간 텔레오퍼레이션(50 에피소드)으로 미세 조정된 정책과 대등하거나 이를 능가했습니다. 특히 어려운 작업 3에서 텔레오퍼레이션 베이스라인은 모든 백본에서 성공률 0%로 무너졌으나, LEGS는 2~6/10의 성공률을 달 Achieved 했습니다.
• LEGS vs. 메쉬 전용 베이스라인: LEGS는 3DGS 배경과 색상 보정이 결정적으로 결여된 SAM3D 메쉬 전용 베이스라인보다 유의미하게 우수한 성능을 보였습니다. 메쉬 전용 베이스라인은 평균 33%의 성공률을 보인 반면, LEGS는 67%를 기록했으며, 이 격차는 근거리 조작(pick/place) 단계에서 더 커졌습니다.
• 예산 매칭: 50 에피소드로 예산을 맞춘 경우에도 LEGS(50)는 텔레오퍼레이션(50)과 대등하거나 더 나은 성능을 보여, 이러한 이점이 단순히 데이터 양 때문이 아님을 확인했습니다.
• 외형 변화에 대한 적응: 분포 외(OOD) 객체 및 장면 변화(예: 오렌지를 사과로 교체, 테이블을 파란 테이블로 교체) 테스트 시:
  • 기본 데이터로 학습된 베이스라인들(Teleop, SAM3D, LEGS)은 완전히 실패했습니다 (0–1/10 성공).
  • 모션 데이터를 새로운 외형으로 재렌더링한 LEGS-AUG는 높은 성공률(작업 1에서 최대 100%)을 유지했으며, 재렌더링된 SAM3D-AUG 베이스라인보다 뛰어난 성능을 보였습니다. 이는 재렌더링이 적응을 가능하게 하고, 사실적 렌더링이 정확성을 보장함을 확인시켜 줍니다.

의의 및 주장

본 논문은 사실적인 렌더링과 절차적 모션 생성이 데이터 수집 단계에서 휴머노이드 텔레오퍼레이션을 대체할 수 있는 충분한 수단이라고 주장합니다.

• 제로샷 전이: LEGS는 사전 학습된 VLA 모델을 미세 조정하여 실제 로봇으로 제로샷 전이를 가능하게 하며, 실제 세계의 텔레오퍼레이션 데이터로 학습된 모델보다 뛰어난 성능을 보입니다.
• 비용 효율성: 이 접근 방식은 데이터 적응 문제를 운영자 중심의 문제에서 컴퓨팅 중심의 문제로 전환하여, 새로운 장면에 적응하는 비용을 텔레오퍼레이션 대비 15배 이상 절감합니다.
• 일반화 가능성: 세 가지 서로 다른 VLA 백본에 대한 성공은 이 혜택이 특정 모델 아키텍처에 국한되지 않고 데이터 파이프라인 자체의 고유한 이점임을 시사합니다.

저자들은 원래 스캔 분포를 벗어난 조명 변화에 대한 민감도, 반사/투명한 표면에서의 성능 저하, 정적 배경 가정 등의 한계를 인정합니다. 그러나 결론적으로 LEGS가 막대한 비용이 드는 실제 데이터 수집 없이도 휴머노이드 로코-매니퓰레이션 정책을 학습할 수 있는 강력하고 확장 가능한 경로를 제공한다고 밝히고 있습니다.