기술 요약: VLK – 재구성된 장면 내의 합성 상호작용으로부터 인간형 로봇의 이동-조작 학습

문제 정의

인지 기반의 휴머노이드 이동-조작(loco-manipulation)은 고차원의 에고센트릭(egocentric) 시각 관측값과 자연어 지시를 조화로운 전신 운동학적 행동으로 매핑하는 것을 필요로 합니다. 이러한 능력을 확장하는 데 있어 근본적인 병목 현상은 다음의 완전한 튜플을 포함하는 대규모 동기화 데이터셋의 부재입니다: (1) 에고센트릭 시각 관측, (2) 작업 지시, (3) 로봇 호환 전신 운동학적 궤적.

• **실세계 텔레오퍼레이션(Teleoperation)**은 고품질의 데이터를 제공하지만, 다양한 장면과 물체에 걸쳐 확장하기에는 비용이 많이 들고 어렵습니다.
• **인간 동작 캡처(Motion Capture)**는 풍부한 운동학적 참조를 제공하지만, 그에 대응하는 로봇의 에고센트릭 뷰가 결여되어 있습니다.
• 에고센트릭 비디오 데이터셋은 시각적 경험을 제공하지만, 쌍을 이루는 로봇의 운동학이나 행동이 결여되어 있습니다.

결과적으로, 확장 가능한 정책 학습에 필요한 비전-언어-운동학(VLK) 감독을 제공할 수 있는 기존의 소스는 존재하지 않습니다.

방법론

저자들은 미터법 규모로 재구성된 실내 장면 내에서 쌍을 이루는 VLK 감독을 합성적으로 생성하는 파이프라인을 제안합니다. 이 시스템은 데이터 부족 문제를 극복하기 위해 세계 자산(world assets) 생성, 행동 합성, 그리고 시각적 렌더링을 분리합니다.

1. 합성 데이터 생성 파이프라인

이 파이프라인은 인간의 개입 없이 48,000개의 쌍을 이룬 궤적을 생성하기 위해 세 단계로 작동합니다:

• 장면 재구성 및 주석 달기: 사실적인 디테일과 미터법 규모를 보존하기 위해 **3D 가우시안 스플래팅(3DGS)**을 사용하여 iPhone 14 Pro 스캔으로부터 실내 환경을 재구성합니다. 운동 합성을 위한 제약 조건을 정의하기 위해 의미론적 3D 바운딩 박스와 보행 가능 영역을 주석 처리합니다.
• 로봇 동작 합성: 주석 처리된 장면 제약 조건을 사용하여 두 가지 작업 패밀리에 대한 Unitree G1 궤적을 합성합니다:
  • 물체 지향 내비게이션: BONES-SEED의 동작을 기반으로 학습되었습니다.
  • 물체 상호작용: OmniRetarget을 사용하여 G1 형태에 맞게 리타겟팅된 OMOMO 시퀀스를 기반으로 학습되었습니다.
  • 조건부 확산 모델(Conditional Diffusion Model)은 작업 지시, 초기 상태, 물체 기하 구조, 그리고 원하는 손목 접촉 레이블을 조건으로 하여 결합된 G1-물체 궤적을 생성합니다.
• 에고센트릭 뷰 렌더링: 합성된 G1 궤적은 재구성된 3DGS 장면 내의 Isaac Sim에서 재생됩니다. 물리적 로봇에 맞춰 교정된 가상 ZED 2i 카메라가 쌍을 이루는 RGB 관측값을 렌더링합니다. 심투리얼(sim-to-real) 시각적 격차에 대한 강건성을 높이기 위해 도메인 무작위화(Domain Randomization)(조명, 카메라 외적 파라미터, 초점 거리)가 적용됩니다.

2. 비전-언어-운동학(VLK) 정책

핵심 학습 구성 요소는 짧은 호전(short-horizon)의 전신 운동학적 궤적을 예측하는 정책입니다.

• 입력: 현재 에고센트릭 RGB 이미지 ($o_t$), 작업 지시 ($\ell$), 그리고 현재 로봇 운동학적 상태 ($x_t$).
• 출력: 길이 $H=30$ (30Hz에서 1초)인 미래 궤적 ($\hat{x}_{t+1:t+H}$) 및 이진 손목-물체 접촉 레이블.
• 아키텍처 및 학습: 정책은 사전 학습된 $\pi_0.5$ 모델로부터 초기화되며, $x_0$-예측 목적 함수를 사용하는 flow-matching 공식을 사용하여 미세 조정됩니다. 발-바닥 접촉, 궤적 일관성, 순운동학 정확도, 그리고 발 슬라이딩 정규화를 위해 보조 손실(auxiliary losses)이 적용됩니다.
• 상태 표현: 운동학적 상태는 루트 평면 변위, 요(yaw), 높이, 6D 루트 방향, 관절 각도(불연속성을 피하기 위해 sine/cosine으로 인코딩됨), 그리고 접촉 레이블을 포함합니다.

3. 전신 추적 및 배포

• 실행: VLK 정책의 예측은 SceneBot 기반의 **접촉 인식 전신 추적기(contact-aware whole-body tracker)**를 위한 고수준 참조 역할을 합니다. 추적기는 예측된 운동학을 물리적 Unitree G1을 위한 관절 수준의 PD 타겟으로 변환합니다.
• 실시간 시스템: 배포에는 Triton을 추론 백엔드로 사용하는 실시간 VLA 시스템을 활용합니다. RTX 5090에서 엔드 투 엔드 지연 시간은 31ms로 안정적입니다. 모션 블러를 처리하고 연속성을 보장하기 위해, 시스템은 선명도 기반 프레임 선택과 중첩된 액션 청크(overlapping action chunks)를 사용합니다.

주요 기여

1. VLK 감독 생성: 재구성된 3DGS 장면 내에서 48,000개의 쌍을 이룬 궤적(에고센트릭 이미지, 언어, 운동학)을 합성하는 새로운 파이프라인을 통해 휴머노이드 이동-조작을 위한 데이터 병목 현상을 해결합니다.
2. 분리된 데이터 합성: 특권 정보(예: 물체 포즈, 충돌 기하 구조)를 활용하여 행동 생성을 용이하게 하는 동시에, 관측값을 사후에 렌더링함으로써 인간의 시연 없이도 대규모 확장이 가능한 방법을 제시합니다.
3. 심투리얼 전이(Sim-to-Real Transfer): 합성된 재구성 장면으로만 학습된 정책이 실제 환경에서 물리적 Unitree G1을 통해 인지 기반 이동-조작을 성공적으로 수행할 수 있음을 입증합니다.
4. 접촉 인식 추적: 예측된 이진 접촉 레이블을 전신 추적 루프에 통합하여 조작 중 물체 운반을 안정화합니다.

실험 결과

시스템은 가구 배치가 다른 두 가지 환경(실험실 및 아파트)에서 Unitree G1을 대상으로 평가되었습니다.

• 실세계 성공률(Real-World Success Rates):
  • 내비게이션: "Walk To" 및 "Turn Around" 작업에 대해 거의 완벽한 성공(19/20 ~ 20/20)을 달성했습니다.
  • 바닥 조작: 바닥에서 상자를 집어 올리고 놓는 작업에서 높은 성공률을 보였습니다(16/20 ~ 20/20).
  • 표면 조작: 표면에 상자를 놓는 작업에서는 낮은 성공률을 보였는데(8/20 ~ 15/20), 이는 리타겟팅된 상호작용 데이터에서 지지 표면 높이의 커버리지가 제한적이었기 때문입니다.
• 시뮬레이션 vs. 실제: 시스템은 MuJoCo 시뮬레이션(IsaacSim 렌더링 포함)에서 높은 성공률을 달성하여, 실제 배포 전 폐쇄 루프 성능을 검증했습니다.
• 데이터 볼륨 절제 연구(Ablation): 성능은 합성된 데이터의 양에 따라 확장됩니다. 내비게이션은 제한된 데이터에서도 견고하지만, 조작 작업(특히 "Pick Surface")은 10% 데이터 볼륨에서는 0%의 성공률을 보이다가 전체 데이터셋에서는 46%까지 크게 향상되었습니다.
• 도메인 무작위화: 시각적 도메인 무작위화는 심투리얼 전이에 결정적이었습니다. 이를 제거하면 시각적 섭동 하에서의 보행 성공률이 90%에서 41%로 감소했습니다.

의의 및 주장

본 논문은 재구성된 장면 내에서 로봇 호환 상호작용을 합성하는 것이 심투리얼 인지 기반 휴머노이드 이동-조작을 위한 효과적인 감독을 제공한다고 주장합니다.

저자들은 이 연구를 휴머노이드 정책 학습을 저해해 온 데이터 병목 현상의 해결책으로 포지셔닝합니다. 3DGS(사실적인 세계 자산용)와 전신 추적(행동 실행용)이라는 부분적인 솔루션들을 연결함으로써, "Real-to-Sim-to-Real" 파이프라인의 실행 가능성을 보여줍니다. 결과는 재구성된 환경에서 합성된 상호작용을 생성하는 것이, 특히 내비게이션 및 대형 물체 운반 작업을 포함한 인지 조건부 휴머노이드 제어를 위한 유망한 경로임을 시사합니다.

인정된 한계점:
현재 시스템은 OMOMO 데이터셋의 범위에 의해 제한되므로, 작은 물체(예: 컵, 도구)를 잡는 것보다는 양손으로 상자 형태의 물체를 운반하는 데 더 적합합니다. 또한, 접촉 인식 추적기는 대형 물체 운반을 안정화하지만 정밀한 물체 파지(grasping)는 다루지 않습니다. 이를 작은 물체 조작으로 확장하려면 더 풍부한 상호작용 데이터와 특화된 저수준 컨트롤러가 필요합니다.