기술 요약: WOLF-VLA

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 분야에서 상당한 일반화 능력을 입증했으나, 전신(whole-body), 접촉 집약적(contact-rich) 휴머노이드 보행에 대한 적용은 여전히 매우 미개척 상태로 남아 있습니다. 이러한 격차는 세 가지 주요 과제에 기인합니다:

1. 데이터 부족: 휴머노이드 보행에 특화된 대규모 멀티모달 데이터셋의 부재.
2. 동역학적 일관성이 결여된 데모: 기존의 데이터 수집 방식(예: 텔레오퍼레이션, 모션 캡처)은 물리적 최적성, 에너지 효율성 또는 관절 제약 조건의 엄격한 준수가 결여된 동작을 생성하는 경우가 많습니다.
3. 안전성 및 최적성: 학습 기반 파이프라인은 고전적인 최적 제어(Optimal Control, OC) 방식에서는 자연스럽게 강제되는 관절 위치, 속도 및 토크 제한에 대한 안전성을 내재적으로 보장하는 데 어려움을 겪습니다.

현재의 VLA 접근 방식은 주로 고정된 베이스의 매니퓰레이터나 저관성 작업에 국한되어 있어, 휴머노이드의 보행, 계단 오르기, 회전과 같은 고역동성, 다중 접촉 특성을 해결하지 못하고 있습니다.

방법론

저자들은 전신 최적 제어 기반의 모션 합성(motion synthesis)과 대규모 멀티모달 데이터셋 생성을 통합하여, 자연어 지시에 따라 보행 정책을 실행할 수 있는 VLA를 훈련시키는 통합 프레임워크인 WOLF-VLA를 제안합니다.

1. 최적 제어를 통한 합성 데이터셋 생성

데이터 격차를 해소하기 위해, 저자들은 텔레오퍼레이션 대신 오직 최적 제어 문제(Optimal Control Problem, OCP) 해결을 통해 데이터셋을 생성했습니다.

• 역학(Dynamics): 로봇 역학은 오일러-라그랑주 방정식을 사용하여 접촉 제약 조건을 따르는 다체 시스템(multi-body system)으로 모델링되었습니다.
• 최적화: 궤적은 Crocoddyl 프레임워크를 통한 차분 동적 계획법(Differential Dynamic Programming, DDP) 기반의 다중 슈팅(multiple-shooting) 정식화를 사용하여 해결되었습니다. 비용 함수는 관절 토크, 속도 및 기본 자세로부터의 편차를 최소화하는 동시에 목표 질량 중심(CoM) 및 발 위치를 추적합니다.
• 규모 및 다양성: 생성된 데이터셋은 전진 보행, 측면 보행, 계단 오르기, 복합 계단 오르기/내려가기, 180° 회전, 가변 높이 스쿼트 등 6가지 작업군에 걸쳐 277시간의 동작을 포함합니다.
• 환경: 작업은 물체 유형(상자, 원통), 색상, 공간 구성(40×40 그리드) 및 시각적 방해 요소에 대해 무작위로 설정되었습니다.
• 모달리티: 각 샘플은 시간적으로 동기화된 1인칭 시점(ego-centric) RGB 관측값(224×224, 33.33 Hz), 고유 수용 감각 상태(32개 관절 각도, 31개 속도), 그리고 구조화된 공간 태그(예: <DIST>, <HEIGHT>)가 포함된 자연어(NL) 지시문을 포함합니다.

2. VLA 정책 학습

프레임워크는 생성된 데이터셋을 사용하여 트랜스포머 기반의 VLA 모델을 훈련시킵니다.

• 아키텍처: 모델은 시각 인코더, 언어 인코더, 행동 디코더로 구성됩니다. 사전 훈련된 GR00T-N1.5-3B 모델로부터 초기화되며, LLM과 비전 백본은 동결(frozen)된 상태에서 행동 디퓨전 모델과 프로젝터 레이어만 미세 조정(fine-tuning)됩니다.
• 학습 목표: 모델은 조건부 벡터 필드를 예측하기 위해 플로우 매칭(flow-matching)(디퓨전 모델의 변형)을 채택합니다. 모델은 가우시안 사전 분포(Gaussian prior)로부터 관측값에 의해 조건화된 전문가 행동의 분포를 향해 샘플을 이동시키는 법을 학습합니다.
• 추론: 행동 청크(action chunks)는 반복적인 디노이징 단계를 통해 생성되며, 로봇의 상태를 업데이트하기 위해 델타 관절 회전($\Delta q_t$)을 예측합니다.

주요 기여

1. WOLF-VLA-dataset: 다양한 파라미터 변화를 포함하여 전신 휴머노이드 보행(보행, 계단, 회전, 스쿼트)을 다루는 대규모 오픈 데이터셋.
2. OC 기반 궤적: 정책 학습을 위한 고품질 데모로서 본질적으로 최적이고 매끄러우며 동역학적으로 일관된 동작을 생성하는 파이프라인.
3. 새로운 벤치마크: 계단 오르기와 같은 도전적인 작업을 포함하여 VLA 영역 내 전신 휴머노이드 보행을 위한 표준화된 평가 스위트.
4. WOLF-VLA-모델: 이 데이터셋을 통해 미세 조정되어 초기 조건 및 환경적 섭동에 대한 강건함을 보여주는 강력한 VLA 베이스라인.
5. 체계적 절제 연구(Ablation Study): 시각, 언어, 고유 수용 감각 모달리티가 작업 성능 및 안정성에 미치는 영향을 정량화하는 종합적인 연구.

결과

실험은 시뮬레이션(MuJoCo) 환경의 RH5 휴머노이드 로봇에서 명목 조건 및 섭동 조건(시각적 방해 요소 포함) 하에 수행되었습니다.

• 베이스라인 대비 성능: 제안된 모델은 베이스라인 정책(ACT 및 $\pi0.5$)을 크게 상회합니다. 베이스라인은 이러한 복잡한 보행 작업에서 거의 0에 가까운 성공률을 보인 반면, WOLF-VLA는 높은 성공률(예: 전진 보행 약 99%, 계단 오르기 약 51%)을 달려냈습니다.
• 모션 충실도(Motion Fidelity): 학습된 정책은 힙, 무릎, 발목 관절의 낮은 가동 범위(ROM) 오차를 통해 OC 참조 궤적의 관절 운동학을 밀접하게 재현함을 입증했습니다. 이는 모델이 임의의 제어 전략이 아닌 구조화된 보행 패턴을 학습했음을 나타냅니다.
• 장기 안정성(Long-Horizon Stability): 모델은 단기, 중기, 장기 행동 호라이즌 전반에 걸쳐 안정적인 성능을 유지하며, 이는 확장된 작업을 수행하는 데 필요한 시간적 의존성을 효과적으로 포착했음을 시사합니다.
• 강건성: 정책은 시각적 방해 요소에 대한 강건성을 보여주며, 단순 작업에서는 높은 성공률을 유지하고 복잡한 작업에서는 섭동으로부터 회복하는 능력을 보였습니다.
• 절제 연구 통찰:
  • 시각(Vision): 시각적 관측을 제거했을 때 성능이 급격히 저하되었으며, 이는 1인칭 시점의 비전이 장면 구조를 해석하고 보행을 적응시키는 데 결정적임을 확인시켜 줍니다.
  • 언어(Language): 언어 지시를 제거하면 성능이 완만하게 감소하는데, 이는 언어가 유용한 고수준 문맥을 제공하지만 유일한 근거(grounding)의 원천은 아님을 나타냅냅니다.
  • 공간 태그(Spatial Tags): 언어 지시문에서 명시적인 공간 태그를 제거했을 때 성능 감소가 미미했으며, 이는 태그가 엄격한 실행 요구 사항이라기보다 문맥적 가이드 역할을 함을 시사합니다.

의의 및 주장

본 논문은 최적 제어 기반의 모션 생성과 대규모 VLA 정책 학습 사이의 간극을 메운다고 주장합니다. 주요 의의는 다음과 같습니다:

• 재현 가능성: 전신 휴머노이드 보행을 위한 재현 가능하고 동역학적으로 일관된 벤치마크를 구축했습니다.
• 확장성: 확장 가능한 OC 기반 파이프라인이 복잡한 접촉 집약적 행동을 위한 VLA 학습에 필요한 고품질의 물리적 일관성을 갖춘 데이터를 생성할 수 있음을 입증했습니다.
• 미래 연구를 위한 토대: 단순한 조작을 넘어 동적인 전신 상호작용으로 나아가는, 지시 기반 보행 정책을 실제 휴머노이드 시스템으로 전이할 수 있게 하는 프레임워크를 제공합니다.

저자들은 동적으로 일관된 OC 데모와 VLA 학습을 결합하는 것이 복잡한 전신 행동을 학습하기 위한 강력한 토대를 제공하며, 이를 통해 일상 환경에서 더 안전하고 적응력이 뛰어난 휴머노이드 로봇을 위한 길을 열어준다고 결론짓습니다.