HOIST: Humanoid Optimization with Imitation and Sample-efficient Tuning for Manipulating Suspended Loads

기술 요약: HOIST – 현수 하중 조작을 위한 모방 및 샘플 효율적 튜닝 기반 휴머노이드 최적화

1. 문제 정의

본 논문은 휴머노이드 호이스팅(humanoid hoisting) 문제를 다룹니다. 이는 휴머노이드 로봇을 사용하여 외부에서 매달려 있는 비구동(underactuated) 페이로드를 위치시키는 작업입니다. 로봇이 물체를 단단히 움켜쥐는 표준 픽 앤 플레이스(pick-and-place) 작업과 달리, 이 시나리오의 페이로드는 매달려 있으며(예: 크레인이나 케이블에 의해) 진동하는 펜듈럼(pendulum)처럼 거동합니다. 로봇은 페이로드를 직접 구동할 수 없으며, 전신 이동(whole-body locomotion), 신체 자세, 그리고 간헐적인 접촉력(미는 동작)을 통해서만 하중의 움직임에 영향을 미칠 수 있습니다.

주요 난제는 다음과 같습니다:

• 비구동 및 역학(Underactuation and Dynamics): 페이로드는 접촉이 중단된 후에도 계속 흔들리며, 이로 인해 오버슈트(overshoot)와 잔류 진동이 발생합니다.
• 안전 및 효율성: 실제 휴머노이드에서 처음부터 직접 강화 학습(RL)을 수행하는 것은 불안정한 움직임이나 강한 충돌의 위험 때문에 안전하지 않습니다. 반대로, 순수 모방 학습(IL)은 시연(demonstrations)으로부터 최종 배치 정확도를 최적화하거나 폐루프 실행 오류를 수정하는 데 실패하는 경우가 많습니다.
• 작업 복잡성: 성공적인 수행을 위해서는 조화로운 전신 균형, 정밀한 접촉 타이밍, 그리고 페이로드의 흔들림을 감쇄시키기 위한 특정 정지 동작이 필요합니다.

2. 방법론: HOIST 프레임워크

HOIST(Humanoid Optimized with Imitation and Sample-efficient Tuning)는 안전한 초기화와 작업 수준의 최적화 사이의 간극을 메우기 위해 설계된 3단계 파이프라인입니다.

A. 텔레오퍼레이션 데이터 수집

• 인간 운영자가 VR 헤드셋과 컨트롤러를 사용하여 휴머노이드 로봇을 통해 호이스팅 시퀀스(접근, 접촉, 밀기, 정지)를 원격 제어합니다.
• 궤적은 시각적 관측, 프로프리오셉티브(proprioceptive) 상태, 플래너 명령을 포함한 상태-행동 쌍(state-action pairs)으로 기록됩니다.
• 이러한 시연은 초기 배포 단계에서 치명적인 실패를 방지하는 안전하고 초기화된 행동 정책을 제공합니다.

B. 지도 학습 기반 VLA 파인튜닝

• 수집된 텔레오퍼레이션 데이터를 사용하여 고수준 VLA(Vision-Language-Action) 정책을 파인튜닝합니다. 베이스 모델은 GR00T N1.6에서 적응되었습니다.
• 입력 모달리티: 정책은 온보드 RGB/깊이(depth) 이미지, 외부 측면 뷰 이미지(페이로드와 타겟 간의 관계를 포착하기 위함), 프로프리오셉티브 상태(관절/베이스/IMU), 언어 지시문, 이전 내비게이션 명령을 포함한 멀티모달 입력을 처리합니다.
• 아키텍처 수정:
  • 내비게이션 명령을 시각-언어 모델의 명시적 모달리티로 추가했습니다.
  • 장면의 기하학적 구조와 물리적 상태에 조건화하기 위해 깊이 이미지와 에고 벨로시티(ego-velocity)를 flow-matching 기반 액션 전문가(action expert)에 추가했습니다.
  • 파운데이션 모델의 일반적인 사전 지식을 보존하기 위해 VLM의 마지막 4개 레이어, 디퓨전-트랜스포머 액션 전문가, 그리고 새로운 모달리티 인코더만을 파인튜닝하며 나머지는 동결(frozen) 상태로 유지합니다.
• 출력: 정책은 핸드 타겟, 헤드 포즈, 내비게이션, 베이스 높이에 대한 상대적 명령 증분($\Delta U_t$)의 짧은 호라이즌 청크(short-horizon chunk)를 예측합니다. 이는 전체 플래너 명령으로 누적됩니다.

C. 고정된 전신 실행(Fixed Whole-Body Execution)

• 고수준 플래너 명령은 고정된, 분리된 전신 제어기(GR00T WBC 스택 기반)에 의해 실행됩니다.
• 저수준 제어기는 균형, 관절 안정화, 접촉력을 담당합니다. 결정적으로, 저수준 제어기는 파인튜닝되지 않으며, 모든 작업 적응은 고수준 명령 생성 단계에서 이루어집니다.

D. 샘플 효율적 RL 정교화(Refinement)

• 모방 학습된 정책의 체계적 편향(예: 일관된 과잉/부족 푸싱)을 수정하기 위해, HOIST는 **반복적 배치 RL(iterative batched RL)**을 채택합니다.
• 과정:
  1. 파인튜닝된 VLA 정책을 배포하여 소규모 자율 롤아웃(rollout) 데이터를 수집합니다.
  2. 이 롤아웃에는 호이스팅 특화 보상(변위 배치 오차와 원시 각도 오차의 가중 결합)이 라벨링됩니다.
  3. 액터-크리틱(actor-critic) 모듈은 flow-matching 액션 전문가를 위한 "초기 노이즈 스티어링 벡터(initial-noise steering vector)"를 예측하도록 오프라인에서 학습됩니다. 이 액터는 동결된 VLA 정책의 생성 과정을 유도하기 위해 결정론적인 수정 벡터를 출력합니다.
  4. VLA 정책 자체는 동결된 상태를 유지하며, 오직 노이즈 스티어링 액터-크리틱만 업데이트됩니다.
  5. 효율성을 극대화하기 위해 동결된 정책의 VLM 특징(features)을 캐싱하고 재사용합니다.
• 이 사이클을 반복함으로써, 시스템은 최소한의 실세계 데이터로 배치 정확도와 정지 동작을 정교화할 수 있습니다.

3. 주요 기여

1. 문제 정식화: 외부에서 매달려 있고 진동하는 페이로드를 포함하는 별도의 전신 로코-매니퓰레이션(loco-manipulation) 문제로서 "휴머노이드 호이스팅"을 도입했습니다.
2. HOIST 프레임워크: VR 텔레오퍼레이션, 지도 학습 기반 VLA 파인튜닝, 고정된 전신 실행, 그리고 (노이즈 스티어링을 통한) 샘플 효율적 RL 정교화를 결합한 새로운 파이프라인을 제시했습니다.
3. 실증적 평가: 시뮬레이션과 실제 휴머노이드 플랫폼에서의 종합적인 실험을 통해, RL 정교화가 단순히 더 많은 시연을 추가하는 것보다 우수함을 입증하고 입력 모달리티 및 롤아웃 횟수의 영향을 분석했습니다.

4. 실험 결과

본 논문은 HOIST를 순수 모방(VLA-50, VLA-80) 및 인간 텔레오퍼레이션을 포함한 베이스라인과 비교 평가합니다.

• 성능 향상:
  • 시뮬레이션에서 HOIST(50개 데모 + 30개 RL 롤아웃)는 순수 VLA 롤아웃(VLA-50)에 비해 변위 배치 오차를 19.9 cm, 원시 각도 오차를 3.56° 감소시켰습니다.
  • 실제 플랫폼에서 HOIST는 6.38 cm의 총 맨해튼 위치 오차를 달성하여, 30개의 추가 시연을 사용했으나 RL을 사용하지 않은 VLA-80(8.57 cm)보다 우수한 성능을 보였습니다.
• RL vs 추가 시연: 결과는 클로즈드 루프 배치 보상을 통해 RL로 최적화하는 것이 단순히 텔레오퍼레이션 시연 수를 늘리는 것보다 최종 위치 오차를 수정하는 데 더 효과적임을 나타냅니다.
• 절제 연구(Ablation Studies):
  • VLA 입력에 깊이 이미지와 내비게이션 명령 조건화를 추가하는 것이 RL 정교화 전의 초기 모방 학습 정책을 크게 개선했습니다.
  • 페이로드의 IMU를 통한 잔류 운동 분석 결과, HOIST는 더 높은 가속도 측정값(능동적 교정을 나타냄)을 보이지만, 모방 전용 정책에 비해 자이로스코프 응답(각운동)을 약 절반으로 줄여 잔류 흔들림을 더 잘 감쇄시킨다는 것을 보여주었습니다.

5. 의의 및 주장

본 논문은 HOIST가 안전 위험(치임, 끼임 등)으로 인해 현재 인간 작업자가 지배적인 영역인 비구동 자재 취급 작업에서 휴머노이드의 잠재력을 입증한다고 주장합니다.

• 안전 및 효율성: 안전한 텔레오퍼레이션 데이터에서 시작하여 RL을 고수준 명령 정교화에만 사용함으로써, 실제 하드웨어에서 처음부터 학습할 때 발생하는 안전 위험과 샘플 비효율성을 피합니다.
• 편향 수정: 모방 학습은 배포 시점의 분포 변화(로봇 자신의 오류가 작업 역학을 변화시키는 현상)로 인해 어려움을 겪습니다. HOIST의 RL 정교화는 이러한 체계적 편향을 구체적으로 타겟팅하여 최종 정확도를 높입니다.
• 제한 사항: 저자들은 현재 시스템이 고정된 저수준 전신 제어기에 의해 제한되어 있어, 서로 다른 페이로드 무게에 따라 힘을 명시적으로 적응할 수 없음을 인정합니다. 결과적으로, 더 큰 적응형 힘이 필요한 더 무거운 물체를 다룰 때 어려움을 겪습니다.

요약하자면, HOIST는 모방 학습의 안전성과 샘플 효율적인 강화 학습의 최적화 능력을 결합하여, 비구동 및 진동 시스템의 역학에 특화된 방식으로 매달린 하중을 조작할 수 있는 휴머노이드의 실용적인 접근법을 제시합니다.