기술 요약: SPIDER - 확장 가능한 물리 기반 정교한 리타겟팅 (Scalable Physics-Informed Dexterous Retargeting)

문제 정의

휴머노이드 로봇이나 정교한 손(dexterous hands)을 위한 민첩한 제어 정책을 학습시키려면 일반적으로 대규모의 로봇 특화 시연 데이터가 필요합니다. 그러나 하드웨어 제약과 작업의 복잡성으로 인해 이러한 로봇 데이터를 수집하는 비용은 매우 높습니다. 반면, 모션 캡처, 비디오, VR 등을 통한 풍부한 인간의 움직임 데이터는 존재하지만, 근본적인 "체형 차이(embodiment gap)"로 인해 이를 로봇에 직접 적용하기 어렵습니다. 이 격차는 형태학적 구조, 역학, 구동 방식의 불일치뿐만 아니라, 인간의 시연 데이터에 힘(force)이나 토크(torque)와 같은 핵심적인 동적 정보가 결여되어 있다는 점에서도 발생합니다. 결과적으로, 단순한 운동학적(kinematic) 전이는 물리적으로 불가능한 움직임, 잘못된 접촉 시퀀스, 그리고 물리적 위반(예: 침투 현상)을 초래합니다. 핵심 과제는 운동학적 정보만을 가진 인간의 시연을 물리적 제약과 접촉 요구 사항을 준수하는 물리적으로 실행 가능한 로봇 궤적으로 효율적이고 신뢰성 있게 변환하는 것입니다.

방법론

본 논문은 인간의 운동학적 정보를 로봇의 역학 정보로 연결하는 샘플링 기반 프레임워크인 SPIDER(Scalable Physics-Informed DExertous Retargeting)를 제안합니다. 이 파이프라인은 재구성된 인간-물체 상호작용 궤적을 다음과 같은 구성 요소를 통해 물리적으로 실행 가능한 로봇 궤적으로 변환합니다.

1. 물리 기반 리타겟팅 정식화

이 문제는 제약 조건이 있는 최적화 문제로 정식화됩니다. 로봇 관절 위치, 베이스 변환, 물체 포즈를 포함하는 운동학적 참조 궤적 $x^{ref}_{0:T}$가 주어졌을 때, 시스템은 로봇의 상태 전이 역학 $x_{t+1} = f(x_t, u_t, t)$를 준수하면서 참조 궤적과의 거리 및 제어 노력을 최소화하도록 제어 시퀀스 $u_{0:T-1}$를 최적화합니다.

2. 어닐드 샘플링 최적화 (Annealed Sampling Optimization)

접촉이 빈번한 조작(contact-rich manipulation)에서 발생하는 고도로 비볼록(non-convex)하고 비연속적인 최적화 지형을 해결하기 위해, SPIDER는 샘플링 기반 최적화 기법을 사용합니다. 정책 네트워크를 업데이트하는 표준 강화 학습(RL)과 달리, SPIDER는 병렬화된 물리 시뮬레이터에서 샘플링된 궤적을 사용하여 제어 시퀀스를 직접 최적화합니다.

• 어닐드 커널 (Annealed Kernel): 이 방법은 어닐드 샘플링 공분산 스케줄을 활용합니다. 초기에는 넓은 탐색 반경을 통해 실행 가능한 접촉 모드를 발견(탐색)하고, 점진적으로 반경을 줄여 해를 정교화(활용)합니다. 이는 반복 횟수와 예측 지평(prediction horizon)에 따라 샘플링 분산을 조정하는 파라미터 $\beta_1$ 및 $\beta_2$에 의해 제어됩니다.
• 조기 종료 (Early Stopping): 효율성을 높이기 위해 개선이 미미해지면 최적화를 중단합니다.

3. 가상 접촉 가이드 (Virtual Contact Guidance)

해의 모호성(여러 접촉 모드가 동일한 물체 운동을 달성할 수 있지만 자연스러움은 다를 수 있는 상황)을 해결하기 위한 핵심 혁신은 가상 접촉 가이드입니다.

• 메커니즘: 최적화 초기 단계에서 물체를 원하는 접촉 지점에 "고정"시키기 위해 로봇의 손가락과 물체 사이에 가상의 힘을 적용합니다. 이 제약 조건은 최적화가 진행됨에 따라 커리큘럼 방식으로 점진적으로 완화됩니다.
• 강건성: 노이즈가 있는 인간의 시연을 처리하기 위해, 접촉 필터(contact filter)는 불안정한 상호작용(예: 지속 시간이 짧거나 드리프트가 심한 접촉)에 대해 가상 제약을 비활성화하여, 신뢰할 수 있는 접촉만이 최적화를 가이드하도록 보장합니다.

4. 강건화 및 증강 (Robustification and Augmentation)

• 궤적 강건화: Sim-to-Real 격차를 메우기 위해, 본 프레임워크는 경계가 정해진 역학 파라미터 집합(예: 마찰력, 질량, 접촉 여유분)에 대해 비관적(min-max) 목적 함수를 사용합니다. 이는 기대값 기반 방식의 계산 오버헤드 없이도, 최악의 파라미터 변동 상황에서도 생성된 궤적이 실행 가능하도록 보장합니다.
• 데이터 증강: 물리 기반의 특성 덕분에 SPIDER는 체계적인 증강이 가능합니다. 단 하나의 시연으로부터 물체의 기하학적 구조(메쉬, 스케일)를 변경하거나, 환경 조건(예: 계단 추가)을 바꾸거나, 외부 힘을 가하는 등의 방식을 통해 물리적 실행 가능성을 유지하면서 다양한 동작을 생성할 수 있습니다.

주요 기여

1. 확장 가능한 프레 프레임워크: SPIDER는 6개의 데이터셋, 9가지 서로 다른 로봇 형태(5종의 정교한 손과 4종의 휴머노이드 포함), 그리고 두 가지 작업 도메인(정교한 조작 및 전신 제어)에서 입증된 유연한 물리 기반 리타겟팅 프레임워크입니다.
2. 접촉 인지 샘플링: 조작 의도를 보존하고 접촉 시퀀스를 교정하는 가상 접촉 가이드 메커니즘을 도입했습니다. 이는 가이드가 없는 샘플링 베이스라인에 비해 성공률을 18% 향상시켰습니다.
3. 효율성 및 규모: 이 방법은 강화 학습 베이스라인보다 10배 빠르며, 인간 데이터로부터 유래된 240만 프레임의 동적 실행 가능 로봇 데이터셋 생성을 가능하게 합니다.
4. 노이즈에 대한 강건성: 본 파이프라인은 아티팩트와 침투 현상이 포함된 노이즈가 많은 단일 RGB 카메라 재구성 데이터를 실행 가능한 실제 로봇 궤적으로 성공적으로 변환합니다.

실험 결과

• 정교한 조작 (Dexterous Manipulation): Oakink, GigaHands, ARCTIC 데이터셋을 대상으로 Allegro, XHand, Inspire, Ability, Schunk 핸드에서 평가되었습니다. SPIDER는 GigaHands 작업에서 최대 1.00의 성공률을 달성했으며, 운동학적 리타겟팅 및 일반 샘플링보다 크게 앞섰습니다.
• 휴머노이드 제어: Unitree G1, Unitree H1-2, Fourier N1, Booster T1 로봇에 적용되었으며, LAFAN1, AMASS, OMOMO 데이터셋을 사용했습니다. SPIDER는 운동학 기반의 일반 운동 리타겟팅(GMR)에 비해 관절 추적 오차와 골반 방향 오차를 크게 줄이면서도 경쟁력 있는 생성 속도(약 20-23 FPS)를 유지했습니다.
• 실제 환경 배포: 전구 회전 및 충전기 뽑기와 같은 작업을 위해 Allegro 핸드가 장착된 Franker Emika Panda에 배포되어, 추가적인 정책 학습 없이 시뮬레이션 궤적을 실제 하드웨어로 직접 전이할 수 있음을 입증했습니다.
• RL 정책 학습: 휴머노이드에 대한 RL 정책 학습의 참조로 사용되었을 때, SPIDER가 생성한 궤적은 원시 운동학 참조를 사용한 정책보다 더 빠른 수렴과 더 나은 물체 추적 성능을 이끌어냈습니다.

의의 및 주장

본 논문은 SPIDER를 로봇 학습의 데이터 부족 문제를 해결하는 보편적인 물리 기반 리타겟팅 방법으로 포지셔닝합니다. 주요 의의는 다음과 같습니다:

• 대규모 인간 데이터 활용: 값비싼 로봇 특화 데이터 수집이나 번거로운 보상 설계 없이도, 풍부하고 저렴한 인간의 움직임 데이터를 고품질의 물리적으로 실행 가능한 로봇 시연으로 변환합니다.
• 체형 차이 극복: 물리 법칙에 근거한 최적화를 통해 인간과 로봇 사이의 형태학적 및 역학적 불일치를 체계적으로 해결합니다.
• 효율적인 정책 학습 지원: 인간-로봇 전이 구성 요소의 "드롭인(drop-in)" 대체재를 제공하여, 다운스트림 강화 학습 및 행동 복제를 가속화하는 다양하고 고품질인 데이터셋을 생성합니다.

저자들은 SPIDER가 매우 범용적이지만, 그 성능은 상위 단계의 3D 재구성 품질에 달려 있다고 언급했습니다. 즉, 노이즈가 많은 메쉬나 모션 데이터는 여전히 결과 궤적을 저하시킬 수 있습니다. 그러나 본 프레임워크의 강건화 전략이 이러한 문제들을 완화하여, 인간의 시연으로부터 로봇 학습을 확장하는 데 실질적인 도구가 될 수 있도록 합니다.