기술 요약: DynaRetarget

문제 정의

인간형 로봇을 위한 실현 가능한 로코 - 매니퓰레이션 (loco-manipulation) 행동 생성은 로봇과 조작 대상 물체 모두의 비구동성 (underactuation) 과 복잡한 접촉 상호작용으로 인해 복잡한 과제입니다. 기존의 접근 방식은 경사 기반 궤적 최적화 (TO) 나 심층 강화 학습 (RL) 에 의존하지만, 이들은 각각 고유한 한계에 직면해 있습니다. 경사 기반 TO 는 충분한 탐색을 위해 탐색 기반 증강이 종종 필요한 반면, RL 은 탐색 효율성에서 어려움을 겪으며 개별 동작을 위해 종종 무거운 보상 설계 (reward shaping) 가 필요합니다.

유망한 대안으로는 인간 시연을 인간형 로봇으로 재할당하여 탐색 문제를 완화하고, 이를 통해 생성된 궤적을 사용하여 RL 정책을 훈련하는 방법이 있습니다. 그러나 기존 재할당 방법들은 주로 운동학적 최적화 문제를 해결합니다. 이러한 접근 방식은 발 미끄러짐 (foot skating), 침투, 접촉 누락과 같은 물리적 및 기하학적 불일치에 취약하며, 이는 로코 - 매니퓰레이션 작업에 특히 치명적입니다. furthermore, 최근의 샘플 기반 모델 예측 제어 (SBMPC) 방법들은 일관성을 개선하지만 짧은 시간 범위 (short horizons) 에서 작동합니다. 이러한 근시안적인 성향은 참조 운동학적 궤적에 제한된 시간 창 내에서 수정할 수 없는 결함이 있을 때, 특히 장기 시간 범위 (long-horizon) 작업에서 실패하기 쉽습니다.

방법론: DynaRetarget

본 논문은 인간 동작을 인간형 제어 정책으로 재할당하기 위한 완전한 파이프라인인 DynaRetarget을 소개합니다. 핵심 혁신은 불완전한 운동학적 궤적을 동적으로 실현 가능한 동작으로 정제하는 새로운 샘플 기반 궤적 최적화 (SBTO) 프레임워크입니다.

1. 파이프라인 개요

DynaRetarget 파이프라인은 세 단계로 운영됩니다:

1. 운동학적 재할당 (Kinematic Retargeting): 역운동학 (IK) 기반 재할당 과정이 인간 - 물체 시연을 운동학적으로 실현 가능한 로봇 - 물체 궤적으로 변환합니다. 이 초기 단계는 형태적 차이로 인해 접촉 누락이나 기하학적 불일치와 같은 아티팩트를 종종 생성합니다.
2. 동적 정제 (SBTO): 운동학적 궤적은 SBTO 모듈의 참조로 사용됩니다. SBTO 는 물리적 일관성을 보장하도록 궤적을 정제하여 접촉 누락과 같은 아티팩트를 수정합니다.
3. RL 정책 훈련: 정제된 동적 일관성 궤적은 도메인 무작위화를 사용하여 시뮬레이션에서 RL 추적 정책을 훈련하는 데 사용됩니다. 학습된 정책은 그 후 제로샷 (zero-shot) 으로 실제 인간형 하드웨어로 이전됩니다.

2. 샘플 기반 궤적 최적화 (SBTO)

단축 시간 범위의 문제를 후퇴 방식으로 해결하는 표준 SBMPC 와 달리, SBTO 는 전체 장기 시간 범위 문제를 해결하기 위해 최적화 시간 범위를 점진적으로 확장합니다.

• 점진적 시간 범위 확장: SBTO 는 제어 변수 (보간 노드) 를 점진적으로 최적화합니다. 첫 번째 노드를 최적화한 후, 첫 두 개를 최적화하는 식으로 모든 노드가 최적화될 때까지 진행합니다. 이 과정은 더 짧은 시간 범위의 솔루션을 사용하여 더 긴 시간 범위 문제를 워밍업 (warm-start) 합니다.
• 적응형 수렴: 알고리즘은 시간 범위를 언제 증가시킬지 결정하기 위해 적응형 기준을 사용합니다. 이는 샘플링 분포의 공분산 행렬 ($\Sigma$) 의 대각선 값을 모니터링합니다. 현재 변수 부분 집합에 대한 충분한 수렴을 나타내는 최대 대각선 값이 임계값 ($\sigma_{min}$) 아래로 떨어질 때만 증가가 발생합니다. 이는 조기 수렴을 방지하고 최적화기가 나쁜 지역 최소값에서 탈출할 수 있게 합니다.
• 효율성 최적화 (SBTO skip): 장기 시간 범위 문제의 계산 비용을 해결하기 위해 저자들은 "SBTO skip" 변형을 제안합니다. 이 구현은 이미 수렴된 (분산이 $\sigma_{skip}$ 미만인) 초기 궤적 세그먼트를 캐시하고 후속 롤아웃 (roll-outs) 동안 해당 부분의 재계산을 건너뛰어 시뮬레이션 단계를 크게 줄입니다.
• 비용 함수: 최적화는 상태 위치 및 속도 편차, 몸통/발/손 자세 추적, 그리고 원치 않는 충돌을 억제하는 접촉 관련 항을 패널티로 부과하는 비용 함수를 최소화합니다.

주요 기여

1. 새로운 최적화 프레임워크: 본 논문은 불완전한 운동학적 시연을 동적으로 실현 가능한 인간형 로코 - 매니퓰레이션 행동으로 재할당할 수 있으며 전체 문제 시간 범위를 고려하는 최초의 샘플 기반 궤적 최적화 방법을 소개합니다.
2. 우수한 성능: 저자들은 OmniRetarget 데이터셋의 수백 가지 동작에 대해 이 접근 방식을 검증하여, 최신 SBMPC 베이스라인 (예: SPIDER) 에 비해 현저히 높은 재할당 성공률을 입증했습니다.
3. 강건한 일반화: 이 프레임워크는 단일 추적 목표를 사용하여 다양한 물체 특성 (질량, 크기, 기하학) 에 걸쳐 일반화되어, 재훈련 없이 다양한 시연을 정제할 수 있게 합니다.
4. 하류 RL 혜택: 본 논문은 SBTO 로 정제된 궤적이 하류 RL 추적 정책의 훈련 효율성과 강건성을 크게 향상시켜, 실제 하드웨어로의 제로샷 이전을 가능하게 함을 보여줍니다.

결과 및 평가

저자들은 G1 인간형 로봇이 상자 (집기, 차기, 밀기, 끌기) 와 상호작용하는 285 가지 동작에 대해 SBTO 를 평가했습니다.

• 성공률: SBTO 는 **74.6%**의 성공률을 달성했으며 ("skip" 변형의 경우 76.8%), SBMPC 베이스라인 (SPIDER) 의 37.9% 성공률의 거의 두 배에 달했습니다. 성공은 물체 위치 오차 <10cm 및 회전 오차 <25°를 유지하는 것으로 정의되었습니다.
• 궤적 품질: SBTO 는 베이스라인에 비해 더 매끄러운 궤적을 생성했습니다.
• 계산 효율성: 표준 SBTO 는 계산 비용이 많이 들었지만, "SBTO skip" 변형은 계산 비용을 3 배 줄여 더 높은 성능을 유지하면서 베이스라인보다 효율적이게 만들었습니다.
• 알고리즘 분석: 실험 결과, SBTO 의 점진적 워밍업 과정은 고정 시간 범위 TO 에서 발견되는 수렴 문제를 효과적으로 완화하는 것으로 나타났습니다. furthermore, SBTO 의 "유효 시간 범위"(초기 결정 변수가 적극적으로 정제되는 기간) 는 SBMPC 의 단일 증가 시 전망 시간이나 고정 시간 범위보다 훨씬 길어, 장기 시간 범위 작업을 처리할 수 있는 능력을 설명했습니다.
• RL 이전: SBTO 로 정제된 궤적으로 훈련된 RL 정책은 운동학적으로 재할당된 데이터만으로 훈련된 정책 (79.41%) 에 비해 실제 세계 이전에서 훨씬 빠르게 수렴하고 더 높은 성공률 (97.09%) 을 달성했습니다. SBTO 로 훈련된 정책은 추가 커리큘럼 설계 없이 다리로 물체를 조작하는 것과 같은 도전적인 행동을 성공적으로 학습했습니다.

중요성

본 논문은 DynaRetarget 이 인간형 로봇의 실제 데이터 수집에서 주요 병목 현상인 고품질 물리적 일관성 로코 - 매니퓰레이션 시연의 부족을 해결한다고 주장합니다. 다양한 인간 시연을 동적으로 실현 가능한 동작으로 강건하게 재할당할 수 있게 함으로써, 이 프레임워크는 대규모 합성 데이터셋 생성의 문을 엽니다. 이 기능은 복잡한 접촉이 풍부한 작업에 대해 시뮬레이션과 현실 간의 격차를 해소하면서 실제 하드웨어에 직접 배포할 수 있는 강건한 RL 정책 훈련을 용이하게 합니다.