Constrained Whole-Body Tracking for Humanoid Robots

기술 요약: 휴머노이드 로봇을 위한 제약 조건 기반 전신 트래킹 (Constrained Whole-Body Tracking)

문제 정의
최근 강화 학습(RL)의 발전은 휴머노이드 로봇이 보행, 원격 조작 및 조작에서 인상적인 전신 민첩성을 달착할 수 있게 했습니다. 그러나 안전을 보장하고 제약 조건을 충족하는 데에는 여전히 중대한 간극이 존재합니다. 특히 훈련 후에 지정되는 제약 조건(예: 새로운 장애물, 동적 환경 또는 특정 운영 한계)이 그러합니다. 기존의 RL 정책은 예측하지 못한 시나리오에 직면했을 때 충돌 회피, 관절 한계 또는 안정성을 보장하는 내재적 메커니즘이 부족한 경우가 많습니다. 이상적인 런타임 안전 프레임워크는 최소한으로 개입하며, 정책에 무관(policy-agnostic)하고, 임의의 제약 조건에 대해 쉽게 구성 가능하며, 정책 재학습 없이 실시간 속도(≥50 Hz)로 작동할 수 있어야 합니다.

방법론: ConstrainedMimic
저자들은 운영 공간 제어(operational space control)와 제어 장벽 함수(Control Barrier Functions, CBFs)의 원리를 통합하여 RL 트래킹 정책 내에서 안전을 강제하는 제어 프레임워크인 ConstrainedMimic을 제안합니다. 이 프레임워크는 모션 트래킹 스택의 두 가지 자연스러운 개입 지점인 입력 운동학적 참조(input kinematic reference)와 출력 관절 명령(output joint commands)에서 작동합니다. 이 프레-임워크는 JAX 라이库를 사용하여 미분 가능한 이차 계획법(Quadratic Programs, QPs)으로 정식화된 세 가지 별도의 제약 강제 방법을 채택합니다:

1. 제약된 리타겟팅 (입력 레벨):

   • 인간의 움직임을 로봇 운동학으로 매핑하는 역운동학(IK) 리타겟팅 과정 중에 적용됩니다.
   • 차분 IK 문제에 CBF가 직접 내장됩니다.
   • 목적 함수는 접촉 제약이 있는 운동학 모델을 통해 안전 제약(예: 자기 충돌 회피)을 만족하면서 트래킹 오차를 최소화합니다.
   • 이를 통해 RL 정책에 입력되는 참조 모션 자체가 본질적으로 안전하도록 보장합니다.

2. 운동학적 안전 필터 (입력 레벨):

   • 이미 리타겟팅된 참조(예: 오프라인 모션)에 적용됩니다.
   • 제약 조건을 만족하기 위해 참조 모션에 대한 최소한의 침해적인 수정을 계산하는 필터 역할을 합니다.
   • 계층적 목적 함수를 활용합니다: 기본 작업은 운영 공간에서 말단 효과기(end-effector)와 질량 중심(CoM)을 추적하며, 보조 작업은 널 공간(null space)에서 자세를 추적합니다.
   • CBF 제약은 현재의 접촉 모드(예: 발 미끄러짐 방지)를 존중하도록 완전한 접촉 제약 운동학을 기반으로 구축됩니다.

3. 동역학적 안전 필터 (출력 레벨):

   • RL 정책이 출력하는 관절 명령(PD 타겟)에 적용되며, 실행 직전에 수행됩니다.
   • 이는 최종 방어 계층으로, 완전한 접촉 제약 및 언더액추에이티드(underactuated) 시스템 역학 위에서 작동합니다.
   • 계층 구조는 지면 접촉 발의 접촉력 추적을 우선시한 다음, 가속도 관점에서 정의된 운동 및 자세 작업을 따릅니다.
   • QP는 안전한 액추에이터 토크($\Gamma_{body}$)를 계산하며, 이는 로봇을 위한 안전한 PD 타겟으로 다시 매핑됩니다.

주요 기여

• 프레임워크 아키텍처: 정책의 입력(운동학)과 출력(역학) 모두에서 안전 강제 지점을 식별하여, 제약된 리타겟팅, 운동학적 필터 및 동역학적 필터를 결합한 통합 프레임워크(ConstrainedMimic)를 제안했습니다.
• 태스크 일관적 필터링: 모션 트래킹의 암묵적 태스크 구조를 존중하는 QP 목적 함수와 함께, 완전한 접촉 제약 운동학 및 역학에 대한 CBF를 구축했습니다. 이는 제약이 활성화되었을 때, 필터가 가장 낮은 우선순위의 구성 요소만을 수정함으로써 정책을 최소한으로 제한하도록 보장합니다.
• 미분 가능성 및 성능: 전체 시스템은 완전히 미분 가능하며 JAX로 구현되어 CPU, GPU, TPU에서 실행 가능합니다. 300–500 Hz의 주파도를 달로하며, 이는 일반적인 정책 주파수인 50 Hz를 크게 상회하여 제어 루프보다 높은 비율로 안전 강제를 수행할 수 있게 합니다.
• 제로샷 적응(Zero-Shot Adaptation): 이 프레임워크는 재학습 없이 사전 학습된 정책에 대해 임의의 런타임 제약 조건을 적용할 수 있게 합니다.

실험 결과
실험은 수정되지 않은 사전 학습된 정책(TWIST2 및 SONIC)을 사용하여 Unitree G1 휴머노이드 시뮬레이션에서 수행되었습니다.

• 베이스라인의 한계: 제약이 없는 정책은 훈련 시 알고 있었던 시나리오(예: 자기 충돌)에 대해서도 안전 제약을 만족하지 못했으며, 동적 오버슈트(dynamic overshoot)로 인해 외부 장애물과의 충돌을 방지하는 데 실패했습니다.
• 계층별 효과:
  • 운동학적 방법만 사용한 경우 제약 위반을 크게 줄였으나, 동적 오버슈트로 인한 위반(예: 로봇이 안전한 참조를 지나치는 "카라테 촙" 시나리오)을 방지할 수는 없었습니다.
  • 동역학적 필터만 사용한 경우 토크 레벨에서 작동하여 위반을 크게 줄였으나, 역학의 복잡성으로 인해 여전히 미세한 위반이 나타날 수 있었습니다.
  • 결합된 방식 (운동학 + 동역학) 강제 적용이 가장 신뢰할 수 있는 안전을 제공하였으며, 위반 프레임을 거의 제로에 가깝게 줄였고(예: 자기 충돌의 경우 0.02%), 최대 위반 거리를 최소화했습니다.
• 접촉 제약: CBF 정식화에서 접촉 제약을 무시하는 것(예: 제약 없는 운동학 가정)은 불가능한 동작(예: 발이 지면에서 떨어짐)이나 제약 불일치를 초래한다는 점을 연구를 통해 확인했습니다. 제안된 방법은 접촉 모드를 정확하게 고려합니다.
• 관찰된 한계점:
  • 단기 호라이즌 실패: 단일 단계 CBF는 장기 호라이즌 안전(예: 장애물 아래에서 "웅크리기"와 "림보" 중 결정하는 것)에 필요한 이산적 모드 변경을 처리하는 데 어려움이 있습니다.
  • 접촉 모드 파괴: 동적 장애물에 대한 안전을 유지하려면 현재의 접촉 모드를 깨뜨려야 할 수도 있으며(예: 스텝을 시작함), 이는 현재 프레임워크에서 완전히 자동화되지 않은 더 높은 수준의 이산적 의사결정을 필요로 합니다.

의의 및 주장
본 논문은 ConstrainedMimic이 학습 기반 제어의 민첩성과 모델 기반 제어의 안전 보장 사이의 간극을 메운다고 주장합니다. RL 정책을 "파운데이션 모델"로 취급하고 그 위에 런타임 안전 프레임워크를 얹음으로써, 저자들은 다음을 입증했습니다:

1. 훈련 시 알 수 없었던 안전 제약 조건을 재학습 없이 강제할 수 있습니다.
2. 프레임워크는 동적 타당성과 다수의 비볼록 상태 제약을 실시간으로 처리합니다.
3. 이 접근 방식은 계산적으로 실행 가능하며 확장성이 뛰어나 에지 디바이스에서도 효율적으로 작동합니다.

저자들은 현재 시스템이 상태 추정 및 접촉 모드에 대한 강력한 가정을 바탕으로 한다는 점을 인정하며, 언제 스텝을 밟을지와 같은 고차원적 의미론적 추론은 향후 연구 과제로 남겨두는 등 한계점에 대해 겸허한 태도를 유지하고 있습니다. 또한, 동역학적 필터가 최소한의 침해를 가하지만, 잠재적으로 분포 외(OOD) 상태를 유발할 수 있다는 점을 언급하며 이를 향후 조사할 계획이라고 밝혔습니다.