Safe Human-to-Humanoid Motion Imitation Using Control Barrier Functions

논문 개요

본 논문은 카메라 기반의 시각 정보를 활용하여 인간이 수행하는 동작을 휴머노이드 로봇이 실시간으로 모방하되, 자신과의 충돌 (Self-collision) 및 인간 - 로봇 간 충돌 (Human-robot collision) 을 방지하는 안전한 프레임워크를 제안합니다. 기존의 웨어러블 장비나 모션 캡처 시스템의 한계를 극복하고, 제어 장벽 함수 (Control Barrier Function, CBF) 를 기반으로 한 안전 계층을 도입하여 실시간 충돌 회피를 보장합니다.

1. 문제 정의 (Problem)

• 배경: 직관적인 인간 - 로봇 상호작용, 원격 조종, 시연 기반 제어를 위해 인간 - 휴머노이드 모션 모방 기술이 중요해지고 있습니다.
• 현황: 기존 접근법은 웨어러블 센서나 전용 모션 캡처 시스템에 의존하여 정확도는 높으나 비용이 많이 들고 무거워 일상적인 경량 배포에 부적합합니다. 반면, 카메라 기반 인간 포즈 추정 기술은 접근성이 뛰어나지만, 단순히 동작을 재현하는 것만으로는 안전을 보장할 수 없습니다.
• 핵심 과제: 실시간으로 상체 동작을 추적할 때, 로봇의 팔이 몸통에 가까워지거나 시연자 (인간) 를 향해 움직일 경우 자충돌 및 인간 - 로봇 충돌 위험이 발생합니다. 따라서 모방의 반응성을 유지하면서도 온라인 (실시간) 으로 충돌을 회피하는 안전 메커니즘이 필요합니다.

2. 제안된 방법론 (Methodology)

제안된 프레임워크는 크게 모션 리타게팅 (Motion Retargeting) 과 CBF 기반 안전 제어 (Safety Control) 두 단계로 구성됩니다.

A. 모션 리타게팅 (Motion Retargeting)

1. 포즈 각도 추정: 단일 카메라에서 획득한 인간 골격 키 포인트를 기반으로 전체 역기구학 (Inverse Kinematics) 을 풀지 않고, 축소된 인간 포즈 (Reduced Human Pose) 를 직접 추정합니다.
   • 노이즈 제거를 위해 지수 이동 평균 (EMA) 과 점프 거부 (Jump rejection) 필터를 적용합니다.
   • 8 자유도 (8-DoF) 의 인간 관절 각도 벡터 ($\theta$) 를 계산합니다 (상체 중심, 어깨 피치/롤, 팔꿈치 피치 등).
2. 관절 공간 매핑: 추정된 인간 포즈를 로봇의 관절 공간 ($q$) 으로 매핑합니다.
   • 아핀 변환 (Affine transformation) 과 스케일링, 오프셋을 적용하여 인간과 로봇의 신체 비율 차이를 보정합니다.
   • 로봇의 관절 한계를 고려하여 클리핑 (Clipping) 을 수행하여 명목상 (Nominal) 명령어 ($q_{nom}$) 를 생성합니다.

B. CBF-QP 안전 제어 (Safety Control)

명목상 명령어가 충돌 위험이 있는 경우, 이를 필터링하여 안전한 명령어로 변환합니다.

1. 캡슐 기반 충돌 모델 (Capsule-based Collision Model):
   • 인간과 로봇의 기하학적 형태를 효율적으로 표현하기 위해 7 개의 캡슐 (Capsule) 모델 (몸통, 상/하팔, 허벅지) 로 근사화합니다.
   • 로봇의 경우 순기구학 (FK) 으로 캡슐 위치를 업데이트하고, 인간의 경우 필터링된 골격 데이터로부터 캡슐을 추출하여 로봇 좌표계로 변환합니다.
2. 충돌 회피 제어 장벽 함수 (Collision-Avoidance CBF):
   • 두 캡슐 쌍 간의 최소 거리 ($d_{AB}$) 를 기반으로 안전 함수 ($h_{AB}$) 를 정의합니다.
   • 안전 마진 ($\phi$) 을 포함하여 $h_{AB} > 0$일 때 안전, $h_{AB} \le 0$일 때 충돌로 간주합니다.
   • 1 차 CBF 조건 ($\dot{h}_{AB} + \gamma h_{AB} \ge 0$) 을 만족하도록 선형 제약 조건을 유도합니다.
3. 실시간 2 차 계획법 (Real-Time CBF-QP):
   • 명목상 명령어 ($q_{nom}$) 와 내부 안전 목표 ($q_{cbf}$) 사이의 편차를 최소화하면서, 유도된 CBF 제약 조건을 만족하는 최적의 관절 속도 ($u^*$) 를 2 차 계획법 (Quadratic Program, QP) 으로 풉니다.
   • 충돌 위험이 없을 때는 모방 동작을 유지하고, 위험이 감지되면 제약 조건이 활성화되어 모션을 부드럽게 수정합니다.

3. 주요 기여 (Key Contributions)

1. 비전 기반 안전 프레임워크 구축: 카메라 기반 인간 관측으로부터 온라인 충돌 인지 모션 생성이 가능한 인간 - 휴머노이드 모방 프레임워크를 확립했습니다.
2. 통합된 안전 계층: 캡슐 기반 CBF-QP 공식을 통해 자충돌과 인간 - 로봇 충돌을 단일 실시간 제어 계층에서 통합적으로 처리합니다.
3. 성능 벤치마킹 및 모델 선택 근거: 구형 (Sphere), 경계 상자 (Bounding Box), 캡슐 등 다양한 충돌 기하학 모델에 대한 비교 벤치마크를 수행하여, 계산 효율성과 제약 조건의 복잡성 측면에서 캡슐 모델이 최적의 선택임을 입증했습니다.

4. 실험 결과 (Results)

시뮬레이션 환경에서 제안된 프레임워크의 유효성을 검증했습니다.

• 안전성 검증:
  • 자충돌 시나리오 (Cross-arm reach): 팔을 교차하여 뻗을 때, CBF 가 적용되지 않은 경우 로봇 팔이 몸통과 충돌하지만, CBF-QP 가 적용된 경우 안전 마진을 유지하며 모방 동작을 수행했습니다.
  • 인간 - 로봇 충돌 시나리오 (Side-by-side arm raise): 인간과 로봇이 나란히 팔을 들어 올릴 때, CBF 필터가 충돌을 방지하면서도 의미 있는 모방 동작을 유지했습니다.
• 계산 성능 벤치마크:
  • 다양한 충돌 기하학 모델 (구, 상자, 캡슐) 과 하드웨어 (CPU vs GPU) 에서의 성능을 비교했습니다.
  • 결과: 캡슐 기하학을 GPU 에서 실행했을 때, **가장 낮은 해결 시간 (Solve Time: 0.030s)**과 **최소한의 제약 조건 폭발 (Constraint blow-up)**을 보여주어 33Hz 이상의 실시간 제어 주기를 달성했습니다. (표 1 참조)

5. 의의 및 결론 (Significance & Conclusion)

• 실시간 안전성: 제안된 프레임워크는 복잡한 충돌 회피 계산을 실시간으로 처리하여, 안전을 희생하지 않으면서도 자연스러운 인간 - 로봇 모방을 가능하게 합니다.
• 확장성: 현재는 시뮬레이션 결과에 집중했으나, 프레임워크는 하드웨어 (실제 로봇) 로의 전환을 고려하여 설계되었습니다.
• 미래 작업: 실제 로봇 구현, 모방 충실도 (Fidelity) 의 정량적 평가, 더 풍부한 충돌 쌍을 가진 효율적인 CBF 공식 개발이 향후 과제로 제시되었습니다.

이 연구는 시각 기반 인간 - 로봇 상호작용 분야에서 안전을 보장하는 실용적인 제어 솔루션을 제공하며, 향후 대화형 휴머노이드 로봇 제어의 중요한 기준이 될 것으로 기대됩니다.