기술 요약: SEW-Mimic

문제 정의

인간의 움직임을 로봇 구성으로 리타겟팅하는 것은 고자유도(DoF) 휴머노이드 로봇을 원격 제어하고 자율 정책을 위한 학습 데이터를 수집하는 데 필수적입니다. 그러나 기존 방식들은 계산 속도, 포즈 유사성, 그리고 강건성(robustness) 사이에서 상당한 트레이드오프에 직면해 있습니다:

• End-Effector 전용 방식: 전통적인 접근 방식은 인간의 손 위치와 방향을 로봇의 말단 장치(end-effector)와 일치시키는 데에만 집중합니다. 이는 특이점(singularity) 근처에서 수치적 불안정성을 초래하고, 팔꿈치 제어에 실패하여 원치 않는 널 공간(null-space) 운동과 7-DoF 암의 충돌 위험을 증가시킵니다.
• 키포인트 기반 최적화: 전신 키포인트(어깨, 팔꿈치, 손목)를 포함하는 최근의 학습 기반 또는 최적화 기반 방식은 더 높은 포즈 유사성을 달면 하지만, 높은 지연 시간(평균 약 0.7초)으로 인해 문제가 됩니다. 이러한 지연은 원격 제어 시 주저함을 유발하여 수집되는 데이터의 품질과 사용자 경험을 저하시킵니다.
• 하드웨어 퍼핏(Hardware Puppeteering): 엑소스켈레톤과 같은 직접적인 하드웨어 제어는 빠르지만, 체형 차이(embodiment gap)로 인해 포즈 유사성이 부족하고 접근성이 제한되는 경우가 많습니다.

핵심 과제는 빠르고(실시간 가능), 최적이며(오차를 최소화함이 증명됨), 스케일 불변성(보정 없이 다양한 인간 및 로봇 크기에 적용 가능)을 가지면서도, 팔의 방향을 명시적으로 제어하여 자기 충돌을 방지하는 리타겟팅 알고리즘을 개발하는 것입니다.

방법론: SEW-Mimic

본 논문은 폐쇄형(closed-form) 기하학적 리타겟팅 솔버인 SEW-Mimic(Shoulder-Elbow-Wrist Mimic)을 제안합니다. 반복적 최적화나 자코비안 기반 역기구학(IK)과 달리, SEW-Mimic은 리타겟팅을 방향 정렬 문제로 취급합니다.

핵심 개념

SEW-Mimic은 인간과 로봇 키포인트 사이의 유클리드 거리를 최소화하는 대신, 대응하는 팔 벡터 간의 **방향 오차(orientation error)**를 최소화합니다.

• 입력: 인간 키포인트 (어깨 $s$, 팔꿈치 $e$, 손목 $w$) 및 손 방향 $H$.
• 출력: 로봇 관절 각도 $q$.
• 지표: 알고리즘은 인간의 상완($u$)과 하완($l$)의 단위 벡터을 로봇의 대응하는 관절 축(구체적으로 상완을 위한 3번째 관절 축 $h_3$ 및 하완을 위한 5번째 관절 축 $h_5$)과 정렬합니다. 손목 방향은 손 방향 $H$와 일치하도록 정렬됩니다.

알고리즘 단계

솔루션은 정형적인 기하학적 하위 문제(Paden-Kahan subproblems)를 사용하여 해석적으로 도출되며, 운동학적 체인을 따라 반복적으로 진행됩니다:

1. 상완 정렬 (Upper Arm Alignment): 로봇의 상완 축($h_3$)을 인간의 상완 벡터($u$)와 정렬하기 위해 관절 $q_1, q_2$를 구합니다.
2. 하완 정렬 (Lower Arm Alignment): 로봇의 하완 축($h_5$)을 인간의 하완 벡터($l$)와 정렬하기 위해 관절 $q_3, q_4$를 구합니다.
3. 손목 정렬 (Wrist Alignment): 말단 장치의 방향을 인간의 손 방향 $H$와 일치시키기 위해 관절 $q_5, q_6, q_7$을 구합니다.

이 접근 방식은 스케일 독립적(보정이 필요 없음)이고 자코비안 특이점을 피하는 폐쇄형 해석적 솔루션을 제공합니다.

자기 충돌 방지를 위한 안전 필터

양팔 원격 제어 시의 자기 충돌 위험을 해결하기 위해, 저자들은 SEW-Mimic을 안전 필터에 통합했습니다:

• 캡슐 표현 (Capsule Representation): 로봇 링크는 SEW 키포인트를 기반으로 캡슐(선분을 따라 늘어난 구체)로 근사됩니다.
• XPBD 보정: 원하는 포즈가 충돌을 유발할 경우, 확장 위치 기반 역학(Extended Position-Based Dynamics, XPBD)을 사용하여 운동학적 제약을 유지하면서 캡슐을 서로 밀어냅니다.
• 리타겟팅: 보정된 키포인트는 SEW-Mimic에 다시 입력되어 안전한 로봇 포즈를 생성합니다. 이 필터는 약 250Hz로 작동하며, 이는 리타겟팅 솔버 자체(~3000Hz)보다 훨씬 빠릅니다.

주요 기여

1. SEW-Mimic 알고리즘: 단순한 말단 포즈가 아닌 팔의 방향을 정렬하는, 상체 휴머노이드 로봇을 위한 빠르고 최적성이 증명된 기하학적 리타겟팅 알고리즘입니다. 이는 표준 CPU에서 약 3kHz의 추론 속도를 달s합니다.
2. 안전 필터: SEW 표현을 활용하여 실시간으로 양팔 자기 충돌을 방지하는 새로운 안전 필터를 제공하며, 실험 결과 포즈 유사성의 미미한 트레이드오프를 통해 충돌 발생을 98% 이상 감소시켰습니다.
3. 오픈 소스 통합: 저자들은 SEW-Mimic을 MediaPipe 및 Meta Quest 헤드셋과 통합한 독립형 애플리케이션과 계산 속도를 보여주기 위한 라이브 웹 데모를 제공합니다.

실험 결과

본 논문은 여러 차원에서 GMR 및 xr_teleoperate, 그리고 MINK-IK 솔버를 대상으로 SEW-Mimic을 평가했습니다:

• 정확도 및 속도: SEW-Mimic은 부동 소수점 수치 정밀도($1.57 \times 10^{-13}$)에 필적하는 정렬 오차를 달성했으며, 최적화 기반 베이스라인들보다 2~3 자릿수 더 빠릅니다 (중앙값 추론 시간 0.587 ms vs 타 모델 약 0.7s).
• 사용자 연구 (파일럿): 양팔 작업(캐비닛, 유리 틈 지나기, 물건 건네주기)을 수행하는 8명의 사용자를 대상으로 한 파일럿 연구에서, SEW-Mimic은 MINK-IK와 비교하여 작업 성공률 측면에서 통계적으로 유의미한 상호작용을 보여주었습니다. 질적으로 볼 때, SEW-Mimic은 말단 장치 전용 방식에서 나타나는 명시적 팔꿈치 제어의 부재로 인한 작업 실패를 방지했습니다.
• 정책 학습 (Policy Learning): SEW-Mimic을 사용하여 수집된 데이터는 MINK-IK 데이터로 학습된 정책에 비해 약 3배 높은 성공률과 더 짧은 작업 완료 시간을 가진 Diffusion Policy를 생성했습니다. 저자들은 이를 SEW-Mimic 데이터의 더 매끄러운 관절 각도 궤적과 낮은 목표 관절 속도 덕분이라고 설명합니다.
• 전신 리타겟팅: TWIST 프레임워크의 GMR 리타겟터를 대체하는 드롭인(drop-in) 방식으로 사용되었을 때, SEW-Mimic은 운동학적-동역학적 오차나 컨트롤러 추적 성능을 저하시키지 않으면서 계산 속도를 1~3 자릿수 가속했습니다.

의의 및 주장

본 논문은 SEW-Mimic을 양팔 로봇 조작 및 휴머노이드 원격 제어를 위한 근본적인 빌딩 블록으로 포지셔닝합니다. 주요 의의는 다음과 같습니다:

• 속도와 정확도의 분리: 반복적 최적화의 지연 없이도 최적의 방향 정렬을 달성할 수 있는 폐쇄형 기하학적 솔루션이 가능함을 입증했습니다.
• 실시간 안전성 확보: 이전에 계산적으로 불가능했던 복잡한 안전 필터(충돌 회피 등)를 리타겟팅과 함께 실행할 수 있는 계산적 여유를 제공했습니다.
• 데이터 품질 향려: 더 매끄럽고 자연스러운 리타겟팅이 자율 정책의 학습 결과에 직접적으로 더 나은 성과로 이어진다는 것을 보여주었습니다.

저자들은 최적성 증명이 관절 제한이나 자기 충돌이 없음을 가정한다는 점과, 현재 방법이 휴머노이드 형태에 국적으로 제한된다는 점을 언급하며 한계를 인정했습니다. 또한 솔버는 빠르지만, 엔드 투 엔드(end-to-end) 지연 시간은 여전히 무선 통신 및 트래킹 제어의 영향을 받는다고 명시했습니다.