Rapid Learning of Dexterous In-Hand Pen Writing through Real-Time Jacobian Estimation

기술 요약: 실시간 자코비안 추정을 통한 숙련된 손 안의 펜 쓰기 학습의 가속화

문제 정의

손가락의 움직임만을 사용하여 잡고 있는 물체의 위치를 변경하거나 형태를 조절하는 숙련된 손 안의 조작(Dexterous in-hand manipulation)은 로보틱스 분야의 중대한 과제입니다. 현재의 학습 기반 접근 방식들은 다음과 같은 뚜렷한 병목 현상에 직면해 있습니다:

• 강화 학습 (Reinforcement Learning, RL): 시뮬레이션에서는 효과적이지만, RL은 시뮬레이션과 실제 환경 사이의 간극(sim-to-real gap)을 메우기 위해 과도한 도메인 무작위화(domain randomization)에 의존하며, 이는 접촉이 빈번하고 역동적인 상호작용의 복잡한 특성 때문에 구현하기 어렵습니다.
• 모방 학습 (Imitation Learning, IL): 이 방식은 방대한 데모 데이터가 필요합니다. 그러나 고품질의 손 안 조작 데모를 캡처하는 것은 매우 어렵습니다. 손가락이 물체와 서로를 가리기 때문에, 순수 시각적 기록(경험적 뷰 포함)만으로는 모든 접촉 지점을 포착하는 것이 불가능하기 때문입니다. 또한, 인간의 데이터를 서로 다른 운동학(kinematics)을 가진 로봇으로 리타겟팅하는 것도 까다로운 문제입니다.

두 방식 모두 숙련도를 달 Achieve 하기 위해 막대한 모델링, 시뮬레이션 또는 데이터 수집 노력을 요구하는 경우가 많습니다. 저자들은 대안을 제시합니다: 사전 수집된 데이터나 해석적 접촉 모델 없이, 물리적 로봇 위에서 직접 손가락 구동과 물체 운동 사이의 관계를 학습하는 가볍고 데이터 효율적인 방법입니다.

방법론

제안된 시스템은 17-DoF 인체형 로봇 핸드(ORCA hand)를 사용하여 손 안의 펜 쓰기를 제어하기 위한 온라인 태스크-자코비안 추정(online task-Jacobian estimation) 접근 방식을 활용합니다. 이 시스템은 해석적 손-물체 운동학 모델, 시뮬레이션 학습, 또는 사전 데모 없이 작동합니다.

1. 시스템 아키텍처 및 인지

• 하드웨어: 텐던 구동 방식(tendon-driven)의 ORCA 핸드가 맞춤형 소프트 TPU 슬리브(안정적인 파지를 위해 직경을 키움)에 끼워진 펜을 잡습니다. 손목, 약지, 새끼손가락은 고정되어 있으며, 엄지, 검지, 중지의 10개 관절에 대해서만 제어가 제한됩니다.
• 인지: 표준 웹캠이 펜 위의 ArUco 마커와 책상의 마커를 추적하여 종이 프레임을 정의합니다. 펜 끝의 위치는 고정된 오프셋을 통해 복구되며, 이상치 제거 기능이 있는 칼만 필터(Kalman filter)를 사용하여 매끄럽게 처리됩니다.
• 제어 루프: 시스템은 인지 능력에 제한된 약 15Hz의 속도로 실행됩니다. "인지-추정-작동" 루프 내에서 작동하며, 펜 끝의 궤적을 참조값과 비교하고 추정된 자코비안을 기반으로 관절 명령을 생성합니다.

2. 온라인 자코비안 추정
이 방법의 핵심은 관절 속도($\dot{q}$)를 펜 끝 속도($\dot{x}$)로 매핑하는 커맨드 공간 태스크 자코비안($J$)을 학습하는 재귀 최소 제곱법(Recursive Least-Squares, RLS) 추정기입니다.

• 업데이트 메커니즘: 추정기는 측정된 속도 대신 명령된 관절 증분($\Delta q_{cmd}$)을 사용하여 $J$를 업데이트합니다. 이는 명령-운동 매핑이 운영상 더 유의미하고 노이즈가 적기 때문입니다.
• 적응성: 망각 계수($\lambda$)를 통해 추정기는 서서히 변하는 역학(예: 파지 미끄러짐)을 추적할 수 있습니다. 계산 부하를 줄이기 위해 공분산 행렬은 대각화됩니다.
• 흥분 단계 (Excitation Phase): 추정을 시작하기 위해, 시스템은 손이 여섯 가지 사전 정의된 파지 포즈를 훑는 18초간의 초기화 단계를 수행합니다. 이를 통해 추정기가 본격적인 추적을 시작하기 전, 잘 조건화된 $(\dot{q}, \dot{x})$ 쌍을 관찰할 수 있도록 보장합니다.

3. 제어 법칙
제어기는 추정된 자코비안의 댐핑된 우측 유사 역행렬($J^+$)을 사용하여 관절 명령을 계산합니다:
$$\Delta q = (J^+ v_{cmd} + k_{pb} N^\perp (q_0 - q)) \Delta t$$

• 태스크 트래킹: 첫 번째 항($J^+ v_{cmd}$)은 피드포워드가 포함된 PID 제어기를 사용하여 펜 끝을 원하는 궤적을 따라 이동시킵니다.
• 그립 안정화: 두 번째 항은 자코비안의 근사적 널스페이스($N^\perp$)를 통해 자세 안정화 힘을 투영합니다. 이는 주된 쓰기 작업에 간섭하지 않으면서 손을 초기 안정 파지 포즈($q_0$)로 다시 끌어당겨, 파지가 불안정해지는 것을 방지합니다.

주요 기여

1. 체화된 손 안의 쓰기 (Embodied In-Hand Writing): 순수하게 손 안의 손가로 동작을 통해 종이 위에 임의의 단일 스트로크 궤적(글자와 도형)을 써 내려가는 것을 보여준 최초의 인체형 핸드 시연이며, 서브 밀리미터 단위의 정밀도를 달성했습니다.
2. 경량, 모델 프리 제어: 해석적 접촉 모델, 시뮬레이션 학습, 또는 사전 수집된 데모가 필요 없는 제어 아키텍처를 제공합니다. 이는 오직 실시간 상호작용과 온라인 추정에만 의존합니다.
3. 일반화 가능성: 동일한 추정기/제어기 공식이 세 가지 서로 다른 로봇 핸드 시스템(실제 ORCA 핸드 1개와 시뮬레이션된 Shadow Hand 및 Wuji Hand 2 2개)에 성공적으로 적용되어, 체화 독립성(embodiment independence)을 입증했습니다.
4. 오픈 소스: 코드와 시뮬레이션 구현이 오픈 소스로 공개되었습니다.

결과

• 트래킹 정확도: 38회의 실행(공중 22회, 종이 위 16회) 전체에 걸쳐, 시스템은 평균 평면 내 트래킹 오차 0.64 ± 0.10 mm를 달성했습니다. 최상의 결과는 공중에서 ~0.39 mm, 종이 위에서 ~0.57 mm에 도달했습니다. 95 백분위 오차는 약 1.4 mm였습니다.
• 강건성: 시스템은 성능 저하 없이 긴 시간 범위(예: 연속적인 31분 동안 알파벳 전체 쓰기) 동안 정확도를 유지했습니다. 또한 큰 일시적 오차(예: ~20 mm 스파이크)로부터 재초기화 없이 회복할 수 있었습니다.
• 절제 연구 (Ablation Studies):
  • 자코비안 동결 (Jacobian Freezing): 초기화 후 자코비안 추정치를 동결하면 급격한 발산이나 정확도 저하가 발생했습니다. 미끄러짐과 같은 교란에 대한 강건성을 위해서는 지속적인 온라인 업데이트가 필수적이었습니다.
  • 그립 정규화 (Grip Regularization): 널스페이스 자세 안정화 항을 비활성화하면 파지 불안정성이 발생하여 실행의 60%에서 실패했습니다. 이는 안전한 파지를 유지하는 데 이 항이 필요함을 입증합니다.
  • 속도: 쓰기 속도는 **$8 \times 10^{-4}$ m/s (0.8 mm/s)**의 기본 속도로 의도적으로 느리게 유지되었습니다. 속도를 2배, 3배, 4배로 높이면 정확도와 강건성이 비선형적으로 저하되었으며, 이는 처리량과 안정성 사이의 트레이드오프를 나타냅니다.
• 시뮬레이션: 이 방법은 MuJoCo를 통해 Shadow Hand와 Wuji Hand 2로 이식되었습니다. 3D 좌표를 제어한다는 점(실제 물리 제어는 2D)과 컴플라이언트 슬리브가 없다는 점에도 불구하고, Shadow Hand는 0.17 mm RMSE를, Wuji Hand 2는 1.48 mm RMSE를 달성하여 이 접근 방식의 범용성을 확인했습니다.

의의 및 주장

저자들은 이 연구가 온라인, 실시간 학습이 숙련된 손 안의 조작을 위한 실행 가능한 경로임을 보여준다고 주장하며, 특히 가벼운 적응형 제어기가 필요한 경우에 그러합니다.

• 무거운 방법들에 대한 대안: 이 논문은 막대한 모델링이나 데이터 수집 노력을 요구하는 RL 및 IL에 대한 계산적으로 단순하고 데이터 효율적인 대안으로 이 접근 방식을 포지셔닝합니다.
• 정밀한 모델 불필요: 결과는 정밀한 해석적 모델이나 대규모 데이터셋의 부재가 높은 숙련도를 달성하는 데 근본적인 장벽이 아님을 시사합니다. 오히려 빠른 체화된 학습만으로도 충분할 수 있습니다.
• 실용성: 시스템은 표준 노트북 CPU와 간단한 웹캠으로 실행되므로, 보조 기기 제어와 같이 컴퓨팅 자원이 제한된 애플리케이션에 유망합니다.

저자들이 인정한 한계점:

• 시스템은 현재 2D 평면 운동만을 제로어하며, 평면 외($z$) 드리프트는 제어되지 않고 컴플라이언트한 종이 마운트에 의해 흡수됩니다. 아직 팔의 도움 없이 딱딱한 표면에 글을 쓰거나 다중 스트로크 작업(예: 'i'의 점 찍기)을 수행할 수 없습니다.
• 접촉 불연속 작업(예: 펜 다시 잡기)을 처리할 수 없습니다.
• 현재 쓰기 속도는 인간의 쓰기 속도에 비해 느리며, 정확도는 비전 시스템의 지터(jitter)에 의해 제한됩니다.