HannesImitation: Grasping with the Hannes Prosthetic Hand via Imitation Learning

기술 요약: HannesImitation: 모방 학습을 통한 Hannes 의수(Prosthetic Hand)의 파지 제어

문제 정의
현재 상용화된 상지 의수는 일반적으로 근전도(EMG) 또는 근육 진동(MMG) 신호를 사용하여 사용자의 의도를 해독합니다. 이러한 방식은 기본적인 제어에는 효과적이지만, 사용자가 대개 한 번에 하나의 관절만을 제어할 수 있다는 점에서 정교한 움직임을 제한합니다. 의수가 다자유도(DoF)를 포함하도록 발전함에 따라, 이러한 관절들을 수동으로 조정하는 데 필요한 인지적 부하가 증가하여 사용자의 만족도 저하와 기기 포기로 이어지고 있습니다. 또한, 의수 제어를 위한 기존의 학습 기반 접근 방식은 레이블이 지정된 데이터(예: 세그멘테이션 마스크 또는 특정 파지 포즈)에 의존하는데, 이는 인간-의수 간 물건 주고받기(human-to-prosthesis handovers)와 같이 복잡하고 비정형적인 시나리오에서는 획득하기 어렵고 비실용적입니다. 따라서 인지적 부담을 줄이고, 비정형 환경에서 작동하며, 수동 주석 작업 대신 자연스러운 시연으로부터 학습할 수 있는 제어 패러다임이 필요합니다.

방법론
본 논문은 눈-인-핸드(eye-in-hand) 카메라와 세 가지 제어 가능한 자유도(손목 굴곡/신전(F/E), 손목 회전(P/S), 손 쥐기/펴기(O/C))를 갖춘 Hannes 의수를 제어하기 위해 모방 학습(IL)을 활용하는 제어 프레임워크인 HannesImitation을 소개합니다.

• 데이터셋 구축 (HannesImitationDataset): 저자들은 테이블 파지(Table Grasp), 선반 파지(Shelf Grasp), 인간-Hannes 간 물건 주고받기(Human-to-Hannes Handover)의 세 가지 시나리오에 걸쳐 450개의 파지 시연을 포함하는 새로운 데이터셋을 구성했습니다. 데이터셋에는 YCB 데이터셋에서 추출한 15종의 다양한 물체가 포함됩니다. 데이터 수집은 사용자가 자연스러운 파지 시퀀스를 모사하기 위해 키보드 인터페이스를 통해 의수를 제어하는 방식으로 진행되었습니다. 각 시연에는 고유 수용성 데이터(손과 손목 위치에 대한 엔코더 판독값)와 시각적 관찰 데이터(손바닥 장착 카메라의 RGB 이미지)가 기록됩니다.
• 제어 정책 (HalesImitationPolicy): 시스템의 핵심은 의수 제어에 적합하게 조정된 **확산 정책(Diffusion Policy, DP)**입니다. 전통적인 회귀 모델과 달리, DP는 시각-운동 정책을 디노이징 확산 확률 모델(DDPM)로 표현합니다.
  • 아키텍처: 정책은 고유 수용성 엔코더 측정값과 ResNet-18에 의해 추출된 시각적 특징의 결합을 입력으로 받습니다. 이 모델은 손 O/C, 손목 F/E, 손목 P/S를 포함하는 일련의 동작(8단계 앞을 예측)을 예측합니다.
  • 학습: 모델은 가우시안 노이즈에 의해 오염된 동작 시퀀스를 디노이징하도록 학습되며, 예측된 노이즈와 실제 추가된 노이즈 사이의 평균 제곱 오차(MSE) 손실을 최적화합니다.
  • 추론: 고주파 반응형 제어(약 35Hz)를 보장하기 위해, 추론 과정에서는 감소된 확산 단계(k=10)를 사용하며, 재계획(replanning) 전 짧은 동작 시퀀스(4단계)를 실행합니다.

주요 기여

1. HannesImitationPolicy: 시각 및 고유 수용성 입력을 통해 Hannes 의수가 손목 방향과 손 쥐기를 동시에 제어할 수 있게 하는 새로운 DP 기반 접근 방식입니다. 이를 통해 파지 포즈에 대한 수동 주석 없이도 비정형 환경에서 자율적인 파지가 가능합니다.
2. HannesImitationDataset: 의수 모방 학습을 위해 특별히 설계된 최초의 데이터셋입니다. 다양한 파지 및 핸드오버 시나리오를 포착하여 의수 제어에 관한 향후 연구를 촉진합니다.
3. 공유 자율성(Shared Autonomy)의 입증: 본 연구는 사용자의 의도와 자율적 실행 사이의 간극을 메워, 전통적인 EMG 제어로는 달성하기 어려운 복잡한 협응(예: 손잡이에 맞추기 위해 손목을 회전하면서 동시에 손가락을 쥐는 동작)을 시스템이 처리할 수 있도록 합니다.

실험 결과
정책은 15종의 YCB 물체를 대상으로 한 450회의 시행 동안 물리적인 Hannes 의수에서 평가되었습니다.

• 성공률: 시스템은 **79.3%**의 전체 성공률을 달 기록했습니다. 구체적으로 테이블 파지에서 80.6%, 선반 파지에서 68%, 인간-Hannes 간 물건 주고받기에서 89.3%의 성공률을 보였습니다.
• 일반화 능력: 미세 조정 없이 학습되지 않은 5종의 YCB 물체에 대해 테스트했을 때, 정책은 **76%**의 전체 성공률을 유지하며 강력한 일반화 능력을 보여주었습니다.
• 비교: HannesImitationPolicy는 세그멘테이션 기반의 최첨단 시각 서보잉(visual servoing) 손목 컨트롤러와 비교되었습니다. 시각 서보 컨트롤러는 훈련된 구조화된 테이블탑 작업에서는 잘 작동했으나, 인간-Hannes 간 물건 주고받기 시나리오에서는 물체를 사람과 구분하는 데 어려움을 겪어 크게 실패했습니다(HannesImitation의 89.3% 대비 16% 성공). HellesImitation은 모든 시나리오에서 시각 서보 컨트롤러보다 평균 13.8% 높은 성능을 보였습니다.
• 오프라인 검증: 검증 세트 분석 결과, 동작 오차는 낮은 값 주변에 집중되어 있었으며, 이는 손목 P/S 관절에 대한 위치 엔코더가 없음에도 불구하고 정책이 다양한 조건에 맞춰 손목과 손의 움직임을 적응시키는 법을 학습했음을 나타냅니다.

의의 및 주장
본 논문은 HannesImitation이 제어의 부담을 사용자로부터 시연을 통해 학습된 자율 시스템으로 전환함으로써 의수의 숙련도를 회복시킬 수 있는 잠재력을 보여준다고 주장합니다. 확산 모델의 생성 능력을 활용함으로써, 이 접근 방식은 수동 데이터 레이블링이 불가능한 다양하고 비정형적인 시나리오에서도 견고한 파지를 가능하게 합니다. 저자들은 이것이 의수 제어를 위한 IL 연구를 지원하는 최초의 데이터셋임을 강조합니다. 본 연구는 모방 학습이 반자율 제어의 새로운 가능성을 열어줄 수 있으며, 이를 통해 인지적 부하를 줄이고 의수가 제약 없는 실제 환경에서 효과적으로 작동할 수 있음을 시사합니다. 향-후 과제로 더 복잡한 동작으로의 확장, 더 넓은 범위의 베이스라인과의 비교, 그리고 실제 사용성을 평가하기 위한 사용자 연구가 제안되었습니다.