기술 요약: 고유 로봇 촉각 감지를 통한 물리적 인간 - 로봇 상호작용 향상

문제 제기

물리적 인간 - 로봇 상호작용 (pHRI) 은 인간과 로봇 간의 자연스럽고 안전한 협업을 촉진하는 것을 목표로 합니다. 그러나 현재 접근 방식은 종종 터치 감지 및 분류를 위해 외부 촉각 센서 (예: 전자 피부 또는 플랜지에 장착된 힘/토크 센서) 에 의존합니다. 이러한 외부 추가 장치는 시스템 복잡성, 비용 및 기계적 부피를 증가시키는 반면, 종종 원활한 통합에 필요한 내구성과 유연성이 부족합니다. 또한, 기존 협업 로봇은 이미 고유한 감지 능력, 구체적으로 관절 토크 센서를 보유하고 있으나, 단순 접촉 감지나 충돌 회피 이상의 작업에는 일반적으로 충분히 활용되지 않습니다. 본 연구는 특수한 외부 하드웨어 없이 사용자가 그리는 손글씨 숫자를 인식하는 것과 같은 풍부하고 직관적인 상호작용을 가능하게 하기 위해 이러한 고유 센서들이 충분한지 여부를 다루고 있습니다.

방법론

시스템 아키텍처 및 데이터 수집

제안된 시스템은 각 관절의 링크 측에 토크 센서가 장착된 7 자유도 협업 로봇 (KUKA LBR iiwa 14 R820) 을 활용합니다. 사용자는 로봇의 플랜지에 장착된 공구되지 않은 터치패드 (plexiglass 정사각형) 에 손가락을 미끄러뜨려 숫자 (0~9) 를 그려 상호작용합니다.

• 센서: 시스템은 고유 관절 토크 신호 ($\tau_{ext}$) 를 포착하고 자코비안 (Jacobian) 을 통해 엔드 이펙터 힘 ($F_{ext}$) 과 모멘트 ($M_{ext}$) 를 계산합니다.
• 전처리: 다양한 로봇 자세와 터치 압력으로 인한 신호 오프셋을 해결하기 위해 슬라이딩 윈도우 기법을 사용하여 실시간 기준선 보정을 수행합니다.
• 분할: 관절 2 의 토크 또는 z 축 힘에 대한 임계값 기반 접근 방식을 사용하여 터치 이벤트를 분리합니다. 분할된 신호는 그리기 속도와 통신 지연의 변동에도 불구하고 일관성을 보장하기 위해 고정된 길이인 100 샘플로 재샘플링됩니다.

데이터 증강 전략

사용자 행동의 변화 (반대 방향 쓰기 및 회전된 방향) 에 대한 강건성을 향상시키기 위해 데이터 증강 기법이 개발되었습니다.

• 반전된 숫자: 시간 반전 연산자 ($T$) 를 사용하여 기하학적 경로를 반전시키고, 특정 힘 및 모멘트 성분의 부호를 반전시켜 손가락 압력 분포와 방향의 변화를 반영합니다.
• 회전된 숫자: 터치패드 위의 숫자 회전 각도에 해당하는 회전 행렬 $R_z(\theta)$ 를 사용하여 힘과 모멘트를 변환합니다.

분류 모델

Bidirectional Long Short-Term Memory (Bi-LSTM) 네트워크가 시계열 데이터를 분류하는 데 사용됩니다. 양방향 아키텍처는 네트워크가 선행 및 후속 움직임 모두에서 시간적 의존성을 포착할 수 있게 하여, 터치 전체 궤적에 기반한 숫자 모양 인식을 위해 필수적입니다.

실험 설계

실험은 다음을 평가하기 위해 수행되었습니다:

1. 기준 성능: 단일 사용자 대 다중 사용자 학습 데이터셋 비교.
2. 일반화 능력: 학습 단계에 참여하지 않은 사용자를 대상으로 모델 테스트.
3. 자세 강건성: 10 개의 무작위로 선택된 로봇 자세에 따른 성능 평가.
4. 증강 효과성: 반전 및 회전된 숫자 분류에 대한 시스템 능력 평가.
5. 실제 적용: 사용자가 해당 숫자를 그려 항목을 선택하는 과일 배달 작업 구현.

주요 결과

분류 정확도

• 표준 숫자: Bi-LSTM 네트워크는 학습에 관여하지 않은 사용자를 대상으로 테스트했을 때, 로봇이 다양한 자세에 있더라도 오프라인 정확도가 100% 에 근접하고 온라인 정확도는 94.1% (다중 사용자 학습) 를 달성했습니다.
• 일반화 능력: 단일 사용자 학습 모델은 미학습 사용자에게서 다중 사용자 모델 (94.1%) 에 비해 현저히 낮은 정확도 (45.2%) 를 보여, 다양한 학습 데이터의 필요성을 강조했습니다.
• 증강 입력:
  • 반전된 숫자: 92% 정확도를 달성했습니다. 주요 오류 원인은 '8'을 '3'으로 잘못 분류하는 것이었습니다.
  • 회전된 숫자: 회전 각도 (+90° 또는 -90°) 에 따라 약 80~86% 의 정확도를 달성했습니다. 일반적인 오류는 숫자 '5', '1', '7'에서 발생했습니다.
  • 시스템은 표준 숫자만 학습된 모델조차도 약간 회전된 입력 (<45°) 을 인식할 수 있음을 입증했으나, 회전 각도가 커질수록 성능은 저하되었습니다.

혼동 분석

혼동 행렬은 대부분의 분류 오류가 시각적 또는 구조적으로 유사한 숫자 사이, 구체적으로 '0' 대 '6', '1' 대 '7', 그리고 '2' 대 '3' 사이에서 발생했음을 나타냈습니다.

실제 세계 시연

이 방법론은 과일 배달 시나리오에서 검증되었습니다. 시스템은 작업 실행 및 안전 관리를 위해 계층적 유한 상태 기계 (HFSM) 를 활용했습니다. 로봇은 음성 피드백 (예: "오렌지를 원하시는군요") 을 제공하고 작업을 실행하기 전에 터치 확인을 요구했습니다. 안전 프로토콜에는 작업 실행 중 접촉 감지 시 운동 정지 및 더블 탭 제스처를 통한 재개 조치가 포함되었습니다.

중요성 및 기여

이 논문은 pHRI 분야에 다음과 같은 기여를 주장합니다:

1. 고유 감지의 타당성: 상업용 협업 로봇의 고유 관절 토크 감지가 고정밀 숫자 분류에 충분하며 외부 촉각 센서의 필요성을 제거함을 입증했습니다.
2. 공개 데이터셋 (pHRI-DIGI-TACT): 7 자유도 관절 토크 및 EEF 힘/모멘트를 포함하여 여러 참가자로부터 수집된 10 개 클래스의 촉각 손글씨 숫자가 포함된 데이터셋을 공개했습니다.
3. 변화에 대한 강건성: 추가 데이터 수집 없이 반전 및 회전된 숫자 인식을 가능하게 하는 데이터 증강 방법 개발로 시스템 유연성을 높였습니다.
4. 실용적 적용: 자연스러운 물리적 상호작용과 음성 피드백을 통해 경험이 부족한 사용자를 지원할 수 있는 가능성을 보여주는 일상 작업 (과일 배달) 에 대한 직관적 인터페이스의 성공적인 시연.

저자들은 이 접근 방식이 시스템 복잡성과 비용을 줄이면서 높은 상호작용 품질을 유지하는 전통적인 pHRI 방법에 대한 유망한 대안을 제공한다고 결론지었습니다. 향후 작업은 시스템이 다중 숫자 및 일시 정지 또는 다른 기하학적 경로로 그려진 숫자를 인식하도록 확장하는 데 초점을 맞출 것으로 파악됩니다.