Joint Action is a Framework for Understanding Partnerships Between Humans and Upper Limb Prostheses

"인간과 상지 의수 간의 파트너십 이해를 위한 프레임워크로서의 공동 행동"에 대한 상세한 기술 요약입니다.

1. 문제 제기

최근 상지 의수 기술의 발전으로 로봇 팔에서 사용 가능한 자유도 (DoF) 가 크게 증가했습니다. 그러나 사용자의 잔여 지체에서 제공되는 제한된 수의 제어 입력을 통해 이러한 복잡한 시스템을 제어하는 것은 여전히 주요한 과제입니다.

• 현재 모델의 한계: 기존의 인간 - 기계 인터페이스 (HMI) 모델은 의수를 인간이 제어하는 고정된 도구로 간주합니다. 머신러닝 (ML) 컨트롤러가 더욱 자율적이고 적응적이 되어감에 따라, 이러한 '도구 사용' 패러다임은 상호작용의 복잡하고 상호 적응적인 특성을 포착하지 못합니다.
• 격차: 고급 컨트롤러 (패턴 인식, 지속적 학습) 가 단순한 도구가 아닌 협력적 파트너로서 사용자와 어떻게 상호작용하는지를 이해할 수 있는 이론적 프레임워크가 부족합니다.

2. 방법론

저자들은 인간 - 의수 상호작용 (HPI) 에 '공동 행동 (Joint Action)' 프레임워크를 적용할 것을 제안합니다. 이는 일반적으로 두 인간이 공유된 목표를 달성하기 위해 조정하는 것을 설명하는 데 사용되는 사회과학 및 인지심리학의 개념입니다.

이론적 프레임워크:
Vesper 등 (2010) 의 아키텍처에 기반하여, 저자들은 시스템을 공동 행동 파트너십으로 간주하기 위해 필요한 네 가지 '징후 (hallmarks)'를 정의합니다:

1. 표상 (Representations): 파트너는 자신의 작업, 공유된 목표, 그리고 잠재적으로 파트너의 작업을 내부적으로 표상해야 합니다.
2. 모니터링: 파트너는 자신의 행동, 파트너의 행동, 그리고 목표 달성 진행 상황을 모니터링해야 합니다.
3. 예측: 파트너는 자신의 행동, 파트너의 행동, 또는 행동의 결과를 예측해야 합니다.
4. 조정 완화제 (Coordination Smoothers): 행동을 더 예측 가능하게 만들거나, 조정 신호를 보내거나, 예측을 지속적으로 적응시키는 것과 같이 조정 (위 항목들 이상) 을 개선하는 메커니즘입니다.

비교 분석:
저자들은 이러한 징후들을 기준으로 세 가지 서로 다른 유형의 근전도 (myoelectric) 컨트롤러를 평가했습니다:

1. 비례성 근전도 (EMG) 와 순차적 전환: 근전도 신호의 세기를 속도에 매핑하고, 공수축 (co-contraction) 으로 관절 간 전환을 수행하는 기존의 비 ML 방식입니다.
2. 패턴 인식 (배치/오프라인 ML): 근전도 특징을 기반으로 운동 의도를 예측하는 분류기로, 에피소드적 (배치) 세션을 통해 훈련됩니다.
3. 적응적 전환 (지속적/온라인 ML): 실시간 피드백과 사용 패턴을 기반으로 전환 목록을 동적으로 재배열하기 위해 일반 가치 함수 (GVF) 를 사용하는 강화 학습 접근법입니다.

3. 주요 기여

• 개념적 전환: 이 논문은 인간 - 의수 관계를 '인간이 도구를 제어하는 것'에서 '두 에이전트 (인간과 기계) 가 공유된 작업에 협력하는 것'으로 재정의합니다.
• 체계적 평가: 공동 행동 프레임워크의 특정 기준을 사용하여 기존 근전도 컨트롤러를 분석한 최초의 구조화된 분석을 제공합니다.
• 결함 식별: 분석 결과, 인간 파트너는 모든 공동 행동 징후를 보이지만, 현재 기계 컨트롤러 (심지어 고급 ML 기반 컨트롤러조차) 는 공유된 목표의 표상과 지속적인 예측 적응과 관련하여 중요한 구성 요소가 부족함이 드러났습니다.
• 개선을 위한 로드맵: 이 논문은 현재 컨트롤러를 진정한 공동 행동 파트너로 전환하기 위한 구체적인 기술적 경로를 제시합니다.

4. 결과 및 분석

저자들은 공동 행동 징후의 존재 (✓), 잠재적 존재 (?), 또는 부재 (✗) 를 기준으로 컨트롤러를 분류했습니다 (논문의 표 1 에 요약됨):

• 비례성 근전도 (Proportional EMG):
  • 판단: 공동 행동을 구성하지 않음.
  • 근거: 작업/목표에 대한 내부 표상이 부족하며 파트너의 행동을 예측할 수 없습니다. 이는 직접 매핑 도구로만 기능합니다.
• 패턴 인식 (Pattern Recognition):
  • 판단: 부분적 공동 행동.
  • 강점: 인간의 운동 의도를 예측하며, 훈련 중 조정 신호 (재훈련 버튼) 를 사용합니다.
  • 약점: 지속적인 적응이 부족합니다 (훈련은 배치/에피소드 방식임); 복잡한 공유된 목표 (예: '물건 집기' 대 단순히 '위치 X 로 이동하기') 에 대한 표상이 부재할 가능성이 높습니다.
• 적응적 전환 (Adaptive Switching):
  • 판단: 공동 행동에 대한 가장 강력한 후보이지만 여전히 불완전함.
  • 강점: 실시간으로 예측을 지속적으로 적응시킵니다; 공동 피드백을 모니터링하여 사용자 의도를 추론합니다; 전환 중 목록을 고정하는 조정 신호를 사용합니다.
  • 약점: 여전히 고수준의 공유된 목표 (예: 복잡한 환경 조작) 에 대한 견고한 표상이 부족하며, 파트너십을 용이하게 하는 방식으로 자신의 행동을 명시적으로 예측하지는 않습니다.

주요 발견: 현재 어떤 컨트롤러도 공동 행동의 정의를 완전히 충족하지 못합니다. '기계 파트너'는 일반적으로 공유된 목표나 인간 파트너의 작업을 표상하지 못하여 협력의 깊이를 제한합니다.

5. 중요성 및 권장 사항

이 논문은 차세대 신경 의수를 위해 공동 행동 프레임워크를 채택하는 것이 필수적이라고 주장합니다. 저자들은 개선을 위한 두 가지 주요 경로를 제안합니다:

1. 표상 및 피드백 강화:

   • 인간과 기계 모두의 내부 모델을 개선합니다.
   • 제어 상태 및 작업 진행 상황에 대해 기계에서 인간으로 향하는 풍부한 피드백 루프 (청각, 시각, 촉각) 를 구현합니다. 이는 인간이 기기에 대한 더 강력한 내부 모델을 구축하는 데 도움이 됩니다.
   • 기계가 단순한 원시 신호가 아닌 인간의 작업 맥락을 이해할 수 있는 메커니즘을 개발합니다.

2. 예측 및 조정 강화:

   • 자율적 전환: 반응형 전환을 넘어 사전 예측 (예: 사용자가 무엇을 원하는지뿐만 아니라 언제 모드를 전환하고 싶어 하는지 예측) 으로 이동합니다.
   • 맥락 인식: 분류기에 환경과 사용자 상태에 대한 맥락을 제공하여 예측 정확도를 높이기 위해 근전도 (EMG) 이상의 추가 센서를 통합합니다.
   • 지속적 적응: 학습이 임상 환경이 아닌 일상 사용 중에도 지속적으로 이루어지도록 보장합니다.

결론:
의수를 도구가 아닌 협력적 에이전트로 간주함으로써 연구자들은 상호 적응을 더 잘 촉진하는 시스템을 설계할 수 있습니다. 이 접근법은 사용자의 좌절감을 줄이고, 인지 부하를 낮추며, 일상생활에서 고급 로봇 팔의 기능적 통합을 개선할 것으로 약속됩니다. 이 논문은 향후 보조 기술에 공동 행동 원칙을 어떻게 공학적으로 구현할 수 있는지에 대한 추가 연구를 촉구하고 있습니다.