Why Personalization Matters: Cross-Subject Challenges in EMG-IMU-based HRI Activity Recognition

인간과 로봇이 나란히 서서 도구를 주고받고 부품을 함께 조립하는 공장 바닥을 상상해 보십시오. 이러한 파트너십이 자연스럽고 안전하게 느껴지려면, 로봇은 인간이 행동을 하기 전부터 그 의도를 이해해야 합니다. 로봇은 음성 명령이나 버튼 입력을 기다릴 수 없습니다. 인간의 미세한 신호를 읽어내야만 합니다. 카메라와 마이크가 도움이 될 수는 있지만, 작업장의 무질서하고 소란스러우며 붐비는 현실에서는 종종 실패하곤 합니다. 더 나은 해결책은 신체 자체의 소리에 귀를 기울이는 데 있습니다. 작업자의 팔에 센서를 부착함으로써, 시스템은 근육이 수축할 때 발생하는 미세한 전기적 불꽃과 팔의 움직임을 감지하여, 이러한 생물학적 신호를 인간이 로봇에게 무엇을 원하는지에 대한 명확한 이해로 번역할 수 있습니다.

브라질의 한 연구팀은 이 아이디어가 복잡한 실제 환경에서 얼마나 잘 작동하는지 테스트하기 위해 나섰습니다. 그들은 로봇에게 방대한 양의 인간 움직임을 인식하도록 가르치기 위해 설계된 'MAGIC-HRI'라는 새로운 데이터 컬렉션을 만들었습니다. 단순히 몇 가지 단순한 동작에 집중하는 대신, 그들은 11명의 자원봉사자에게 53가지의 다양한 과업을 수행하도록 요청했습니다. 이 과업들은 특정한 손 제스처를 만들거나 브라질 수어를 사용하는 것부터, 물리적으로 도구를 건네주거나, 볼트를 조이고, 물체를 잡는 것에 이르기까지 다양했습니다. 자원봉사자들은 근육 활동과 움직임을 측정하는 센서가 장착된 특수 암밴드를 착용했습니다. 연구진은 이 데이터를 컴퓨터 프로그램에 입력하여, 기계가 '집어 올리는' 동작과 '건네주는' 동작, 또는 '정지' 명령과 '계속' 명령 사이의 차이를 구별하는 법을 배울 수 있는지 확인했습니다.

결과는 이 기술을 모든 사람을 위해 작동하게 만드는 데 있어 상당한 장애물이 있음을 보여주었습니다. 컴퓨터 프로그램이 모든 자원봉사자의 데이터로 학습된 후, 그들 자신의 움직임이 섞인 데이터로 테스트되었을 때는 대부분의 경우 동작을 정확히 식별하며 꽤 잘 작동했습니다. 하지만 연구진이 이전에 본 적 없는 사람을 대상으로 시스템을 테스트했을 때는 상황이 급격히 변했습니다. 모델이 특정 개인에 대한 사전 학습 없이 새로운 사용자의 의도를 추측해야 하는 시나리오에서, 성능은 급격히 떨어졌습니다. 시스템은 일반화에 어려움을 겪었는데, 이는 한 사람에게서 배운 것을 다른 사람에게 쉽게 전이할 수 없음을 의미합니다. 이는 모든 인간의 신체가 고유한 방식으로 움직이고 근육을 발화시키며, 표준적인 학습 방법으로는 쉽게 넘을 수 없는 장벽을 만든다는 점을 시사합니다.

이 문제를 해결하기 위해 연구진은 '개인화(personalization)'라고 알려진 전략을 테스트했습니다. 그들은 새로운 사용자가 로봇 앞으로 다가오고, 시스템이 작업을 시작하기 전 그 사람의 특정 움직임 몇 가지만을 학습할 수 있는 상황을 시뮬레이션했습니다. 그 결과, 아주 적은 양의 새로운 데이터만으로도 엄청난 차이가 발생한다는 것을 발견했습니다. 시스템이 새로운 사람으로부터 단 7개의 샘플만을 학습했을 때, 그 사람의 동작을 인식하는 능력은 65% 이상으로 뛰어올랐습니다. 이 발견은 로봇이 낯선 사람을 즉각적으로 이해할 수는 없지만, 그 사람의 고유한 스타일을 배울 수 있는 짧은 시간을 준다면 빠르게 적응할 수 있음을 나타냅니다. 연구는 웨어러블 센서가 산업 현장에서 진정으로 신뢰할 수 있으려면, 시스템에 각 새로운 작업자의 고유한 특징을 학습하는 짧은 보정(calibration) 단계가 포함되어야 한다고 결론짓습니다. 이 단계가 없다면, 이 기술는 예측 불가능한 인간-로봇 협업의 본질 앞에서 너무 취약한 상태로 남게 됩니다.