💻 computer science

Motion Primitive Discovery in a Humanoid Robot via Self-Organising Maps for Phase Recognition

거울 뉴런 체계(Mirror Neuron System)에서 영감을 얻은 이 논문은 팔과 손의 운동학을 인코딩하기 위한 자기 조직화 지도(Self-Organising Maps)와 운동 프리미티브(motor primitives)의 정확한 온라인 단계 인식을 달로하기 위한 에코 상태 네트워크(Echo State Network)를 활용하는 NICO 휴머노이드 로봇을 위한 2단계 아키텍처를 제안한다.

원저자: Radovan Gregor, Igor Farkaš

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Radovan Gregor, Igor Farkaš

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 단순히 "만약 ~라면, ~한다" 식의 규칙 목록을 암기시키는 것이 아니라, 손을 흔들거나 하이파이브를 하는 것과 같은 인간의 제스처를 이해하도록 가르치는 방법을 상상해 보십시오. 이것은 사회적 인지(social cognition)라고 불리는 분야의 핵심으로, 과학자들이 기계가 어떻게 인간이 무엇을 하고 있는지, 그리고 왜 그 행동을 하는지를 '이해'할 수 있게 만드는 방법을 연구하는 분야입니다. 이를 위해 연구자들은 종 often 인간의 뇌에서 영감을 얻는데, 특히 '거울 뉴런(mirror neurons)'이라 불리는 매혹적인 세포 집단에 주목합니다. 이들은 여러분이 직접 행동을 할 때뿐만 아니라, 다른 사람이 그 행동을 하는 것을 관찰할 때도 활성화되는 특별한 뇌세포입니다. 마치 여러분의 뇌 안에 행동을 이해하기 위해 그 동작을 다시 재생하는 내부 영화관이 있는 것과 같습니다. 로봇 공학의 큰 질문은 이것입니다. 우리가 이와 똑같이 작동하는 컴퓨터 시스템을 구축할 수 있을까? 단순히 영상을 보고 추측하는 대신, 로봇이 자신만의 움직임 '어휘'를 구축하고 이를 사용하여 현재 어떤 단계의 움직임이 일어나고 있는지 즉각적으로 인식할 수 있을까요? 이는 로봇이 인간과 함께 일해야 하는 상황에서 매우 중요한데, 만약 로봇이 당신이 컵을 집으려는 찰나를 예측할 수 있다면, 당신이 요청하기도 전에 길을 비켜주거나 냅킨을 건네줄 수 있기 때문입니다.

라도반 그레고르(Radovan Gregor)와 이고르 파르카시(Igor Farkaš)가 작성한 이 논문은 휴머노이드 로봇인 NICO를 사용하여 바로 그 아이디어를 탐구합니다. 연구팀은 거울 뉴런 개념에서 영감을 얻은 2단계 시스템을 구축하여, 로봇이 실시간으로 자신의 움직임 단계를 인식하도록 가르쳤습니다. 이것은 로봇에게 춤을 가르치는 것과 같다고 생각하면 됩니다. 이 시스템의 첫 번째 단계는 자기 조직화 지도(Self-Organising Maps, SOM)라고 불리는 두 개의 특별한 지도를 사용하며, 이 지도는 움직임 패턴의 도서관 역할을 합니다. 한 지도는 로봇 팔의 움직임을 학습하고, 다른 지도는 손의 모양을 학습합니다. 로봇이 물건 집기, 먹기, 손 흔들기 등 7가지의 서로 다른 동작을 연습함에 따라, 이 지도들은 수천 개의 미세한 움직임들을 스스로 정돈된 그룹으로 분류합니다. 이는 마치 로봇이 움직임의 기본 단위인 '모션 프리미티브(motion primitives)', 즉 움직임의 레고 블록을 스스로 발견하는 것과 같습니다. 연구진은 팔 지도와 손 지도가 서로 다르고 보완적인 것들을 학습한다는 사실을 발견했습니다. 팔 지도는 도달 과정의 경로와 타이밍을 추적하는 데 탁ual하며, 손 지도는 손가락이 정확히 어떤 모양인지(예: 힘껏 쥐기 vs 정교하게 집기)를 인식하는 데 능숙합니다.

이러한 "레고 블록"들이 발견되면, 시스템의 두 번째 단계가 작동합니다. 이 부분은 에코 상태 네트워크(Echo State Network, ESN)라는 유형의 신경망을 사용하는데, 이는 단기 기억 저장소처럼 작동합니다. 이 네트워크는 로봇이 움직이는 동안 사용하는 "블록"들의 순서를 관찰합니다. 연구진이 던진 핵심 질문은 이것이었습니다. 로봇이 현재 무엇을 하고 있는지 인식하기 위해서, 상황에 대한 모든 것(예를 들어 무엇을 잡고 있는지, 얼마나 멀리 있는지, 혹은 최종 목표가 무엇인지)을 반드시 알아야 할까요? 아니면 움직임의 순서만으로도 충분할까요?

이를 확인하기 위해 그들은 로봇이 동작을 수행하는 수천 번의 시뮬레이션을 실행했습니다. 그들은 두 가지 방식으로 시스템을 테스트했습니다. 첫째, 방금 본 팔과 손의 움직임 시퀀스(즉, 모션 프리미티브)만을 사용하여 ESN이 현재의 움직임 단계를 추측하게 했습니다. 그다음, 동작의 이름이나 물체와의 거리와 같은 추가적인 "맥락(context)" 단서들을 제공했습니다. 결과는 매우 명확했습니다. 시스템이 움직임 시퀀스(모션 프리미티브)에만 의존했을 때, 현재 단계를 맞춘 정확도는 약 93.9%였습니다. 여기에 모든 추가 맥락 단서들을 더했을 때, 정확도는 약 94.9%로 아주 약간 상승했을 뿐이었습니다.

이는 움직임 그 자체가 들려주는 "이야기"가 가장 중요하다는 것을 시사합니다. 물체나 목표에 대한 추가 정보는 작은 힌트처럼 도움이 될 수는 있지만, 이해를 이끄는 주된 동력은 아닙니다. 로봇의 내부 움직임 지도가 이미 대부분의 핵심적인 역할을 수행하고 있었던 것입니다. 저자들은 로봇이 자신의 움직임을 이러한 위상적 지도(topographic maps)로 스스로 조직화하게 하고, 시간이 흐름에 따라 그 지도의 흐름을 관찰함으로써, 로봇이 현재 순간에 자신이 무엇을 하고 있는지 정확하게 인식할 수 있다는 결론을 내렸습니다. 비록 이 모든 과정은 NICO 로봇을 이용한 컴퓨터 시뮬레이션에서 테스트되었지만, 이 결과는 자기 조직화된 운동 표현(self-organized motor representations)이 모든 가능한 시나리오에 대한 방대한 데이터베이스 없이도 인간과 유사한 행동을 이해하고 예측할 수 있는 로봇을 구축하는 강력한 방법이라는 아이디어를 뒷받침합니다.

기술 요약: 자기 조직화 지도(Self-Organising Maps)를 통한 인간형 로봇의 운동 프리미티브 발견 및 단계 인식

1. 문제 정의

본 연구가 다루는 핵심 과제는 인간-로봇 상호작용(HRI) 내에서의 동작 인식에 관한 계산적 기초입니다. 구체적으로, 본 논문은 로봇이 오직 감각-운동 스트림만을 사용하여 온라인 단계 인식(online phase recognition)—진행 중인 동작의 현재 움직임 단계를 실시간으로 식고하는 것—을 어떻게 수행할 수 있는지 조사합니다.

저자들은 동작 이해가 두 가지 수준에서 작동한다고 가정합니다: 즉, 기초적인 **운동 프리미티브(motor primitives)**의 레퍼토리와 이들이 구성하는 목표 지향적 시퀀스입니다. 현대의 딥러닝 방식은 종종 전체 시퀀스를 엔드 투 엔드(end-to-end)로 분류하지만, 본 연구는 재사용 가능한 운동 프리미티브의 발견과 시간적 통합(temporal integration)을 분리하는 생물학적 영감을 받은 아키텍처에 집중합니다. 핵심 연구 질문은 다음과 같습니다: 현재 움직임 단계의 구조는 학습된 운동 프리미티브의 시간적 역동성만으로 결정되는가, 아니면 정확한 온라인 인식을 위해 추가적인 맥락 정보(예: 물체 상태, 동작 정체성)가 얼마나 필요한가?

2. 방법론

제안된 시스템은 물리 기반 Unity 시뮬레이션 내의 NICO 휴머노이드 로봇으로부터 데이터를 처리하는, 거울 뉴런 시스템(Mirror Neuron System, MNS)에서 영감을 받은 2단계 아키텍처를 채택합니다.

2.1 데이터 수집 및 전처리

데이터셋: 14개의 다양한 물체를 대상으로 7가지 운동 동작(Pick, Eat, Place, Push, Tap, Point, Wave)을 수행한 4,200회의 시뮬레이션 시행(trials).
특징 선택(Feature Selection): 108개의 기록된 운동학적 변수로부터 피어슨 상관계수(Pearson correlation)와 워드 연결법(Ward's linkage)을 사용하는 계층적 상관 분석을 통해 중복성을 식별하고 제거했습니다. 그 결과 22개의 비중복 특징이 도출되었습니다:
- 13개 팔(Arm) 특징: TCP 속도, 팔 관절 속도, 손바닥 방향.
- 9개 손(Hand) 특징: 개구도(Aperture), 속도, 손가락 위치, 관절 속도.
윈도잉(Windowing): 데이터는 0.5초의 중첩 윈도우(60Hz에서 30 프레임)로 분할되었으며, 50%의 스트라이드(stride)를 적용했습니다. 특징들은 z-score를 통해 정규화되었습니다.

2.2 1단계: 운동 프리미티브 발견 (SOMs)

두 개의 자기 조직화 지도(Self-Organising Maps, SOMs)가 운동학적 데이터의 토포그래피적 표현을 학습하여, 운동 프리미티브의 이산적 어휘 역할을 수행하도록 훈련되었습니다:

A-SOM (Arm SOM): 팔의 운동학에 대해 훈련된 $35 \times 35$ 그리드.
H-SOM (Hand SOM): 손의 운동학에 대해 훈련된 $18 \times 18$ 그리드.
출력: 각 타임스텝마다 시스템은 두 지도 상의 **최적 일치 단위(Best Matching Unit, BMU)**를 식별합니다. 이 BMU들은 팔과 손의 현재 "프리미티브" 상태를 나타냅니다.

2.3 2단계: 온라인 단계 인식 (ESN)

**에코 상태 네트워크(Echo State Network, ESN)**가 시간적 통합기 역할을 합니다.

입력: SOM으로부터 얻은 BMU 가중치 벡터( $b_A(t)$ 및 $b_H(t)$ )의 시퀀스.
리저버(Reservoir): 스펙트럼 반경(spectral radius)이 0.99이고 리킹 레이트(leaking rate)가 0.50인 고정된 무작위 연결 순환 신경망 ( $N=300$ 뉴런).
리드아웃(Readout): 리저버 상태를 27개의 가능한 움직임 단계 레이블 중 하나로 매핑하기 위해 릿지 회귀(ridge regression)를 통해 훈련된 선형 리드아웃 층.
맥락적 변이(Contextual Variations): 맥락의 필요성을 테스트하기 위해 네 가지 입력 구성을 평가했습니다:
1. ctx-no: 프리미티브 기술자(descriptors)만 사용 (22D).
2. ctx-act: 프리미티브 + 동작 정체성 원-핫 인코딩 (29D).
3. ctx-dst: 프리미티브 + 동작 + 정규화된 손바닥-물체 거리 (30D).
4. ctx-all: 프리미티브 + 동작 + 거리 + 물체 접촉 플래그 (31D).

3. 주요 결과

3.1 SOM 토포그래피 및 순도(Purity)

A-SOM: 90.0%의 뉴런 활용도와 73.9%의 단계 순도를 달acia했습니다. 지도는 명시적인 시간적 감독 없이도 시간적으로 유사한 움직임(예: 왼쪽의 "reach" 단계, 오른쪽의 "terminal" 단계)을 그룹화하며 명확한 토포그래피적 조직을 보여주었습니다.
H-SOM: (이산적인 손 시너지로 인해) 51.5%의 활용도를 보였으나 97.2%의 파지(grasp) 순도를 달성했습니다. 이는 서로 다른 파지 유형(Power vs. Precision)과 동작 특유의 손 구성(예: Point, Wave)을 성공적으로 분리했습니다.
상보성(Complementarity): 두 지도는 상보적인 측면을 인코딩했습니다. A-SOM은 운송 역동성을 포착했고, H-SOM은 구성 상태를 포착했습니다.

3.2 단계 인식 정확도

ESN은 840회의 홀드아웃(held-out) 시행 세트에 대해 테스트되었습니다.

베이스라인 성능 (ctx-no): (맥락 정보 없이) 오직 SOM 활성화의 시간적 궤적만을 사용했을 때, 시스템은 **93.9%**의 단계 인식 정확도를 달성했습니다.
맥락의 영향:
- 동작 정체성을 추가했을 때(ctx-act) 정확도가 +0.7 pp 향상되었습니다 (94.6%).
- 거리를 추가했을 때(ctx-dst) 94.6%를 유지했습니다.
- 전체 맥락을 추가했을 때(ctx-all) 최종 정확도는 **94.9%**였습니다.
맥락에 대한 결론: 맥락 정보를 추가함으로써 얻은 미미한 이득(+1.0 pp)은 프리미티브 기술자의 시간적 통합이 지배적인 단계 판별 구조를 보존한다는 것을 나타냅니다. 맥락은 주요 신호라기보다 이차적인 정교화 도구 역할을 합니다.

3.3 하이퍼파라미터 민감도

정확도는 리저버 용량( $N$ )에 크게 의존하는 것으로 나타났습니다. $N$ 을 30에서 1,000으로 늘리면 정확도가 단조 증가했습니다 (~73%에서 97.3%까지). 맥락 정보의 이점은 리저버 용량이 커질수록 감소했는데, 이는 더 큰 리저버가 메모리를 통해 누락된 맥락을 보완할 수 있는 반면, 작은 리저버는 외부 단서에 더 많이 의존함을 시사합니다.

3.4 단일 시행 분석(Single-Trial Analysis)

대표적인 "Eat" 시행에서, 맥락이 없는 모델(ctx-no)은 98.4%의 정확도를 기록했으며, 리저버가 모호성을 해결하기 위해 추가 단계가 필요했던 단계 전환 시점에서 단 한 번 실패했습니다. 맥락이 풍부한 모델(ctx-all)은 동작 정체성과 거리를 사용하여 한 단계 더 일찍 전환을 해결함으로써 100%를 달성했습니다. 이 분석은 어떤 SOM도 모든 단계에서 모호함이 없는 정보를 제공하지 못했음을 확인시켜 주었으며, ESN이 상보적인 스트림을 성공적으로 통합하여 국소적 모호성을 해결했음을 보여주었습니다.

4. 기여 및 의의

본 논문의 주요 기여는 운동 프리미티브 표현 및 온라인 단계 인식을 위해 MNS에서 영감을 받은 아키텍처 내에서 확립된 SOM 및 ESN 방법을 통합한 것입니다.

자기 조직화 표현의 검증: 결과는 자기 조직화된 운동 표현이 시간적으로 통합될 때, 진행 중인 움직임 단계의 정확한 온라인 인식을 지원하기에 충분하다는 계산적 가설을 뒷받침합니다.
프리미티브 궤적의 효율성: 본 연구는 SOM 활성화의 시간적 궤적이 단계 판별에 필요한 정보의 대부분을 운반하며, 명시적인 세계 상태 맥락은 대체로 부차적이라는 것을 입증합니다.
이중 지도 아키텍처: 본 연구는 팔과 손의 운동학을 별도의 토포그래피 지도로 분리하는 설계 선택을 검증하며, 이는 두 신호가 서로 다른 신경 경로에서 기원하고 상보적인 판별 구조를 제공한다는 생물학적 실체를 반영합니다.

저자들은 모델이 현재 로봇 자신의 동작(자기 관찰)에 대해 훈련되고 평가되었다는 점을 언급하며 범위를 겸손하게 제한했습니다. 그들은 이 모델을 교차 체현 관찰(인간을 관찰하는 것)로 확장하려면 뷰포인트(viewpoint)와 스케일 차이를 처리하기 위한 추가 메커니즘이 필요할 것이라고 명시하며, 이는 향후 연구 과제로 남겨두었습니다. 현재의 결과는 내부 상태 인식 및 예측을 위한 접근 방식의 타당성을 확립합니다.