💻 computer science

Imitation of Arm Gestures by the Semi-Humanoid Robot NICO

본 논문은 단안 RGB 입력, MediaPipe 기반의 3D 포즈 추정, 그리고 관절 각도를 계산하고 매핑하기 위한 해석 기하학을 사용하여 세미 휴머노이드 로봇 NICO가 인간의 팔 제스처를 모방할 수 있게 하는 시스템을 제시하며, 복잡한 포즈와 손목 움직임에서의 한계를 인정하면서도 단순한 제스처에 대한 성공적인 성능을 입증한다.

원저자: Anastasiya Ihnatovich, Igor Farkaš

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anastasiya Ihnatovich, Igor Farkaš

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 단순히 경직된 명령 목록을 따르는 것이 아니라, 마치 유아가 부모를 모방하듯 우리를 관찰하며 실제로 '학습'할 수 있는 세상을 상상해 보십시오. 이것이 바로 기계를 단순한 도구가 아닌 동료처럼 느껴지게 만드는 데 전념하는 과학 분야인 **인간-로봇 상호작용(HRI)**의 핵심입니다. 로봇이 인간의 움직임을 진정으로 복제하기 위해서는 두 가지 초능력이 필요합니다. 바로 인지(2D 사진에서 인간의 신체를 '보고' 이해하는 능력)와 운동학(그 인간의 자세에 맞춰 자신의 금속 관절을 어떻게 구부릴지 계산하는 수학)입니다. 일부 과학자들은 로봇에게 수백만 개의 영상을 먹여 복잡한 컴퓨터 두뇌가 스스로 알아내기를 기대하는 방식을 시도하는 반면, 다른 이들은 각도와 거리를 측정하는 간단한 수학을 사용하는 더 직접적이고 기하학적인 접근 방식을 선호합니다. 이것이 왜 중요할까요? 로봇이 우리의 제스처를 자연스럽게 복제할 수 있다면, 값비싸고 부피가 큰 센서나 수년간의 훈련 없이도 사회적 환경에서 우리와 상호작용하거나, 업무를 돕거나, 심지어 우리를 가르칠 수도 있기 때문입니다.

이 연구에서 연구원 아나스타시야 이흐나토비치(Anastasiya Ihnatovich)와 이고르 파르카슈(Igor Farkaš)는 NICO라는 이름의 세미 휴머노이드 로봇에게 일반 카메라와 몇 가지 영리한 기하학만을 사용하여 인간의 팔 제스처를 복제하도록 가르쳤습니다. NICO를 사람들과 어울리도록 설계된 머리와 두 팔을 가진 어린이 크기의 로봇이라고 생각하십시오. 연구팀은 화려한 3D 깊이 카메라나 모션 캡처 슈트를 사용하지 않았습니다. 대신, 그들은 디지털 골격 추적기 역할을 하는 MediaPipe라는 무료 소프트웨어 도구에 의존했습니다. MediaPipe에 일반 사진을 보여주면, 이 도구는 즉시 인간 신체의 33개 주요 지점(어깨, 팔꿈치, 손목 등)을 찾아내고 그것들이 3D 공간에서 어디에 있는지 추정합니다.

연구진의 방법은 번역기처럼 작동합니다. 먼저, MediaPipe가 인간을 '보고' 팔 관절의 좌표를 포착합니다. 그다음, 연구팀은 점 사이의 거리를 기반으로 각도를 계산하는 레시피와 같은 일련의 기하학적 공식들을 사용하여 인간의 팔꿈치가 정확히 얼마나 구부러졌는지 또는 손목이 어떻게 뒤틀렸는지 계산합니다. 마지막으로, 이들은 그 인간의 각도를 NICO의 특정 모터에 수학적으로 '매핑'하여, 로봇이 자신의 관절을 어떻게 움직여 인간과 일치시킬지 알려줍니다. 이는 마치 인간의 자세를 가져와서 로봇의 지침서로 변환하는 변환표를 통과시키는 것과 같습니다.

연구팀은 다양한 키를 가진 6명의 자원봉사자를 대상으로 테스트를 진행했으며, 그들에게 다양한 각도(정면 또는 약간 옆으로 돌아선 상태)에서 11가지의 서로 다른 팔 자세를 취하도록 요청했습니다. 결과는 성공과 솔직한 한계가 섞여 있었습니다. 로봇은 큰 움직임을 복제하는 데 꽤 능숙했습니다. 로봇은 어깨 피치(팔을 위아래로 들어 올리는 동작), 팔꿈치 굽힘, 손목 굽힘을 각각 평균 약 10°, 20°, 23° 정도의 오차 내에서 적절한 정확도로 추정할 수 있었습니다. 그러나 로로봇은 어깨 롤(어깨에서 팔을 비트는 동작)과 전완 회전(문고리를 돌리듯 손을 비트는 동작)에서는 더 어려움을 겪었습니다. 전완 회전이 가장 까다로운 부분이었는데, 손 추적 데이터의 도움을 받았음에도 불구하고 로봇의 예측은 평균 **50.1°**의 오차를 보였으며, 이는 상당한 흔들림이었습니다.

흥미롭게도, 연구진은 로봇의 성능이 인간의 키나 몸을 돌린 정확한 각도(45° 범위 내)에 크게 의존하지 않는다는 것을 발견했습니다. 대신, 가장 큰 요인은 인간이 '무엇을 하고 있는가'였습니다. 만약 자세가 전완의 복잡한 비틀림을 포함하거나 손이 팔 뒤로 숨겨지는 경우, 로봇은 혼란을 느꼈습니다. 또한 시스템은 매우 빨라서 각 이미지를 약 0.0017초 만에 처리했으며, 이는 실시간 움직임을 따라가기에 충분한 속도였습니다.

궁극적으로, 이 논문은 이 "기하학 전용" 접근 방식이 값비싼 하드웨어나 방대한 훈련 데이터셋 없이도 로봇이 인간의 제스처를 모방하게 만드는 실행 가능하고 효율적인 방법임을 시사합니다. 이는 일반 카메라만으로도 로봇이 의미 있는 방식으로 팔을 움직이게 할 수 있음을 증명합니다. 하지만 저자들은 이것이 아직 완벽한 해결책은 아니라고 주의를 기울였습니다. 이 시스템은 여전히 복잡한 손목 및 전완 움직임에서 비틀거리며, 일상적인 도구로서 견고함을 갖추기 위해서는 더 다양한 사람과 자세를 대상으로 더 많은 테스트가 필요합니다. 현재로서는, 로봇이 비록 손목의 비틀림은 조금 틀릴지라도, 우리를 '보고' '복제'할 수 있다는 것을 보여주는 유망한 개념 증명입니다.

기술 요약: 세미 휴머노이드 로봇 NICO의 팔 제스처 모사

문제 정의
원활한 인간-로봇 상호작용(HRI)을 위해서는 로봇이 지각 능력과 운동 능력을 갖추어야 하며, 특히 인간의 제스처를 모사하는 능력이 필수적이다. 학습 기반 접근 방식은 유연성을 제공하지만, 대규모 데이터셋, 광범위한 훈련 및 상당한 계산 자원을 요구하여 실시간 적용에 한계가 있는 경우가 많다. 반대로, 분석적 접근 방식은 효율성과 해석 가능성을 제공하지만, 특수 센싱 하드웨어(예: 깊이 카메라)에 의존하거나 단순화된 제스처 세트로 제한되는 경우가 많다. 본 연구에서 다루는 과제는 고가의 센서나 계산 집약적인 학습 모델에 의존하지 않고, 오직 단일 모노큘러 RGB 입력만을 사용하여 인간의 팔 제스처를 의미 있게 모사하는 것이며, 동시에 세미 휴머노이드 로봇의 특정 운동학적 구조에 적응하는 것이다.

방법론
제안된 시스템은 각 팔에 6자유도(DoF)를 가진 아동 크기의 세미 휴머노이드인 NICO(Neuro-Inspired COmpanion) 로봇을 위한 파이프라인이다. 이 프레임워크는 세 가지 주요 단계로 작동한다:

3D 좌표 추출:
시스템은 MediaPipe 프레임워크를 활용하여 단일 RGB 카메라 입력으로부터 2D 및 의사(pseudo) 3D 랜드마크를 추출한다. 신체 포즈를 위해 pose_landmarker_heavy 모델(33개 랜드마크)과 전용 핸드 모델(21개 랜드마크)을 사용한다. 정확도를 높이기 위해, 시스템은 손목과 손바닥에 대해 핸드 모델 랜드마크를 우선시하며(해당하는 포즈 랜드마크를 대체), 손 좌표계를 포즈 모델의 손목 원점과 일치하도록 변환한다. 이를 통해 관련 팔 관절 및 손 키포인트에 대한 3D 좌표( $x, y, z$ )를 제공한다.
관절 각도 재구성 (해석 기하학):
추출된 3D 좌표를 사용하여, 피험자의 상체가 카메라 평면과 대략 평행하다고 가정하고 유도된 기하학적 관계를 통해 관절 각도를 계산한다. 어깨 라인의 방향을 기준으로 좌표를 회전시켜 토르소 요(torso yaw) 보정이 적용된다. 재구성은 다음을 포함한다:

손목 굴곡(Wrist Flexion): 전완(forearm) 벡터와 손바닥 평면의 법선 벡터 사이의 각도로 계산된다.
전완 회전(Forearm Rotation): 참조 회전 베이스(상완 벡터로부터 유도됨)와 투영된 손바닥 방향 벡터 사이의 부호 있는 각도로 결정된다. 직선 팔 형태에 대한 특수 폴백(fallback) 로직이 적용된다.
팔꿈치 굽힘(Elbow Bend): 상완 벡터와 전완 벡터 사이의 부호 없는 각도로 계산된다.
어깨 피치(Pitch) 및 롤(Roll): 사분면을 구분하고 앞/뒤 팔 구성을 구별하기 위해 분해된 벡터 성분에 atan2 함수를 사용하여 유도된다. 어깨 요(shoulder yaw)는 중립 위치로 고정된다.

NICO로의 각도 매핑:
재구성된 해석적 각도는 로봇의 모터 좌표계와 직접 호환되지 않는다. 시스템은 각 관절에 대해 선형 매핑을 수행하며, 재구성된 각도를 미리 결정된 해석적 구간 $[\theta_{min}, \theta_{max}]$ 로 클램핑하고, 이를 해당하는 모터 위치 $m(\theta_{min})$ 및 $m(\theta_{max})$ 로 매핑한다. 이는 일치하는 방향 및 역방향 모터 오리엔테이션을 모두 처리한다.

주요 기여

RGB 전용 분석 파이프라인: 본 연구는 단일 모노큘러 RGB 입력만을 사용하여 더 넓은 범위의 팔 제스처에 대한 분석 기하학 기반 방식을 확장하였으며, 이를 통해 깊이 센서나 모션 캡처 시스템의 필요성을 제거하였다.
운동학적 적응: 기하학적 공식은 NICO 로봇의 운동학에 맞게 구체적으로 조정되었다. NICO는 (NAO와 같은 다른 플랫폼과 달리) 엘보우 롤(elbow roll) 관절이 없으며 전완 회전 및 손목 굴곡에 대한 특정 처리가 필요하다는 점에서 차이가 있다.
핸드 랜드마크 통합: 시스템은 손목 굴곡과 전완 회전 추정을 개선하기 위해 MediaPipe 핸드 랜드마크를 명시적으로 통합하며, 이는 포즈 랜드마크만을 사용할 때 발생하는 한계를 해결한다.
훈련 불필요: 학습 기반 방식과 달리, 제안된 접근 방식은 훈련 단계나 주석이 달린 데이터셋을 요구하지 않는다.

실험 결과
시스템은 다양한 키를 가진 6명의 참가자가 세 가지 다른 시야각( $0^\circ, 30^\circ, 45^\circ$ )에서 수행한 11가지 대칭 상지 포즈를 대상으로 평가되었다.

정확도: 본 방법은 어깨 피치, 팔꿈치 굽힘, 손목 굽힘에 대해 각각 약 $10^\circ, 20^\circ, 23^\circ$ 의 평균 절대 오차(MAE)를 기록하며 중간 정도의 재구성 정확도를 달려냈다. 어깨 롤은 낮은 정확도( $34^\circ$ MAE)를 보였다.
전완 회전의 한계: 전완 회전이 주요 오차 원인으로 남았다. 포즈 랜드마크만을 사용했을 때는 $67.1^\circ$ 의 MAE가 발생했다. 전용 핸드 랜드마크를 통합함으로써 이를 $50.1^\circ$ 로 줄였으나(약 $25\%$ 개선), 오차는 여전히 다른 관절에 비해 현저히 높았다.
손목 의존성: 손목 굽힘 정확도는 전완의 방향에 크게 의존했다. 전완 회전 추정이 부정확한 극단적인 손목 굴곡/신전 상황에서는 오차가 눈에 띄게 증가했다.
강건성 요인: 재구성 정확도는 참가자의 키와 명확한 상관관계를 보이지 않았다. 시점 변화( $0^\circ$ – $45^\circ$ )는 특정 제스처 및 자기 가림(self-occlusion)에 의한 변동성에 비해 상대적으로 적은 영향을 미쳤다.
성능: 파이프라인은 높은 계산 효율성을 입증하였으며, 프레임당 평균 0.0017초(약 590 FPS)를 기록했고, 최악의 경우 0.0093초(약 108 FPS)를 기록했다.

의의 및 주장
저자들은 이 연구를 분석적, 모노큘러 RGB 기반 제스처 모사의 "개념 증명(proof of concept)"으로 규정한다. 논문은 이 접근 방식이 딥러닝의 계산 오버헤드나 특수 하드웨어의 비용 없이 성공적으로 의미 있는 모사 동작을 생성한다고 주장한다. 그러나 저자들은 시스템의 현재 강건성에 대해 겸허한 입장을 유지한다. 그들은 이 방법이 통제된 조건 하에서 여러 팔 관절에 대해 작동하지만, 전완 회전 추정은 여전히 중요한 도전 과제로 남아 있음을 인정한다. 결론적으로, 본 논문은 이 시스템이 아직 일반적인 제스처 모사를 위한 강건한 솔루션이 아니며, 더 넓은 배포를 위해 더 크고 다양한 데이터셋에 대한 추가 검증과 전완 회전 추정의 개선이 필요하다고 밝히고 있다.

유사한 논문