Robot Drummer: Learning Rhythmic Skills for Humanoid Drumming

기술 요약: 로봇 드러머 (Robot Drummer)

문제 정의

휴머노이드 로봇이 음악, 특히 드럼 연주를 수행할 수 있도록 하는 것은 전통적인 목표 지향적(goal-driven) 로봇 작업과는 구별되는 독특한 과제를 제시한다. 명확한 종료 상태가 존재하는 작업과 달리, 음악적 수행은 **과정 중심적(process-driven)**이다. 즉, 로봇이 최종 구성에 도달하는 것이 아니라, 수 분에 달하는 긴 시간 지평(temporal horizon) 동안 진화하는 일련의 동작을 지속해야 한다. 드럼 연주는 특히 다음을 요구한다:

• 찰나의 타이밍: 미세한 편차가 감성적 품질에 영향을 미치는 정밀한 협응.
• 고속 접촉: 특정 표면에 대한 고주파의 간헐적 충격.
• 다중 사지 협응: 드럼과 스틱 사이를 전환하기 위한 복잡한 공간 계획.
• 장기 지평 탐색: 노래는 수백 번의 타격을 포함하며, 이는 표준 강화 학습(RL) 설정에서 희소한 보상(sparse rewards)과 열악한 탐색 문제를 야기한다.

기존의 로보틱스 RL 응용 분야는 목표 지향적 행동(예: 걷기, 안정화)이나 단순화된 음악적 작업(예: 정교한 손을 가진 피아노, 또는 2-DoF 저구동 드럼 암)에 집중해 왔다. 다양한 장기 지속 음악 레퍼토리에 걸쳐 협응된 고차원 자유도(high-DoF) 휴머노이드 드럼 연주를 위한 학습 기반 제어에 관한 연구는 부족한 실정이다.

방법론

저자들은 휴머노이드 로봇이 MIDI 전사(transcription)로부터 유도된 드럼 트랙을 연주할 수 있도록 설계된 시뮬레이션 프레임워크인 Robot Drummer를 소개한다. 이 접근 방식은 세 가지 핵심 축을 기반으로 구축된다:

1. 음악 표현: 리듬 접촉 체인 (Rhythmic Contact Chain, RCC)

시스템은 가공되지 않은 파형이나 스펙트로그램을 사용하는 대신, 드럼 연주를 타이밍이 정해진 접촉 이벤트의 시퀀스로 모델링한다.

• MIDI to RCC: MIDI 노트 온셋(onset) 이벤트를 고정된 노트-드럼 매핑에 따라 특정 드럼(스네어, 탐, 심벌즈, 하이햇)에 매핑한다.
• 형식적 정의: RCC는 접촉 단계들의 집합 $C = \{C_1, C_2, ..., C_N\}$으로 정의된다. 시간 $t_i$에서의 각 단계 $C_i$는 대상 드럼($D_i$), 속도 벡터($V_i$), 그리고 선택적 스틱 할당($S_i$)을 지정한다.
• 정책 입력: 정책은 고유 수용 감각(proprioception), 공간적 맥의(spatial context, 드럼/스틱 위치), 그리고 리듬적 맥락을 제공하기 위한 미래 접촉 목표의 룩어헤드 호라이즌(lookahead horizon) ($L$ 단계 앞)을 관찰한다.

2. 시간적 분해 (Temporal Decomposition)

곡의 긴 시간 지평(6분 이상 지속될 수 있음) 문제를 해결하기 위해, 저자들은 단일 에피소드에서 전체 트랙을 학습하는 것을 피한다.

• 세분화: 전체 RCC는 $M$개의 고정 길이 세그먼트로 분해된다.
• 병렬 학습: 단일 정책이 모든 세그먼트에서 병렬로 학습된다. 이는 하나의 긴 시간 지평 작업을 여러 개의 짧고 다루기 쉬운 학습 세그먼트로 변환하여, 샘플 효율성과 다양한 곡의 부분에 대한 노출을 크게 향상시킨다.

3. 보상 설계 및 정책 학습

시스템은 유한 호라이즌 마르코프 결정 과정(MDP) 내에서 **근사 정책 최적화(Proximal Policy Optimization, PPO)**를 채택한다.

• 조밀한 접촉 보상: 희소 보상 문제를 극려하기 위해, 저자들은 모든 접촉 이벤트에 대해 조밀한 피드백을 제공하는 통합된 태스크 보상($r_t$)을 제안한다:
  • $r_{correct}$: 올바른 드럼을 치는 것에 보상.
  • $r_{wrong}$: 잘못된 드럼을 치는 것에 벌점.
  • $r_{missed}$: 목표를 맞추지 못한 것에 벌점.
  • $r_{prox}$: 예상되는 타격 시간에 대상 드럼에 근접하도록 유도.
• 상태 초기화: 저자들은 학습 에피소드가 세그먼트 내의 무작위 위상(phase)에서 시작되는 **음악 상태 초기화(Music State Initialization)**를 도입한다. 이는 트랙의 시작점을 무작위화하여, 정책이 학습 초기부터 높은 보상의 접촉 상태에 노출되도록 한다.
• 행동 공간: 정책은 15-DoF Unitree G1 휴머노이드 로봇을 위한 필요한 토크를 생성하는 비례-미분(PD) 컨트롤러의 목표 관절 각도를 출력한다.

주요 결과

프레임워크는 Isaac Gym 시뮬레이션 환경에서 30곡 이상의 인기 있는 록 및 메탈 트랙을 사용하여 Unitree G1 휴머노이드 로봇을 통해 평가되었다.

• 성능 지표: 시스템은 리듬 충실도를 측정하기 위해 정밀도(Precision), 재현율(Recall), F1 점수를 사용한다. 단일 곡에 대해 학습된 전문가 정책(specialist policies)은 일관되게 높은 F1 점수(종종 >0.9)를 달축했다.
  • 규칙적인 패턴과 적은 수의 드럼을 가진 곡(예: Rebel Rebel)은 완벽에 가까운 점수(0.985)를 기록했다.
  • 리듬의 불규칙성(높은 nPVI)이 증가하고 드럼 수가 많아질수록 성능이 저하되었으며, nPVI(타이밍 가변성)와 F1 점수 사이에서 가장 강력한 음의 상관관계($\rho = -0.52$)가 발견되었다.
• 창발적 행동 (Emergent Behaviors): 학습된 정책은 명시적인 인코딩 없이도 다음과 같은 인간적인 전략을 보여주었다:
  • 교차 팔 타격 (Cross-arm strikes): 먼 곳의 드럼에 도달하기 위해 팔을 교차하는 복잡한 기동을 실행함.
  • 동적 스틱 할당 (Dynamic stick assignment): 다가오는 시퀀스에 따라 어떤 손이 어떤 드럼을 칠지 자동으로 전환함 (예: 스네어 타격 후 오른손을 심벌즈를 위해 자유롭게 유지).
• 절제 연구 (Ablation Studies):
  • 보상: 잘못된 타격이나 놓친 타격에 대한 벌점을 제거하면 성능이 크게 저하되어, 조밀한 접촉 피드백의 필요성을 확인했다.
  • 관측: 명시적인 "접촉 목표(contact goals, 미래 타겟)"를 제거하면 F1 점수가 거의 0으로 급락했다. 이는 단순한 연속 시간-위상 변수만으로는 불충분하며, 정책이 다음에 어떤 드럼을 쳐야 하는지에 대한 명시적 지식이 필요함을 증명한다.
  • 시간적 분해: 전체 트랙에 대해 엔드 투 엔드(end-to-end)로 학습하는 것이 유사한 최종 F1 점수를 냈으나, 시간적 분해를 사용할 때 23시간의 학습 시간이 소요된 반면 엔드 투 엔드는 89시간이 소요되었다.
• 다중 곡 학습: 단일 정책을 여러 곡에 대해 학습시킨 결과, 전문가 정책에 비해 성능 저하가 나타났다. 이는 리듬 패턴이 충돌할 때(예: 불규칙한 타이밍 vs 빠른 템포) 발생하는 부정적 전이(negative transfer)를 나타낸다.

의의 및 주장

본 논문은 Robot Drummer가 협응된 휴머노이드 드럼 연주를 위한 학습 기반 제어를 조사한 첫 번째 연구라고 주장한다. 그 의의는 다음과 같다:

1. 과정 중심적 작업의 형식화: 고정 길이 세그먼트로 분해하고 조밀한 접촉 기반 보상을 활용함으로써, 장기 지평의 과정 중심적 과제를 성공적으로 해결했다.
2. 확장성: 이 프레임워크는 다양한 곡의 레퍼토리에 걸쳐 리듬 기술을 효율적으로 학습할 수 있게 하며, 높은 리듬 충실도를 달성한다.
3. 창발적 지능: RL이 명시적인 프로그래밍 없이도 보상 최적화만을 통해 복잡하고 인간적인 드럼 연주 전략(교차, 적응형 스틱 사용)을 발견할 수 있음을 입증했다.
4. 미래 연구를 위한 토대: 현재는 시뮬레이션 기반이며 음향 모델링(소리 생성, 스틱 반동)이 결려 있으나, 본 연구는 **소리 인식 제어(sound-aware control)**로 나아가는 경로를 구축하여, 로봇이 단순히 동작뿐만 아니라 공연의 음향적 결과까지 제어하도록 훈련될 수 있음을 시사한다.

저자들은 현재 전문가 정책이 다중 곡 정책보다 우수하지만, 본 프레임워크가 로봇 음악가 및 인간-로봇 음악 협업을 발전시키기 위한 견고한 토대를 제공한다고 결론짓는다.