기술 요약: Co-policy – 음악적 퍼포먼스를 위한 반응형 인간-로봇 공동 창작

1. 문제 정의

본 논문은 체화된(embodied) 인간-로봇 음악 공동 창작의 과제를 다룹다. 생성형 AI가 비체화된 콘텐츠(텍스트, 오디오, 악보)를 생성하는 데는 크게 발전했지만, 로봇 시스템은 종종 진정한 창의적 기여나 실시간 물리적 적응 없이 미리 지정된 음표를 실행하기만 하는 재생 장치로서 기능한다.

저자들은 두 가지 미결된 과학적 질문을 식별하였다:

1. 의미-행동 간극 (Semantic-to-Action Gap): 로봇이 어떻게 불완전한 인간의 창의적 씨앗(예: 모티프, 언어적 의도, 또는 스타일)을 단순한 기계적 복제가 아닌 보완적인 음악적 응답으로 변환할 수 있는가?
2. 물리적 실행 및 지연 시간 (Physical Execution & Latency): 이러한 응답을 어떻게 물리적으로 정확하고, 상호작용 수준의 지연 시간 내에 실행할 수 있는가?

기존 솔루션들은 다음과 같은 트레이드오프(trade-offs)에 직면해 있다:

• 확산 정책 (Diffusion Policies): 표현력은 매우 높으나, 반복적인 디노이징(denoising)으로 인해 높은 지연 시간이 발생하여 긴밀한 인간-로봇 음악 타이밍에 부적합하다.
• 표준 모방 모델 (Standard Imitation Models): 흔히 평균적인 행동으로 수렴(collapse)되어, 표현력 있는 퍼포먼스에 필요한 다양한 타격 모드를 상실한다.
• 비체화된 생성 모델 (Disembodied Generative Models): 실제 실행에 필요한 물리적 제약(도달 가능성, 악기 역학)이 결여되어 있다.

2. 방법론: Co-policy 프레임워크

Co-policy는 파이프라인을 의미적 의도 접지(Semantic Intent Grounding), 제약된 음악적 변주(Constrained Musical Variation), 그리고 **시각-운동 실행(Visuomotor Execution)**의 세 단계로 분리하는 모듈형의 경량화된 체화된 AI 에이전트이다.

2.1 의미적 의도 접지 및 계획

VLM(Vision-Language Model)을 단일 엔드투엔드(end-to-end) 생성기로 취급하는 대신, Co-policy는 이를 의미적 접지 모듈로 사용한다.

• 의미적 앵커 뱅크 (Semantic Anchor Bank): 음악적 씨앗, 악보 이미지, 스타일 기술어, 로봇 연주 가능 태그가 쌍을 이룬 데이터베이스를 사용하여 추론 중에 관련 문맥을 검색한다.
• 미세 조정된 Qwen-vl (F-Qwen): VLM은 자유 형식의 텍스트가 아닌 구조화된 JSON 계획을 출력하도록 미세 조정되었다. 이는 인간의 음성, 라이브 음악적 씨앗(오디오에서 추출), 시각적 관찰(RGB)을 처리하여 로봇의 역할(예: "반주"), 스타일, 템포, 도달 가능한 음을 정의한다.
• 제약된 변주 플래너 (Constrained Variation Planner): 플래너는 다음 네 가지 기준을 충족하는 로봇 음표 응답($N^r_t$)을 생성한다:
  1. 모티프 일관성: 인간의 씨앗으로부터 인식 가능한 구조를 유지함.
  2. 화성적 유효성: 조성적 충돌을 피함.
  3. 참신성: 직접적인 복제를 방지함 (창의적 기여 보장).
  4. 체화된 연주 가능성: 계획이 로봇의 작업 공간 및 지연 시간 제한 내에서 실행 가능하도록 보장함.

2.2 가우시안 혼합 시각-운동 정책 (Gaussian-Mixture Visuomotor Policy, GMP)

지연 시간 및 다중 양상(multimodality) 문제를 해결하기 위해, 본 논문은 단일 패스 조건부 혼합 밀도 정책인 GMP를 도입한다.

• 유도된 자기 주의 (Guided Self-Attention, GSA) 인코더: 시각적 추론의 전역-지역 불균형을 해결하기 위해, 인코더는 듀얼 스트림 아키텍처를 사용한다:
  • Swin Transformer 스트림은 장거리 공간 의존성(장면 레이아웃)을 포착한다.
  • DenseNet 스트림은 픽셀 단위의 지역적 특징(접촉 영역)을 추출한다.
  • 교차 스트림 결합 (Cross-Stream Coupling): 쿼리는 전역 스트림에서 추출되지만, 키(key)와 값(value)은 지역 스트림에서 온다. 이를 통해 모델은 전역 문맥을 사용하여 "타겟이 어디인가?"라고 질문하면서도, 지역적 증거를 사용하여 답변함으로써 특정 차임 벨의 위치 파악 능력을 향상시킨다.
• 혼합 밀도 액션 헤드 (Mixture-Density Action Head): 단일 결정론적 행동을 예측하는 대신(이는 모드 붕해를 초래함), GMP는 전체 로봇 액션 벡터(또는 짧은 호라이즌의 궤적)에 대한 조건부 가우시안 혼합 분포를 예측한다:
  $$p_\theta(\tau_t | O_t, N^r_t, c_t) = \sum_{k=1}^K \pi_k \mathcal{N}(\tau_t; \mu_k, \Sigma_k)$$
  • 각 성분 $k$는 특정 관절이 아닌 잠재적 액션 모드(예: 위에서 치기, 측면 휘두르기, 또는 가볍게 두드리기)를 나타낸다.
  • 이는 단 한 번의 순전파(forward pass)로 여러 가능한 물리적 응답을 보존하며, 확산 모델의 반복적인 디노이징을 피한다.
• 추론: 시스템은 가장 가능성이 높은 모드($\arg\max \pi_k$)를 선택하거나 혼합 기댓값을 집계하여 저지연 실행을 가능하게 한다.

3. 주요 기여

1. 체화된 공동 창작의 공식적 정의: 본 논문은 공동 창작을 로봇이 불완전한 인간의 씨앗에 대해 보완적인 응답을 제공하는 폐쇄 루프 상호작용으로 정의하며, 이를 단순한 로봇 재생이나 비체화된 생성과 구별한다.
2. 모듈형 체화된 에이전트: F-Qwen을 통한 의미적 접지, 음악적 변주를 위한 제약된 플래너, 그리고 실행을 위한 GMP를 결합한 프레임워크를 제시한다. 이 모듈형 접근 방식은 물리적 접지를 유지하면서도 단일 엔드투엔드 VLA 모델의 배포 비용을 피한다.
3. 저지연 GMP: 확산 기반 디노이징의 지연 없이 다중 양상 액션 분포를 단일 순전파로 예측하여 여러 실행 가능한 액션 모드를 보존하는 조건부 혼합 밀도 정책을 제시한다.

4. 실험 결과

시스템은 실제 차임 퍼포먼스와 ManiSkill2 시뮬레이션 플랫폼에서 평가되었다.

4.1 실제 로봇 평가 (차임 퍼포먼스)

• 공동 창작 품질: 블라인드 전문가 평가(10명의 전문 차임 연주자)에서, F-Qwen과 GMP를 사용한 Co-policy는 의미적 음악 공동 창작에서 평균 74.8, 협주곡 공동 창작에서 62.0을 기록했다. 이는 Diffusion Policy 베이스라인(66.3 및 55.8)과 $\pi_{0.5}$ 및 GR00T와 같은 다른 베이스라인보다 높은 수치이다.
• 실행 정확도: Co-policy는 액션 성공률($Acc_a$) 0.78과 튜닝 정확도($Acc_t$) 0.88을 달 기록하여, 결합 정확도 0.69를 달성했다. 이는 Diffusion Policy(결합 정확도 0.56)에 비해 유의미한 개선이다.
• 지연 시간: 동일한 하드웨어 및 액션 호라이즌 설정 하에서 Co-policy의 명령 후 액션 빈도는 18.6 Hz로, Diffusion Policy(1.01 Hz)보다 현저히 높았다.

4.2 절제 연구 (Ablation Studies)

• 의미적 앵커링: 기존 Qwen-vl을 미세 조정된 F-Qwen으로 교체했을 때, 의미적 음악에서 7.4%13.3%, 협주곡 작업에서 3.5%9.6%의 공동 창작 점수 향상이 있었다.
• GMP 구성 요소: GMP 인코더 구성 요소에 대한 절제 연구 결과, Swin Transformer 단계가 성능의 32%, DenseNet 블록이 27%, GSA 메커니즘이 21%, 혼합 밀도 헤드가 16%를 기여하는 것으로 나타났다.
• 일반화: ManiSkill2 시뮬레이션 플랫폼(Pour, Fill, Hang, Excavate 작업)에서 GMP는 강건한 일반화 능력을 보여주며, 특정 차임 작업 이외에도 시각-운동 정책의 효과를 입증했다.

5. 의의 및 주장

본 논문은 물리적으로 접지된 액션 생성이 인간-AI 공동 창작의 필수 구성 요소라고 주장한다.

• 재생을 넘어: 시스템은 로봇이 불완전한 인간의 씨앗을 의미적으로 정렬되고, 음악적으로 일관되며, 물리적으로 실행 가능한 보완적 응답으로 변환할 수 있음을 보여준다.
• 해석 가능성: 의미적 접지, 계획, 실행을 분리함으로써, 단일 엔드투엔드 모델과 달리 실패(의미적 vs 지각적 vs 실행적)에 대한 독립적인 검사가 가능하다.
• 지연 시간 vs 표현력: 조건부 혼합 밀도 정책이 확산 모델이 겪기 쉬운 트레이드오프인 '음악적 상호작용을 위한 엄격한 지연 시간 요구사항 충족'과 '다양한 실행 가능한 액션 모드 보존(표현력)' 사이의 균형을 맞출 수 있음을 보여준다.

저자들은 현재 시스템이 주로 차임 퍼포 performance를 통해 검증되었으며, 폐쇄 루프 촉각 피드백보다는 고수준의 상징적 오디오 신호에 의존한다는 점을 인정하며 신중한 범위를 유지한다. 이들은 이 연구를 물리적 실현 가능성과 악기 특성에 의해 제약되는 창의성, 즉 "유도된 변주(guided variation)"를 향한 체화된 AI의 한 단계로 위치시킨다.