기술 요약: 피아니스트 트랜스포머 (Pianist Transformer)

문제 정의

표현력 있는 피아노 연주 렌더링은 기호적 악보(symbolic scores)로부터 인간과 유사한 음악적 연주(타이밍, 역동성, 아티큘레이션, 페달링 포착)를 생성하는 것을 목표로 한다. 역사적으로 이 작업은 정렬된 데이터셋(악보-연주 쌍)을 사용하는 **지도 학습(supervised learning)**에 의존해 왔다. 이러한 의존성은 다음과 같은 심각한 병목 현상을 야기한다:

1. 데이터 희소성: 기존 방식들은 구조적 정렬(예: 마디, 박자)이 필수적인데, 이는 정렬되지 않은 가공되지 않은 성능 MIDI 데이터(10만 시간 이상의 'in-the-wild' MIDI 데이터)에는 결여되어 있는 경우가 많아 방대한 양의 데이터를 활용할 수 없다.
2. 확장성의 한계: 작은 규모의 레이블링된 데이터셋에 대한 의존은 학습 데이터의 양과 모델의 크기를 제한하며, 이는 음악적 구조에서 표현적 뉘앙스로 이어지는 복잡한 매핑을 학습하는 것을 방해한다.
3. 표현의 불일치: 이전의 접근 방식들은 구조적 기술자(마디와 같은)를 악보 측에 주입하는 비대칭적 표현을 사용한다. 이는 지도 학습 작업에는 효율적이지만, 정렬되지 않은 연주 전용 MIDI에는 이러한 기술자를 계산할 수 없으므로 대규모 자기 지도 사전 학습(unsupervised pre-training)에는 부적합하다.

방법론

본 논문은 **피아니스트 트랜스포머(Pianist Transformer)**라는 프레임워크를 도입하여, 데이터가 제한된 지도 학습 모델링에서 확장 가능한 자기 지도 사전 학습으로 표현 렌더링의 패러다임을 전환하도록 설계되었다.

1. 통합 MIDI 표현

구조화된 악보와 정렬되지 않은 연주 MIDI가 혼합된 코퍼스를 학습할 수 있도록, 저자들은 통합된 이벤트 기반 토큰 표현을 제안한다.

• 토큰화: 각 음표는 피치(Pitch), 벨로시티(Velocity), 지속 시간(Duration), 음표 간 간격(IOI), 그리고 네 개의 페달 토큰(균일한 IOI 간격 내에서의 서스테인 페달 상태를 나타냄)으로 구성된 8개의 토큰 시퀀스로 표현된다.
• 핵심 특징: 이 표현 방식은 마디나 박자와 같은 고차원적인 음악적 개념에 의존하지 않는다. 이를 절대적 타이밍(밀리초)과 연속적인 벨로시티를 가진 이벤트 스트림으로 취급함으로써, 악보와 연주를 하나의 거대한 사전 학습 코퍼스로 혼합할 수 있게 한다.

2. 효율적인 비대칭 아키텍처

음악의 긴 컨텍스트 특성과 트랜스포머의 계산 비용($O(N^2)$)을 처리하기 위해, 모델은 두 가지 시너지 효과가 있는 아키텍처 수정을 채택한다.

• 인코더 시퀀스 압축: 고정된 8-토큰 구조를 활용하여, 인코더는 단일 음표의 8개 임베딩을 하나의 통합된 벡터로 집계한다. 이는 시퀀스 길이를 8배 줄여 어텐션 행렬의 크기를 64배 감소시킨다.
• 비대칭 레이어 할당: 모델은 깊은 10계층 인코더와 경량화된 2계층 디코더를 사용한다. 이 설계는 계산을 고도로 병렬화 가능한 인코딩 패스에 집중시킨다.
• 시너지 효과: 압축과 비대칭성의 결 조합은 비가산적(non-additive) 이득을 창출하여, 최대 3.13배의 학습 속도 향상을 달야내며 학습 VRAM 사용량을 베이스라인 대비 0.38배로 줄인다.

3. 2단계 학습 패러다임

학습 과정은 두 가지 뚜렷한 단계로 구성된다.

1. 자기 지도 사전 학습 (Self-Supervised Pre-training): 모델은 마스크드 디노이징(masked denoising) 목적 함수를 사용하여 100억 개의 토큰을 가진 라벨 없는 MIDI 데이터로 사전 학습된다. 모델은 손상된 입력으로부터 원래의 토큰을 재구성하는 법을 배우며, 명시적인 레이블 없이도 깊은 구조적 단서(화성 기능, 멜로디 방향성)를 내재화한다.
2. 지도 미세 조정 (Supervised Fine-Tuning, SFT): 사전 학습된 모델은 정렬된 악보-연주 쌍(약 100시간)을 통해 미세 조정된다. 이 단계에서 인코더는 악보 토큰을 처리하고, 디코더는 그에 대응하는 연주 토큰을 자기회귀적(autoregressively)으로 생성하며 음악적 맥락을 표현적 뉘앙스로 매핑하는 법을 배운다.

4. 후처리: 표현적 템포 매핑 (Expressive Tempo Mapping)

AI 생성물과 전문 음악 제작 사이의 간극을 메우기 위해, 저자들은 표현적 템포 매핑 알고리즘을 도입한다. 이 알고리즘은 모델의 원시 절대 타이밍(밀리초)을 동적인 템포 커브로 변환한다. 이는 이 커브에 의해 제어되는 음악적 그리드에 음표 및 페달 이벤트를 재정렬하여, 표현적인 타이밍을 보존하면서도 표준 DAW에서 완전히 편집 가능한 MIDI 파일을 생성한다.

주요 기여

1. 패러다임 전환: 엄격한 지도 학습 파이프라인에서 벗어나, 대규모 자기 지도 학습을 표현적 피아노 연주 렌더링에 적용한 첫 사례이다.
2. 통합 표현: 100억 개의 토큰을 가진 정렬되지 않은 데이터로 사전 학습이 가능하도록 악보와 연주를 통합하는 토큰화 체계를 제시하였다.
3. 효율적 아키텍처: 긴 컨텍스트의 음악 모델링을 위해 학습 속도와 메모리 사용량을 크게 개선한 비대칭 트랜스포머와 음표 단위 압축 기술을 제공한다.
4. 최첨단 성능 (SOTA): 객관적 및 주관적 평가 모두에서 강력한 결과를 보여주는 렌더링 모델을 구현하였으며, 실제 음악 제작에 적합한 편집 가능한 워크플로우를 결합하였다.

실험 결과

객관적 평가

ASAP 데이터셋에서 평가했을 때, 피아니스트 트랜스포머는 여러 지표(Velocity, Duration, IOI, Pedal)에 걸쳐 젠슨-샤논(Jensen-Shannon, JS) 발산(낮을수록 좋음) 및 교집합 영역(Intersection Area, 높을수록 좋음)을 통해 기존 SOTA 모델들(ScorePerformer 및 VirtuosoNet 변형 포함)을 능가했다.

• 성능: 모델은 8개 지표 중 6개에서 최고의 결과를 달성했다. 특히, 전체 JS 발산이 0.2791(VirtuosoNet-ISGN)에서 0.1634로 개선되었으며, 이는 인간의 실제 연주 값(0.0411)과의 격차를 크게 좁힌 것이다.
• 절제 연구 (Ablation): 사전 학습을 제거했을 경우(SFT만 수행) 교집합 영역이 상대적으로 40.9% 감소하여, 사전 학습의 결정적인 역할을 확인했다.

주관적 평가

57명의 참가자(유효 응답 39명)를 대상으로 진행된 청취 실험에서 인간다움(human-likeness), 역동성, 리듬, 아티큘레이션을 평가했다.

• 선호도: 피아니스트 트랜스포머는 **1위 투표율(32.7%)**을 기록하며, 인간 참조 녹음(30.8%)을 근소하게 앞질렀고 모든 베이스라인 모델을 유의미하게 압도했다.
• 인간다움: 모델의 평균 순위(2.29)는 인간의 연주와 유사했으며, 인간 연주와 통계적으로 구별할 수 없는 수준($p=0.21$)이었던 반면, 모든 베이스라인 모델보다는 유의미하게 높았다($p < 0.001$).
• 강건성: 베이스라인 모델들이 바로크 및 클래식 곡에서 상당한 성능 저하를 보인 것과 달리, 피아니스트 트랜스포머는 다양한 스타일(바로크, 클래식, 낭만파) 전반에서 높은 인간다움 점수를 유지했다.

스케일링 및 아키텍처 분석

• 사전 학습의 영향: t-SNE 시각화를 통해 사전 학습이 음악적 시대가 질서 있고 연속적인 클러스터를 형성하는 더 매끄럽고 구조화된 잠재 공간(latent space)을 생성함을 보여주었다. 이는 파편화된 공간을 가진 지도 학습 전용 모델과는 대조적이다.
• 스케일링: 모델 크기는 65M 파라미터까지 성능이 향 향상되었으나 이후 포화 상태에 도달했다. 데이터 스케일링은 1B 토큰까지는 이득을 보였으나 10B 토큰에서는 수익 체감(diminishing returns)이 나타났는데, 이는 모델 용량(135M 파라미터)이 병목이었음을 시사한다.
• 아키텍처 트레이드오프: 대칭적인 6-6 구조가 더 낮은 사전 학습 손실을 달성했지만, 비대칭 10-2 설계는 대등한 렌더링 품질을 유지하면서도 2.1배 빠른 CPU 추론과 40% 적은 VRAM을 제공하여 실제 배포에 더 실용적임을 입증했다.

의의 및 주장

본 논문은 피아니스트 트랜스포머가 음악 영역에서 인간과 유사한 성능 합성을 위한 확장 가능한 경로를 제시한다고 주장한다. 주요 의의는 다음과 같다:

1. 자기 지도 사전 학습이 정교한 렌더링 작업에서도 효과적이고 실행 가능하다는 것을 입증하여, 이 분야를 제한해 온 데이터 병목 현상을 극복했다.
2. 대규모 라벨 없는 데이터가 음악적 구조(화성 및 멜로디 구조)를 학습하는 데 효과적으로 활용될 수 있으며, 이것이 표현적 연주 생성으로 전이될 수 있음을 보여주었다.
3. 효율적인 아키텍처 설계(비대칭성 + 압축)가 대규모 음악 모델링을 학습 속도 및 메모리 사용 측면에서 실질적으로 가능하게 만드는 데 필수적임을 증명했다.
4. 결과적인 시스템이 블라인드 청취 테스트에서 인간과 대등한 품질을 달성함으로써, AI 생성 연주와 인간 연주 사이의 간극을 확장 가능한 학습 패러다임을 통해 좁힐 수 있음을 시사한다.

저자들은 사전 학습과 평가 세트 간의 잠재적 데이터 중복, 디코더의 스케일링 병목 현상, 현재 솔로 피아노에 집중되어 있다는 점 등을 한계점으로 언급하며, 자연어와 같은 고차원 제어 인터페이스의 부재를 향후 연구 과제로 남겨두었다.