⚡ electrical engineering

Learning Music Style for Piano Arrangement Through Cross-Modal Bootstrapping

이 논문은 BLIP-2에서 영감을 받은 Querying Transformer를 활용하여 원시 오디오로부터 암시적인 음악 스타일을 추출하고 이를 심볼릭 언어 모델의 조건으로 사용함으로써, 리드 시트와 참조 오디오로부터 제어 가능하고 스타일적으로 충실한 피아노 편곡을 생성할 수 있게 하는 교차 모달 프레임워크를 소개한다.

원저자: Jingwei Zhao, Gus Xia, Ziyu Wang, Ye Wang

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jingwei Zhao, Gus Xia, Ziyu Wang, Ye Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 피아노 연주를 가르치려 한다고 상상해 보십시오. 당신은 로봇에게 음표와 코드가 적힌 악보를 줄 수 있습니다. 이것은 로봇에게 무엇을(what) 연주해야 하는지를 알려줍니다. 하지만 음악은 단순히 올바른 건반을 누르는 것만이 아닙니다. 음악은 그것을 '어떻게(how)' 치느냐에 달려 있습니다. 그것은 스윙, 바운스, 부드러운 페이드 아웃, 그리고 갑작스러운 충돌과 같은 것이며, 이것이 노래를 '재즈'처럼, '클래식'처럼, 혹은 '슬프게' 느껴지도록 만듭니다. 이러한 느낌들이 바로 음악의 '스타일'입니다. 오랫동안 컴퓨터는 음표(내용)를 읽는 데는 뛰어났지만, 분위기(스타일)를 이해하는 데는 서툴렀습니다. 컴퓨터는 종이 위에서는 완벽하게 연주할지 몰라도, 마치 식료품 목록을 읽는 로봇처럼 들리곤 합니다. 이 논문은 다음과 같은 질문을 던짐으로써 그 문제를 다룹니다. 우리는 컴퓨터가 '스윙'이나 '감정적'이라는 것이 실제로 무엇인지에 대한 수천 개의 규칙을 사람이 직접 쓰지 않고도, 인간의 연주를 듣고 그 '느낌'을 모방하도록 가르칠 수 있을까요?

이 연구의 저자인 징웨이 자오(Jingwei Zhao)와 그의 팀은 영리한 시스템을 구축했는데, 이는 마치 음악 번역기처럼 작동합니다. 그들은 컴퓨터에게 스타일을 처음부터 가르치려 하지 않았습니다. 대신, 그들은 이미 음악에 대해 많은 것을 알고 있는 두 개의 거대한 사전 학습된 '두뇌'를 사용했습니다. 하나는 소리 파동(오디오)을 이해하는 두뇌이고, 다른 하나는 음악적 음표(심볼릭)를 이해하는 두뇌입니다. 그들은 이 두 두뇌를 'Q-Former'라고 불리는 특별한 중개자를 통해 연결했습니다. Q-Former를 호기 curios한 탐정이나 번역가라고 생각하십시오. 이 탐정은 오디오 두뇌가 노래의 분위기를 설명하는 것을 듣고, 그 지침을 심볼릭 두뇌에 속삭여 전달합니다. 목표는 단순한 리드 시트(멜로디와 코드만 있는 것)와 특정 스타일로 연주된 노래의 녹음본을 가지고, 멜로디는 유지하면서 녹음본의 스타일을 채택한 새로운 피아노 편곡을 컴퓨터가 생성하게 하는 것이었습니다.

연구진은 이 '교차 모달 부트스트래핑(cross-modal bootstrapping)' 접근 방식이 놀라울 정도로 잘 작동한다는 것을 발견했습니다. 그들은 이 시스템을 두 단계로 학습시켰습니다. 먼저, 그들은 탐정(Q-Former)에게 실제 연주되는 음표에 방해받지 않고, 리듬이나 음의 속도와 같은 숨겨진 스타일의 패턴을 오디오로부터 파악하도록 가르쳤습니다. 그들은 '대조 학습(contrastive learning)'이라는 방법을 사용했는데, 이는 탐정에게 노래 쌍을 보여주며 "이 두 곡이 서로 어울리는가?"라고 물어봄으로써 무엇이 서로 속해 있는지를 배우게 하는 것과 같습니다. 두 번째 단계에서, 그들은 탐정이 피아노 연주 두뇌를 안내하여 새로운 음악을 만들도록 했습니다. 이를 테스트했을 때, 시스템은 단순히 음표를 복사하는 것에 그치지 않고, 이전 방식들보다 '그루브'와 '다이내믹스(음의 강약)'를 훨씬 더 잘 포착해 냈습니다.

실험에서 이 모델은 수천 곡의 노래를 대상으로 테스트되었습니다. 녹음본을 피아노 편곡으로 변환하라는 요청을 받았을 때, 이 모델은 리듬과 속도가 원곡과 얼마나 잘 일치하는지, 즉 음악의 '느낌'을 포착하는 데 있어 다른 최고 모델들보다 높은 점수를 받았습니다. 흥ari하게도, 다른 모델이 단순한 팝 음악에서 정확한 음표를 유지하는 데는 약간 더 나았지만, 이 새로운 모델은 볼룸 댄싱이나 보사노바와 같이 까다롭고 다양한 장르를 다루는 데 훨씬 더 뛰어났습니다. 연구진은 또한 자신들의 '탐정'이 검색 엔진처럼 작동하여, 설령 음의 높낮이(key)가 다르더라도 오디오의 적절한 음악 스타일을 찾아낼 수 있음을 보여주었는데, 이는 모델이 단순히 음높이가 아니라 정말로 스타일을 이해하고 있음을 증명합니다.

궁극적으로, 이 논문은 이러한 사전 학습된 AI 두뇌와 스마트한 연결 계층을 사용함으로써, 우리가 음악 스타일의 보이지 않는 암묵적인 규칙을 컴퓨터에게 가르칠 수 있음을 시사합니다. 시스템은 성공적으로 더 인간적이고 표현력이 풍부한 피아노 커버를 생성해 냈으며, 이는 우리가 음악의 '무엇(what)'과 '어떻게(how)'를 분리하고 기계에게 이 두 가지를 모두 가르칠 수 있음을 증명했습니다. 결과는 이 방법이 AI 음악 생성을 덜 로봇 같고 더 진정한 연주처럼 느껴지게 만드는 데 있어 중요한 진전임을 나타냅니다.

기술 요약: 교차 모달 부트스트래핑을 통한 피아노 편곡용 음악 스타일 학습

문제 정의
자동 음악 생성 기술은 명시적 콘텐츠(멜로디, 코드, 텍스트 레이블)를 다루는 데 있어 크게 발전했으나, 암묵적 음악 스타일을 다루는 데는 어려움을 겪고 있다. "스윙(swing)"이나 "감정적인(emotional)"과 같은 텍스트 기술어가 존재하지만, 진정한 음악적 스타일은 추상적인 레이블이 완전히 포착할 수 없는 미묘한 그루브 패턴, 다이내믹스, 퍼포먼스의 느낌을 포함하여 구체적인 오디오 예시에 내재된 암묵적인 특성이다. 기존의 오디오-투-MIDI 또는 피아노 커버 생성 모델들은 음높이와 타이밍을 추출할 수는 있지만, 소스 퍼포먼스의 스타일적 "느낌(feel)"을 분리하여 재현하는 데는 실패하는 경우가 많다. 일반적인 접근 방식은 단일 모달 설정에 의존하거나, 대규모 파운데이션 모델을 재학습시키지 않고는 로우 오디오 스타일과 상징적 표현 사이의 간극을 효과적으로 메우지 못한다.

방법론
저자들은 로우 오디오로부터 암묵적 음악 스타일을 학습하여 이를 상징적 피아노 편곡에 적용하는 교차 모달 프레임워크를 제안한다. 핵심 아키텍처는 원래 시각-언어 과업을 위해 설계된 **Q-Former(Querying Transformer)**를 활용하여, 동결된(frozen) 사전 학습된 오디오 언어 모델(Audio LM)과 동결된 사전 학습된 상징적 언어 모델(Symbolic LM) 사이를 연결한다.

시스템은 두 가지 별도의 단계로 작동한다:

단계 I: 교차 모달 표현 학습 (부트스트래핑)
- 아키텍처: Q-Former는 크로스 어텐션(cross-attention)을 통해 동결된 Audio LM(MusicGen)에 연결되며, 셀프 어텐션(self-attention)을 통해 상징적 스트림에 연결된다. 일련의 학습 가능한 쿼리 임베딩이 Audio LM의 은닉 상태(hidden states)와 상호작용하여 스타일 표현( $Z$ )을 추출한다.
- 학습 목적 함수: 모달리티를 정렬하고 콘텐츠 누출(content leakage)을 방지하기 위해 세 가지 상호 보완적인 목적 함수가 사용된다:
  - 오디오-상징 대비 학습(Audio-Symbolic Contrastive Learning): 매칭된 오디오-상징 쌍 사이의 유사성을 최대화하고, 부정적 쌍 사이의 유사성은 최소화한다.
  - 오디오-상징 매칭(Audio-Symbolic Matching): 오디오-상징 쌍이 서로 대응하는지 판단하는 이진 분류 과업이다.
  - 오디오 기반 상징 생성(Audio-Grounded Symbolic Generation): 리드 시트(lead sheet)와 오디오에서 추출된 스타일 큐(style cues)를 조건으로 하여 피아노 편곡을 재구성하는 자기회귀(autoregressive) 과업이다.
- 데이터 전략: 모델은 느슨하게 정렬된 10초 길이의 오디오 클립과 4마디 길이의 MIDI 세그먼트로 학습된다. 정확한 음표 대 음표 대응 관계의 암기를 방지하기 위해, MIDI는 오디오에 대해 무작위로 조옮김(transposed) 및 시간적 이동(temporally shifted)된다.
단계 II: 생성 모델링
- 아키텍처: 학습된 Q-Former는 스타일 인코더 역할을 한다. Q-Former의 출력 임베딩( $Z$ )은 리드 시트(멜로디 및 코드 콘텐츠 제공)와 결합되어 동결된 Symbolic LM(MuseCoco)에 입력된다.
- 적응(Adaptation): MuseCoco는 기본적으로 리드 시트 컨디셔닝을 지원하지 않으므로, 백본을 미세 조정하지 않고 새로운 입력을 통합하기 위해 자체 어텐션 레이어에 LoRA(Low-Rank Adaptation) 어댑터를 삽 만큼 삽입한다.
- 출력: 시스템은 콘텐츠(리드 시트)와 스타일(참조 오디오에서 추출됨) 모두를 조건으로 하여 피아노 MIDI 편곡을 생성한다.

주요 기여

교차 모달 스타일 정렬: 본 논문은 시각-언어 콘텐츠 정렬을 넘어, 암묵적 음악 스타일을 통해 오디오와 상징적 모달리티를 정렬하도록 Q-Former의 역할을 확장한다.
분리 방법론: 기존의 잠재 변수 분리(latent-variable disentanglement)나 대규모 모델 백본의 재학습 없이도, 사전 학습된 LM을 사용하여 스타일과 콘텐츠를 분리하는 확장 가능한 접근 방식을 제시한다.
제어 가능한 편곡: 모델은 기존 베이스라인보다 스타일적 일관성을 유지하면서 콘텐츠 충실도를 높이는, 스타일 인지형 오디오-투-상징적 피아노 커버 생성을 달성한다.

실험 결과
모델은 POP909, PIAST, Ballroom, GTZAN과 같은 데이터셋을 사용하여 피아노 커버 생성(정렬된 입력) 및 교차 모달 스타일 전이(unpaired 입력)에 대해 평가되었다.

객관적 지표:
- 스타일 일관성: 제안된 모델은 그루빙 패턴 일관성(GPC), 벨로시티 컨투어 일관성(VCC), 템포 정확도(TA) 측면에서 베이스라인(PiCoGen2, Audio-to-MIDI)을 크게 상회하였다.
- 콘텐츠 보존: 인-디스트리뷰션(in-distribution) 데이터(POP909)에서 모델은 Sheetsage에 대한 의존성으로 인해 멜로디/코드 정확도(MCA/CA)가 PiCoGen2보다 약간 낮게 나타났다. 그러나 아웃-오브-디스트리뷰션(out-of-distribution) 데이터셋(Ballroom/GTZAN)에서는 PiCoGen2보다 높은 콘텐츠 보존력을 보여주며 다양한 장르와 악기 구성에 대한 일반화 능력을 입증했다.
주관적 평가: 이중 맹검 청취 조사에서, 모델은 자연스러움(Naturalness) 측면에서는 베이스라인과 대등한 성능을 보였으나, 오디오-투-상징적 일관성 및 전반적인 음악성(Overall Musicality) 측면에서 베이스라인보다 유의미하게 높은 점수를 받았다.
검색 능력: 오디오-투-상징적 검색기로서, Q-Former는 오디오 클립을 상징적 세그먼트에 매칭하는 데 있어 71.4%의 Top-1 정확도(CLaMP3의 3.4% 대비)를 달려, 조옮림에 대한 강건함을 입증했다.
절제 연구(Ablation Studies): 실험을 통해 2단계 학습 전략이 필수적임을 확인했다. 단계 I 사전 학습을 제거하면 콘텐츠 보존과 스타일 일관성 모두에서 상당한 저하가 발생했다. 또한, 복잡한 다중 악기 데이터에 대한 견고한 정렬을 위해서는 대비(Contrastive), 매칭(Matching), 생성(Generative)의 세 가지 학습 목적 함수가 모두 필요함을 확인했다.

의의 및 주장
저자들은 본 연구가 대규모 단일 모달 언어 모델의 백본을 재학습시키지 않고도 스타일 전이를 위한 "부트스트래핑"이 가능하다는 것을 보여준다고 주장한다. Q-Former를 스타일 정보의 병목(bottleneck)으로 취급함으로써, 이 프레임워크는 단순한 '무엇(what)'을 넘어 퍼포먼스의 '어떻게(how)'를 포착하는 제어 가능하고 스타일 인지적인 음악 생성을 가능하게 한다. 본 논문은 명시적인 텍스트 레이블을 넘어, 오디오 예시로부터 암묵적인 스타일적 특성을 효과적으로 내재화하여 상징적 합성을 구동하는, 더 직관적이고 세밀한 제어에 대한 단계로서 이 작업을 위치시킨다.

유사한 논문