⚡ electrical engineering

Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation

이 논문은 인간 중심의 협업적 공동 창작 에이전트를 위해 심층적인 음악적 이해와 효율적이고 제어 가능한 생성을 가능하게 하는, 레이블 없이 풍부한 다중 척도 표현을 학습하는 기호 음악용 계층적 자기 지도 세계 모델을 소개한다.

원저자: Scott H. Hawley

게시일 2026-08-06

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Scott H. Hawley

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 음악 프로듀서가 되는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇이 단순히 노래를 복사해서 붙여넣거나, 기존의 모든 것과 똑같이 들리는 새로운 히트곡을 써내길 원하는 것이 아닙니다. 당신은 로봇이 협업자가 되기를 원합니다. 당신의 엉성한 음악적 아이디어를 듣고, 그 "분위기(vibe)"를 이해하며, 주도권을 빼앗지 않으면서도 제안을 건넬 수 있는 존재 말이죠. 이것이 바로 과학자들이 음악을 단순한 음파의 흐름이 아니라 음표, 화음, 리듬이라는 구조화된 언어로 "들을" 수 있는 기계를 만들기 위해 노력하고 있는 분야, **AI 음악 공동 창작(AI music co-creation)**의 세계입니다.

이를 위해 연구자들은 흔 часто **월드 모델(World Models)**을 사용합니다. 월드 모델을 마음속의 지도라고 생각해 보세요. 눈을 감고 방을 상상하면, 앞으로 걸어가면 벽이 가까워지고, 왼쪽으로 돌면 문이 나타난다는 것을 알게 됩니다. 월드 모델은 다음에 어떤 일이 일어날지를 예측함으로써 이러한 규칙을 학습합니다. 음악에서 월드 모델은 멜로디를 한 음 높이거나 시간을 앞으로 이동시켰을 때 어떻게 변하는지를 예측하려고 노력합니다. 당신이 읽게 될 이 논문은 구체적인 과제를 다룹니다. 어떻게 하면 음악을 깊이 있게 이해하여 유능한 파트너가 될 수 있으면서도, 거대하고 비싼 슈퍼컴퓨터 없이 일반 컴퓨터에서도 실행될 만큼 단순하게 만들 수 있는가 하는 점입니다. 목표는 인간 예술가를 대체하는 것이 아니라, 악기를 직접 연주하지는 못해도 자신이 무엇을 좋아하는지 알고 이를 명확하게 표현할 수 있는 최고의 "AI 릭 루빈(Rick Rubin)"이 되는 것입니다.

"AI 릭 루빈": 경청하는 음악 파트너

이 논문은 협업적인 음악 파트너가 되도록 설계된 새로운 종류의 AI를 소개합니다. 이 시스템은 당신을 위해 모든 것을 연주해 주는 거장 음악가가 되려고 하는 대신, "잘 듣고" "제안하는" 역할을 하도록 구축되었습니다. 저자는 이 시스템을 "AI 릭 루빈"이라 부르는데, 이는 악기를 거의 연주하지 못하지만 무엇이 좋은 소리인지에 대한 놀라운 귀를 가진 것으로 유명한 전설적인 음악 프로듀서 릭 루빈을 인용한 것입니다. 목표는 인간의 음악적 아이디어를 듣고, 그 구조를 이해하며, 인간이 창작 과정의 주도권을 확실히 쥐고 있는 상태에서 피드백이나 새로운 음악적 조각들을 제공하는 AI를 만드는 것입니다.

"귀": 음악을 느끼는 법 배우기

시스템의 첫 번째 부분은 "귀"입니다. 대부분의 AI 음악 모델은 "이것은 C 메이저 코드이다" 또는 "이것은 슬픈 노래이다"라고 라벨을 붙여 알려주는 교사가 있는 상태에서 시험을 치르는 학생처럼 훈련됩니다. 하지만 저자는 AI가 무엇을 찾아야 할지 알려주는 선생님 없이 스스로 학습하기를 원했습니다.

그들은 **계층적 자기 지도 학습 월드 모델(hierarchical self-supervised world model)**을 구축했습니다. 피아노 롤(음표가 블록 형태로 표시된 시각적 격자)을 보고 있다고 상상해 보세요. AI는 이 격자의 작은 사각형 하나를 봅니다. 그런 다음, 그 사각형을 오른쪽으로 약간 이동시키거나(시간을 앞으로 이동) 위로 이동시키는(음높이를 높임) 상황을 상상합니다. AI의 임무는 이전의 사각형을 바탕으로 새로운 사각형이 어떻게 보일지를 예측하는 것입니다. 이 "변화 예측 게임"을 수백만 번 반복함으로써, AI는 음악의 내부 규칙을 학습합니다. AI는 어떤 코드가 무엇인지 이름을 배우지 않고도, 음표가 시간 속에서 특정 패턴을 따르는 방식과 화음이 음높이에서 가지는 특정한 관계를 학습합니다.

이 모델은 피라미드 형태의 층(layer) 구조로 되어 있습니다. 하위 층은 개별 음표나 연주 속도와 같은 미세한 디테일을 포착합니다. 상위 층은 전체적인 음악적 구절(phrase)의 형태나 곡의 구조와 같은 큰 그림을 봅니다. 연구진은 AI가 자연스럽게 이런 방식으로 조직된다는 것을 발견했습니다. 즉, '미세한(fine)' 층은 음표의 밀도를 포착하는 데 뛰어나고, '거친(coarse)' 층은 음악적 구절이 어디서 시작되고 끝나는지를 이해하는 데 탁월합니다.

AI가 실제로 "듣는" 것

연구팀은 AI가 실제로 무엇을 배웠는지 확인하기 위해 AI의 뇌를 고정시킨 채 간단한 질문을 던지는 테스트를 진행했습니다. 그 결과, AI가 진정한 음악적 "감각"을 발달시켰음을 발견했습니다.

시간과 구조: AI는 짧은 음악적 아이디어와 긴 아이디어의 차이를 자연스럽게 구분할 수 있었으며, 패턴만을 보고도 음악적 구절의 경계를 찾아낼 수 있었습니다.
화성 (까다로운 부분): 흥 nghiệm하게도, AI는 이 예측 게임을 하는 것만으로는 특정 코드(예: "G 메이저")를 자동으로 식별하지 못했습니다. 약간의 도움이 필요했습니다. 연구진이 약간의 감독(몇 가지 코드 예시를 보여주는 것)을 추가하자, 화성을 이해하는 AI의 능력이 급상격했습니다. AI는 코드를 거의 인식하지 못하던 수준에서 매우 잘 인식하는 수준으로 발전했으며, 명시적으로 '조성(key)'이 무엇인지 배우지 않았음에도 불구하고 곡의 '키(key)'를 높은 정확도로 식별해 냈습니다.

이는 AI가 음악의 형태는 스스로 학습할 수 있지만, 코드와 같은 구체적인 음악적 개념의 이름을 배우기 위해서는 약간의 자극이 필요함을 시사합니다.

"입": 제안하기

AI가 음악을 "듣고" 이해했다면, 이제 다시 말을 해야 합니다. 이것이 "입"입니다. 처음부터 완전히 새로운 곡을 쓰는 대신, 이 AI는 빈칸을 채우도록 설계되었습니다. 사람이 피아노 롤의 특정 구간에 마스크를 씌워 "이 부분을 채워줘"라고 말한다고 상상해 보세요. AI는 플로우 매칭(flow matching) 기술을 사용하여 빈 공간에 완벽하게 어울리는 새로운 음표들을 생성합니다.

단계별로 노래를 "꿈꾸듯" 만들어내는 기존의 오래된 AI 모델들과 달리, 이 모델은 노이즈로부터 음악으로 부드럽게 흘러갑니다. 매우 빠릅니다. 표준 컴퓨터 프로세서(CPU)에서 음악적 제안을 생성하는 데 약 2.8초가 걸립니다. 최신 애플 컴퓨터를 사용한다면 단 0.6초면 충분합니다. 이 속도는 매우 중요한데, 이는 인간이 느린 컴퓨터의 응답을 기다릴 필요 없이 즉각적으로 아이디어를 시도하며 AI와 실시간 대화를 나눌 수 있음을 의미하기 때문입니다.

또한 이 시스템은 유연합니다. 화음은 그대로 유지하면서 멜로디만 바꾸라고 지시하거나, 섹션 전체를 다시 쓰도록 할 수 있습니다. AI는 생성 과정 중에 자신의 이해 중 일부를 "떨어뜨림(dropping)"으로써, 사용자가 원하는 바에 따라 더 창의적이거나 혹은 더 엄격하게 작동합니다.

이것이 왜 중요한가

이 논문은 이 시스템이 인간 음악가를 대체하기 위한 것이 아님을 강조합니다. 이 시스템은 값비싼 그래픽 카드가 없는 음악가들도 사용할 수 있도록 접근 가능한 하드웨어(노트북 등)에서 실행되도록 구축되었습니다. 또한 인간의 주체성을 존 Respect 합니다. AI는 제안을 할 뿐이며, 그 제안을 사용할지 여부는 인간이 결정합니다. 저자는 사용자가 피아노 롤에 그림을 그리면 AI가 실시간으로 빈 공간을 채우는 모습을 보여주는 라이브 인터랙티브 데모를 통해 이를 입증합니다.

요약하자면, 이 논문은 AI가 음악을 이해하는 새로운 방법을 제시합니다. 음악이 시간이나 음높이에 따라 어떻게 변하는지를 예측하도록 가르침으로써, 연구진은 음악적 구조를 "느낄" 수 있는 시스템을 만들어냈습니다. 코드 이름을 배우는 데 약간의 도움만 더해지면, 이 시스템은 작곡가들에게 강력하고 빠른 협업 도구가 되어, 잘 듣고 아이디어를 제안하며 최종적인 창의적 결정은 인간의 손에 남겨두는 디지털 프로듀서 역할을 수행하게 됩니다.

기술 요약: 음악 공동 창작 에이전트가 '잘 듣도록' 돕기

문제 정의
본 논문은 인간의 주체성을 대체하기보다 지원하는 협업형 음악 에이전트를 구축하는 과제를 다룹니다. 현재의 대규모 오디오-언어 모델들은 특정 음악 작업에서 더 작은 규모의 특화된 모델들에 비해 성능이 떨어지는 경우가 많으며, 음악적 구조를 명시적으로 표현하는 데 어려움을 겪습니다. 또한, 표현 학습(representation learning)과 생성(generation)은 전통적으로 트레이드오프 관계로 간주되어 왔습니다. 즉, 재구성(reconstruction)에 최적화된 모델은 의미론적으로 유의미한 잠재 공간(latent space)을 갖추지 못하는 경향이 있고, 변별(discrimination)에 최적화된 모델은 고품질 생성에 실패하는 경우가 많습니다. 저자는 풍부하고 계층적인 이해 능력을 갖춘 '귀'와 제어 가능한 생성이 가능한 '입'을 모두 갖춘 시스템을 만들고자 하며, 동시에 접근성을 위한 엄격한 엔지니어링 제약 조건(특히 CPU 전용 런타임에서의 적시 추론)을 준수하고자 합니다.

방법론
제안된 시스템인 **MIDI-RAE-JEPA-SON (MRJS)**은 표현 오토인코더(Representation AutoEncoder, RAE) 패러다임과 **결합 임베딩 예측 아키텍처(Joint-Embedding Predictive Architecture, JEPA)**를 결합하여 채택했습니다.

입력 표현: 모델은 피아노 롤 이미지(128×128 픽셀, 이진 노트 존재 여부)로 시각화된 순수 심볼릭 MIDI 데이터만을 다룹니다. 이는 벨로시티(velocity)나 연주 뉘앙스를 버리는 대신 구조적 의도에 집중함으로써, 비전 기반 아키텍처를 사용할 수 있도록 용이하게 합니다.
인코더 아키텍처: 계층적 Swin V2 인코더(파라미터 2.55M)가 피아노 롤 이미지를 처리합니다. 표준 오토인코더와 달리, 이 인코더는 재구성 목적 함수 없이 훈련되며 이후 동결(frozen)됩니다. 이 인코더는 입력 차원을 크게 압축하지 않으면서(16,384 픽셀 $\to$ 16,128 실수) 다중 레벨 임베딩(L0–L5)을 생성하며, 데이터를 더 작은 잠재 공간으로 줄이는 것이 아니라 유의미한 기하학적 구조로 재배열합니다.
자기 지도 학습 목적 함수: 인코더는 레벨별로 적용되는 결합 손실 함수를 사용하여 훈련됩니다:
- 등변성 손실 ( $L_{equiv}$ ): 이동된 크롭(시간 및 피치) 간의 거리가 이동량에 비례하도록 강제하여, 이동 불변성(shift-invariance)의 붕괴를 방지합니다.
- 분포 정규화 ( $L_{SIGReg}$ ): EMA 교사 모델 없이 Epps–Pulley 테스트를 사용하는 LeJEPA 스타일의 등방성 가우시안 정규화를 통해 표현 붕괴를 방지합니다.
- 마스크 임베딩 예측 ( $L_{MEP}$ ): 보조 예측기가 학생(student)의 전체 컨텍스트로부터 마스킹된 교사(teacher) 임베딩을 추론하는 I-JEPA 스타일의 손실입니다.
- 소프트 인자 분해 손실 ( $L_{fact}$ ): 피치 및 시간 이동 차이 벡터가 증강 유형에 따라 특정 기하학적 관계(평행, 반평행, 직교)에 정렬되도록 장려합니다.
생성형 "입": 학습된 디코더 대신, 시스템은 픽셀 공간에서 작동하는 조건부 플로우 매칭(conditional flow-matching) 모델을 사용합니다. 이 모델은 사용자의 입력을 PCA로 축소한 임베딩을 조건으로 하여 노이즈로부터 음악을 생성합니다.
- 인페인팅(Inpainting): 시스템은 그래픽 프롬프팅을 지원합니다. 사용자가 그린 마스크 위치의 조건부 신호에 공간적 드롭아웃(spatial dropout)을 적용함으로써, 플로우 모델은 별도의 전문 인페인팅 샘플러 없이 주변 컨텍스트를 바탕으로 빈 공간을 채웁니다.
- 제어: 가이던스 강도(guidance strength)와 레벨별 조건부 드롭아웃을 통해 사용자는 노트 단위의 재작성부터 전체 구절 생성에 이르기까지 원본에서 얼마나 벗어날지를 제어할 수 있습니다.

주요 기여

음악을 위한 계층적 월드 모델: 본 논문은 계층적 Swin V2 인코더가 음악 이론 레이블 없이 오직 심볼릭 피아노 롤 이미지와 JEPA 스타일의 목적 함수만으로 풍부한 다중 스케일 표현을 학습할 수 있음을 보여줍니다.
표현과 생성의 분리: RAE 패러다임을 채택함으로써, 저자는 변별적 표현 학습과 고품질 생성을 플로우 매칭 모델이라는 별도의 생성 헤드를 통해 효과적으로 결합할 수 있음을 입증했습니다.
CPU 최적화 파이프라인: 시스템은 CPU 실행을 위해 설계되었으며, 표준 CPU에서 2.8초, Apple MPS에서 0.6초 만에 제안을 생성하여 고성능 GPU 없이도 접근 가능하게 만듭니다.
명시적 vs 창발적 구조: 본 연구는 시간적 및 구절 구조가 자기 지도 목적 함수로부터 자연스럽게 창발하는 반면, 화성적 내용(코드, 키)은 선형적으로 디코딩되기 위해 명시적인 감독(supervision)이 필요함을 밝혀냈습니다.

결과

임베딩 프로빙(Probing): 동결된 임베딩에 대한 선형 프로브 결과, 음악적 속성은 해당 시간 척도에 대응하는 레벨에서 디코딩 가능함이 나타났습니다. 구절 경계(phrase boundaries)는 거친 레벨(L0–L2)에서 가장 잘 탐지되었고, 노트 밀도와 화성적 세부 사항은 미세한 레벨(L4–L5)에서 발견되었습니다.
감독의 영향:
- 비지도 학습 (MRJS): 강력한 노트 밀도( $R^2 \approx 0.93$ )와 곡 간 분리 성능을 달 achieves 합니다. 그러나 결합 코드 복구(joint chord recovery)는 낮으며(.18), 키 탐지(key detection)는 우연 수준에 가깝습니다(.16).
- 코드 감독 추가 시: 작은 규모의 코드 감독 헤드를 추가하면 화성 이해도가 크게 향상됩니다. 결합 코드 복구는 .54로 상승하고, 직접 감독되지 않은 키 탐지는 .70까지 급증합니다. 이러한 감독은 화성 정보를 더 거칠고 추상적인 레벨(L2–L3)로 이동시킵니다.
- 비교: 모델은 음악 특화 작업(예: 구절 경계 탐지, 크로마 복구)에서 DINOv2 베이스라인보다 뛰어난 성능을 보이면서도, 일반적인 이미지 통계에서는 경쟁력 있는 수준을 유지합니다.
생성 품질: 플로우 매칭 모델은 타겟 윈도우를 픽셀 F1 점수 0.996으로 재현합니다. 인페인팅 작업에서, 모델은 주변 음악적 컨텍스트에 부합하는 변형을 생성하면서 성공적으로 노트 밀도를 복원합니다(예: 미세 레벨 드롭아웃 시 96% 복원).
성능: 파이프라인은 효율적으로 CPU에서 실행됩니다. 인코딩에는 약 8.6ms가 소요되며, 샘플링에는 약 3.8초(전체 CPU 기준 2.8초)가 소요되어 인터랙티브한 사용을 위한 "적시성" 설계를 충족합니다.

의의
본 논문은 이 시스템을 "AI 릭 루빈(Rick Rubin)"을 위한 도구로 포지셔닝합니다. 즉, 아티스트의 아이디어를 주의 깊게 듣고 언어적 피드백이나 제한적인 음악적 제안을 제공하되, 최종 구현은 인간에게 맡기는 협업형 에이전트입니다. 계층적 자기 지도 학습 월드 모델이 레이블 없이도 음악적 구조를 학습할 수 있음을 증명함으로써, 본 연구는 인간의 창의성을 자동화하는 것이 아니라 강화하는 AI로 가는 경로를 제시합니다. 저자는 시스템이 CPU에서 실행될 수 있다는 점이 작곡가와 프로듀서들이 창의적 과정에 대한 완전한 주도권을 유지하면서도 사용할 수 있는 실용적이고 접근 가능한 도구임을 강조합니다.