💻 computer science

Equivariant Music Transformer

이 논문은 자기 증류(self-distillation)와 보조 정규화(auxiliary regularization)를 통해 시간 이동(time shifts)과 음높이 전이(pitch transpositions)에 대한 등변성(equivariance)을 강제함으로써, 음악의 변환 대칭성(translational symmetries)을 포착하지 못하는 표준 트랜스포머의 한계를 극복하고 우수한 생성 성능과 표현 품질을 입증하는 모델인 Equivariant Music Transformer(EMT)를 소개한다.

원저자: Zixun Guo, Simon Dixon

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zixun Guo, Simon Dixon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 가장 좋아하는 노래를 듣고 있다고 상상해 보세요. 만약 누군가 그 멜로디를 몇 초 늦게 시작하거나, 가수가 모든 음을 약간 더 높은 음으로 부르더라도, 당신은 여전히 그것을 즉각적으로 같은 곡이라고 인식합니다. 당신의 뇌는 혼란을 느끼지 않습니다. 당신은 음의 정확한 시점이나 높이가 아니라, 음들 사이의 '관계'가 중요하다는 것을 이해하기 때문입니다. 이러한 변화에도 불구하고 패턴을 인식하는 능력은 인간 지각의 초능력입니다. 인공지능의 세계에서 과학자들은 컴퓨터에게도 똑같은 일을 할 수 있도록 가르치려 노력하고 있습니다. 그들은 수백만 개의 악보를 읽으며 학습하는 매우 똑똑한 디지털 작곡가와 같은 '뮤직 트랜스포머(music transformers)'를 구축하고 있습니다. 하지만 여기에는 함정이 있습니다. 이 컴퓨터들이 점점 더 커지고 똑똑해지는 동안, 오히려 이 초능력을 잊어버리고 있는 것처럼 보인다는 점입니다. 음악적 관계를 이해하는 대신, 이들은 마치 앵무새처럼 정확한 음과 타이밍을 암기하기 시작하여, 곡이 이동되었을 때 이를 인식하지 못하게 됩니다. 이 논문은 왜 그런 일이 발생하는지 파헤치고, 인간처럼 실제로 음악을 들을 줄 아는 새로운 종류의 AI를 구축합니다.

이 연구의 연구진인 릭스운 구오(Zixun Guo)와 사이먼 딕슨(Simon Dixon)은 이 음악 AI 모델들이 학습하는 방식에 대해 놀랍고도 다소 우려스러운 사실을 발견했습니다. 그들은 이러한 모델들이 더 커지고 더 오래 훈련될수록, 오히려 변형된 음악을 인식하는 능력이 더 떨어진다는 것을 발견했습니다. 이는 마치 시험 공부를 하는 학생이 개념을 배우는 대신 정답이 적힌 페이지 번호를 통째로 외우기 시작하는 것과 같습니다. 질문의 페이지가 바뀌면 학생은 낙제하게 됩니다. 저자들은 이를 '등변성(equivariance)'의 결여라고 부릅니다. 간단히 말해, 등변성이란 입력을 이동시키면(예를 들어 멜로디의 음높이를 올리면), 컴퓨터의 내부 이해도 정확히 그와 동일한 방식으로 이동해야 함을 의미합니다. 그러나 그들의 분석에 따르면, 기존의 표준 뮤직 트랜스포머들은 이러한 변형된 버전의 곡들을 서로 전혀 연결되지 않은 완전히 다른 아이디어로 매핑하고 있었습니다. 모델이 커질수록, 모델은 음악을 음악답게 만드는 공유된 구조를 포착하기보다는 절대적인 패턴을 암기하는 데 뇌 용량을 낭비하는 것처럼 보였습니다.

이를 해결하기 위해 팀은 **등변 뮤직 트랜스포머(Equivariant Music Transformer, EMT)**를 발명했습니다. 이 새로운 모델을 특별한 규칙을 가지고 공부하도록 강요받는 학생이라고 생각해보세요: "만약 네가 멜로디를 배웠다면, 그것이 변형되었을 때도 인식할 수 있어야 한다." 그들은 모델의 훈련 과정에 특별한 '숙제' 과제를 추가함으로써 이 일을 수행했습니다. 모델은 일반적인 작업인 다음 음표 예측과 병행하여, 변형된 버전의 곡을 살펴보고 그 내부 이해가 원래의 곡이 이동된 방식과 일치하는지 확인해야 했습니다. 이는 마치 아이에게 자전거 타기를 가르칠 때 단순히 직선 경로에서만 가르치는 것이 아니라, 경로가 왼쪽으로 옮겨진 길에서도 타게 하여, 단순히 길을 외우는 것이 아니라 균형 잡는 법을 이해하도록 강요하는 것과 같습니다.

결과는 인상적이었습니다. 새로운 EMT 모델은 단순히 변형된 음악을 더 잘 인식하게 된 것에 그치지 않고, 전반적으로 더 나은 작곡가가 되었습니다. 변형된 버전의 곡들을 서로 연결하도록 강제함으로써, 모델은 '뇌 용량'을 더 효율적으로 사용했습니다. 가능한 모든 음높이나 타이밍 변화에 대해 별도의 버전의 곡을 학습하는 대신, 모든 경우에 적용되는 핵심 구조를 학습한 것입니다. 연구진이 이 모델을 훨씬 더 큰 규모의 다른 최상위 모델들과 테스트했을 때, EMT가 승리했습니다. EMT는 더 매끄럽고 즐거운 음악을 만들어냈으며, 시작 프롬프트가 시간이나 음높이 면에서 변형되었을 때도 그러했습니다. 기존의 모델들은 프롬프트가 변형되면 혼란을 느껴 무질서하고 일관성 없는 음악을 생성하는 반면, EMT는 평정심을 유지하며 높은 품질을 유지했습니다.

이 연구는 단순히 AI 모델을 크게 만드는 것이 음악에 더 똑똑해지는 정답이 아님을 시사합니다. 이러한 음악적 대칭성에 대해 가르쳐주는 특정 규칙이 없다면, 모델은 단지 잘못된 것을 더 잘 암기하게 될 뿐입니다. 저자들은 자신들의 새로운 '변형 인식(shift-aware)' 훈련 방법과 데이터를 모델에 입력하는 영리한 방식(특징 공학이라 불리는)을 결합했을 때 가장 좋은 결과를 얻었다는 것을 발견했습니다. 요컨대, 그들은 진정으로 음악을 이해하는 AI를 구축하려면, 음표 그 자체가 아니라 음표 사이의 관계를 듣도록 가르쳐야 한다는 것을 증명했습니다. 이 새로운 모델의 코드와 데모는 온라인에 공개되어 있으며, 컴퓨터가 노래를 암기하는 것과 이해하는 것의 차이를 직접 들어보고 싶은 모든 이들을 초대하고 있습니다.

기술 요약: 등변 음악 트랜스포머 (Equivariant Music Transformer, EMT)

1. 문제 정의

인간은 시간적 이동(onset delay)이나 음고 전조(pitch transposition)와 관계없이 음악적 구절을 인식할 수 있는 타고난 능력을 갖추고 있습니다. 이러한 지각적 불변성은 **등변성(equivariance)**이라는 개념에 해당합니다. 즉, 입력 공간에서의 변환은 출력 표현 공간에서 예측 가능한 대응 변환을 생성해야 합니다.

그러나 저자들의 분석에 따르면, 표준 심볼릭 음악 트랜스포머에는 치명적인 결함이 존재합니다. 이러한 모델들은 다음 토큰 예측(next-token prediction)에는 성공할지라도, 등변성을 유지하는 데는 실패합니다. 모델의 크기가 커지거나 학습이 길어질수록, 이들은 점진적으로 등변성이 낮아지는(less equivariant) 경향을 보입니다. 표준 트랜스포머는 공유된 음악적 구조를 학습하는 대신, 절대적인 패턴(특정 토큰 위치 및 음고)을 암기하는 데 점점 더 많은 용량을 할당하는 것으로 보입니다. 결과적으로, 음악적으로 동등한 입력(예: 멜로디와 그 전조 버전)이 잠재 공간(latent space)에서 서로 멀고 상관관계가 없는 표현으로 매핑되어, 모델이 변형된 입력을 만났을 때 성능이 저하됩니다.

이를 해결하기 위한 기존 방식들은 다음과 같습니다:

입력 수준의 특징 공학(Feature Engineering): 상대적 속성(예: Fundamental Music Embedding)을 사용하여 음악을 인코딩함.
잠재 공간 수정: 상대적 위치 임베딩을 포함함.
데이터 증강(Data Augmentation): 데이터를 이동시킨 버전을 학습에 사용함.

본 논문은 이러한 방법들이 모델 수준에서 등변성을 강제하지 못하며, 표준적인 다음 토큰 예측 목적 함수만으로는 음악의 평행 이동 대칭성(translational symmetries)을 포착하기에 불충분하다고 주장합니다.

2. 방법론

저자들은 **자기 증류(self-distillation)**를 통해 두 가지 목적 함수를 공동 최적화함으로써 등변성을 강제하는 생성형 트랜스포머 아키텍처인 **등변 음악 트랜스포머(EMT)**를 제안합니다.

아키텍처 및 손실 함수

모델은 가중치를 공유하는 메인 브랜치와 보조 브랜치로 구성됩니다:

메인 브랜치 (다음 토큰 예측): 시퀀스 $x_0 \dots x_{t-1}$ 이 주어졌을 때 다음 토큰 $x_t$ 를 예측하기 위해 교차 엔트로피 손실( $L_{NTP}$ )을 사용하는 표준 자기회귀(autoregressive) 학습을 수행합니다.
보조 브랜치 (등변성 정규화):
- 입력 시퀀스 $x$ 에 무작위 음악적 변환 $T$ (음고 및 시간 이동 포함)를 적용하여 $T(x)$ 를 생성합니다.
- 가중치를 공유하는 트랜스포머가 $T(x)$ 를 처리하여 출력 확률 $p^T$ 를 생성합니다.
- 모델이 등변적이라면, $p^T$ 는 원래의 예측 $p$ 와 동일하되 $T$ 만큼 이동된 형태여야 합니다.
- 저자들은 $p^T$ 에 역변환 $T^{-1}$ 을 적용하고, (stop-gradient가 적용된) 원래의 예측과 이동된 예측 사이의 **KL 발산(KL Divergence)**을 계산합니다:
  $L_{equiv} = \frac{1}{t} \sum_{i=1}^{t} KL(\text{sg}(p_i) \parallel T^{-1}(p^T_i))$
- Stop-gradient 연산은 메인 브랜치가 안정적인 앵커 역할을 하게 하여, 이동된 브랜치가 현재의 변형되지 않은 데이터에 대한 모델의 이해와 일치하도록 강제합니다.

전체 목적 함수는 다음과 같은 가중 합계입니다:
$L_{total} = L_{NTP} + \lambda L_{equiv}$

아키텍처 수정 사항

EMT는 이미 FME(Fundamental Music Embedding)와 MRA(Multi-dimensional Relative Attention)를 통해 특징 수준의 등변성을 포함하고 있는 Moonbeam 아키텍처[9]를 기반으로 구축되었습니다. 주요 수정 사항은 다음과 같습니다:

상대적 온셋(onset) 대신 절대적 온셋을 예측하고, 입력/출력 공간 전체에 걸쳐 변환을 쉽게 적용할 수 있도록 옥타브/음고 클래스 토큰을 병합합니다.
국소적 상호 의존성을 포착하기 위해 GRU 디코더를 토큰 지연 패턴(token delay pattern)으로 교체합니다.
표현력을 높이기 위해 특징들을 단순히 결합(concatenate)하는 대신 입력 임베딩을 추가합니다.

3. 주요 기여

스케일링에 대한 실증적 증거: 본 논문은 등변성이 스케일링으로부터 창발(emerge)하지 않는다는 최초의 실증적 증거를 제시합니다. 다음 토큰 예측 손실로만 학습된 표준 심볼릭 음악 트랜스포머는 크기가 커지거나 학습이 길어짐에 따라 구조적 일반화보다 절대적 패턴의 암기를 우선시하며 등변성이 점진적으로 저하됩니다.
등변 음악 트랜스포머 (EMT): 자기 증류를 통해 등변성을 강제하는 모델 수준의 정규화 손실을 도입했습니다. 이 접근 방식은 입력 수준의 특징 공학이나 데이터 증강보다 더 강력한 정규화 도구임이 입증되었습니다.
이중 개선: 보조 등변성 손실은 인간의 지각과 일치하는(등변적인) 잠재 표현을 생성할 뿐만 아니라, 더 낮은 다음 토큰 예측 손실로 증명되듯 생성 능력 또한 향상시키는 유익한 정규화 역할을 합니다.
상보성: 본 연구는 모델 수준의 정규화가 특징 수준의 등변성(FME + MRA)과 상보적임을 보여주며, 이 둘의 결합이 최상의 결과를 낸다는 것을 입증했습니다.

4. 실험 결과

객관적 평가

생성 능력: EMT는 모든 내부 변형 모델 중 가장 낮은 검증 교차 엔트로피 손실( $L_{NTP}$ )을 달 기록하였으며, 데이터 증강만 사용하거나 특징 수준의 등변성만 사용한 모델보다 우수한 성능을 보였습니다.
등변성 지표: EMT는 베이스라인 모델들과 비교하여 $L_{equiv}$ $L_{e q u i v}$ , Top-1 매칭 정확도, Top-5 자카드 유사도(Jaccard similarity) 측면에서 탁월한 성능을 보였습니다.
- 스케일링 추세: 베이스라인 모델(Anticipatory Music Transformer)은 모델 크기가 커짐에 따라(Small $\to$ Medium $\to$ Large), 그리고 학습 단계가 증가함에 따라(100k $\to$ 800k) 등변성이 명확하게 저하되는 양상을 보였습니다.
- 정규화 효능: 모델 수준의 정규화를 적용한 EMT는 학습 내내 등변성을 유지하거나 향상시킨 반면, 정규화되지 않은 모델은 저하되었습니다. 데이터 증강만으로는 명시적인 손실 함수에 비해 미지의 변형에 대해 더 약한 일반화 성능을 보였습니다.

주관적 평가 (청취 테스트)

강건성: 14명의 참가자가 참여한 MOS(Mean Opinion Score) 테스트에서, EMT는 음악적으로 변형된 프롬프트(음고 전조 $\pm$ 6 반음, 온셋 이동 최대 1초) 하에서도 일관된 품질을 유지했습니다.
저하 현상: 베이스라인 모델(Anticipatory)은 변형된 입력으로 프롬프트를 주었을 때 "매끄러움(smoothness)"과 "즐거움(enjoyment)" 점수에서 상당한 하락(각각 $\Delta$ MOS 0.58 및 0.73)을 보였으며, 초기에는 비일관적인 연속음을 생성하는 경우가 많았습니다. 반면 EMT는 최소한의 저하( $\Delta$ MOS 0.20 및 0.30)만을 보였습니다.
무조건적 품질: 베이스라인보다 약 1.3배 작음에도 불구하고, EMT는 무조건적 생성 품질(변형되지 않은 프롬프트의 즐거움 점수: 3.02 vs 2.98)에서 대등한 수준을 달성했습니다.

5. 의의 및 주장

본 논문은 표준 언어 모델링 방법만으로는 음악에 내재된 평행 이동 대칭성을 포착하기에 불충분하다고 주장합니다. 저자들은 더 나은 음악 표현을 만들기 위해 전용 **귀납적 편향(inductive biases)**이 필요하다고 주장합니다.

본 연구의 의의는 다음과 같습니다:

등변성은 대규모 자기회귀 학습의 창발적 속성이 아님을 입증했습니다. 이는 반드시 명시적으로 강제되어야 합니다.
모델 수준의 정규화(손실 함수를 통한)가 데이터 증강이나 특징 공학 단독 사용보다 등변성을 강제하는 데 더 효과적이고 일반화 가능한 전략임을 보여주었습니다.
등변성을 강제하는 것이 생성 성능의 희생을 초래하지 않으며, 오히려 모델 용량의 효율적인 사용을 이끌어내어 구조적 강건성과 생성 품질 모두를 향상시킨다는 것을 보여주었습니다.

저자들은 결론적으로 EMT가 인간의 지각과 더 밀접하게 일치하는 음악 표현을 생성하며, 가변적인 입력 조건 하에서의 심볼릭 음악 생성에 대한 강력한 솔루션을 제공한다고 밝히고 있습니다.