기술 요약: Music102 – 화성 진행 반주를 위한 D12-공변 변환기

문제 제기

본 논문은 팝 음악에서 주어진 단일 트랙 멜로디에 맞춰 화성 진행을 생성하는 과제를 다룹니다. 생성형 인공지능이 시각 영역에서 크게 발전했음에도 불구하고, 음악 제작은 여전히 기계 지능의 최전선에 있습니다. 이전 시도들, 예를 들어 프로토타입 Music101은 표준 변환기 아키텍처를 활용하여 멜로디에서 화성 진행을 예측했습니다. 그러나 이러한 모델들은 음악의 고유한 수학적 대칭성을 충분히 활용하지 못해 실제 응용에 필요한 성능을 달성하지 못했습니다. 저자들은 표준 딥러닝 아키텍처가 음악 이론과 군론의 기본 요소인 전위(음높이 이동)와 반사(장조와 단조 간의 모드 변경)와 같은 음악적 대칭성에 대한 귀납적 편향이 부족하다고 지적합니다.

방법론

핵심 기여는 D12-공변으로 설계된 변환기 기반 모델인 Music102입니다. 이는 입력 멜로디가 전위나 반사를 겪을 때 모델의 출력이 예측 가능하게 변환되어 이면체군 $D_{12}$의 수학적 속성을 따름을 의미합니다.

1. 수학적 기초

이 모델은 옥타브가 12 개의 음계로 나뉘는 평균율 이론을 기반으로 구축되었습니다.

• 전위 ($T_i$): 음계 원 (순환군 $C_{12}$과 동형) 에 대한 회전 연산입니다.
• 반사 ($R$): 장조와 단조 모드를 서로 바꾸는 거울 연산입니다.
• 군 작용: 전위와 반사의 조합은 이면체군 $D_{12}$를 형성합니다. 이 모델은 입력 멜로디가 군 원소 $g$에 의해 변환될 때, 예측된 화성 진행도 동일한 $g$에 의해 변환되도록 보장합니다.

2. 아키텍처 및 공변 계층

Music102 는 공변성 조건 $A D_{perm} = D_{perm} A$를 만족하도록 Music101 에서 사용된 표준 변환기 백본을 수정합니다. 여기서 $D_{perm}$은 12 차원 음계 공간에 대한 $D_{12}$의 치환 표현입니다. 주요 아키텍처 적응 사항은 다음과 같습니다:

• 임베딩 및 전처리: 멜로디와 화음 시퀀스는 음계 존재 여부에 따라 $\mathbb{R}^{12}$로 벡터화됩니다. 전처리 계층은 사전 계산된 직교 기저 변환 행렬 ($U^{(a)}$) 을 사용하여 이러한 벡터를 $D_{12}$의 기약 표현으로 매핑합니다.
• 공변 선형 계층: 슈르의 보조정리에 따라 선형 계층은 서로 다른 대칭 채널을 혼합하는 대신 동일한 기약 표현 채널 내에서만 작동하도록 제한되어 중복도를 혼합합니다.
• 공변 비선형성: 표준 요소별 활성화 함수 (ReLU 등) 는 기약 기저에서의 치환과 교환 법칙을 따르지 않습니다. 이 모델은 연산이 공변성을 유지하도록 특정 비선형성을 구현합니다: $\sigma(h^{(a)}) \to U^{(a)}\sigma((U^{(a)})^\top h^{(a)})$.
• 공변 위치 인코딩: 표준 정현파 위치 인코딩은 기저 변환 행렬을 통해 투영되도록 적응되어, 군 작용 하에서 인코딩이 올바르게 변환되도록 합니다.
• 공변 자기 주의: 주의 메커니즘은 주의 가중치가 군 변환 하에서 불변으로 유지되도록 설계되는 반면, 값 벡터는 공변적으로 변환되도록 설계됩니다.
• 공변 레이어 정규화: 정규화는 군 작용과 일관된 평균 및 분산 계산을 보장하기 위해 치환 기저 (역변환을 통해) 에서 수행됩니다.

3. 학습 및 손실

이 모델은 POP909 데이터셋(909 곡의 중국 팝송) 으로 학습됩니다. 손실 함수는 가중 이진 교차 엔트로피이며, 화음이 변경되는 시간 단계에 더 높은 가중치를 부여하여 화음 전환 예측을 강조합니다.

주요 결과

실험은 비공변 프로토타입 Music101과 Music102를 비교하여 수행되었습니다. Music102 는 파라미터 수가 현저히 적음 (~76 만 개 대 ~685 만 개) 에도 불구하고 모든 지표에서 베이스라인을 능가했습니다:

• 가중 BCE 손실: Music101 의 0.5807 에서 Music102 의 0.5652로 감소했습니다.
• 코사인 유사도: 0.6638 에서 0.6727로 향상되었습니다.
• 정확도: 0.1141 에서 0.1783으로 크게 향상되었습니다.

저자들은 입력 데이터의 희소성으로 인해 다른 공변 모델 (Equiformer 등) 에서 일반적으로 사용되는 노름 게이트 비선형성을 사용할 때 비공변 베이스라인이 수치적 안정성 문제를 겪었다고 지적합니다. Music102 에서 제안된 치환 기반 접근 방식은 안정적인 대안을 제공했습니다.

중요성 및 주장

본 논문은 음악 생성의 입력 및 출력 임베딩 모두에 단어별 대칭성 (음계 치환) 을 명시적으로 통합한 최초의 seq2seq 변환기 기반 모델을 제시한다고 주장합니다.

• 이론적 통합: 이 모델은 군론 (특히 $D_{12}$) 과 딥러닝 아키텍처를 성공적으로 연결하여, 표준 변환기 구성 요소 (자기 주의, 레이어 정규화, 위치 인코딩) 를 이산적인 음악 도메인에 적응시킬 수 있음을 입증했습니다.
• 효율성: 결과는 공변성을 통해 사전 음악 지식을 인코딩하는 것이 데이터 및 계산 효율성을 높여 더 적은 파라미터로 더 높은 정확도를 달성함을 시사합니다.
• 미래 잠재력: 저자들은 Music102 가 단순한 패턴 매칭을 넘어 음악의 수학적 구조를 존중하는 모델로 나아가는 미래의 공변 음악 생성 및 계산 작곡 도구를 위한 유연하고 안정적인 프레임워크를 확립한다고 주장합니다.

이 연구는 완전한 고전 교향곡을 생성하는 '성배'를 해결했다고 주장하지는 않지만, 화음 반주와 같은 특정 작업의 경우 음악적 대칭성을 활용하는 것이 실용적인 AI 음악 응용을 향한 중요한 단계임을 보여줍니다.