🤖 machine learning

Generative Modeling of Bach-Style Symbolic Music: A Comparative Study of Autoregressive, Latent-Variable, and Adversarial Approaches

이 논문은 바흐 스타일의 상징적 음악을 생성하기 위해 자기회귀, 잠재 변수 및 적대적 모델을 비교하며, 어텐션 기반 LSTM이 가장 일관된 구성을 생성하는 반면 벡터 양자화 VAE는 구조화된 출력을 제공하고 적대적 네트워크는 신뢰할 수 있는 일반화에 어려움을 겪는다는 것을 밝혀냈다.

원저자: Dezhi Yu, Kyuil Lee, Yongkang Huang

게시일 2026-06-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dezhi Yu, Kyuil Lee, Yongkang Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 1700년대의 복잡하고 우아한 피아노 곡들을 쓴 거장 요한 제바스티안 바흐의 방대한 악보 라이브러리가 있다고 상상해 보세요. 당신의 목표는 이 라이브러리를 듣고, 자신만의 새로운 바흐 스타일의 곡을 처음부터 써 내려갈 수 있는 컴퓨터 프로그램을 만드는 것입니다.

이 논문은 연구원들이 이 과업을 가르치기 위해 시도했던 세 가지 서로 다른 "학생" 컴퓨터 모델에 대한 성적표입니다. 연구원들은 어떤 학생이 바흐의 독특한 목소리를 가장 잘 흉내 내는지, 그의 음악 속에 숨겨진 규칙을 학습하는지, 그리고 무작위적인 소음이 아닌 실제 작곡처럼 들리는 음악을 만들어내는지 확인하고자 했습니다.

세 학생의 성과를 쉬운 비유를 들어 설명하면 다음과 같습니다.

1. "단계별로 나아가는" 학생 (Attention 기능이 있는 Autoregressive LSTM)

접근 방식: 이 학생은 이야기를 한 번에 한 단어씩 쓰는 것을 상상해 보세요. "그는"이라고 쓴 뒤, 다음에 어떤 단어가 오는 것이 일반적인지 생각합니다. 이 과정을 반복하며 천천히 문장을 완성해 나갑니다. 이 모델도 음악의 음표들을 똑같이 수행합니다. 방금 쓴 음표들을 보고 다음에 올 음표를 예측합니다.
비밀 무기: 연구원들은 이 학생에게 특별한 "형광펜 안경"(Attention이라 불림)을 주었습니다. 긴 이야기를 쓸 때, 마지막 문장을 제대로 만들기 위해서는 아주 처음에 썼던 문장을 기억해야 할 때가 있습니다. 이 안경 덕분에 모델은 다음 음을 결정하기 위해 이전 곡의 중요한 음표들을 다시 살펴볼 수 있습니다.
결과: 이 학생은 우등생이었습니다. 가장 일관성 있고 바흐다운 음악을 만들어냈습니다. 음악의 흐름, 화음, 그리고 멜로디를 이해했습니다. 이는 단순히 규칙을 암기한 것이 아니라 음악의 느낌을 이해한 학생과 같았습니다.

2. "압축된 요약본" 학생들 (VAEs 및 VQ-VAEs)

접근 방식: 바흐의 음악 전체를 하나의 아주 작은 요약 노트로 압축한 다음, 그 요약을 다시 전체 곡으로 확장하는 과정을 통해 음악을 배운다고 상상해 보세요. 이것이 **변이형 오토인코더(VAEs)**가 하려는 일입니다. 이들은 음악을 나타내는 숨겨진 "비밀 코드"(잠재 공간)를 찾아내려 노력합니다.
문제점: 대부분의 이 학생들은 "사후 확률 붕괴(Posterior Collapse)" 현상을 겪었습니다. 이것은 요약 코드를 잘못 추측할까 봐 겁이 난 나머지, 아예 코드를 무시해 버리는 학생을 생각하면 됩니다. 결국 이들은 바흐 특유의 구조는 놓친 채, 괜찮게 들리기는 하지만 (재즈나 무작위 스케일처럼) 바흐와는 거리가 먼 음악을 써 내려갔습니다. 그들은 "비밀 코드"를 잊어버리고 그냥 짐작해서 써 내려간 것입니다.
해결책: 한 학생은 **벡터 양자화(VQ-VAE)**라는 기술을 시도했습니다. 음악 전체를 하나의 흐릿한 구름으로 압축하는 대신, 이 학생은 음악을 작은 "블록"(예: 4개의 음으로 이루어진 덩어리)으로 나누고 이 블록들의 사전을 학습했습니다.
결과: 이 학생은 이 범주의 다른 학생들보다 더 나은 성과를 보였습니다. 특정 패턴(예: 위아 아래로 움직이는 작은 스케일)을 인식하는 법을 배웠으며, 바로크 시대의 느낌이 조금 더 나는 음악을 만들어냈지만, 여전히 "단계별로 나아가는" 학생만큼 완벽하지는 않았습니다.

3. "예술 비평가 vs. 예술가" (Generative Adversarial Networks - GANs)

접근 방식: 이것은 쫓고 쫓기는 게임입니다. 가짜 바흐를 그려내는 예술가와 가짜를 찾아내는 예술 비평가가 있습니다. 예술가는 비평가를 속이려 하고, 비평가는 가짜를 잡아내는 능력을 키우려 합니다. 이들은 함께 훈련하며 점점 더 발전합니다.
결과: 이 수업은 가장 어려운 수업이었습니다. 훈련 과정이 불안정했는데, 마치 누군가 테이블을 계속 치고 있는 상황에서 손가락 위에 빗자루를 세우고 균형을 잡으려는 것과 같았습니다. "예술가"가 개별 음의 높낮이 같은 국소적인 디테일은 잘 포착해 냈지만, 최종 결과물은 구조적인 바흐라기보다는 현대 재즈 즉흥 연주처럼 들렸습니다. 소리는 포착했지만, 스타일은 놓친 것입니다.

최종 판결

연구원들은 다음과 같이 결론지었습니다:

**"단계별로 나아가는" 학생 (Attention 기능이 있는 LSTM)**이 명백한 승자였습니다. 가장 신뢰할 수 있었으며, 가장 아름답고 양식적으로 정확한 바흐 스타일의 음악을 만들어냈습니다.
**"압축된 요약본" 학생들 (VAEs)**은 "비밀 코드"를 유용하게 유지하는 데 어려움을 겪었으나, "블록 기반" 버전(VQ-VAE)은 가능성을 보여주었습니다.
**"예술 비평가 게임" (GANs)**은 이 특정 스타일을 안정적으로 학습시키기에 너무 어려웠으며, 결국 바흐보다는 재즈에 가까운 소리를 냈습니다.

요약하자면, 컴퓨터에게 바흐를 쓰는 법을 가르칠 때는 가장 직관적인 방법, 즉 큰 그림에 주의를 기울이며 음표를 하나씩 배워나가는 방식이 가장 효과적이었습니다. 음악을 압축하거나 "될 때까지 속이는" 게임을 하는 더 복잡한 방법들은 흥미로웠지만, 거장의 진정한 정신을 포착하는 데는 덜 성공적이었습니다.

기술 요약: 바흐 스타일의 상징적 음악 생성을 위한 생성 모델링

문제 정의

본 연구는 요한 제바스티안 바흐의 스타일을 가진 상징적 피아노 음악을 생성하는 데 있어 세 가지 서로 다른 계열의 생성 모델의 효용성을 조사한다. 핵심 과제는 바로크 음악의 특징인 복잡한 대위법과 구조적 우아함을 준수하는 다성 음악 음표 시퀀스를 모델링하는 것이다. 저자들은 이 모델들이 유용한 잠재 표현(latent representations)을 학습하고, 스타일적으로 일관된 작곡을 생성하며, 모드 붕괴(mode collapse)나 사후 분포 붕괴(posterior collapse)와 같은 흔한 실패 모드를 회피하는 능력을 비교하는 것을 목표로 한다. 데이터셋은 바흐의 알려진 피아노 작품들(예: 평균율 클라비어, 골드베르크 변주곡)을 MIDI 형식으로 변환한 것으로 구성된다.

방법론

데이터 전처리

저자들은 MIDI 파일을 88차원(피아노 건반을 나타냄)의 멀티핫 벡터 시퀀스로 처리하였으며, 여기서 값 1은 특정 타임스텝에서 음이 연주됨을 나타낸다. 모델링 작업을 단순화하기 위해 벨로시티(velocity) 정보는 폐기하였다. 타임스텝은 곡에서 20% 이상 등장하는 가장 짧은 음의 길이(예: 16분음표 또는 8분음표)를 기준으로 동적으로 결정되었으며, 긴 휴지기는 필터링되었다.

모델 계열

본 연구는 세 가지 주요 접근 방식을 평가한다:

자기회귀 모델 (Autoregressive Models):
- 기본 LSTM: 32 길이의 시퀀스를 생성하는 2계층 LSTM (은닉 크기 512).
- Attention이 적용된 LSTM: 어텐션 메커니즘을 활용한 향상된 자기회귀 모델로, 2개의 LSTM 계층을 사용한다. 이 아키텍처는 곡의 서로 다른 성부들을 동시에 예측하기 위해 여러 개의 병렬 출력 헤드를 채택한다. 어텐션 메커니즘은 모델이 입력 시퀀스의 관련 부분에 동적으로 집중할 수 있게 하여, 특정 음이 더 영향력 있는 긴 시퀀스를 처리할 때 발생하는 한계를 해결한다.
잠재 변수 모델 (Latent-Variable Models - VAEs):
- 순환 VAE (Recurrent VAE): 양방향 LSTM 인코더와 단방향 LSTM 디코더를 사용하는 표준 VAE.
- 계층적 순환 VAE (Hierarchical Recurrent VAE): Roberts 등[2019]의 연구에서 영감을 받은 이 아키텍처는 디코더를 "지휘자"(상위 계층)와 "디코더"(하위 계층)로 나눈다. 지휘자는 하위 레벨 디코더가 음표를 생성하는 데 사용할 서브시퀀스용 임베딩을 생성하며, 이는 잠재 변수 $z$ 에 대한 더 강한 의존성을 강제한다.
- 벡터 양자화 VAE (VQ-VAE): 사후 분포 붕괴를 완화하기 위해 저자들은 VQ-VAE(van den Oord 등 [2017])를 구현하였다. 입력 시퀀스는 4개 음표 패턴으로 그룹화된다. 모델은 임베딩 벡터의 이산적인 코드북(codebook)을 학습한다. 이후 이산화된 잠재 공간 상에서 임 note 시퀀스의 임베딩을 예측하도록 자기회귀 LSTM이 학습되며, 이는 다시 음표로 디코딩된다.
적대적 모델 (Adversarial Models - GANs):
- WGAN (Wasserstein GAN): 생성자와 판별자 모두 LSTM과 멀티 헤드 어텐션 아키텍처를 활용한다. 생성자는 정규 분포에서 샘생된 잠재 벡터를 입력으로 받는다. 저자들은 표준 GAN에서 흔히 발생하는 기울기 소실 및 모드 붕해 문제를 해결하기 위해 그래디언트 클리핑(gradient clipping)과 함께 Wasserstein 손실을 사용하여 학습을 안정화했다.

주요 결과

Attention이 적용된 자기회귀 LSTM: 이 접근 방식은 가장 음악적으로 일관된 샘플을 산출하였다. 모델은 스타일적 뉘앙스를 성공적으로 포착하여, 바로크 양식을 연상시키는 합리적인 화성 진행과 멜로디 구조를 가진 작곡을 생성했다. 어텐션 메커니즘은 시퀀스 내의 두드러진 특징들의 우선순위를 정하는 데 결정적인 역할을 했다.
잠재 변수 모델:
- 표준 및 계층적 VAE는 모델이 잠재 변수 $z$ 를 무시하는 사후 분포 붕괴(posterior collapse) 현상을 겪었다. 계층적 디코더가 이 붕괴를 약간 지연시키기는 했으나, 결과물은 바흐 특유의 스타일적 충실도가 부족하여 재즈처럼 들렸다.
- VQ-VAE는 사후 분포 붕괴를 완화하는 데 성공함을 보여주었다. 이산적인 4개 음표 패턴을 학습함으로써, 연속형 VAE보다 뛰어난 성능을 보이며 더 명확한 구조적 패턴(스케일, 아르페지오)과 바로크 양식의 형태를 갖춘 출력을 생성했다.
생성적 적대 신경망 (GANs): WGAN은 국소적인 음높이 패턴을 성공적으로 포착하고 두 개의 뚜렷한 사운드트랙(베이스와 트레블)을 생성했다. 그러나 모델은 스타일 일반화에 어려움을 겪었으며, 바흐의 스타일보다는 복잡한 화성을 가진 현대 재즈 피아노를 닮은 음악을 생성했다. 저자들은 GAN 학습이 어렵고 자기회귀 또는 VAE 기반 모델만큼 효율적으로 훈련 데이터를 재구성하지 못한다고 언급했다.

의의 및 주장

본 논문은 이러한 맥맥락에서의 상징적 음악 생성에 있어서 자기회귀 공식이 가장 효과적이라고 결론짓는다. 반면, 적대적 및 잠재 변수 접근 방식은 상당한 학습상의 어려움을 제시한다.

상대적 강점: 자기회귀 방식(특히 어텐션이 적용된 LSTM)은 스타일적 일관성 측면에서 가장 좋은 결과를 내는, 가장 "쉬운" 공식으로 식별되었다.
실패 모드: 본 연구는 VAE의 사후 분포 붕괴와 GAN의 학습 불안정성 및 스타일 불일치와 같은 구체적인 실패 모드를 강조한다.
아키텍처 통찰: 저자들은 벡터 양자화가 VAE의 연속적 잠재 공간의 한계를 극克服하기 위한 실행 가능한 전략임을 주장한다. 그러나 잠재 변수 및 적대적 모델을 이 특정 작업에 대해 자기회귀 모델만큼 견고하게 만들기 위해서는 상당한 아키텍처 변경이 필요할 것이라고 단언한다.
향후 연구: 논문은 더 넓은 음악적 특징(역동성, 아티큘레이션)의 통합과 인간 친화적인 잠재 구조(스케일, 감정)의 개발을 포함하는 향후 방향을 조심스럽게 제안하지만, 이것이 현재 연구에서 달성되었다고 주장하지는 않는다.

저자들은 본 연구가 모든 모델이 음악을 생성할 수는 있지만, 자기회귀 방식이 현재 바흐의 작품에 대한 가장 높은 수준의 스타일적 충실도를 제공한다는 점을 강조하며, 이 연구가 모델 계열 간의 비교 연구로서 기능함을 강조한다.