SongSong: A Time Phonograph for Chinese SongCi Music from Thousand of Years Away

이 논문은 고대 중국 송사 (SongCi) 음악의 리듬과 스타일을 복원하기 위해 고안된 최초의 음악 생성 모델 '송송 (SongSong)'과 대규모 데이터셋 'OpenSongSong'을 소개하며, 기존 모델들보다 우수한 성능을 입증합니다.

핵심

송송 (SongSong): 천 년 전의 노래를 되살리는 '음악 시계'

이 논문은 고대 중국의 시인들, 특히 '송 (宋)'나라 시대의 시 (송시, SongCi) 를 현대의 인공지능이 어떻게 부르고 연주할 수 있게 했는지 소개합니다. 마치 시간을 거슬러 올라가는 '음악 시계'나 '레코드 플레이어' 같은 역할을 하는 기술입니다.

이 내용을 일반인도 쉽게 이해할 수 있도록 비유와 함께 설명해 드릴게요.

---

1. 왜 이 연구가 필요할까요? (잃어버린 악보의 문제)

상상해 보세요. 수천 년 전의 아름다운 시가 있지만, 그 시를 부르는 선율 (멜로디) 악보는 모두 사라져 버렸다고 가정해 봅시다.

• 현재 상황: 요즘 인공지능 (Suno, SkyMusic 등) 은 팝송을 아주 잘 만듭니다. 하지만 고전적인 중국 송시를 부르게 하면, 마치 고급 한복을 입고 힙합 춤을 추는 것처럼 어색합니다. 팝송 스타일 (기타, 드럼) 로 부르기 때문에 고유의 운율과 분위기를 전혀 살리지 못합니다.
• 문제점: 고대 음악을 학습할 데이터가 없어서 AI 가 배울 수 없었습니다.

2. 송송 (SongSong) 이란 무엇인가요?

저자들은 **'송송 (SongSong)'**이라는 새로운 AI 모델을 만들었습니다. 이 모델은 단순히 시를 듣고 노래를 부르는 게 아니라, 3 단계에 걸친 정교한 요리 과정을 거칩니다.

🍳 1 단계: 시를 '리듬'으로 번역하기 (요리 레시피 만들기)

• 비유: 시의 글자 하나하나가 어떤 박자 (리듬) 를 타고 가야 할지 결정하는 단계입니다.
• 작동: AI 가 시를 읽고, 각 글자가 어떤 박자에 맞춰져야 하는지 '리듬 패턴'을 먼저 예측합니다.

🎼 2 단계: 리듬을 '멜로디'로 변환하기 (요리 재료 준비)

• 비유: 결정된 리듬에 맞춰 어떤 음 (음정) 을 쓸지 악보 (MIDI) 를 그리는 단계입니다.
• 작동: 리듬 정보를 바탕으로 "이 글자는 도 (Do) 음, 저 글자는 레 (Re) 음"처럼 구체적인 악보를 생성합니다.

🎤 3 단계: 노래와 반주를 합치기 (완성된 요리)

• 비유: 만든 악보를 바탕으로 **가수 (목소리)**가 노래하고, **반주 악기 (고쟁 등)**가 연주하는 소리를 따로 만들어서 합칩니다.
• 특징: 단순히 소리를 합치는 게 아니라, 고전 악기인 '고쟁 (Gu Zheng)' 소리가 나도록 반주를 특별히 설계합니다.

3. '오픈송송 (OpenSongSong)'이라는 보물상자

AI 가 배울 수 있도록, 연구팀은 29.9 시간 분량의 고대 송시 음악 데이터를 직접 모아서 '오픈송송'이라는 공개 데이터를 만들었습니다.

• 의미: 마치 고대 음악가들의 비밀 악보와 녹음 테이프를 발굴해서 AI 에게 가르친 것과 같습니다. 이 데이터 덕분에 AI 는 고전적인 분위기를 정확히 이해할 수 있게 되었습니다.

4. 다른 AI 와 비교하면 어떨까요?

연구팀은 송송을 최신 상업용 AI (Suno, SkyMusic) 와 비교 실험을 했습니다.

• Suno/SkyMusic:
  • 결과: 시를 부르기는 하지만, 팝송 스타일로 부릅니다. 고쟁 대신 기타 소리가 나거나, 시의 운율을 무시하고 리듬을 바꾸는 경우가 많았습니다.
  • 비유: 한복을 입고 클럽에서 춤을 추는 것 같습니다.
• 송송 (SongSong):
  • 결과: 시의 원래 운율과 고전적인 분위기를 완벽하게 살렸습니다. 가사 하나하나를 정확하게 발음하고, 고쟁 반주가 어우러져 진짜 고전 음악처럼 들립니다.
  • 비유: 전통 공연장에서 고수들이 연주하는 것처럼 정갈하고 아름답습니다.

5. 결론: 왜 이것이 중요한가요?

이 연구는 단순히 노래를 만드는 기술을 넘어, 문화 유산을 디지털로 되살리는 (Restoration) 첫걸음입니다.

• 핵심 메시지: "고대 시를 AI 가 부르게 하려면, 팝송을 배우게 해서는 안 되고, 고전 음악의 규칙 (리듬과 멜로디) 을 따로 가르쳐야 한다"는 것을 증명했습니다.

한 줄 요약:

송송은 잃어버린 천 년 전의 노래를 찾아내어, AI 가 고전 악기와 함께 그 시대의 분위기를 그대로 재현하게 해주는 **'시간 여행 음악 시계'**입니다.

기술 요약

1. 문제 정의 (Problem)

• 고대 음악의 부재: 중국의 시가 문학인 '송사 (SongCi)'는 수천 년간 중국 문화의 핵심이었으나, 역사적 변화와 악보의 소실로 인해 원래의 음악 형태는 대부분 사라졌습니다.
• 기존 모델의 한계: 최근 음악 생성 모델 (Suno, SkyMusic 등) 은 현대 팝 음악을 중심으로 훈련되어 있어, 독특한 리듬과 스타일을 가진 고대 송사 음악을 생성하는 데 한계가 있습니다.
• 데이터 부족: 고대 중국 송사 음악을 위한 공개된 대규모 데이터셋이 존재하지 않아, 딥러닝 기반의 복원 연구가 어렵습니다.
• 제어 불가능성: 기존 상업적 모델은 텍스트 프롬프트에 기반하여 음악을 생성하지만, 생성 과정이 무작위적이고 사용자가 원하는 고전적인 스타일 (예: 구쟁 악기 사용) 을 정확히 제어하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 송사 시를 입력받아 고유의 스타일을 갖춘 음악으로 변환하는 SongSong 모델을 제안했습니다. 이 모델은 크게 4 개의 모듈로 구성되며, 자동 회귀 (Auto-regressive) Transformer와 확산 (Diffusion) 기술을 결합합니다.

A. 전체 파이프라인

1. 가사 $\rightarrow$ 리듬 (Lyric-to-Rhythm): 입력된 송사 시의 각 단어에 대한 리듬 (조성, 코드, 박자 패턴, 종결음 등) 을 예측합니다.
2. 리듬 $\rightarrow$ 멜로디 (Rhythm-to-Melody): 예측된 리듬 정보를 바탕으로 각 단어에 대응하는 음계 (노트) 시퀀스를 생성합니다.
3. 멜로디 $\rightarrow$ 보컬 및 반주 (Melody-to-Singing Voice & Accompaniment):
   • 보컬 생성: 가사의 음소 (Phoneme), 음소 지속 시간, 기본 주파수 (F0) 정보를 기반으로 확산 모델을 사용하여 노래 소리를 합성합니다.
   • 반주 생성: 생성된 멜로디를 조건으로 하여 다른 악기 (예: 구쟁) 의 반주를 생성합니다.
4. 오디오 병합: 보컬, 멜로디, 반주 오디오를 결합하여 최종 송사 음악을 완성합니다.

B. 핵심 기술적 세부 사항

• 2 단계 리듬 전환: 직접적인 '가사 $\rightarrow$ 멜로디' 매핑은 데이터 부족으로 인해 어렵습니다. 따라서 '가사 $\rightarrow$ 리듬 $\rightarrow$ 멜로디'의 2 단계 과정을 통해 리듬을 중간 매개체로 사용하여 가사와 멜로디의 정합성을 높였습니다.
• 보컬 합성 모듈:
  • 변량 인코더 (Variance Encoder): FastSpeech2 기반의 Transformer 를 사용하여 음소 특징을 추출합니다.
  • 지속 시간 예측기 (Duration Predictor): Convolutional Network 를 사용하여 각 음소의 길이를 예측합니다.
  • F0 예측기: 확산 모델 (Diffusion Model) 을 사용하여 피치 (F0) 시퀀스를 생성합니다.
  • 얕은 확산 (Shallow Diffusion): DiffSinger 에서 도입된 기법을 사용하여 추론 속도를 높이고 오디오 품질을 개선합니다.
• 반주 생성 모듈:
  • 텍스트 프롬프트와 멜로디 오디오를 입력으로 받습니다.
  • Encodec를 사용하여 오디오 특징을 이산 토큰 (Discrete Tokens) 으로 변환한 후, **자동 회귀 언어 모델 (Auto-regressive Language Model)**을 통해 반주 토큰을 생성하고 다시 연속적인 멜 스펙트로그램으로 복원합니다.

3. 주요 기여 (Key Contributions)

1. SongSong 모델 개발: 송사 (SongCi) 음악을 연주할 수 있는 최초의 음악 생성 모델을 제안했습니다.
2. OpenSongSong 데이터셋 구축: 고대 중국 송사 음악의 부족을 해결하기 위해 29.9 시간 분량의 고품질 송사 음악 데이터셋을 구축했습니다. 이 데이터셋은 89 명의 가수, 다양한 피치 범위 (G1-C6), 그리고 정밀한 주석 (텍스트, 음소, 피치, 정렬 정보) 을 포함합니다.
3. 성능 입증: Suno 및 SkyMusic 과의 비교 실험을 통해 제안된 모델이 송사 스타일의 음악 생성에서 최첨단 (SOTA) 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

저자들은 훈련 데이터에 포함되지 않은 85 개의 송사 문장을 사용하여 SongSong, Suno, SkyMusic 을 비교 평가했습니다.

• 주관적 평가 (Subjective Evaluation):
  • 송사 스타일 준수 (SCS) 및 반주 적합성 (AC): SongSong 이 압도적으로 높은 점수를 받았습니다. Suno 와 SkyMusic 은 팝 스타일 음악이 생성되거나 구쟁 대신 기타/키보드 등을 사용하는 등 고전적 스타일을 제대로 반영하지 못했습니다.
  • 발음 정확도 (PA): 송사에 포함된 한자 (희귀한 글자) 를 처리할 때, 기존 모델들은 단어를 생략하거나 무작위 가사를 생성하는 오류가 발생했으나, SongSong 은 정확한 발음으로 모든 단어를 노래했습니다.
  • 자연스러움 (VN): 대규모 사전 학습을 가진 Suno/SkyMusic 은 보컬의 자연스러움에서는 경쟁력이 있었으나, SongSong 또한 훈련 코퍼스 내 희귀 단어를 포함하여 높은 자연스러움을 유지했습니다.
  • 일반 음악 관점: SongSong 은 구조적 다양성 (MS) 이나 악기 풍부함 (ER) 측면에서 팝 음악 중심의 모델보다 낮게 평가되었으나, 이는 송사 음악의 고유의 단조롭고 고정된 리듬 특성을 잘 반영한 결과로 해석됩니다.
• 객관적 평가 (Objective Metrics):
  • FAD (Frechet Audio Distance): SongSong 은 Suno, SkyMusic 과 유사하거나 더 나은 FAD 점수를 기록하여 인간 청각 지각에 부합하는 고품질 오디오를 생성함을 보였습니다.
• 사례 연구 (Case Study): 멜 스펙트로그램 분석 결과, SongSong 은 송사 특유의 반복적이고 일관된 리듬 패턴을 잘 학습한 반면, 다른 모델들은 무작위성이 높거나 고주파 대역에서 급격한 변화를 보였습니다.
• Ablation Study: 멜로디 생성 모듈이 없는 단순 합성 모델 (GSV) 과 비교 시, SongSong 이 FAD 및 주관적 평가에서 월등히 우수한 성능을 보여, 리듬 기반의 멜로디 생성 단계가 고전 음악 복원에 필수적임을 입증했습니다.

5. 의의 (Significance)

• 문화유산의 디지털 복원: 사라진 고대 중국 음악 (송사) 을 AI 기술을 통해 복원하고 현대적으로 재해석할 수 있는 첫 번째 체계적인 접근법을 제시했습니다.
• 데이터셋의 중요성 강조: 고전 음악 생성을 위해서는 현대 팝 음악 데이터가 아닌, 해당 장르에 특화된 고품질 데이터셋 (OpenSongSong) 이 필수적임을 증명했습니다.
• 제어 가능한 음악 생성: 단순히 텍스트를 음악으로 변환하는 것을 넘어, 리듬과 멜로디를 단계적으로 제어함으로써 사용자가 원하는 특정 스타일 (고전적, 특정 악기 등) 을 정밀하게 구현할 수 있는 가능성을 열었습니다.

이 연구는 인공지능이 단순한 엔터테인먼트를 넘어, 역사적 문화 유산을 보존하고 재창조하는 도구로서 중요한 역할을 할 수 있음을 보여줍니다.