Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints

논문 요약: 규칙 기반 음악 제약 조건을 활용한 가사 - 선율 생성을 위한 언어 모델 정렬

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 가사 (Lyric) 에서 선율 (Melody) 을 생성하는 작업에서 유망한 잠재력을 보이고 있으나, 기존 지도 미세 조정 (Supervised Fine-Tuning, SFT) 방식만으로는 다음과 같은 한계가 존재합니다.

• 음악적 비현실성: 생성된 선율이 리듬이 어색하거나, 인간의 음역대를 벗어난 고음/저음이 포함되어 실제 노래로 부르기 어렵습니다.
• 제약 위반 (Constraint Violation): 모델이 통계적 패턴만 학습하여 음악적 원리 (음정, 박자, 음역 등) 를 위반하는 경우가 빈번합니다.
• 기존 정렬 기법의 한계: 인간 피드백을 통한 강화 학습 (RLHF) 은 비용이 많이 들고 대규모 인간 주석이 필요하여 확장성이 떨어집니다.

2. 방법론 (Methodology)

저자들은 인간 주석 없이도 음악적 지식을 모델에 주입할 수 있는 새로운 정렬 (Alignment) 프레임워크를 제안합니다. 이 프레임워크는 세 가지 주요 단계로 구성됩니다.

가. 규칙 기반 음악 제약 조건 정의 (Rule-based Musical Constraints)
생성된 선율의 품질을 자동으로 평가하기 위해 5 가지 규칙을 정의했습니다.

1. 형식 제약 (Format): 출력 형식이 (가사, 피치, 지속시간) 튜플로 올바르게 파싱 가능한지 확인.
2. 가사 제약 (Lyric): 생성된 멜로디가 입력 가사와 정확히 매칭되는지 확인.
3. 음표 제약 (Note - 단조로움 회피): 동일한 음이 연속적으로 반복되는 비율을 임계값 이하로 제한.
4. 지속시간 제약 (Duration - 리듬의 타당성): 음의 길이가 너무 짧거나 길지 않은지, 그리고 문장의 마지막 음이 적절한 길이를 가지는지 확인.
5. 음역 제약 (Register - 가창 가능 범위): 모든 음이 평균 인간의 가창 가능 범위 (예: MIDI C4~C6) 내에 있는지 확인.

나. 자동화된 선호 데이터 생성 (Preference Data Generation)

• SFT 모델을 사용하여 다양한 가사에 대한 여러 선율 후보를 생성합니다.
• 위에서 정의한 규칙을 적용하여 생성된 선율을 평가합니다.
• 쌍별 데이터 (Paired Data): 규칙을 준수한 '승자 (Winner)'와 위반한 '패자 (Loser)'를 짝지어 생성.
• 비쌍별 데이터 (Unpaired Data): 규칙을 위반한 실패 사례만 포함된 데이터 (승자가 없는 경우) 를 수집.
• 이 과정은 인간의 개입 없이全自动으로 수행됩니다.

다. 순차적 정렬 전략 (Sequential Alignment Strategy)
생성된 데이터를 활용하여 모델을 정렬하는 두 단계의 최적화 과정을 거칩니다.

1. 직접 선호 최적화 (DPO): 쌍별 데이터 (Winner vs Loser) 를 사용하여 모델이 선호하는 (규칙 준수) 출력을 학습하도록 정렬합니다.
2. 카네만 - 트버스키 최적화 (KTO): 쌍을 이루지 않은 부정적 샘플 (규칙 위반 실패 사례) 을 사용하여 모델이 이러한 실패 모드를 생성하지 않도록 추가적으로 튜닝합니다.

• 이 순차적 접근 방식은 고품질 쌍 데이터로 선호도를 세밀하게 조정하고, 광범위한 실패 사례로 모델의 약점을 강력하게 제거합니다.

3. 주요 기여 (Key Contributions)

1. 5 가지 규칙 기반 음악 제약 조건: 생성 모델의 일반적인 실패 모드 (단조로움, 리듬 오류, 음역 초과 등) 를 해결하기 위한 포괄적인 규칙 세트 정의.
2. 완전 자동화 선호 데이터 파이프라인: 인간 주석 없이 SFT 모델의 출력을 규칙으로 평가하여 대규모 쌍별 및 비쌍별 선호 데이터셋을 자동 생성하는 방법 제시.
3. DPO 와 KTO 를 결합한 순차적 정렬 전략: 쌍별 데이터와 비쌍별 부정적 샘플을 모두 활용하여 모델의 음악적 타당성을 극대화하는 효율적인 학습 전략 제안.

4. 실험 결과 (Results)

영문과 중문 테스트 세트에서 기존 최첨단 모델 (SongMASS, TeleMelody, SongComposer 등) 과 비교 평가되었습니다.

• 객관적 지표 (Objective Metrics):
  • 피치 분포 유사도 (PD) 및 지속시간 분포 유사도 (DD): 제안된 모델이 모든 베이스라인 모델보다 높은 점수를 기록하여, 생성된 선율이 인간 작곡 음악의 리듬과 음정 특성을 더 잘 따름을 보였습니다.
  • 멜로디 거리 (MD): 기존 모델 대비 오류가 감소하여 인간 작곡과 더 가까운 결과를 생성했습니다.
• 주관적 평가 (Subjective MOS):
  • 음악 전문가 10 인이 평가한 평균 의견 점수 (MOS) 에서 제안된 모델은 3.42 점을 기록했습니다.
  • 이는 기존 모델들 (2.92~3.26 점) 을 크게 상회하며, 실제 녹음된 정답 (Ground Truth, 3.50 점) 에 거의 근접하는 수준입니다.
• 규칙 위반 분석:
  • 제안된 방법은 SFT 베이스라인 및 단일 정렬 방법 (DPO 만 또는 KTO 만) 에 비해 모든 규칙 유형 (형식, 가사, 음표, 지속시간, 음역) 에서 규칙 위반 빈도를 현저히 감소시켰습니다.

5. 의의 및 결론 (Significance)

• 확장성과 비용 효율성: 대규모 인간 주석 없이도 규칙 기반 시스템을 통해 고품질의 도메인 지식 (음악 이론) 을 LLM 에 주입할 수 있음을 입증했습니다. 이는 RLHF 의 대안으로서 매우 비용 효율적이고 확장 가능한 패러다임을 제시합니다.
• 실용적 가치: 생성된 선율이 실제 인간이 부를 수 있는 범위 내에 있고 리듬이 자연스러워, 음악가에게 영감을 주거나 대화형 AI 에이전트의 노래 기능 등 실세계 배포에 즉시 활용 가능한 수준으로 향상되었습니다.
• 미래 전망: 향후 더 복잡한 화성 및 구조적 원리를 규칙에 포함하거나, 사용자가 규칙을 정의하여 선율을 제어할 수 있는 상호작용형 생성으로 확장할 수 있는 가능성을 제시합니다.

이 논문은 LLM 기반 음악 생성 분야에서 규칙 기반 정렬 (Rule-based Alignment) 이 모델의 실용성과 음악적 완성도를 획기적으로 높일 수 있는 핵심 기술임을 입증한 연구입니다.