A Knowledge-Driven Approach to Music Segmentation, Music Source Separation and Cinematic Audio Source Separation

1. 문제 정의 (Problem Definition)

기존의 오디오 분할 (Segmentation) 및 소스 분리 (Source Separation) 연구는 주로 대량의 주석 (Annotation) 이 달린 데이터에 의존하는 지도 학습 방식이 주류였습니다. 그러나 실제 환경에서는 다음과 같은 한계가 존재합니다.

• 데이터 부족: 개별 악기나 소스 (Speech, Music, SFX 등) 가 분리된 고품질 데이터셋은 저작권 및 녹음 제약으로 인해 구하기 어렵습니다.
• 경계 정보 부재: 연속된 오디오 스트림에서 의미 있는 이벤트 (악기 변경, 템포 변화 등) 의 시간적 경계를 미리 알 수 없는 경우가 많습니다.
• 영화/시네마틱 오디오의 복잡성: 영화 사운드트랙은 대화, 음악, 효과음 등이 중첩되어 있으며, 음악 악보 (Score) 와 같은 구조화된 지식이 부재하여 분리가 어렵습니다.

이 논문은 주석 데이터에 의존하지 않고, 오디오와 관련된 '지식' (예: 악보, 음성 활동 정보 등) 을 활용하여 모델을 자율적으로 학습시키는 지식 기반 (Knowledge-Driven) 프레임워크를 제안합니다.

2. 제안 방법론 (Methodology)

저자들은 다음과 같은 세 가지 핵심 단계로 구성된 프레임워크를 제안합니다.

가. 지식 기반 오디오 분할 (Knowledge-Driven Segmentation)

• HMM 기반 강제 정렬 (Forced Alignment): 음성 인식 (ASR) 에서 전사본 (Transcription) 을 사용하여 음소 경계를 찾는 '강제 정렬' 개념을 음악에 적용합니다.
• 지식 소스 활용: 오디오 파일에 해당하는 **음악 악보 (MIDI)**를 지식 소스로 활용합니다.
• 프로세스:
  1. HMM(은닉 마코프 모델) 을 초기화하여 악기 (피아노, 베이스 등) 단위로 학습합니다.
  2. 악보 정보를 사용하여 연속된 오디오에서 각 악기가 연주되는 구간을 강제 정렬합니다.
  3. 이를 통해 단일 악기 구간 (Single-instrument segments) 과 혼합 구간을 자동으로 추출하고 경계를 식별합니다.
  4. 이 과정은 별도의 수동 분할 데이터 없이도 수행 가능합니다.

나. 분할된 데이터를 활용한 소스 분리 (MSS)

• 가짜 혼합음 (Pseudo Mixtures) 생성: 위에서 추출된 단일 악기 구간들을 무작위로 잘라내어 (Cropping) 다시 혼합합니다. 이를 "가짜 혼합음"으로 정의합니다.
• 학습 전략:
  • Scratch (처음부터 학습): 분리된 트랙이 전혀 없는 상태에서도, 지식 기반 분할로 만든 데이터만으로 분리 모델을 학습시킬 수 있습니다.
  • Fine-tuning: 기존에 대량 데이터로 사전 학습된 모델을, 지식 기반 분할로 선별된 고품질 데이터로 미세 조정 (Fine-tuning) 하여 성능을 향상시킵니다.

다. 시네마틱 오디오 소스 분리 (CASS) 를 위한 지식 통합

• 지식 투사 (Knowledge Projection): 영화 오디오 (대화, 음악, 효과음) 의 경우 악보가 없으므로, **음성 활동 정보 (Voice Activity Indicators)**를 지식으로 활용합니다.
• 시스템 구조 (Fig 1 참조):
  1. 프레임 단위의 오디오 특징 (STFT 스펙트로그램) 과 각 프레임에서 활성화된 소스 카테고리 (예: 대화 O, 음악 X 등) 를 입력받습니다.
  2. 활성화 정보를 저차원 임베딩 (Projection) 으로 변환합니다.
  3. 이 임베딩을 오디오 특징 벡터와 연결 (Concatenate) 하여 분리 모델 (Separator, 예: Transformer, RNN) 에 입력합니다.
  4. 모델은 고수준의 지식 정보를 바탕으로 각 프레임의 에너지를 올바른 소스로 할당합니다.

3. 주요 기여 (Key Contributions)

1. 주석 데이터 불필요 프레임워크: 외부에서 미리 분할된 훈련 데이터 없이, 악보나 소스 카테고리 지식만으로 분할 및 분리 모델을 구축하는 자율 학습 방식을 제시했습니다.
2. HMM 기반 음악 분할의 유효성 증명: 악보 정보를 활용한 강제 정렬을 통해 음악 경계를 높은 정확도로 탐지하고, 이를 통해 단일 악기 구간을 추출할 수 있음을 입증했습니다.
3. 지식 기반 분리 성능 향상:
   • MSS: 시뮬레이션 데이터에서 지식 기반 학습이 기존 데이터 기반 학습보다 우수한 성능을 보였습니다.
   • CASS: 영화 오디오 분리 시, 프레임 단위의 소스 활동 정보를 모델 입력에 통합함으로써 기존 최첨단 (SOTA) 모델들을 능가하는 성능을 달성했습니다.
4. 지식 투사의 시각화: 투사된 지식 임베딩이 서로 다른 소리 카테고리 (대화 vs 음악/효과음) 를 명확하게 군집화함을 보여, 모델이 고수준 정보를 효과적으로 활용함을 증명했습니다.

4. 실험 결과 (Results)

가. 음악 분할 및 분리 (MSS)

• 데이터: Slakh2100 데이터셋 (피아노, 베이스).
• 분할 정확도: 악보 기반 HMM 강제 정렬 시 평균 절대 오차 (MAE) 는 9.03 프레임 (10ms 기준) 으로 매우 정확했습니다.
• 분리 성능 (SDR):
  • BSRNN 모델: 지식 기반 처음부터 학습 (KD-FS) 시 SDR 17.89 dB, 미세 조정 (KD-FT) 시 18.52 dB 달성.
  • HTDemucs 모델: KD-FS 17.84 dB, KD-FT 17.90 dB 달성.
  • 의미: 대량의 사전 학습 데이터 (Pre-train) 가 있더라도, 지식 기반 데이터 선별을 통한 미세 조정이 추가적인 성능 향상을 가져왔습니다.

나. 시네마틱 오디오 분리 (CASS)

• 데이터: DNR-v2 및 DNR-nonverbal (2023 Sound Demixing Challenge).
• 모델: SepReformer (Transformer 기반).
• 성능:
  • 음성 활동 정보를 입력에 포함시킨 모델은 포함하지 않은 모델보다 모든 카테고리 (Speech, Music, SFX) 에서 크게 우세했습니다.
  • Speech: 7.68 dB → 11.03 dB (+3.35 dB)
  • SFX: 2.41 dB → 6.67 dB (+4.26 dB)
  • Music: 2.94 dB → 5.12 dB
  • SOTA 비교: DNR-nonverbal 데이터셋에서 기존 BSRNN 기반 SOTA 모델 (9.30 dB) 을 능가하는 11.03 dB의 Speech SDR을 기록하여 최첨단 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 오디오 처리 분야에서 **"데이터의 양"보다 "데이터의 질과 맥락 (지식)"**이 중요함을 강조합니다.

• 실용성: 실제 영화나 음악 산업에서 개별 트랙을 구하기 어려운 상황에서도, 악보나 메타데이터 같은 부가 정보를 활용하여 고품질의 분리 모델을 구축할 수 있는 길을 열었습니다.
• 확장성: 음악뿐만 아니라 대화, 효과음이 혼재된 복잡한 시네마틱 오디오에서도 소스 활동 정보를 지식으로 투사하여 분리 성능을 극대화할 수 있음을 입증했습니다.
• 미래 전망: 향후 DNN-HMM 등을 활용한 더 정교한 분할 기술 개발과, 제한된 길이의 오디오에 대한 사전 학습 모델 전이 (Transfer Learning) 연구가 필요함을 제시하며, 지식 기반 접근법의 잠재력을 보여주었습니다.

요약하자면, 이 연구는 지식 (악보, 활동 정보) 을 모델의 입력 또는 학습 가이드로 활용함으로써, 데이터 부족 문제를 해결하고 오디오 분할 및 분리 성능을 획기적으로 개선한 획기적인 접근법입니다.