A Spectrogram-Based Deep Learning Framework for Automatic Swara and Gamaka Recognition in Carnatic Veena Performances

기술 요약: 카르나틱카 음악 비나(Veena) 연주에서의 자동 스와라(Swara) 및 가마카(Gamaka) 인식을 위한 스펙트로그램 기반 딥러닝 프레임워크

문제 정의
음표와 장식음을 자동으로 인식하는 것은 음악 정보 검색(MIR) 분야에서 여전히 중요한 과제이며, 특히 서양 클래식 음악과는 다른 카르나틱 음악과 같은 비서구적 고전 음악에서 더욱 그러하다. 이산적인 음높이 값을 사용하는 서양 음악과 달리, 카르나틱 음악은 연속적인 음높이 변화, 미분음적 간격, 그리고 '가마카(gamaka)'라고 불리는 표현력 있는 장식음이라는 특징을 갖는다. 이 전통의 주요 악기인 사라스와티 비나(Saraswati Veena)는 현의 굴곡(string bending)과 조절된 뜯기(plucking)를 통해 구현되는 지속적인 공명, 풍부한 배음 함량, 복잡한 피치 변조로 인해 독특한 계산적 어려움을 제시한다.

기존 연구는 주로 라가(raga) 식별, 피치 추정 또는 성악 분석에 집중해 왔으며, 비나 특유의 스와라(swara, 음)와 가마카(gamaka, 장식음)에 대한 상세한 자동 인식은 거의 탐구되지 않았다. 수동으로 설계된 특징(handcrafted features)인 피치 검출 등에 의존하는 기존의 신호 처리 기법은 비나 연주에 내재된 역동적인 음향 특성과 연속적인 전이를 정확하게 모델링하는 데 한계가 있다.

방법론
본 논문은 명시적인 피치 추정에 의존하지 않고 오디오 녹음으로부터 스와라와 가마카를 직접 분류하도록 설계된 스펙트로그램 기반 딥러닝 프레임워크를 제안한다. 방법론은 다음과 같은 5단계 파이프라인을 따른다:

1. 데이터 수집: 프레임워크는 7개의 기본 스와라(Sa, Ri, Ga, Ma, Pa, Dha, Ni)와 5개의 대표적인 가마카 클래스(Kampita, Nokku, Jaru, Spurita, Pratyāhata)를 포함하는 디지털 녹음된 카르나틱 비나 연주 데이터셋(44.1 kHz, 16-bit 해상도)을 활용한다. 모든 녹음은 도메인 전문가에 의해 수동으로 주석(annotation) 처리되었다.
2. 오디오 전처리: 원시 오디오 신호는 스펙트럼 필터링, 진폭 정규화, 무음 제거를 통한 노이즈 감소 과정을 거친다. 오디오는 개별 스와라 및 가마카 샘플로 분할된다. 모델의 강건성을 높이고 과적합을 완화하기 위해, 훈련 과정에서 피치 시프팅(pitch shifting), 타임 스트레칭(time stretching), 가산 노이즈(additive noise)를 포함한 데이터 증강 기법이 적용된다.
3. 스펙트로그램 생성: 전처리된 오디오 세그먼트는 단시간 푸리에 변환(STFT)과 멜 스펙트로그램을 사용하여 시간-주파수 표현으로 변환된다. 이러한 표현 방식은 주파수를 지각적으로 유의미한 멜 스케일(Mel scale)에 매핑함으로써 시간적 진화와 주파수 콘텐츠를 모두 보존한다. 이 스펙트로그램들은 신경망의 2차원 입력 이미지 역할을 한다.
4. 딥러닝 모델: 스펙트로그램 이미지로부터 차별적인 음향 특징을 직접 학습하기 위해 합성곱 신경망(CNN)이 채택된다. 아키텍처에는 ReLU 활성화 함수를 가진 다수의 합성곱 계층, 배치 정규화, 맥스 풀링(max-pooling), 드롭아웃 규제, 그리고 완전 연결 계층(fully connected layers)이 포함된다. Softmax 분류기가 최종 다중 클래스 분류를 수행하며, 모델은 범주형 교차 엔트로피 손실 함수와 Adam 옵티마이저를 사용하여 훈련된다.
5. 평가: 데이터셋은 훈련(70%), 검증(15%), 테스트(15%) 서브셋으로 분할된다. 성능은 정확도(accuracy), 정밀도(precision), 재현율(recall), F1-스코어 및 혼동 행렬(confusion matrix) 분석을 통해 평가된다.

주요 기여
본 논문은 다섯 가지 주요 기여를 기술한다:

1. 통합 프레임워크: 카르나틱 비나 연주에서 스와라와 가마카를 동시에 인식하기 위한 통합된 파이프라인 개발.
2. 특징 표현: 수동으로 설계된 기술자(descriptor)에서 벗어나 딥 특징 학습을 용이하게 하기 위한 STFT 및 멜 스펙트로그램 표현의 활용.
3. 재현 가능한 파이프라인: 세그멘테이션, 정규화 및 스펙트로그램 생성을 포함하는 완전한 전처리 워크플로우 설계.
4. 데이터셋 명세: 향후 실험적 검증을 지원하기 위해 녹음 조건과 클래스 구성을 상세히 기술한 예시적 데이터셋 명세 제시.
5. 모듈형 아키텍처: CNN-LSTM 모델, 어텐션 메커즘, 비전 트랜스포머(Vision Transformer), 전이 학습과 같은 고급 기술을 통해 확장이 가능한 확장성 있는 아키텍처 제공.

결과
본 논문은 제안된 프레임워크를 바탕으로 평가 방법론을 입증하기 위해 예시적인 성능 수치를 제시한다. 베이스라인 CNN 모델은 94.2%의 정확도, 93.8%의 정밀도, 94.1%의 재현율, 93.9%의 F1-스코어를 달려 달성했다. 5-겹 교차 검증(five-fold cross-validation) 결과 평균 정확도는 93.8% ± 1.2%였다.

비교 분석에는 세 가지 아키텍처가 포함되었다: CNN, CNN-LSTM, 그리고 비전 트랜스포머(ViT). 예시 결과는 다음과 같다:

• CNN: 94.2% 정확도.
• CNN-LSTM: 95.6% 정확도.
• Vision Transformer: 96.8% 정확도.

통계적 분석(paired t-test 및 ANOVA)은 CNN-LSTM이 베이스라인 CNN보다 유의미하게 우수한 성능을 보였으며, 비전 트랜스포머가 CNN보다 유의미하게 높은 정확도를 달성했음을 시사했다. 그러나 본 논문은 이 수치들이 평가 절차를 보여주기 위한 예시적인 것이며, 대규모 주석 데이터셋으로부터 얻은 최종 실험 결과는 아니라는 점을 명시적으로 밝히고 있다. 혼동 행렬 분석 결과, 대부분의 스와라 클래스는 정확히 식별되었으나, 음향적으로 유사한 가마카들(예: Kampita와 Nokku) 사이에서는 그들의 유사한 피치 변조 특성으로 인해 간헐적인 오분류가 발생했다.

의의 및 주장
본 논문은 이 연구를 확정적인 해결책이라기보다는 방법론적 토대로 포지셔닝하며, 더 큰 규모의 전문가 주석 데이터셋을 통한 향후 검증의 필요성을 강조한다. 본 연구의 의의는 다음과 같다:

• 연구 공백 해결: 라가 식별 및 성악 분석에 의해 가려져 있던 악기 중심의 카르나틱 음악에 대한 미세한 스와라 및 가마카 인식을 구체적으로 목표로 한다.
• 방법론적 전환: 스펙트로그램 기반 딥러닝을 활용함으로써 수동으로 설계된 음향 기술자에 대한 의존도를 낮추고, 비나에 내재된 비선형 음향 특성과 연속적인 피치 변화를 모델이 학습할 수 있도록 한다.
• 실질적 응용: 본 프레임워크는 자동 음악 채보, 카르나틱 음악의 디지털 아카이빙, 지능형 음악 교육 시스템, 연주자 보조 도구 및 고급 음악 정보 검색(MIR)의 기초로 제안된다.
• 미래 확장성: 하이브리드 아키텍처, 자기 지도 학습(self-supervised learning), 멀티모달 분석(예: 오디오와 비디오 또는 운지법의 결합)을 포함한 미래의 발전을 통합할 수 있는 모듈형 설계를 갖추고 있다.

저자들은 본 프레임워크가 비나 연주를 분석하는 체계적인 접근 방식을 제공하지만, 그 궁극적인 효과는 다양한 연주자와 연주 스타일를 나타내는 포괄적이고 다양한 데이터셋을 통한 엄격한 실험적 구현에 달려 있다고 결론짓는다.