기술 요약: 남아시아 음악 이해 및 생성을 위한 LLM 탐색

문제 정의

대규모 언어 모델(LLM)이 음악 이해 및 생성 분야에서 상당한 진전을 보여주었음에도 불구하고, 기존 연구와 벤치마크는 서구의 조성 전통에 과도하게 국한되어 있습니다. 이러한 작업들은 주로 화성적 코드 진행과 서구 화성을 기준으로 능력을 평가하며, 구조적으로 구별되는 저자원(low-resource) 음악 전통을 처리할 수 있는지에 대한 통찰을 거의 제공하지 못합니다. 라가(raga, 선율 체계)와 탈라(tala, 순환 리듬 체계)에 의해 규정되는 남아시아 고전 음악은 서구의 화성 중심 작곡과는 근본적으로 다른 원리로 작동합니다. 특히, 본 논문은 다음과 같은 체계적인 평가의 부재를 지적합니다:

1. 이해(Understanding): LLM이 힌두스탄 및 벵골 고전 음악의 문법(예: 라가 문법, 탈라 체계, 장식음)에 대한 문법적 지식을 보유하고 있는가?
2. 생성(Generation): LLM이 남아시아 장르, 특히 라빈드라(Rabindra) 및 나즈룰(Nazrul) 상기트의 특정 작곡 관습과 양식적 제약을 준수하는 상징적 음악을 생성할 수 있는가?
3. 평가(Evaluation): 서구 음악을 위해 설계된 기존의 자동 지표들이 문화적으로 뿌리 깊은 음악 모델링에 요구되는 구조적 타당성과 양식적 충실도를 신뢰성 있게 포착할 수 있는가?

방법론

1. 벤치마크 큐레이션 (음악 이해)

저자들은 힌두스탄 고전 이론과 벵골 고전 전통에 기반한 504문항의 객관식 벤치마크를 구축했습니다. 이 벤치마크는 세 가지 하위 작업으로 나뉩け됩니다:

• 음악 이론 이해 (163문항): 라가 문법, 탈라 체계, 타트(Thaat) 분류, 장식음(gamakas), 기보법을 포함한 이론적 문법에 대한 이해도를 평가합니다.
• 음악 일반 지식 (143문항): 작곡가, 역사적 인물, 악기 및 지역적 양식 전통에 관한 사실적 및 문화적 지식을 평가합니다.
• 음악 지속 (198문항): 구조적 지식의 실제 적용 능력을 테스트합니다. 모델에게 ABC 표기법으로 된 라빈드라 또는 나즈룰 상기트의 도입부를 제시하고, 네 가지 선택지 중 가장 구조적으로 일관된 지속 부분을 선택하도록 합니다. 변별력을 위해 구조적 불일치(예: 교차 장르 치환, 리듬 불일치)를 도입하면서도 표면적인 연속성은 유지하도록 오답을 구성했습니다.

모든 문항은 용어를 보존하기 위해 벵골어로 큐레이션되었으며, 벵골 고전 음악 전문가의 검수를 거쳤습니다.

2. 음악 생성 프레임워크

생성 능력을 평가하기 위해, 저자들은 TELeR 분류법에 기반하여 음악적 제약(음계, 리듬, 장르, 양식적 단서)을 점진적으로 도입하여 제어 가능한 상징적 음악 생성을 분석하는 5단계 제어 프롬프팅 프레임워크를 설계했습니다.

• 데이터: 공식 스와랄리피(Swaralipi) 출처에서 유래한 ABC 표기법 형태의 100개 수동 큐레이션 참조 악보(라빈드라 상기트 50개, 나즈룰 상기트 50개)가 시드(seed) 및 참조 자료로 사용되었습니다.
• 프롬프팅: 100개의 가사에 대해 모델당 5개의 프롬프트 변형을 생성하여 총 500개의 프롬프트를 만들었습니다. 프롬프트는 최소한의 세부 정보(레벨 1)부터 인도 고전 음악 원리에 대한 배경 지식을 포함한 최대한의 세부 정보(레벨 5)까지 다양했습니다.
• 평가 대상 모델: 33개의 LLM(오픈 소스 30개, 독점 모델 3개)이 이해도 테스트를 거쳤으며, 그중 상위 9개 모델이 생성 평가를 위해 선정되었습니다.

3. 평가 지표

• 자동 평가:
  • 참조 기반(Reference-Based): 생성된 악보와 참조 악보 간의 피치 분포에 대한 KL 발산(KL Divergence).
  • 참조 비기반(Reference-Free): 음계 준수 여부, ABC 구문 정확도(파싱 성공률), 반복률, 피치 히스토그램 엔트로피.
• 인간 평가: 정규 음악 이론 교육을 받은 3명의 주석가가 레벨 3 프로ンプ트를 사용하여 생성된 180개 샘의 샘플(상위 모델당 20개)을 평가했습니다. 평가는 구조성(Structureness), 장르 분석, 양식 분석, 감정, 지시 이행도, 조화로움의 6가지 기준에 따라 이루어졌습니다. 주석자 간 일치도(IAA)는 Krippendorff's $\alpha$ 및 Cohen's/Fleiss' $\kappa$를 사용하여 계산되었습니다.

주요 기여

1. 최초의 체계적 벤치마크: 음악 이론, 일반 지식, 상징적 지속을 아우르는 504문항 벤치마크를 도입하여, 남아시아 고전 음악에 대한 LLM 역량을 진단하는 최초의 기초적 도구를 제공했습니다.
2. 큐레이션된 데이터셋: 향후 연구를 위해 라빈드라 및 나즈룰 상기트의 ABC 표기법 참조 악보 100개를 수동으로 큐레이션하여 공개했습니다.
3. 제어된 프롬프팅 프레임워크: 음악적 제약이 상징적 생성에 미치는 영향을 체계적으로 분석하기 위한 5단계 프롬프팅 프레임워크를 제안했습니다.
4. 포괄적 평가: 33개의 LLM을 대상으로 이해도를, 상위 9개 모델을 대상으로 생성 능력을 평가하여, 상당한 역량 격차와 현재 자동 지표의 한계를 드러냈습니다.

결과

음악 이해

• 성능 격차: 프런티어 모델들이 오픈 소스 모델보다 월등히 높은 성능을 보였습니다. Gemini 2.5 Pro는 모든 하위 작업에서 가장 높은 정확도(이론 90.8%, 지식 89.4%, 지속 85.2%)를 달이트했습니다. 반면, 대부분의 오픈 소스 모델은 23~40% 범위의 점수를 기록했습니다.
• 스케일링의 한계: 모델 패밀리 내에서(예: Qwen2.5), 파라미터 크기를 키워도 이론 이해도 측면에서는 수익 체감(diminishing returns)이 나타나 32B, 14B, 7B 변형 모델이 거의 동일한 점수를 기록했습니다.
• 추론 vs 지식: 추론 중심 모델(예: QwQ-32B-Preview)이 일반 모델보다 이론 이해도에서 우위를 점하지 못했는데, 이는 사고 사슬(chain-of-thought) 추론이 문화적으로 뿌리 깊은 음악적 지식의 부재를 보완할 수 없음을 나타냅니다.
• 특화 모델: 서구적 ABC 표기법으로 미세 조정된 ChatMusician은 이론 점수에서 12.3%를 기록하며 저조한 성적을 보였는데, 이는 서구 전통에 대한 미세 조정이 남아시아 양식으로 전이되지 않음을 확인시켜 줍니다.

음악 생성

• 구조적 충실도 vs 양식적 충실도: 가장 강력한 모델인 Gemini 2.5 Pro조차도 광범위한 남아시아 장르에 대해서는 95%의 준수율을 보였음에도 불구하고, 양식적으로 충실한(라빈드라 또는 나즈룰 상기트로 인식 가능한) 출력은 **40%**의 경우에만 나타났습니다.
• 프롬프트 민감도: 프롬프팅 프레임워크의 레벨 2와 3이 경쟁력 있는 점수를 냈습니다. 레벨 4와 5는 더 많은 맥락을 추가했음에도 생성 품질을 유의미하게 개선하지 못했으며, 이는 현재 모델의 양식적 제어 능력에 한계가 있음을 시사합니다.
• 지표의 한계: 자동 지표와 인간의 판단 사이에는 약한 상관관계가 나타났습니다. KL 발산만이 인간의 양식 정확도와 통계적으로 유의미한 상관관계($r = -0.73$)를 보였습니다. 음계 준수 및 ABC 구문 정확도와 같은 지표는 양식 정확도와 거의 제로에 가까운 상관관계를 보였는데, 이는 구문적 정확성이 양식적 충실도를 보장하지 않음을 의미합니다.
• 인간 평가: 대부분의 오픈 소스 모델은 서술적 기준(구조성, 감정 등)에서 5점 만점에 2.5점 미만을 기록했습니다. 이는 구조적으로 파싱 가능한 출력이 반드시 지각적으로 일관되거나 정서적으로 부합하는 멜로디로 이어지지는 않음을 나타냅니다.

의의 및 주장

본 논문은 프런티어 LLM이 남아시아 음악 지식에 대한 창발적 이해를 보여주지만, 구조적 생성 능력과 미세한 양식적 충실도 사이에는 결정적인 격차가 존재한다고 주장합니다. 저자들은 다음과 같이 단언합니다:

1. 문화적 근간의 부재: 현재의 LLM은 남아시아 음악의 표면적 특성은 모사할 수 있으나, 충실한 양식적 제어를 위해 요구되는 작곡의 구체성은 결여되어 있습니다.
2. 평가 체계의 결함: 기존의 자동 지표는 문화적으로 뿌리 깊은 평가를 수행하기에 불충분합니다. 이 지표들은 구문 및 피치 분포 수준에 머물러 있으며, 이를 만족시키더라도 인간 전문가에게는 양식적으로 인식 불가능한 결과물을 만들어낼 수 있습니다.
3. 열린 과제: 라가(raga) 특유의 장식음을 감지할 수 있는 지표를 개발하고, 구문적 정확성을 넘어 문화적으로 근거 있는 평가 프레임워크를 구축하는 것은 향-후 해결해야 할 과제로 남아 있습니다.

본 연구는 비서구 음악의 독특한 구조적 원리를 고려한 새로운 평가 프레임워크와 잠재적으로 새로운 모델링 접근 방식이 필요하며, 단순히 현재의 모델 규모를 키우는 것만으로는 충실한 양식적 제어를 달성하기 어렵다는 결론을 내립니다.