Musical Score Understanding Benchmark: Evaluating Large Language Models' Comprehension of Complete Musical Scores

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 은 자연어 처리 분야에서 뛰어난 성과를 보이지만, **완전한 악보 (Complete Musical Scores)**를 이해하고 추론하는 능력은 아직 충분히 검증되지 않았습니다. 기존 연구들은 다음과 같은 한계를 가집니다:

• 제한된 범위: 기존 벤치마크는 악보의 일부 조각, 짧은 발췌, 또는 객관식 문제에만 집중하여 전체 악보에 대한 통합적 추론을 평가하지 못함.
• 단성음 위주: 대부분의 작업이 화성이나 리듬 반주가 없는 단일 선율 (단성음) 에 국한되어, 실제 음악학적 분석이 요구하는 구조적 복잡성과 표현적 풍부함을 반영하지 못함.
• VLM 의 주요 난제:
  1. 위치 인식 (Localization) 실패: 특정 마디 (Bar) 의 위치를 정확히 식별하지 못해 화성, 텍스처, 형식과 관련된 고차원 질문에 오류를 범함.
  2. 할루시네이션 (Hallucination): 실제 악보에 존재하지 않는 내용을 생성하거나, 잘못된 위치 인식으로 인해 오류가 증폭됨.

2. 방법론 (Methodology)

A. MSU-Bench 벤치마크 구축

저자들은 LLM 과 VLM 의 추론 능력을 평가하기 위해 인간이 직접 큐레이션한 MSU-Bench를 제안합니다.

• 데이터 구성: 150 개의 완전한 악보 (바흐, 베토벤, 쇼팽, 드뷔시, 무소르그스키 등) 와 이를 기반으로 한 1,800 개의 생성형 질문 - 답변 (QA) 쌍.
• 모달리티:
  • 텍스트 (Textual): 악보를 ABC 표기법으로 변환하여 입력 (구조화된 심볼릭 데이터).
  • 비전 (Visual): 원본 PDF 악보 이미지를 입력.
• 4 단계 난이도 계층 구조:
  1. Level 1 (Onset Information): 작곡가, 제목, 조성, 박자, 템포 등 시작 부분의 메타데이터 추출.
  2. Level 2 (Notation & Note): 특정 마디 내의 음정, accidentals, 장식음, 다이나믹, 반복 기호 등 국소적 표기 이해.
  3. Level 3 (Chord & Harmony): 화성 분석 (화음의 질, 기능, 전조, 카덴스 등) 및 심볼릭 악보에서의 화성 구조 해석.
  4. Level 4 (Texture & Form): 전체적인 텍스처, 형식, 주제 발달, 모티프 분석 등 거시적 구조 이해.

B. 평가 프로토콜

• Zero-shot 평가: 사전 학습된 15 개 이상의 최신 모델 (GPT-5, Claude, Gemini, Qwen 등) 을 미세 조정 없이 직접 평가.
• Fine-tuning 평가: LoRA (Low-Rank Adaptation) 를 사용하여 모델을 미세 조정하고 성능 변화를 측정.
• 정확도 평가 (LLM-as-a-Judge): ChatGPT-5, Claude Sonnet 4, Gemini 2.5 Pro 등 3 개의 강력한 LLM 을 심사위원으로 활용하여 생성된 답변과 인간이 검증한 정답의 의미적 일치도를 평가 (다수결 투표 방식).
• 성공 지표: 단순 정답률뿐만 아니라, **Level-wise Success Rate (LSR)**를 도입하여 Level 1 부터 Level $l$까지 모든 질문을 연속적으로 정확히 답한 곡의 비율을 측정 (오류 누적 효과 분석).

3. 주요 기여 (Key Contributions)

1. MSU-Bench 도입: 완전한 악보에 대한 텍스트 (ABC) 와 비전 (PDF) 모달리티를 모두 지원하는 최초의 포괄적 벤치마크. 1,800 개의 인간 큐레이션 생성형 QA 쌍 포함.
2. 다중 모달 평가 체계: 심볼릭 데이터 (ABC) 와 시각 데이터 (PDF) 를 모두 사용하여 모델의 한계를 다각도로 분석.
3. 모달리티 간 격차 발견: 텍스트 기반 (ABC) 입력이 비전 기반 (PDF) 입력보다 훨씬 우수한 성능을 보임을 실증.
4. 미세 조정의 효과: LoRA 미세 조정이 두 모달리티 모두에서 성능을 크게 향상시키면서도 일반 지식 (MMLU 등) 을 유지함을 확인.
5. 질문 배치 전략: 질문을 개별적으로 묻는 것보다 한 번에 모두 제시할 때 (Batching) 모델이 문맥을 더 잘 활용하여 성능이 향상됨을 발견.

4. 실험 결과 (Results)

A. Zero-shot 평가 결과

• 모달리티 격차: 텍스트 (ABC) 입력 모델의 전체 정확도는 약 49.44% (Gemini 2.5 Pro) 에 달했으나, 비전 (PDF) 입력 모델은 약 24.22% (Claude Opus 4) 로 크게 낮음.
• 난이도별 성능 저하:
  • 텍스트 모델은 Level 1 에서 65% 이상의 정확도를 보였으나 Level 3 이상으로 갈수록 급격히 감소 (약 38%).
  • 비전 모델은 Level 1 에서조차 20% 대에 머물며, Level 2 이상에서는 거의 0% 에 가까운 성능을 보임 (위치 인식 실패로 인한 오류 누적).
• LSR 분석: Level 1 에서 Level 4 까지 모든 질문을 연속적으로 맞춘 곡의 비율은 텍스트 모델에서도 10% 미만, 비전 모델에서는 1% 미만으로 매우 낮음. 이는 모델이 개별 질문은 풀 수 있어도 전체 악보에 대한 일관된 추론을 유지하기 어렵다는 것을 시사.

B. Fine-tuning (LoRA) 결과

• 성능 향상: LoRA 미세 조정 후 텍스트 및 비전 모델 모두에서 유의미한 정확도 상승을 보임. 특히 Qwen3-4B 모델은 텍스트 기반에서 4B 모델 대비 4% 이상 향상.
• 일반 지식 유지: MMLU(일반 지식 벤치마크) 테스트에서 미세 조정 후에도 성능 저하가 없거나 오히려 소폭 향상되어, 음악 특화 학습이 일반 추론 능력을 해치지 않음을 확인.
• 입력 방식 비교: VLM 의 경우 PDF 만 입력받은 것보다 ABC 표기법을 함께 입력받았을 때 (또는 ABC 만 입력받았을 때) 성능이 크게 개선되어, 심볼릭 정보가 시각적 노이즈를 줄이고 구조적 이해를 돕는다는 것을 입증.

5. 의의 및 결론 (Significance)

• 음악 AI 의 새로운 기준: MSU-Bench 는 단순한 악보 인식 (OCR) 을 넘어, 화성, 형식, 텍스처 등 고차원적인 음악학적 추론을 평가할 수 있는 강력한 기반을 마련했습니다.
• 심볼릭 데이터의 중요성: 현재 VLM 은 원본 악보 이미지 (PDF) 를 직접 처리하는 데 한계가 있으며, ABC 와 같은 구조화된 심볼릭 표기법이 모델의 추론 능력을 극대화하는 '상한선 (Upper-bound)' 모달리티 역할을 할 수 있음을 시사합니다.
• 향후 연구 방향:
  • 비전 모델의 위치 인식 (Localization) 및 할루시네이션 문제 해결이 시급함.
  • 서양 고전 음악 중심의 범위를 넘어 다양한 장르와 표기법으로 확장 필요.
  • 미세 조정을 통해 모델이 복잡한 음악 구조를 일관되게 추론할 수 있는 능력을 기르는 것이 핵심 과제.

이 논문은 대규모 언어 모델이 음악 악보를 단순히 '읽는' 것을 넘어, 음악학자가 수행하는 수준의 통합적 이해와 추론을 달성하기 위해 해결해야 할 과제와 평가 체계를 명확히 제시했다는 점에서 중요한 의의를 가집니다.