HumMusQA: A Human-written Music Understanding QA Benchmark Dataset

1. 문제 정의 (Problem)

대형 오디오 - 언어 모델 (LALMs) 의 음악 이해 능력을 평가하는 데 있어 기존 벤치마크가 가진 근본적인 한계가 존재합니다.

• 품질 대 규모의 트레이드오프: 기존 데이터셋 (MusicQA, MusicInstruct 등) 은 주로 LLM 을 이용해 기존 캡션이나 태그를 자동 확장하여 생성되었습니다. 이로 인해 질문의 깊이가 얕고, 모델이 실제 오디오를 듣지 않고도 질문 텍스트에 내재된 언어적 사전 지식 (World Knowledge) 이나 통계적 패턴을 통해 정답을 유추할 수 있는 "지각 격차 (Perception Gap)"가 발생합니다.
• 전문성 부족: 자동 생성된 질문들은 음악 이론, 화성, 구조적 분석 등 전문적인 음악 이해를 요구하는 다단계 추론 (Multi-hop reasoning) 을 테스트하기 어렵습니다.
• 평가 지표의 부적절성: 음악의 역동적이고 다층적인 특성을 BLEU 와 같은 단순한 텍스트 일치도 지표로 평가하는 것은 한계가 있습니다.

2. 방법론 (Methodology)

이 논문은 음악 이해의 심층적인 평가를 위해 전문가에 의해 수동으로 작성되고 검증된 320 개의 질문으로 구성된 새로운 데이터셋 HumMusQA를 제안합니다.

• 데이터 수집 및 구성:
  • 오디오 소스: Creative Commons 라이선스를 가진 Jamendo 플랫폼에서 108 개의 트랙을 선정하여 30~90 초 분량의 클립으로 구성했습니다. 이는 저작권 문제 없이 재현 가능한 벤치마크를 보장합니다.
  • 질문 작성: 3 명의 음악 이론 전문가 (평균 15 년 경력) 가 ABRSM 및 GCSE 음악 교육 과정을 기반으로 질문을 작성했습니다.
  • 검증 프로세스: 작성된 질문은 다른 전문가에 의해 블라인드 리뷰 (Blind Review) 를 거쳤습니다. 주관성, 오답 선지의 적절성, 명확성 등을 검증하여 최종 320 개의 질문을 확정했습니다.
• 질문 분류 체계:
  • 음악적 차원: 멜로디, 화성, 리듬, 악기 편성, 구조, 분위기 등 13 가지 범주로 분류되었습니다.
  • 난이도: 청취만으로 답할 수 있는 난이도에 따라 Low(일반 청취자), Medium(음악 훈련 필요), High(전문 음악 교육 필요) 로 구분되었습니다.
  • 형식: 4 지 선다형 (정답 1 개, 오답 3 개) 으로 자동화된 평가를 용이하게 했습니다.

3. 주요 기여 (Key Contributions)

1. 고품질 인간 작성 데이터셋: 자동 생성이 아닌, 음악 전문가에 의해 엄격하게 검증된 320 개의 질문으로 구성된 최초의 고품질 음악 이해 QA 벤치마크를 공개했습니다.
2. 지각적 엄격성 (Perceptual Rigor): 질문이 오디오 없이 텍스트만으로 해결되지 않도록 설계되었으며, 실제 청각적 지각과 음악 이론적 분석을 동시에 요구합니다.
3. 재현 가능성: 모든 오디오와 텍스트가 Creative Commons 라이선스로 공개되어, 연구 커뮤니티에서 법적 제약 없이 벤치마크를 재현하고 확장할 수 있습니다.
4. 포괄적인 평가 프레임워크: 6 개의 최첨단 LALM 모델을 평가하고, 단일 모드 (텍스트만) 단축키 (Shortcuts) 에 대한 견고성을 테스트하는 실험을 수행했습니다.

4. 실험 결과 (Results)

총 6 개의 SOTA LALM 모델 (Qwen2.5-Omni, Music-Flamingo, Audio-Flamingo-3, GPT-Audio, Gemini-2.5-Flash, AudSemThinker) 을 평가했습니다.

• 전체 성능:
  • Qwen2.5-Omni-7B가 전체적으로 가장 높은 정확도 (64.3%) 를 보였으며, 특히 난이도가 낮은 (Low) 및 중간 (Medium) 질문에서 우수한 성능을 발휘했습니다.
  • 모델들은 난이도가 높아질수록 (High) 성능이 일관되게 감소했습니다.
• 범주별 성능 차이:
  • 모델은 장르, 분위기, 문화적 맥락 등 일반 음악 지식이 필요한 질문에서는 상대적으로 높은 점수를 얻었습니다.
  • 반면, 화성, 멜로디, 연주 기법 등 음악 이론 기반의 분석적 추론이 필요한 질문에서는 성능이 현저히 낮았습니다. 이는 모델이 문화적 맥락 추론에는 강하지만, 형식적인 음악 분석에는 약함을 시사합니다.
• 단일 모드 단축키 (Uni-modal Shortcuts) 테스트:
  • 실제 오디오 대신 잡음 (Noise) 이나 침묵 (Silence) 을 입력했을 때, 모델들의 성능은 확실히 저하되었으나 여전히 무작위 추측 (25%) 보다 높은 정확도를 보였습니다.
  • 이는 모델이 오디오를 듣지 않고도 질문의 문맥적 단서 (예: "전형적인"이라는 단어, 오답 선지의 배제 가능성 등) 를 이용해 정답을 유추하고 있음을 의미합니다. 특히 텍스트 전용 모델 (Gemini-2.5-flash) 도 High 난이도 질문의 약 50% 를 맞추는 등, 인간 작성 질문의 문장 구조적 결함이 존재함을 드러냈습니다.
• 일관성 (Consistency):
  • Qwen2.5-Omni-7B 는 답안 순서가 바뀌어도 일관된 답변을 내는 반면, 다른 모델들은 답안 순서 변화에 매우 민감하여 성능 편차가 크다는 것을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 평가 기준의 전환: 음악 이해 평가가 단순한 "세계 지식"이나 "텍스트 패턴 매칭"이 아닌, 진정한 **오디오 지각 (Audio Perception)**과 음악적 분석 능력을 측정해야 함을 강조합니다.
• 모델의 한계 규명: 현재 LALM 모델들은 음악의 문화적/맥락적 측면은 잘 이해하지만, 화성, 구조, 연주 기법 등 전문적인 음악 이론을 적용한 심층 분석에는 여전히 미흡함을 보여줍니다.
• 향후 연구 방향: 인간 작성 질문에서도 텍스트만으로 해결 가능한 경우가 발견되었으므로, 향후 벤치마크 구축 시 오답 선지의 문맥적 균형을 더욱 엄격하게 맞추는 annotation 절차의 개선이 필요함을 지적합니다.

이 논문은 음악 AI 연구의 재현성과 엄격성을 높이기 위한 중요한 발걸음이며, 향후 더 정교한 오디오 - 언어 모델 개발을 위한 표준 평가 도구로 활용될 것으로 기대됩니다.