기술 요약: BASS - 음악적 구조 및 의미론적 추론을 위한 오디오 언어 모델(LM) 벤치마킹

문제 정의

오디오 언어 모델(LM)은 음성 및 환경음을 이해하는 데 있어 상당한 발전을 이루었으나, 화성, 리듬, 형식, 복잡한 시간적 관계를 포함하는 풍부하고 층위적인 구조를 가진 음악은 여전히 특히 어려운 영역으로 남아 있다. 기존의 벤치마크는 주로 짧은 형태의 음악 캡셔닝, 가사 캡셔닝, 또는 음악에 특화되지 않은 광범위한 오디오 도메인에 집중되어 있다. 결과적으로, 현재의 평가는 다양한 실제 맥락에서 심도 있는 음악적 추론, 특히 장기적인 구조적 이해와 계층적 추론을 평가하는 데 실패하고 있다. 오디오 LM이 확장된 오디오 트랙 내에서 구조적 분할, 가사 정렬, 음악학적 속성 및 아티스트 협업을 얼마나 잘 추론할 수 있는지 평가하기 위한 포괄적인 프레임워크가 부족한 실정이다.

방법론

저자들은 음악 이해 및 추론을 평가하기 위해 설계된 벤치마크인 BASS(Benchmarking Audio LMs for Musical Structure and Semantic Reasoning)를 소개한다.

데이터셋 구축

• 규모: BASS는 12개의 별도 태스크에 걸친 2,658개의 질문-답변 쌍으로 구성된다.
• 콘텐츠: 이 데이터셋은 YouTube에서 소싱되었으며 정확성과 충실도를 위해 수동으로 검증된 총 138시간 이상의 오디오를 포함하는 1,993곡의 고유한 곡들로 구성된다. 평균 클립 길이는 4.16분이며, 약 49초에서 약 19분에 이른다.
• 카테고리: 태스크는 네 가지 광범로한 카테고리로 조직된다:
  1. 구조적 분할(Structural Segmentation): 전체 구조적 분할(인트로, 절, 후렴과 같은 주요 섹션 식별)과 섹션 구조적 분할(특정 섹션 유형의 위치 파악)을 포함한다.
  2. 구조적 가사 전사(Structural Lyric Transcription): Genius Lyrics를 참조하여 특정 구조적 섹션에 정렬된 가사를 전사하는 것을 요구한다(전체 및 섹션 변형 존재).
  3. 음악학적 분석(Musicological Analysis): Music Genome Project에서 유래된 추상적 속성("유전자")의 식별 및 추론을 평가한다. 태스크에는 단일 유전자 탐지, 쌍별 유전자 탐지, 유전자 귀속, 유전자 지배력 순위 매기기가 포함된다.
  4. 아티스트 협업(Artist Collaboration): 다수의 보컬리스트와 그들의 역할(메인 vs 피처링) 및 전달 스타일(노래 vs 랩)을 식별, 귀속 및 시간적으로 국지화하는 능력을 평가한다. 태스크에는 아티스트 수 세기, 지속 시간, 위치 파악 및 귀속이 포함된다.

실험 설정

• 모델: 벤치마크는 Gemini 2.5 Pro/Flash, Qwen3-Omni, Step-Audio-R1, Music Flamingo, Audio Flamingo 3 등을 포함한 14개의 오픈 소스 및 프런티어 멀티모달 LM을 평가한다.
• 평가 전략:
  • 입력: 모델은 텍스트 프롬프트(지시문)와 오디오 파일을 받는다.
  • 출력: 추측을 방지하기 위해 대부분의 태스크에는 자유 형식 생성이 사용되며, 음악학적 분석에는 최대 8개의 오답(distractors)이 포함된 객관식 형식이 사용된다.
  • 지표:
    • 가사 전사: 단어 오류율(WER), 역산 및 정규화된 방식 사용.
    • 구조적 분할: IoU(Intersection over Union).
    • 기타 태스크: 정확한 일치(Exact Match Accuracy, EMA)를 사용하며, 타임스탬프 및 지속 시간에 대해 ±3초의 허용 오차를 둔다.
  • 정규화: 서로 다른 최적 방향(WER 최소화 vs 정확도 최대화)을 가진 지표들을 통합하기 위해, 저자들은 무작위 추측 베이스라인을 고려하여 점수를 0–100% 척도로 정규화한다.

주요 결과

14개 모델에 대한 평가 결과, 복잡한 음악적 추론에 있어 현재의 오디오 LM들이 가진 상당한 한계를 드러냈다:

• 전반적인 성능: 최첨단 모델들조차 어려움을 겪고 있으며, 가장 성능이 좋은 모델(Gemini-2.5 Pro)이 달성한 평균 정규화 점수는 단 **26.54%**에 불과했다.
• 태스크 간 격차:
  • 최고 성능: 모델들은 언어적 사전 지식(linguistic priors)을 활용할 수 있는 가사 전사에서 가장 좋은 성능을 보인다.
  • 최저 성능: 모델들은 미세한 시간적 추론과 다중 아티스트 프로파일링을 요구하는 아티스트 협업 태스크에서 가장 낮은 성능을 보인다.
• 구조적 추론: 모델들은 음향적으로 유사한 섹션(예: 절 vs 후렴)을 자주 혼동하며, 노래의 초기 부분(인트로, 첫 번째 절)에 비해 후반부 섹션(브릿지, 아웃트로)의 콘텐츠를 국지화하는 데 있어 성능 저하를 보인다.
• 음악학적 속성: 모델들은 보컬과 가사를 식별하는 데는 능숙함을 보이지만, 리듬과 음색(Sonority) 측면에서는 크게 어려움을 겪으며, 이는 미묘한 음색 및 시간적 뉘앙스를 포착하는 데 어려움이 있음을 나타낸다.
• 장르 편향: 성능은 장르에 따라 차이가 나는데, 모델들은 일반적으로 컨트리와 록에서 더 잘 수행하고 팝과 힙합에서는 더 낮은 성능을 보여, 훈련 데이터에서 이러한 장르들이 과소 대표되었을 가능성을 시사한다.
• "사고(Thinking)"의 영향: Qwen3-Omni에서 단계별 추론("thinking" 모드)을 활성화하면 12개 태스크 중 6개에서 성능이 크게 향상되었는데, 특히 아티스트 귀속 및 유전자 귀속에서 그러했으며, 전체 가사 전사에서는 성능이 저하되었다.
• 소스 분리(Source Separation): 소스 분리(보컬 분리)가 이해를 돕는다는 일부 선행 연구의 주장과 달리, BASS 결과는 믹스된 오디오를 사용하는 것이 대부분의 태스크에서 성능을 저하시킨다는 것을 보여준다. 이는 믹스된 오디오가 구조적 및 의미론적 추론을 위한 더 풍부한 정보를 포함하고 있음을 시사한다한다.
• 암기 vs 추론: 오디오 없이 메타데이터(아티스트 이름 및 곡 제목)만 제공되었을 때, 모델들은 놀랍게도 오디오 전용 조건보다 가사 전사에서 더 높은 성능을 보였으며, 이는 오디오 기반 추론보다는 암기된 아티스트-곡 연관성에 크게 의존하고 있음을 나타낸다.

주요 기여

1. BASS 벤치마크: 단순한 캡셔닝을 넘어 음악적 구조 및 의미론적 추론을 평가하기 위해 특별히 설계된 포괄적인 벤치마크를 도입하였다.
2. 태스크 다양성: 장기적 구조 이해, 계층적 추론 및 미세한 시간적 국지화를 요구하는 4개 카테고리의 12개 태스크를 정의하였다.
3. 경험적 분석: 14개의 프런티어 및 오픈 소스 모델을 엄격하게 평가하여 강점(가사 전사)과 약점(구조적 분할, 아티스트 협업)에 대한 상세한 분석을 제공하였다.
4. 추론 메커니즘 조사: "사고" 모드, 소스 분리, 그리고 암기된 메타데이터와 오디오 프로세싱 간의 의존성에 대한 분석을 수행하였다.

의의 및 주장

본 논문은 BASS가 음악 이해에 있어 현재의 오디오 LM의 한계를 부각하는 도전적인 테스트베드를 제공한다고 주장한다. 저자들은 모델들이 언어적 사전 지식을 효과적으로 활용하지만, 음악적 구조, 보컬 스타일 및 다중 아티스트 프로필을 추론하는 데는 여전히 제한적이라고 단언한다.

BASS의 의의는 다음과 같다:

• 장기적인 음악 이해의 구체적인 격차를 식별함으로써 미래의 오디오 LM 개발을 가이드한다.
• 현재 모델이 무엇을 할 수 있고 할 수 없는지에 대한 기준선을 설정함으로써 음악 추천, 검색 및 자동 메타데이터 생성 애플리케이션을 지원한다.
• 음악 AI 연구의 재현성을 촉진하기 위해 공개 리소스(데이터셋, 코드 및 평가 프레임워크)를 제공한다.

저자들은 본인의 데이터셋이 주로 영어 중심이라는 점과 모델의 성능이 다국어 또는 다문화 환경으로 완전히 일반화되지 않을 수 있다는 점을 인정하며 겸허한 어조를 유지한다. 그들은 이 벤치마크가 음악 이해에 대한 확정적인 해결책이라기보다는 현재의 기술 수준을 이해하기 위한 하나의 단계임을 강조한다.