기술 요약: PitchBench

문제 정의

오디오 - 언어 모델 (ALM) 은 튜터링, 전사, 추천 시스템 등 음악 이해가 필요한 실제 응용 분야에서 점점 더 배포되고 있습니다. 최첨단 모델은 장르 분류, 악기 식별과 같은 고수준 의미 작업에서 숙련도를 보여주었지만, 신뢰할 수 있는 세밀한 음악 지각 능력을 수행하는 능력은 아직 검증되지 않았습니다. 구체적으로 음고 청각(소리의 기본 주파수를 분해하는 능력) 은 멜로디 인식, 화성 분석, 전사를 위한 전제 조건입니다.

기존 벤치마크는 다음과 같은 세 가지 주요 이유로 이 능력을 적절히 평가하지 못합니다:

1. 간접 측정: 이전 연구는 화음 인식이나 멜로디 추출과 같은 고수준 작업을 통해 음고 청각만을 평가하여, 음고를 지각하는 능력과 복잡한 추론을 수행하는 능력을 혼동합니다.
2. 방법론적 결함: 많은 평가는 객관식 형식에 의존하는데, 이는 모델이 진정한 청각 지각이 아닌 정보에 기반한 추측이나 텍스트적 방해 요소를 악용하여 성공할 수 있게 합니다.
3. 세분화 부족: 현재 벤치마크는 음표 지속 시간, 음향 잡음, 음원, 또는 표기 형식과 같은 특정 지각 변수를 분리하지 않아, 모델이 실패하는 이유에 대한 이해에 공백이 있습니다.

따라서 ALM 이 안정적인 지각 기반의 음고 지각을 보유하고 있는지, 아니면 단순히 훈련 데이터의 사전 지식에 기반하여 음악 구조를 환각하는 것인지 명확하지 않습니다.

방법론: PitchBench

이러한 공백을 해결하기 위해 저자들은 PitchBench를 소개합니다. 이는 음고 지각을 통제된 원자적 및 맥락적 구성 요소로 분해하도록 설계된 28 개의 실험으로 구성된 체계적인 평가 스위트입니다.

실험 설계

PitchBench 는 세 가지 계층적 난이도 수준에서 ALM 을 평가합니다:

• 수준 1: 원자적 음고 지각: 모델이 고립된 단일 음고를 식별합니다. 이는 음량과 음표 지속 시간의 변형을 통한 핵심 주파수 식별을 분리합니다.
• 수준 2: 맥락적 음고 지각: 모델이 시간적, 구조적, 또는 음향적 맥락 내에서 음고를 식별합니다. 여기에는 다음이 포함됩니다:
  • 시간적 위치 확인: 특정 타임스탬프나 침묵 구간 내에서 음고를 식별합니다.
  • 순차적 구조: 음표 시퀀스에서의 간격, 윤곽, 순위, 그리고 계수를 결정합니다.
  • 화음적 구조: 2 화음과 화음 내의 음고 및 관계를 식별합니다.
  • 음향적 변형: 리버브, 왜곡, 배경 잡음, 시간 늘리기, 비브라토, 그리고 음정 이탈과 같은 효과에 대한 견고성을 테스트합니다.
• 수준 3: 선율적 음고 지각: 모델이 다성적 텍스처 내에서 특정 선율 라인을 추적합니다. 구체적으로 4 성부 바흐 합창곡의 성부 분리를 테스트합니다.

자극 생성 및 데이터

• 합성 생성: 모든 자극은 벤치마크와 함께 공개된 Python 패키지인 pitchbench.generation을 사용하여 결정론적으로 생성됩니다. 이는 기준 정답이 구성상 알려져 있어 (수동 주석 불필요) 매개변수 전반에 걸쳐 임의의 확장이 가능함을 보장합니다.
• 음원: 데이터셋은 4 개의 분석적 파형 (사인, 톱니, 사각, 삼각) 과 15 개의 General MIDI 악기 (피아노, 바이올린, 플루트 등) 를 포함한 19 개의 음색을 포괄합니다.
• 음향 조건: 자극은 Pedalboard 를 사용하여 효과, 포화, 시간 늘리기를 적용하여 처리됩니다. 배경 잡음에는 합성 텍스처와 실제 세계 녹음이 추가됩니다.
• 응답 형식: 특정 훈련 관례에 편향되지 않도록, 모델은 네 가지 동등한 음고 표현으로 평가됩니다:
  • MIDI (0–127)
  • 과학적 음고 표기법 (SPN, 예: F#4)
  • 고정도 솔페지오 (예: fa#)
  • 헤르츠 (Hz) 단위의 주파수

이 벤치마크는 17,667개의 질문 - 오디오 - 답변 튜플로 구성됩니다.

주요 기여

1. 계층적 평가 스위트: PitchBench 는 음고 청각을 원자적, 맥락적, 선율적 수준으로 분해한 최초의 구조화된 체계를 제공하여, 연구자들이 집합 점수에 의존하는 대신 특정 실패 모드를 진단할 수 있게 합니다.
2. 체계적 경험적 분석: 저자들은 여섯 개의 최첨단 ALM(Gemini 3.1 Pro, Gemini 3 Flash, GPT-4o audio, Qwen-3.5 Omni Plus, Qwen-3.5 Omni Flash, Audio Flamingo Next Instruct) 을 평가했습니다. 연구는 현재 시스템 전반에서 음고 청각이 매우 신뢰할 수 없으며, 경미한 음향 교란 하에서 성능이 급격히 저하되고 음원 및 표기법에 따라 달라진다는 것을 보여줍니다.
3. 공개 생성 파이프라인: pitchbench Python 패키지의 공개는 19 개 음원과 모든 실험 조건 전반에 걸쳐 재현 가능한 자극 생성을 가능하게 하여, 음고를 인지하는 오디오 - 언어 모델링에 대한 향후 연구를 촉진합니다.

결과

여섯 개의 최첨단 모델에 대한 평가는 다음과 같은 결과를 도출했습니다:

• 전반적인 신뢰성 부재: 어떤 모델도 견고한 음고 지각을 달성하지 못했습니다. 모든 모델의 평균 정확도는 낮았으며, 가장 성능이 좋은 모델 (Qwen-3.5 Omni Plus) 의 평균 정확도는 **47.7%**에 불과했습니다.
• 모델 간 차이:
  • Qwen-3.5 Omni Plus가 특히 구조화된 작업 (예: 기준 음고 96.2%, 시간 늘리기 88.5%) 에서 우세했습니다. 그러나 동시에 발생하는 음고를 분리하는 것 (다성) 에는 크게 어려움을 겪었습니다.
  • Qwen-3.5 Omni Flash는 Plus 모델의 성능을 반영했으나 용량이 감소했습니다.
  • Gemini 3.1 Pro는 불균형한 성능을 보였는데, 계수와 기준 작업에서는 강력했으나 비브라토와 같이 변환이 많은 설정에서는 거의 0 에 가까웠습니다.
  • GPT-4o audio와 Gemini 3 Flash는 기본 지각 작업을 넘어 일반화하지 못해 훨씬 더 나쁜 성능을 보였습니다.
• 실패 모드:
  • 다성: 모든 모델이 다성적 텍스처 (수준 3) 에서 선율 라인을 추적하지 못했으며, 바흐 합창곡 성부 식별에서 0% 점수를 기록했습니다.
  • 음향 견고성: 짧은 음표 지속 시간 (50ms), 음정 이탈, 배경 잡음 하에서 성능이 크게 저하되었습니다.
  • 표기법 편향: 모델들은 특정 표기법에 강한 편향을 보였습니다. 예를 들어, GPT-4o 는 반음보다 자연음 (A4) 을 선호하여, 음향 분해능이 아닌 텍스트 훈련 사전 지식에 의존함을 시사했습니다.
  • 객관식 인플레이션: 작업을 객관식 질문 (MCQ) 으로 재구성하면 약한 모델의 성능이 인위적으로 과장되었습니다 (예: Gemini 3.1 Pro 는 +38.7% 포인트 증가). 이는 진정한 지각을 측정하기 위해 개방형 평가가 필요함을 확인시켜 줍니다.
  • 상대적 음고 대 절대 음고: 기준 음을 제공하는 것 (상대 음고) 은 대부분의 모델의 성능을 크게 향상시켰으며, 이는 모델들이 절대 음고 범주보다 관계 정보를 더 잘 인코딩할 수 있음을 시사합니다.

중요성 및 주장

이 논문은 신뢰할 수 있는 음악 지각이 음악 관련 응용 분야에서 ALM 을 배포하기 위한 중요한 전제 조건이라고 주장합니다. 저자들은 현재 모델들이 통제된 합성 자극조차도 안정적인 음고 지각이 부족하기 때문에, 실제 세계에서 오디오에 대해 추론하거나 가르치거나 전사하는 것을 신뢰할 수 없다고 주장합니다.

PitchBench 는 단순한 순위표가 아닌 진단 도구로 기능합니다. 특정 지각 구성 요소를 분리함으로써, 음악 작업에서의 고수준 성공이 근본적인 지각 능력을 의미하지는 않는다는 것을 드러냅니다. 저자들은 ALM 이 일반적인 오디오 이해에서 빠른 진전을 이루었지만, 견고한 음악 인식을 위해 필요한 "완벽한 음고"를 아직 개발하지는 못했다고 결론 내립니다. 이 벤치마크는 광범위한 오디오 - 언어 모델 평가와 전통적으로 음악 정보 검색 (MIR) 에서 발견되는 엄격하고 음고 중심의 분석 사이의 간극을 메웁니다.