기술 요약: 다중 스템 어텐션 및 계층적 불확실성 모델링을 이용한 곡 미학 평가

1. 문제 정의

생성형 AI로 인한 음악 콘텐츠의 급격한 확장은 수동 품질 검사와 미학적 평가를 불가능하게 만들었으며, 이는 자동화된 시스템에 대한 시급한 필요성을 창출했습니다. 기존 연구들이 음성 품질, 가창 품질, 특정 음악적 속성(예: 음색, 기억 용이성) 측면에서 진전을 이루었으나, 전곡(full-length song) 단위의 미학 평가는 여전히 미개척 분야로 남아 있습니다.

현재의 접근 방식은 전곡 평가에 적용될 때 두 가지 주요 한계에 직면합니다:

1. 음악적 복잡성: 음성이나 고립된 가창과 달리, 곡은 보컬과 반주 스템이 뒤섞여 구성됩니다. 미학적 품질은 보컬의 퍼포먼스뿐만 아니라 편곡, 멜로디 구조, 프로덕션에도 의존합니다. 음성 중심의 프레임워크를 전이하는 것은 이러한 복잡한 스템 간 상호작용을 포착하는 데 실패합니다.
2. 평가 불확실성: 기존 모델은 평균 의견 점수(MOS)를 직접적으로 정밀하게 예측하려고 합니다. 이는 인간 전문가의 행동 방식과 대치됩니다. 전문가는 일반적으로 조대-정밀(coarse-to-fine) 과정을 따릅니다. 즉, 전문가들은 주관적 불확실성 하에서 대략적인 점수 구간을 먼저 추정한 후, 이를 정밀한 점수로 구체화합니다. 직접적인 회귀 방식은 이러한 미묘한 차이를 포착하는 데 어려움을 겪으며, 이는 불안정성과 정확도 저하로 이어집니다.

2. 방법론

본 논문은 전곡 미학 평가를 위해 설계된 새로운 프레임워크를 제안하며, 두 가지 핵심 모듈인 **다중 스템 어텐션 퓨전(MSAF)**과 **계층적 입도 인식 구간 집합(HiGIA)**을 특징으로 합니다.

2.1 모델 개요

입력된 전곡(통상 3~5분)은 음악 소스 분리 과정을 거쳐 **보컬(vocal)**과 반주(accompanment) 스템으로 추출됩니다. 이들은 원본 믹스처(mixture) 신호와 함께 세 개의 병렬 브랜치를 형성하며 처리됩니다.

• 특징 추출: 각 브랜치는 사전 학습된 MuQ 인코더를 사용하여 인코딩됩니다. CBAM 기반의 어텐션 가중 합산 방식을 통해 다층 은닉 출력을 단일 스템 임베딩으로 집계합니다. 이 임베딩들은 시간적 의존성을 포착하기 위해 트랜스포머 인코더를 통과합니다.
• 융합 및 예측: 생성된 특징들은 MSAF를 통해 스템 간 상호작용을 모델링한 후, HiGIA를 거쳐 최종 미학 점수를 생성합니다.

2.2 다중 스템 어텐션 퓨전 (MSAF)

MSAF는 믹스처, 보컬, 반주 스템 간의 상호작용을 명시적으로 모델링함으로써 음악적 구조의 복잡성을 해결합니다.

• 메커니즘: 이 모듈은 양방향 교차 어텐션(bidirectional cross-attention) 메커니즘을 채택합니다. 믹스처 스템은 중심 쿼리 소스로서 쿼리($Q_{mix}$)와 값($V_{mix}$)을 생성합니다. 보컬과 반주 스템은 키($K_{voc}, K_{acc}$)와 값($V_{voc}, V_{acc}$)을 제공합니다.
• 상호작용: 모델은 믹스처와 각 스템 사이의 공유 유사도 행렬을 계산합니다. 이 행렬을 전치함으로써, 추가적인 쿼리 투영 없이도 양방향 상호작용을 가능하게 합니다.
• 출력: 이 모듈은 잔차 연결(residual connections)을 통해 융합된 표현($Out_{mix}, Out_{voc}, Out_{acc}$)을 생성하여, 여러 스템에 걸친 보완적인 음악적 단서를 포착합니다.

2.3 계층적 입도 인식 구간 집합 (HiGIA)

HiGIA는 주관적 불확실성을 처리하기 위해 인간의 조대-정밀 평가 전략을 모사합니다.

• 다중 입도 분류: 각 미학적 차원에 대해 세 개의 분류기($C_{g1}, C_{g2}, C_{g3}$)가 서로 다른 입도(조대, 중도, 정밀)에서 작동합니다. 각 분류기는 연속적인 점수를 이산적인 빈(bin, $K_g$)으로 나눕니다. 이때 더 정밀한 입도일수록 더 많은 빈을 사용합니다 (예: $K_{g1} < K_{g2} < K_{g3}$).
• 구간 생성:
  1. 모델은 확률 임계값($p > 1/K_g$)을 기준으로 후보 점수 빈을 선택합니다.
  2. 점수 구간이 겹치는 **중첩 집합($O$)**과 겹치지 않는 **고립 집합($I$)**을 식별합니다.
  3. 중첩 집합이 지배적일 경우($|O| > |I|$), $O$의 경계값을 평균하여 최종 구간 $[L, U]$를 도출합니다.
  4. 불일치가 높을 경우($|O| \le |I|$), $O$와 $I$를 보수적으로 가중 집합하여 사용합니다.
• 최종 회귀: MLP 회러(regressor)는 합의된 구간 $[L, U]$ 내에서 보간 계수 $\alpha \in [0, 1]$를 예측합니다. 최종 점수는 $\hat{y} = (1-\alpha)L + \alpha U$로 계산됩니다.
• 곡 단위 집합: 전곡의 경우, 세그먼트 수준의 예측은 신뢰도 가중치 $w_i = 1/(U_i - L_i)$를 사용하여 집합됩니다. 이는 구간이 좁은(더 확실한) 세그먼트에 더 많은 영향력을 부여합니다.

3. 실험 설정

• 데이터셋:
  • SongEval: 2,399곡의 전곡(대부분 AI 생성 곡)으로 구성되며, 5가지 차원(음악성, 일관성, 기억 용이성, 명료도, 자연스러움)에 대해 5점 척도로 주석이 달렸습니다.
  • 내부 데이터셋: 1,569곡의 전곡(주로 인간 제작 중국 곡)으로 구성되며, 전문가에 의해 5가지 차원(전체, 가창, 멜로디, 편곡, 오디오 품질)에 대해 100점 척도로 주석이 달렸습니다.
• 베이스라인: [27]에서 파생된 SSL 기반 모델 및 [11]의 UTMOS 기반 앙상블과 비교합니다.
• 지표: 평균 제곱 오차(MSE), 선형 상관 계수(LCC), 스피어먼 순위 상관 계수(SRCC), 켄달 타우(KTAU)를 사용합니다.

4. 결과

제안된 프레임워크는 두 데이터셋 모두에서 네 가지 모든 지표에 대해 두 베이스라인 모델을 능가했습니다.

• SongEval: 모델은 모든 지표에서 음악성, 일관성, 명료도 부문에서 최고의 결과를 달성했습니다. 특히 순위 기반 지표(SRCC, KTAU)에서 강점을 보였으며, 이는 상대적인 인간의 선호도를 포착하는 능력이 우수함을 나타냅니다.
• 내부 데이터셋: 본 프레임워크는 전체, 가창, 멜로디 차원에서 일관된 우위를 보였습니다. 특히 오디오 품질 부문에서 가장 높은 LCC, SRCC, KTAU를 달성하였는데, 이는 MSE가 가장 낮지는 않더라도 지각적 트렌드와 더 잘 일치함을 시사합니다.
• 절제 연구(Ablation Studies):
  • MSAF를 제거하면 스템 간 상호작용에 민감한 차원(예: 일관성, 전체)에서 성능이 크게 저하되었습니다. 이는 복잡한 음악적 특징을 모델링하는 MSAF의 역할을 확인시켜 줍니다.
  • HiGIA를 제거하면 특히 주관적 불확실성이 높은 차원(예: 음악성)에서 성능 저하가 발생하여, 조대-정밀 구간 집합 전략의 유효성을 입증했습니다.

5. 의의 및 주장

본 논문은 주요 기여가 곡 지향적 미학 평가 프레임워크이며, 특히 음악적 복잡성과 주관적 평가 불확실성이라는 두 가지 과제를 해결했다는 점이라고 주장합니다.

• 독창성: 이전 연구들이 음성이나 고립된 속성에 집중한 것과 달리, 본 프레임워크는 믹스처, 보컬, 반주 스템을 양방향 교차 어텐션을 통해 융합하여 전곡을 위해 설계되었습니다.
• 인간 중심 설계: 계층적인 조대-정밀 예측 전략(HiGIA)을 채택함으로써, 모델은 인간 전문가의 의사 결정 과정과 더 밀접하게 일치하며, 이는 직접적인 회귀 방식보다 더 안정적이고 정확한 예측을 가능하게 합니다.
• 강건성: 본 프레임워크는 다양한 데이터 분포(AI 생성 vs 인간 제작)와 다양한 평점 척도(5점 vs 100점)에 걸쳐 견고한 성능을 보여줌으로써, 자동화된 곡 미학 평가의 새로운 기준을 세웠습니다.

저자들은 MSAF와 HiGIA의 결가합이 다차원 곡 미학 평가를 위한 강력한 솔루션을 제공하며, 생성형 AI 시대의 음악 창작 및 검색 및 추천 시스템을 개선하는 데 귀중한 피드백을 제공한다고 결론짓습니다.