기술 요약: PHALAR - 학습된 음악 오디오 표현을 위한 위상자

1. 문제 제기

현재 오디오 표현 학습은 컴퓨터 비전의 패러다임을 대폭 차용하여, 스펙트로그램을 정적인 2D 이미지로 취급합니다. 이러한 아키텍처의 핵심은 병진 불변성 (translational invariance) 을 강제하기 위해 전역 평균 풀링 (GAP) 과 같은 풀링 연산을 사용하는 것입니다. 이는 악기 존재 여부 식별과 같은 의미적 분류에는 유익하지만, 음악 믹싱이나 스템 분리 (stem separation) 와 같이 **구조적 일관성 (structural coherence)**이 필요한 작업에는 해롭습니다.

해결하려는 구체적인 과제는 **스템 검색 (stem retrieval)**입니다: 부분적인 오디오 서브믹스 (예: 드럼과 베이스) 가 주어졌을 때, 모델은 누락된 스템 중 시간적 및 화성적으로 그것과 잘 어울리는 것을 식별해야 합니다. 기존 기반 모델 (예: CLAP, CDPAM) 은 물론 전문 일관성 모델 (예: COCOLA) 까지 GAP 또는 실수형 전역 풀링에 의존합니다. 이러한 연산들은 시간적 순서와 위상 정보를 폐기하여, 서로 다른 리듬 정렬을 동일한 잠재 표현으로 축소시킵니다. 결과적으로 이러한 모델들은 "구조적으로 맹목적"이어서, 악기가 동일하더라도 일관된 믹스와 정렬되지 않은 믹스를 구별하지 못합니다.

2. 방법론

본 논문은 PHALAR(학습된 음악 오디오 표현을 위한 위상자) 를 제안합니다. 이는 유도 편향 (inductive bias) 을 시간/위상 불변성에서 *공변성 (equivariance)*으로 전환하는 대비 학습 프레임워크입니다.

핵심 아키텍처 전환

이 방법은 입력 도메인에서의 시간적 이동이 주파수 도메인에서의 위상 회전 (phase rotation) 에 해당한다는 **푸리에 이동 정리 (Fourier Shift Theorem)**를 활용합니다. PHALAR 는 실수형 크기 (magnitude) 에서 **복소수형 위상자 (complex-valued phasors)**로 표현 공간을 이동시킴으로써 일관성을 명시적으로 모델링합니다.

아키텍처는 세 가지 주요 구성 요소로 이루어집니다:

1. 조화 백본 (실수형):

   • 경량 2D CNN 이 상수-Q 변환 (CQT) 스펙트로그램을 처리합니다. CQT 는 로그 간격이 음높이 이동이 순수한 선형 이동이 되도록 보장하여, 커널이 모든 키에서 동일한 화성 간격 (예: 장3도) 을 인식할 수 있기 때문에 사용됩니다.
   • 백본은 스펙트럼 및 시간 처리를 분리하기 위해 **축 방향 잔여 설계 (axial residual design)**를 사용합니다:
     • 주파수별 합성곱 (3×1): 시간 단계 내의 화성 관계를 추출합니다.
     • 시간별 합성곱 (1×3): 시간적 진화를 포착합니다.
     • 포인트별 합성곱 (1×1): 특징 혼합을 용이하게 합니다.
   • 스트라이드 (strided) 시간별 합성곱은 풀링 전에 시간 차원을 32 배 압축합니다.

2. 학습된 스펙트럼 풀링 (다리 역할):

   • 표준 GAP 을 대체하여, 이 층은 특징 맵을 복소수 주파수 도메인으로 투영합니다.
   • 과정은 다음과 같습니다:
     1. 평탄화된 특징을 학습된 기저 ($W_{proj}$) 에 투영하여 화성 간격 구조와 절대 주파수 위치를 인코딩합니다.
     2. 시간 축을 따라 **실수 고속 푸리에 변환 (RFFT)**을 적용합니다.
   • 결과: 시간적 이동은 위상 회전으로 변환됩니다. 크기 $|S_{c,d}|$는 화성 패턴의 존재 빈도를 인코딩하고, 위상 $\angle S_{c,d}$는 그 시간적 이동을 명시적으로 인코딩합니다.

3. 복소수형 프로젝션 헤드 (CVNN):

   • 복소수형 신경망 (Complex-Valued Neural Network) 이 스펙트럼 표현을 처리합니다. 표준 실수형 MLP 는 위상 구조를 파괴하므로, PHALAR 는 모든 연산이 **위상 공변적 (phase-equivariant)**인 CVNN(Trabelsi et al., 2018) 을 사용합니다 ($f(x \cdot e^{i\theta}) = f(x) \cdot e^{i\theta}$).
   • 헤드는 복소수 선형 층, 복소수 RMSNorm, 그리고 위상 보존 modReLU 로 구성됩니다.
   • 유사도 지표: 구조적 일관성을 정량화하기 위해 모델은 **위상 인식 이차형 유사도 (Phase-Aware Bilinear Similarity)**를 사용합니다:
     $$s(z_x, z_y) = \Re(z_x^H W z_y)$$
     여기서 $W$는 학습 가능한 복소수 가중치 행렬입니다. 이는 모델이 학습 가능한 위상 회전을 적용하여 스템을 "정렬"하고, 미세 타이밍 편차 (예: 'layed back' 그루브) 를 고려할 수 있게 합니다. 추론 시에는 교환성을 보장하기 위해 대칭 점수를 사용합니다.

3. 주요 기여

• 새로운 프레임워크: 복소수형 위상자를 사용하여 화성 내용과 리듬 정렬을 명시적으로 분리하는 대비 프레임워크인 PHALAR 의 도입.
• 최첨단 성능: 스템 - 대 - 믹스 검색 작업에서 이전 최첨단 모델 (COCOLA) 대비 상대적 정확도 증가를 **약 70%**까지 달성.
• 효율성: 베이스라인의 파라미터 수의 50% 미만 (230 만 대 520 만) 만 필요로 하며, 파라미터 효율적인 축 방향 백본과 CPU 의존적 전처리의 제거로 인해 7 배의 학습 속도 향상 (50 대 340 GPU 시간) 을 제공.
• 유사도와 일관성의 직교성: 의미적 유사도 모델 (CLAP, CDPAM) 이 일관성 작업에서는 무작위 확률 수준으로 수행하는 반면, PHALAR 는 인간의 지각과 유의미하게 상관관계가 있음을 입증.
• 잠재적 능력: 명시적 지도 학습 없이도 PHALAR 는 강력한 음악 구조를 포착하여 **제로샷 비트 추적 (zero-shot beat tracking)**과 **선형 코드 프로빙 (linear chord probing)**을 가능하게 함.

4. 실험 결과

이 프레임워크는 MoisesDB, Slakh2100, ChocoChorales 데이터셋에서 평가되었습니다.

• 검색 정확도: PHALAR 는 모든 데이터셋에서 새로운 최첨단 (SOTA) 을 수립했습니다. $K=64$인 MoisesDB(높은 음조 충돌 확률을 가진 어려운 설정) 에서 PHALAR 는 COCOLA 의 **41.84%**와 MERT 의 **45.85%**와 비교하여 **70.87%**의 정확도를 달성했습니다.
• 인간 중심 검증: 22 명의 참가자와의 주관적 청취 테스트에서 PHALAR 의 임베딩 거리는 인간 일관성 평가와 가장 높은 상관관계를 보였습니다 (피어슨 $\rho = 0.387$, 스피어만 $r_s = 0.414$). 이는 COCOLA 및 Audiobox 지표를 포함한 모든 베이스라인을 크게 능가했습니다.
• 시스템 수준 평가: 생성된 스템을 평가할 때, PHALAR 의 집계 점수는 다양한 생성 모델에 대한 인간 순위 순서를 재현한 반면, Fréchet Audio Distance (FAD) 와 같은 표준 세트 수준 지표는 조건부 일관성과 관련된 인간 판단과 일치하지 못했습니다.
• 절대 실험 (Ablation Studies):
  • 위상 공변성을 제거하고 크기만 사용할 경우 정확도가 10.3% 하락.
  • 학습된 스펙트럼 풀링 대신 전역 평균 풀링을 사용할 경우 18.9% 하락.
  • CQT 를 멜-스펙트로그램으로 대체할 경우 1.66% 하락하여, 음높이 공변성을 위한 엄격한 로그 간격의 필요성을 확인.
• 잠재적 구조:
  • 비트 추적: PHALAR 는 리듬 지도 학습 없이도 기하학적 간섭 패턴을 통해 템포를 복원하여 비트 추적에서 0.627의 F1 점수를 달성했습니다.
  • 코드 프로빙: 고정된 PHALAR 임베딩에 대한 선형 프로브는 코드 분류에서 **55.2%**의 정확도를 달성하여 Chroma CQT 베이스라인 (50.6%) 을 능가했습니다.

5. 중요성과 주장

본 논문은 PHALAR 가 "구조적으로 맹목적인" 의미 모델에서 "위상 인식" 일관성 모델로의 오디오 표현 학습의 근본적인 전환을 나타낸다고 주장합니다.

• 기하학적 유도 편향: 이 작업은 본질적으로 주기적인 음악이 기하학적 편향에 이상적인 양식이라고 가정합니다. 시간적 이동을 위상 회전으로 모델링함으로써 PHALAR 는 크기 기반 모델이 실패하는 리듬적 일관성을 해결합니다.
• 생성 오디오를 위한 지표: PHALAR 는 생성 오디오를 평가하기 위한 강력하고 참조 인식형 지표를 제공하여, 표준 지표 (예: FAD) 가 주변 분포의 현실성을 평가하지만 조건부 구조적 적합성을 평가하지 못하는 중요한 격차를 해소합니다.
• 더 넓은 영향: 저자들은 복소수형 지표 학습과 위상 보존의 원리가 오디오를 넘어 레이더 시스템, 의료 영상 (MRI), 시계열 분석과 같은 다른 위상 민감 도메인으로 확장될 수 있음을 시사합니다.

한계점: 저자들은 PHALAR 가 시간적 주기성을 가정하는 명시적 기하학적 사전 지식 (RFFT) 에 의존한다고 인정합니다. 비주기적 템포 변화 (예: 루바토), 비리듬적 콘텐츠, 또는 심하게 압축된 오디오 포맷에서는 성능이 저하됩니다. 또한, 서양 대중음악에 대한 모델의 학습은 다른 장르의 스타일적 미세 타이밍 편차에 대한 "일관성" 개념에 편향을 줄 수 있습니다.