기술 요약: MIDI-RAE-JEPA

문제 정의

본 논문은 상징적 음악(symbolic music)의 계층적, 다중 스케일 특성을 포착할 수 있는 풍부한 자기지도 학습 기반 내부 표현(self-supervised internal representations)이 부족하다는 점을 다룹니다. 대규모 멀티모달 언어 모델이 존재하지만, 음악 이해 작업에서는 성능이 저조합니다. 또한, 자연 이미지에 설계된 표준 자기지도 학습(SSL) 목적 함수(예: DINOv2의 크롭 및 리사이즈 전략)는 피아노 롤(piano roll) 표현에 있어 의미론적으로 문제가 있습니다. 피아노 롤을 "확대(zooming in)"하는 것은 사진에서 발견되는 매끄러운 스케일 불변성(scale invariance)과 달리, 인접한 반음들을 병합하고 리듬 구조를 왜곡시킵니다. 목표는 피아노 롤 이미지로 인코딩된 상징적 음악의 계층적 표현을 학습하여, 엔드 투 엔드 미세 조정(fine-tuning) 없이도 판별 작업과 고품질 생성을 모두 지원할 수 있는 도메인 특화 접근 방식을 개발하는 것입니다.

방법론

데이터 표현

시스템은 POP909 데이터셋을 사용하여 8마디 세그먼트를 128 × 128 이진 피아노 롤 이미지로 렌더링합니다. 가로축은 시간(64개의 8분 음표 단계)을 나타내고, 세로축은 음높이(128개의 모든 MIDI 피치)를 나타냅니다. 훈련 파이프라인은 효과적인 훈련 다양성을 확장하기 위해 피치 및 시간 전이 증강(transposition augmentation)을 포함한 무작위 크롭(random cropping)을 활용합니다.

아키텍처

시스템의 핵심은 6개 스테이지를 가진 계층적 Swin Transformer V2 인코더입니다. 이 모델은 시프트 윈도우(shifted windows)를 사용하여 셀프 어텐션을 수행하며, 각 스테이지에서 2배로 다운샘플링하는 동시에 임베딩 차원을 두 배로 늘립니다. 아키텍처는 미세한 국소적 세부 사항(Level 5)부터 거친 전역적 문맥(Level 0)까지 다양한 해상도의 임베딩을 생성합니다.

훈련 목적 함수

인코더는 다음 세 가지 주요 구성 요소를 결래한 순수 자기지도 학습 목적 함수로 훈련됩니다:

1. 등변성 손실 ($L_{equiv}$): 모든 시프트된 뷰(view)를 동일한 임베딩으로 강제하는 대신(이는 붕괴를 초래함), 모델이 시프트 크기에 비례하는 타겟 임베딩 거리를 유지하도록 합니다.

   • 메커니즘: 원본 크롭을 피치와 시간 방향으로 시프트하여 두 개의 뷰($x_1$ 및 $x_2$)를 생성합니다. 손실 함수는 임베딩 간의 유클리드 거리와 시프트 크기에 의해 스케일링된 타겟 거리($\alpha \sqrt{d} \|\hat{\delta}\|$) 사이의 제곱 차이를 최소화합니다.
   • 효과: 이를 통해 모델이 시간적, 피치적 관계를 내재화하도록 유도하며, 더 큰 시프트가 발생할수록 임베딩 간의 거리가 비례하여 멀어지도록 보장합니다.

2. 마스크 임베딩 예측기 (MEP) 및 LeJEPA: LeJEPA 프레임워크를 따라, 경량 예측 네트워크가 지수 이동 평균(EMA) 교사(teacher)로부터 생성된 안정적인 타겟을 사용하여 학생(student)의 전체 문맥 표현으로부터 마스킹된 패치 임베딩을 재구성하려고 시도합니다. 이는 모델이 계층 구조 전반에 걸쳐 음악적 문맥의 예측적 표현을 학습하도록 보장합니다.

3. 정규화 및 인수분해:

   • SIGReg: 붕괴를 방지하고 이론적으로 다운스트림 작업에 최적인 등방성 가우시안 사전 분포(isotropic Gaussian prior)를 강제하기 위해 분할된 스케치된 등방성 가우시안 정규화(Chunked Sketched Isotropic Gaussian Regularization)가 적용됩니다.
   • 소프트 인수분해 손실 ($L_{fact}$): 피치 시프트와 시간 시프트 방향이 잠재 공간(latent space)에서 기하학적으로 직교하도록 장려하는 새로운 손실 항입니다. 이 방식은 증강 차이 벡터에 대한 코사인 유사도를 사용하여, 특정 방향을 규정하지 않고 증강 유형에 따라 평행, 반평행 또는 직교 관계를 강제합니다.

디코더 및 생성 모델

• 디코더: FPN(Feature Pyramid Network)을 갖춘 대칭적인 Swin 계층 구조가 동결된(frozen) 인코더 임베딩으로부터 피아노 롤을 재구성합니다. 이는 이진 교차 엔트로피를 사용하여 훈련됩니다.
• 생성 모델: 픽셀 공간에서 작동하는 플로우 매칭(Flow Matching) 모델이 인코더 임베딩을 조건(condition)으로 사용합니다. 차원 관리를 위해 임bed딩은 PCA(95% 분산 유지)를 거치며, 레지스터 정보를 보존하기 위해 평균 피치가 명시적으로 추가됩니다. 무조건적, 부분 조건부, 완전 조건부 생성을 가능하게 하기 위해 멀티 레벨 드롭아웃(Multi-Level Dropout) 스킴을 채택합니다.

주요 기여

1. 최초의 계층적 음악용 JEPA: 본 논문은 등변성 목적 함수, LeJEPA, Swin V2 인코더를 결합한 최초의 계층적 JEPA 기반 상징적 음악 접근 방식을 제시합니다.
2. 완전한 RAE 파이프라인: 동결된 인코더 임베딩이 고충실도 재구성, 조건부 생성 및 다운스트림 분류를 지원함을 보여줌으로써 완전한 표현 자동 인코더(Representation Autoencoder, RAE) 파이프라인을 입증합니다.
3. 측정 가능한 등변성: 임베딩 거리가 피치 및 시간 시프트 크기에 따라 단조롭게 증가함을 입증하여, 측정 가능한 등변성을 실증적으로 검증했습니다.
4. 새로운 손실 함수: 부드러운 델타 스케일링 등변성 손실과 피치 및 시간 방향이 잠재 공간에서 기하학적 직교를 이루도록 하는 소프트 인수분해 손실을 도입했습니다.
5. 소비자급 하드웨어에서의 실행 가능성: 모든 실험은 소비자급 GPU(예: RTX 4090)에서 수행되었으며, 이와 같은 복잡한 SSL 훈련이 대규모 컴퓨팅 클러스터를 필요로 하지 않음을 보여줍니다.

결과

등변성 및 인수분해

• 등변성: 임베딩 거리는 시프트 크기가 커짐에 따라 단조 증가하며, 이는 각 계층 수준의 명목상 패치 크기를 넘어 확장됩니다.
• 인수분해: 소프트 인수분해 손실은 교차 유형 시프트(피치 vs 시간)가 거의 직교($|\cos| < 0.02$)하고, 동일 유형의 시프트는 평행하거나 반평행하는 기하학적 관계를 성공적으로 구축합니다.

다운스트림 작업

• 감정 분류: EMOPIA 데이터셋에 대해, 동결된 임베딩(특히 Level 3)으로 훈련된 선형 프로브(linear probe)는 모든 지표(4개 클래스, 각성도, 가치도)에서 Haar 스캐터링 변환 베이스라인과 DINOv2 베이스라인을 능가했습니다.
• 구조 프로브: 미세한 레벨(L4/L5)은 음표 밀도를 강력하게 인코딩($R^2 > 0.98$)한 반면, 더 거친 레벨은 더 넓은 문맥을 포착했습니다. 곡 간 유사도는 미세한 레벨에서 거친 레벨로 갈수록 단조 감소하였으며, 이는 변별력이 높아짐을 나타냅니다.

재구성 및 생성

• 재구성: 디코더는 홀드아웃 테스트 데이터에서 F1 점수 0.995를 달성하여, SSL 목적 함수가 정확한 재구성을 위한 충분한 정보를 인코더에 유지하도록 강제함을 확인했습니다.
• 조건부 생성: 플로우 매칭 모델은 조건부 엑셉트(excerpt)의 피치 레지스터와 리듬 밀도에 밀접하게 일치하는 생성을 수행했습니다. 불일치하거나 무조건적인 조건이 주어질 경우, 음악적으로 그럴듯하지만 서로 관련 없는 출력을 생성했습니다.
• 조건부 유효성: 조건부 투영 노름(projection norm) 분석 결과, 모델이 셔플된(정보가 없는) 조건 신호는 무시하면서 유효한 조건에 대해서는 안정적인 가중치를 유지하도록 학습됨을 보여주었습니다.

의의 및 주장

본 논문은 등변성 기반 SSL 목적 함수가 충분한 미세 레벨 인코더 용량과 결합될 때, 의미론적으로 풍부하고 생성에 유용한 표현을 향한 실행 가능한 경로를 제공한다고 주장합니다.

핵-요점은 다음과 같습니다:

• 동결된 사전 훈련된 표현을 판별과 생성 모두에 사용하는 패러다임(RAE)이 상징적 음악 영역에서도 성공적으로 확장됨을 보여줍니다.
• 학습된 표현은 다운스트림 작업을 위한 미세 조정 없이도 음악적으로 의미 있는 구조(피치 간격, 리듬 주기)를 포착합니다.
• 이 접근 방식은 피아노 롤에 대한 이미지 기반 SSL의 의미론적 함정(스케일 불변성 대신 이동 등변성을 활용)을 피합니다.
• 계층 구조의 미세한 레벨은 국소적 세부 사항을 효과적으로 포착하지만, 거친 레벨에서 "명확하게 해석 가능한 음악적 추상화"를 포착하는 것은 향후 연구 과제로 남겨진 문제임을 언급합니다.

저자들은 이 방법이 오디오 스펙트로그램으로 확장, 더 큰 데이터셋으로의 확장, 그리고 편곡이나 반주 생성과 같은 더 풍부한 다운스트림 작업 탐색을 위한 기초를 제공한다고 결론짓습니다.