기술 요약: Reflector – 샘플 기반 작곡을 위한 어레인지먼트 인지형 화성 검색

문제 제기

샘플 기반 작곡을 위한 기존 음악 정보 검색(MIR) 도구들은 일반적으로 단일 참조 루프나 렌더링된 믹스다운과 같은 정적인 쿼리에 의존한다. 이러한 방식은 초기 아이디어 구상에는 효과적이지만, 편곡(arrangement)이 진화함에 따라 정보의 가치가 떨어진다는 단점이 있다. 작곡가가 타임라인에 새로운 사운드를 배치함에 따라 화성적 맥락이 변화하며, 고정된 참조 쿼리는 더 이상 유효하지 않게 된다. 현재의 상용 솔루션들(예: Splice Create, Output Co-Producer)은 실시간으로 보완적인 사운드를 제안함으로써 이 문제를 해결하려 하지만, 자체 카탈로그를 바탕으로 공개되지 않은 독점적 방법론 위에서 작동한다. 다중 트랙 어레인먼트를 화성적 검색을 유도하는 진화하는 공생 음향 영역(co-sounding regions)의 집합으로 모델링하는 공개된 오픈 소스 시스템은 존재하지 않으며, 이러한 표현이 세션 전반에 걸쳐 어떻게 지속되어 작곡 관행을 기록할 수 있는지에 대한 프레임워크 또한 부재한 상황이다.

방법론

Reflector는 타임라인에 축적되는 화성적 조합을 추적하고 그에 따라 검색을 적응시키는 대화형 오디오 워크스테이션이다. 이 시스템은 세 가지 주요 아키텍처 구성 요소를 통해 작동한다.

1. 호환성 오라클 (The Compatibility Oracle)

시스템의 핵심은 두 소스 간의 음고 클래스(pitch-class) 콘텐츠가 어떻게 상호작 작용하는지를 점수화하는 고정된 $12 \times 12$ 간격 가중치($K$) 테이블인, 설계된 "오라클"이다.

• 프레임 레벨 스코어링: 두 크로마 프레임 $c$와 $d$에 대해, 점수는 커널 가중치가 적용된 쌍선형 형식(bilinear form)을 따른다: $s_{frame} = \frac{c^\top K d}{(1^\top c)(1^\top d) + \epsilon}$. 이는 밝기(loudness)를 정규화하여 결합의 평균적인 간격 품질에 집중하게 한다.
• 궤적 레벨 스코어링: 점수는 "상호작용 질량(interaction mass)"(두 소스의 활성화 질량의 곱)에 의해 가중치를 두어 시간에 따라 집계된다. 이는 두 소스가 모두 침묵하는 순간이 점수를 희석하지 않도록 보장한다.
• 이조 탐색 (Transposition Search): 오라클은 음고 클래스 축의 12가지 순환 이동(circular shifts) 하에서 후보들을 평가하며, 최적의 블렌딩을 위한 이조를 식identify하기 위해 전체 12-점 프로파일을 방출한다.

2. 합성 훈련 파이프라인 (Synthetic Training Pipeline)

저작권 문제를 피하고 훈련 분포에 대한 완전한 통제권을 얻기 위해, 시스템은 전적으로 합성 오디오를 통해 훈련된다.

• 데이터 생성: 두 단계의 과정을 통해 쌍을 이루는 크로마 궤적을 생성한다. 단계 A는 여섯 가지 삼화음 형태(triadic shapes)로부터 확률적 확장 및 시간적 패턴(지속되는 코드, 아르페지오 등)을 가진 음고 클래스 집합을 구축한다. 단계 B는 이를 무작위 도메인 파라미터(파형, 리버브, 디스토션 등)를 가진 가산 합성(additive synthesis)을 통해 오디오로 렌더링한다.
• 아키텍처: 공유 인코더(3x Conv1D, BatchNorm, GELU, pooling)를 가진 투 타워(two-tower) 구조가 컨텍스트와 후보 크로마 궤적을 128차원 임베딩 공간으로 매핑한다.
• 손실 함수 (Loss Functions):
  • 단계 A: 오라클의 최적 이조 점수에 대한 평균 제곱 오차(MSE)와 전체 12방향 이조 프로파일에 대한 Forward KL 발산(divergence)에 의해 감독된다.
  • 단계 B (미세 조정): 오디오 유래 크로마 상에서 내적 기하학(dot-product geometry)을 직접 최적화하기 위해 InfoNCE 손실을 사용하며, 오라클의 판단으로부터의 이탈을 방지하기 위해 작은 MSE 앵커를 사용한다.
• 핵심 불변성: 시스템은 하드코딩된 방식이 아닌, 데이터 증강(무작위 순환 이동)과 오라클의 프로파일 감독을 통해 이조 불변성(transposition invariance)을 학습한다.

3. 시스템 프로세스 및 세션 분석

• 인덱싱: 샘플은 중첩되는 3초 창(window)으로 분할되며, 임베딩된 후 평균 쌍별 오라클 일관성(pairwise oracle coherence)에 의해 가중치가 부여되어 파일 레벨 임베딩을 형성한다.
• 세션 표현: 작곡가가 재료를 배치함에 따라, "스윕 라인(sweep-line)" 분석이 공생 음향 영역을 식별한다. 이 영역들은 "세션 중심점(session centroid)"(영역 중심점들의 가중 평균)으로 집계되며, 재료가 추가, 제거 또는 이조됨에 따라 동적으로 업데이트된다.
• 내비게이션: 세션 중심점은 탐색 가능한 3D 공간("Galaxy")으로 투영되어, 작곡가가 구조적 화성 관계를 시각화하고 화성적 어휘를 바탕으로 세션 간을 이동할 수 있게 한다.

주요 결과 및 발견

본 논문은 631개의 샘플 라이브러리를 대상으로 시스템의 동작을 특성화하며, 다음과 같은 몇 가지 중요한 통찰을 제공한다:

1. 직접 스코어링의 퇴화 (Degeneracy of Direct Scoring): 오라클 커널을 학습된 임베딩 없이 직접적인 검색 규칙으로 사용할 경우, 검색은 몇몇 "보편적 기여자(universal donors)"(예: 희소하고 협화적인 드론)로 붕괴된다. 이는 커널이 쌍을 격리하여 판단하고 다양성의 개념이 부족하여, 거의 모든 것과 적절히 어우러지는 샘플을 선호하기 때문이다. 커널 가중치를 조정하는 것으로는 이 문제를 해결할 수 없다.
2. 필터로서의 임베딩: 학습된 128차원 임베딩은 오라클의 쌍별 판단을 보존하면서(Rank 10에서 NDCG 0.85 달성) 전체 라이브러리를 포괄한다(631개 중 625개가 Top-10 리스트에 등장). 논문은 이를 임베딩 공간의 정규화된 기하학적 구조 덕분으로 설명한다. 즉, 단위 초구면(unit hypersphere) 상에서 단일 후보가 모든 쿼리 방향에 동시에 가까울 수는 없다. 대조 학습 목적 함수(InfoNCE)는 균일성을 강제하여, 직접 스코어링이 선호하는 "퇴화된" 솔루션을 효과적으로 필터링한다.
3. 구별되는 검색 표면 (Distinct Retrieval Surfaces): 논문은 두 가지 뚜렷한 검색 표면을 식별한다:
   • 유사성 (Cosine): 쿼리와 닮은 것(형제 및 버전)을 검색한다.
   • 호환성 (Embedding): 쿼리와 결합할 수 있는 것(보완재)을 검색한다.
     이 표면들은 거의 서로소(disjoint)이며, 상관계수 $\rho = -0.65$의 역상관 관계를 보인다. Reflector는 이 두 가지를 모두 노출하여, 작곡가가 "버전"을 찾을 것인지 "화성"을 찾을 것인지를 전환할 수 있게 한다.
4. 어레인지먼트 인지 (Arrangement Awareness): 검색은 정적이지 않다. 세션이 진화함에 따라(예: 트라이톤 피벗을 통한 변화), 세션 중심점이 이동하며 Top-10 제안 사항이 크게 변한다(인용된 예시에서 70%의 교체 발생). 시스템은 세션 전반에 걸친 작곡가의 화성적 표류(harmonic drift)를 추적하며, 단일 정적 쿼리가 놓칠 수 있는 관계를 드러낸다.

의의 및 주장

본 논문은 Reflector를 단순한 음악성(musicality)에 대한 주장이 아닌 하나의 "시스템적 설명(systems account)"으로 위치시킨다. 주요 기여는 다음과 같다:

• 오픈 소스 아키텍처: 독점적인 상용 플랫폼과 대조되는, 단일 머신에서 로컬로 실행 가능한 어레인먼트 인지형 검색 시스템에 대한 공개적인 엔드 투 엔드 설계를 제공한다.
• 윤리적 훈련: 전체 파이프라인은 저작권이 있는 데이터 없이 합성 오디오로만 훈련되어, 음악 AI의 법적 및 윤리적 불확실성 문제를 해결한다.
• 규칙의 증류 (Distillation of Rules): 고정된 수작업 설계 규칙(오라클)이 어떻게 기하학적 제약을 통해 검색의 한계(퇴화)를 극복하면서도 상호작용 로직을 유지하는 신경망 임베딩으로 증류될 수 있는지를 보여준다.
• 작곡의 가시성: 샘플 라이브러리의 "잠재적 작곡 구조"를 가시화하여, 작곡가의 화성적 관행이 시간과 세션에 따라 어떻게 진화하는지 추적한다.

저자들은 커널 가중치가 "실험적 설계상의 입장"일 뿐 반드시 지각적으로 최적(perceptually optimal)인 것은 아니라고 명시한다. 시스템의 검증은 지각 연구보다는 실제 활용 능력("검증은 사용이다")을 통해 제시되며, 저자들은 지각 연구가 향-후 필수적인 단계임을 인정한다. 현재 시스템은 서양의 조성 화성과 음고 클래스 관계에 집중하며, 음색 및 리듬적 판단은 작곡가의 몫으로 남겨둔다.