Latent Space Disentanglement via Activation Steering for Interpretable Attribute Control in Symbolic Music Generation

기술 요약: 상징적 음악 생성에서 해석 가능한 속성 제어를 위한 활성화 스티어링을 통한 잠재 공간 얽힘 해제

문제 정의
트랜스포머 기반 아키텍처가 복잡한 상징적 시퀀스 생성 측면에서 진보를 이루었음에도 불구하고, 이산적 신호 속성에 대한 미세하고 해석 가능한 제어를 달리는 데에는 여전히 상당한 격차가 존재한다. 기존 모델들은 고차원의 내부 활성화와 이산적 출력 속성(예: 음높이 및 음길이) 사이의 관계가 모호한 "블랙박스"로 기능하는 경우가 많다. 제어 가능한 합성을 위한 현재의 접근 방식들은 계산 비용이 많이 드는 재학습, 복잡한 구조적 수정, 또는 특정 내부 상태의 정밀한 조작에 필요한 세밀함이 부족한 전역적 컨디셔닝(global conditioning)에 의존하는 경우가 잦다. 모델의 가중치 최적화를 요구하지 않으면서도 추론 시점에 정밀하게 개입할 수 있는 방법론에 대한 절실한 필요성이 존재한다.

방법론
본 논문은 Symbolic Orchestral Database(SOD)로 학습된 디코더 전용 아키텍처인 Multitrack Music Transformer(MMT)의 기계론적 해석 가능성을 조사한다. 저자들은 **선형 표현 가설(Linear Representation Hypothesis)**에 근거하여, **추론 시점 활성화 스티어링(inference-time activation steering)**을 통한 결정론적 속성 변조 프레임워크를 제안한다.

1. 벡터 추출 (DiffMean): 저자들은 DiffMean(Difference-in-Means) 방법론을 활용하여 모델의 잔차 스트림(residual stream) 내에서 특정 속성인 평균 음높이(Average Note Pitch)와 평균 음길이(Average Note Duration)를 위한 잠재 방향을 분리해낸다. SOD 코퍼스를 분석함으로써, 이들은 "높음(High)" 및 "낮음(Low)" 개념 클러스터(20백분위수 및 80백분위수 기준)를 정의하고, 클러스터 간의 중심점 차이를 통해 스티어링 벡터를 계산한다.
2. 레이어 민감도 분석: 포워드 훅(forward hooks)을 통해, 본 연구는 모든 디코더 블록의 잔차 스트림 활성화를 가로챈다. 민감도 분석 결과, 음길이는 초기 레이어(레이어 2에서 정점)에서 가장 선형적으로 분리 가능한 반면, 음높이는 더 깊은 레이어(레이어 11에서 정점)에서 가장 잘 분리됨을 확인하였다.
3. 스티어링 메커니즘: 추론 과정 중, 은닉 상태는 스케일링된 스티어링 벡터($h^{(l)}_{steer} \leftarrow h^{(l)} + \alpha v^{(l)}$)를 주입함으로써 수정된다. 저자들은 여러 주입 전략을 평가하였으며, 레이어별 벡터를 모든 레이어에 주입하는 All-to-All 방식이 스티어링 효능과 생성 품질 사이의 가장 견고한 절충안을 제공한다는 것을 발견하였다.
4. 이중 스티어링 및 얽힘 해제: 특징 간의 얽힘(예: 높은 음높이와 짧은 음길이 사이의 자연스러운 상관관계)을 해결하기 위해, 본 논문은 이중 스티어링 프레임워크를 도입한다. 이는 단순 벡터 덧셈과 **그람-슈미트 직교화(Gram-Schmidt Orthogonalization)**를 비교한다. 구체적으로, "음높이 우선(Pitch Priority)" 전략은 음길이 벡터를 음높이 벡터에 대해 직교화하여 개념적 간섭을 방지함으로써, 두 속성의 독립적인 조절을 가능하게 한다.

주요 기여

• 음악에서의 선형 표현 검증: 본 연구는 고차원 음악적 개념(음높이 및 음길이)이 MMT의 잠재 공간 내에서 선형 벡터로 표현됨을 확인하여, 상징적 음악 도메인에서의 선형 표현 가설을 입증하였다.
• 학습이 필요 없는 제어: 제안된 프레임워크는 사전 학습된 모델을 재학습하거나 미세 조정(fine-tuning)할 필요 없이, 결정론적이고 정밀한 음악적 속성 제어를 가능하게 한다.
• 기하학적 디커플링: 그람-슈미트 직교화의 도입은 상관관계가 있는 특징 간의 개념적 간섭을 성공적으로 감소시켜, 강력한 자기회귀적 컨디셔닝에 맞서서도 독립적인 제어를 가능하게 한다.
• 레이어별 통찰: 본 연구는 리듬적 특징이 멜로디적 특징보다 네트워크의 더 이른 단계에서 인코딩된다는 레이어별 민감도 맵을 제공한다.

실험 결과
저자들은 무조건 생성(unconditional generation)과 조건부 생성(강력한 자기회귀적 사전 확률을 가진 16비트 접두사를 덮어쓰려는 스티어링 실험)을 통해 프레임워크를 평가하였다.

• 단일 속성 스티어링:
  • 음높이(Pitch): 스티어링 크기와 속성 변화 사이에서 $r = 0.9030$의 피어슨 상관계수를 달성하였으며, 단위 $\alpha$당 약 +13.35 세미톤의 선형 응답을 보였다.
  • 음길이(Duration): $r = 0.9263$의 피어슨 상관계수를 달성하였으며, 단위 $\alpha$당 +10.77 틱(tick)의 선형 응답을 보였다.
  • 컨텍스트 덮어쓰기: 이 방법은 음높이 실험의 93.4%, 음길이 실험의 **91.7%**에서 강력한 로컬 컨텍스트를 성공적으로 무시하며, 최대 2.6 옥타브의 변화나 상당한 틱 확장을 달성하였다.
• 이중 스티어링:
  • 이중 속성 시나리오에서, 그람-슈미트(음높이 우선) 방식은 단순 덧셈 및 대칭 직교화보다 우수한 성능을 보였으며, 가장 낮은 품질 저하($\delta = 2.14$)와 함께 88.5%의 성공률을 달성하였다.
  • 본 방법은 상향 스티어링(96.1% 성공)이 하향 스티어링(82.2% 성공)보다 일반적으로 더 효과적임을 보여주었으나, 직교화 전략이 간섭을 효과적으로 완화하여 모델의 학습 분포가 자연스럽게 선호하지 않는 새로운 음높이와 음길이의 조합을 가능하게 함을 입증하였다.
  • 최적의 스티어링 범위 내에서는 품질 저하가 낮게($\delta \leq 3$) 유지되어 지각적 일관성을 나타냈으나, 극단적인 스티어링 값에서는 지수적인 품질 저하가 발생하였다.

의의
본 논문은 고품질의 자기회귀 생성과 정밀하고 해석 가능한 제어 사이의 간극을 메운다고 주장한다. 사전 학습된 MMT의 잠재 표현을 역공학함으로써, 저자들은 복잡한 음악적 속성이 추론 시점에 결정론적으로 조작될 수 있음을 보여주었다. 본 연구의 의의는 글로벌 컨디셔닝의 한계를 극복하면서도 모델의 내부 구조를 존중하는 미세하고 학습이 필요 없는 개입을 수행할 수 있다는 점에 있다. 상관관계가 있는 음악적 특징을 분리하기 위해 기하학적 디커플링(그람-슈미트)을 성공적으로 적용한 것은, 더욱 제어 가능하고 투명한 AI 기반 음악 작곡 도구를 향한 경로를 제시한다. 저자들은 이를 연속적인 오디오 합성 방식과는 구별되는, 상징적 음악 도메인에서의 설명 가능한 AI를 위한 기초적인 단계로 규정한다.