Genre Controlled Music Generation via Activation Steering

기술 요약: 활성화 조정을 통한 장르 제어 음악 생성

문제 제기
계산 음악 생성은 점차 비전통적인 스타일로 이동하고 있으며, 다양한 음악 요소를 정밀하고 제어 가능하게 혼합할 수 있는 방법에 대한 수요가 증가하고 있습니다. 이전의 조건부 음악 생성 연구들은 텍스트 기반 프롬프트 (예: 장르 또는 분위기 설명) 나 악기 및 화음 제어를 위한 파인튜닝을 활용했지만, 이러한 접근 방식들은 종종 상당한 계산 자원을 요구하거나 세밀한 제어가 부족합니다. 기존 추론 시간 개입 기법들은 주로 이산적 속성이나 언어 모델에 적용되어 왔으며, 자기회귀 트랜스포머에서 음악적 장르와 같은 연속적이고 이진적이지 않은 개념을 제어하기 위한 경량화되고 효과적인 방법의 부재를 드러내고 있습니다.

방법론
저자들은 자기회귀 생성 트랜스포머인 MusicGen에 대한 추론 시간 개입을 사용하여 세밀한 장르 제어를 위한 방법을 제안합니다. 이 접근법은 기계적 해석 가능성과 활성화 공학에 기반하며, 대규모 언어 모델 (LLM) 을 해석하는 데 사용된 기법들에서 영감을 받았습니다.

1. 개념 식별 및 선형 프로빙:

   • 저자들은 음악적 개념 (특히 장르: 록, 클래식, 일렉트로닉, 재즈) 이 선형적으로 표현되는 위치를 식별하기 위해 MusicGen 의 잔여 스트림 활성화 및 어텐션 레이어 출력을 분석합니다.
   • 그들은 레이어 전반에 걸친 활성화에 $k$-means 클러스터링을 적용하고, 장르 정보가 가장 뚜렷한 레이어를 결정하기 위해 조정된 랜덤 지수 (ARI) 와 정규화 상호 정보량 (NMI) 을 평가합니다.
   • 선형 프로브: 특정 레이어의 잔여 스트림 활성화 ($h^l_a$) 에 대해 선형 분류기 (프로브) 를 훈련하여 장르 레이블을 예측합니다. 프로브는 $\hat{y} = W^\top h^l_a + b$라는 매핑을 학습합니다. 가장 높은 프로브 정확도를 보이는 레이어가 해당 개념의 선형 표현을 위한 최적의 위치로 식별됩니다.

2. 활성화 조정:

   • 최적의 레이어와 조정 벡터 (프로브 가중치에서 유도됨) 가 식별되면, 저자들은 추론 시간 개입을 수행합니다.
   • 단위 크기의 조정 벡터 $r^l$을 대상 레이어 이전의 잔여 스트림 활성화에 추가합니다. 개입은 하이퍼파라미터 $\alpha$ (범위 $[0.3, 1.0]$에서 검색됨) 로 스케일링되고 정규화됩니다:
     $$h^l_i \leftarrow h^l_i + \frac{\alpha r^l}{1 + \alpha}$$
   • 이 개입은 조건부 잔여 스트림에 선택적으로 적용되어, 모델이 다른 특징들 (템포 및 선율 라인 등) 을 보존하면서 생성을 목표 장르로 조정할 수 있게 합니다. 저자들은 이러한 특징들이 서로 다른 레이어에 표현되어 있다고 가정합니다.

3. 실험 설정:

   • 실험은 musicgen-small 모델과 lewtun/music_genres 데이터셋의 10 초 오디오 세그먼트로 구성된 균형 잡힌 데이터셋 (록, 클래식, 일렉트로닉, 재즈 각 클래스당 900 개 샘플) 을 활용합니다.
   • 전이 (예: 클래식 $\to$ 일렉트로닉, 록 $\to$ 클래식) 는 쌍으로 테스트되었으며, 전이가 텍스트 프롬팅만으로 달성된 기준선과 비교되었습니다.

주요 기여
본 논문은 세 가지 주요 기여를 제시합니다:

1. 사용자 제어 가능 조정: 모델을 재훈련하지 않고도 사용자가 MusicGen 활성화를 조정하여 특정 장르 제어를 달성할 수 있는 방법.
2. 연속적 개념으로의 확장: 이전에 이산적 속성에 사용되었던 계산 효율적인 활성화 조정 기법을 음악적 장르와 같은 연속적이고 이진적이지 않은 개념으로 확장.
3. 검증: CLAP 기반 정량적 지표와 인간 지각 연구 (2AFC 청취 테스트) 를 모두 사용하여 활성화 조정이 음악적 일관성을 유지하면서 장르 제어를 향상시킨다는 것을 검증.

결과
이 연구는 두 가지 관점을 통해 방법을 평가했습니다:

• 정량적 (CLAP 점수): clap-htsat-unfused 모델을 제로샷 오디오 분류에 사용하여 생성된 오디오와 목표 장르 레이블 간의 유사성을 측정했습니다. 결과는 텍스트 프롬팅에 비해 조정이 CLAP 점수에서 일관되게 더 큰 양의 변화를 생성했음을 보여주었습니다. 예를 들어, "클래식 $\to$ 일렉트로닉" 전이의 경우, 조정된 방법은 $+0.2057$의 $\Delta$CLAP 을 보인 반면, 프롬팅은 $+0.1276$을 보였습니다.
• 정성적 (인간 청취 연구): 24 명의 참가자 (7 명의 훈련된 음악가와 17 명의 비음악가) 가 참여한 2-대안 강제 선택 (2AFC) 연구는 모든 장르 전이에 걸쳐 프롬팅 기준선보다 조정된 샘플에 대한 일관된 선호도를 보여주었습니다. 훈련된 음악가들은 조정된 샘플을 선호하는 데 높은 정확도를 보였으며 (예: 록 $\to$ 클래식 80.5%, $p < 0.0001$), 일반 청중 또한 대부분의 경우에서 유의미한 선호도를 보였습니다.

의의 및 주장
본 논문은 활성화 조정이 제어 가능한 음악 생성을 위한 무거운 파인튜닝이나 텍스트만 기반 조건부 설정에 비해 경량화되고 해석 가능하며 효과적인 대안이라고 주장합니다. 활성화 조정을 인간이 제어 가능한 상호작용으로 프레임함으로써, 이 연구는 해석 가능한 모델 행동이 공동 창작 워크플로우를 강화할 수 있음을 보여줍니다.

저자들은 CLAP 점수가 장르 정렬에 대한 유용한 대리 지표로 작용하지만, 명시적인 장르 의미론보다는 상관관계가 있는 음악적 속성 (음색, 템포, 리듬) 을 포착할 가능성이 있음을 겸손하게 지적합니다. 조정 강도는 고정된 하이퍼파라미터가 아닌 사용자를 위한 상호작용 파라미터로 제시됩니다. 이 연구는 명확하게 대비되는 샘플이 없더라도 음악적 특징을 조작하기 위한 추론 시간 개입의 잠재력을 검증하며, 제어 가능한 음악 생성에서 더 일반화 가능하고 해석 가능한 전략의 길을 연다고 결론지었습니다.