LARA-Gen: Enabling Continuous Emotion Control for Music Generation Models via Latent Affective Representation Alignment

이 논문은 텍스트 프롬프트의 한계를 극복하고 외부 음악 이해 모델과의 잠재 정서 표현 정렬 (LARA) 을 통해 연속적이고 세밀한 감정 제어가 가능한 음악 생성 프레임워크 'LARA-Gen'을 제안하고, 이를 평가하기 위한 벤치마크와 예측 모델을 구축하여 기존 모델 대비 뛰어난 감정 준수도와 음악 품질을 입증합니다.

핵심

이 논문은 **"음악을 만들 때, 단순히 '기분 좋은 음악'이라고 말하는 것보다, 구체적인 숫자로 감정을 조절할 수 있는 새로운 방법"**을 소개합니다.

기존의 AI 음악 생성 기술은 텍스트 명령어 (예: "슬픈 음악", "신나는 음악") 만으로 음악을 만들었습니다. 하지만 문제는 "슬픔"이라는 단어가 사람마다 다르게 느껴질 수 있다는 점입니다. 아주 깊은 슬픔인지, 아니면 잔잔한 슬픔인지 AI 가 정확히 구분하기 어렵죠.

이 연구팀이 개발한 **'LARA-Gen'**은 이 문제를 해결하기 위해 두 가지 핵심 아이디어를 사용했습니다.

1. 감정을 숫자로 바꾸기 (연속적인 감정 조절)

기존 방식은 "슬픔"이라는 단어만 썼다면, LARA-Gen 은 **감정을 두 가지 숫자 (Valence, Arousal)**로 표현합니다.

• Valence (가치): 기분이 얼마나 긍정적인가? (1=매우 슬픔, 9=매우 행복)
• Arousal (각성): 에너지가 얼마나 높은가? (1=조용하고 나른함, 9=매우 신남)

비유하자면:
기존 방식은 요리사에게 **"매운 음식 만들어줘"**라고 말한 것입니다. 요리사는 맵기를 어디까지 맵게 할지 알 수 없어 임의로 만들어냅니다.
하지만 LARA-Gen 은 **"매운맛 6.2, 향신료 8.1 로 만들어줘"**라고 숫자로 지시하는 것입니다. 이렇게 하면 요리사 (AI) 는 원하는 정확한 맛을 낼 수 있게 됩니다.

2. AI 의 '내면'을 교정하는 거울 (잠재 감정 표현 정렬)

AI 가 음악을 만들 때, 단순히 "이 단어를 다음에 쓸 확률이 높네"라고 계산하는 것만으로는 감정을 제대로 담기 어렵습니다. 그래서 연구팀은 거울 같은 역할을 하는 도구를 만들었습니다.

• 거울 (MERT): 이미 감정을 잘 이해하는 똑똑한 AI (이론상 '음악 감정 전문가') 가 있습니다.
• 교정 과정: LARA-Gen 이 음악을 만들 때, 이 '음악 감정 전문가'가 만든 음악을 보고 **"내 음악의 감정이 전문가의 음악과 똑같은가?"**를 비교합니다.
• 만약 감정이 다르다면, AI 는 스스로 수정합니다. 마치 그림을 그릴 때 거울을 보며 선을 고쳐 그리는 것과 같습니다.

이 과정을 통해 AI 는 텍스트가 아닌, 감정의 미세한 뉘앙스까지 정확히 파악하고 음악을 생성할 수 있게 됩니다.

3. 검증된 결과

연구팀은 이 방법이 정말 효과가 있는지 확인하기 위해 **새로운 시험지 (벤치마크)**를 만들었습니다.

• 결과: 기존에 텍스트로 명령을 내렸을 때보다, 숫자로 감정을 조절했을 때 AI 가 만든 음악이 훨씬 더 원하는 감정에 가깝고, 음악의 질도 훨씬 좋아졌습니다.
• 특히, "신남 (Arousal)" 같은 감정은 숫자로 조절했을 때 거의 완벽하게 구현되었습니다.

요약

이 논문은 **"음악을 만들 때 막연한 말보다는 구체적인 숫자 지시와, 감정을 잘 아는 AI 거울을 함께 사용하면 훨씬 더 정교하고 감동적인 음악을 만들 수 있다"**는 것을 증명했습니다.

앞으로 이 기술은 음악 치료 (특정 감정을 유발해 심리 치유에 도움) 나 게임/영화 (장면에 딱 맞는 감정의 음악을 실시간으로 생성) 등 다양한 분야에서 쓰일 수 있을 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

최근 텍스트 - 음악 (Text-to-Music) 생성 모델의 발전으로 텍스트 프롬프트를 통한 일관된 음악 생성이 가능해졌으나, **미세한 감정 제어 (Fine-grained Emotional Control)**는 여전히 해결되지 않은 과제로 남아있습니다. 기존 시스템의 주요 한계점은 다음과 같습니다.

• 텍스트 프롬프트의 모호성: "기쁜", "슬픈"과 같은 이산적인 (discrete) 텍스트 설명은 감정 간의 미묘한 차이 (예: '우울함' vs '비탄') 를 포착하지 못하며, 희귀하거나 복잡한 감정 개념을 표현하는 데 한계가 있습니다.
• 연속적 제어의 부재: 심리학적으로 널리 사용되는 '가치 - 각성 (Valence-Arousal)' 모델과 같이 연속적인 수치로 감정을 표현하고 제어하는 기능이 기존 모델에는 결여되어 있습니다.
• 학습의 비효율성: 기존 자기회귀 (Autoregressive) 모델은 음향 토큰에 대한 교차 엔트로피 (Cross-Entropy) 손실만 사용하여 학습합니다. 이는 저차원의 감정 조건을 고차원의 음향 특징으로 매핑하는 복잡한 관계를 학습하는 데 비효율적이며, 명시적인 지도 (Explicit Supervision) 가 없으면 미세한 감정 특징을 포착하기 어렵습니다.
• 평가 지표의 부재: 음악 생성의 감정 제어 능력을 정량화할 수 있는 견고한 객관적 지표가 부족합니다.

2. 방법론 (Methodology)

저자들은 LARA-Gen이라는 새로운 프레임워크를 제안하여 위 문제들을 해결합니다. 핵심 구성 요소는 다음과 같습니다.

가. 연속적 가치 - 각성 (Valence-Arousal) 조건부 제어

• 이중 프롬프트 구조: 음악의 내용 (Content) 을 위한 텍스트 프롬프트 ($p_{text}$) 와 감정의 스타일 (Style) 을 위한 연속적인 감정 튜플 $p_{emo} = (v, a)$를 입력받습니다. 여기서 $v$와 $a$는 각각 가치 (Valence) 와 각성 (Arousal) 의 연속 수치 (1~9 범위) 입니다.
• 인코딩: 텍스트는 T5 인코더로, 감정 수치 ([-1, 1] 로 정규화됨) 는 경량의 MLP 기반 Arousal-Valence Encoder(EncoderAV) 로 각각 임베딩된 후 결합되어 생성 모델의 Cross-Attention 레이어에 주입됩니다. 이를 통해 감정 속성을 텍스트 의미와 분리 (Disentangling) 하여 제어합니다.

나. 잠재 감정 표현 정렬 (Latent Affective Representation Alignment, LARA)

• 핵심 아이디어: 생성 모델의 내부 은닉 상태 (Hidden States) 를 외부의 강력한 오디오 이해 모델 (MERT) 의 특징과 정렬시킴으로써 명시적인 지도를 제공합니다.
• Proxy Network: 생성 모델의 고해상도 은닉 상태 시퀀스 ($H$) 와 MERT 에서 추출된 저해상도 타겟 특징 ($\bar{M}$) 간의 시간적 불일치를 해결하기 위해, 학습 가능한 경량 Transformer 디코더인 'Proxy Network'를 도입합니다. 이 네트워크는 학습 가능한 쿼리 토큰을 사용하여 긴 은닉 상태 시퀀스를 요약하고 MERT 특징을 예측합니다 ($\hat{M}$).
• 손실 함수 (Loss Function): 총 손실은 두 가지로 구성됩니다.
  1. Cross-Entropy Loss ($L_{CE}$): 기존 음향 토큰 예측을 위한 표준 손실.
  2. LARA Loss ($L_{LARA}$): 예측된 MERT 특징 ($\hat{M}$) 과 실제 MERT 특징 ($\bar{M}$) 간의 평균 제곱 오차 (MSE) 를 최소화합니다.
  • 최종 손실: $L_{total} = L_{CE} + \alpha \cdot L_{LARA}$

다. 객관적 평가를 위한 감정 예측기 (Emotion Predictor)

• 구조: 프리트레인된 MERT 오디오 인코더 (고정) 와 감정 회귀 헤드 (MLP, 학습 가능) 로 구성됩니다.
• 슬라이딩 윈도우: 오디오 전체를 하나의 전역 풀링으로 처리하는 대신, 시간적 변화를 포착하기 위해 슬라이딩 윈도우 방식을 사용하여 구간별 감정 값을 예측한 후 평균화합니다.
• 목적: 생성된 음악의 감정 일치도를 정량적으로 평가하기 위한 표준화된 벤치마크 도구로 사용됩니다.

3. 주요 기여 (Key Contributions)

1. 연속적 감정 제어 메커니즘: 텍스트 프롬프트의 모호성을 우회하고, 생성 모델이 연속적인 Valence-Arousal 수치를 직접 입력받아 미세한 감정을 제어할 수 있게 하는 새로운 조건부 메커니즘을 제안했습니다.
2. LARA-Gen 프레임워크: 잠재 공간에서의 감정 표현 정렬 (LARA) 을 통해 명시적인 지도를 제공하고, 표준 교차 엔트로피 학습의 비효율성을 극복하는 새로운 생성 프레임워크를 개발했습니다.
3. 재현 가능한 벤치마크: 정제된 도메인 외 (Out-of-Domain) 테스트 세트와 강력한 감정 예측기를 포함한 감정 음악 생성 평가를 위한 표준 벤치마크를 구축했습니다.

4. 실험 결과 (Results)

저자들은 DEAM 데이터셋을 기반으로 한 도메인 외 테스트 세트를 사용하여 LARA-Gen 을 평가했습니다.

• 감정 제어 정확도 (Emotion Control Accuracy):

  • 각성 (Arousal): LARA-Gen 은 CCC(0.67) 와 PCC(0.69) 에서 모든 베이스라인 (텍스트 프롬프트, 파인튜닝 등) 과 Ground Truth 보다 높은 성능을 보였습니다. 이는 LARA 가 명확한 각성 특징 생성을 효과적으로 유도함을 의미합니다.
  • 가치 (Valence): 주관적 특성이 강해 학습이 어렵지만, LARA-Gen 은 통계적으로 유의미한 상관관계를 보였습니다.
  • 오차 분석: LARA-Gen 은 목표 감정 값과 예측 값 사이의 오차 표준편차가 가장 작고 분포가 가장 밀집되어 있어 안정성이 뛰어났습니다.

• 음악 품질 (Music Quality):

  • FAD (Fréchet Audio Distance): LARA-Gen 이 가장 낮은 FAD 점수 (2.45) 를 기록하여, 텍스트 프롬프트 기반 방법들 (2.83~4.81) 보다 음질과 감정 일치도가 우수함을 입증했습니다.
  • 주관적 평가: 인간 평가자로부터 받은 전체 음악 품질 (OVL) 점수에서 LARA-Gen 이 텍스트 베이스라인을 능가하며 Ground Truth 에 근접하는 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임의 전환: 모호한 텍스트 조건부에서 정밀한 수치 기반 감정 제어로의 전환을 가능하게 하여, 음악 생성 분야에서 정량적이고 미세한 감정 조절의 새로운 기준을 제시했습니다.
• 응용 가능성: 음악 치료, 인터랙티브 미디어, affective computing 등 정밀한 감정 제어가 필요한 분야에서 실용적인 적용 가능성을 열었습니다.
• 기술적 혁신: 생성 모델의 내부 표현을 외부 이해 모델과 정렬 (Alignment) 함으로써, 복잡한 감정 - 음향 매핑을 학습하는 효율성을 크게 높였습니다.

결론적으로, LARA-Gen 은 텍스트 프롬프트의 한계를 극복하고 연속적인 수치 입력을 통해 미세하고 정확한 감정 제어를 실현한 최초의 작업 중 하나로, 제어 가능한 감정 음악 생성 연구의 중요한 이정표가 됩니다.