Human-CLAP: Human-perception-based contrastive language-audio pretraining

이 논문은 기존 CLAP 점수와 인간 주관 평가 간의 상관관계가 낮다는 점을 지적하고, 인간 주관 평가를 기반으로 학습된 'Human-CLAP' 모델을 제안하여 두 점수 간의 상관관계를 기존 대비 0.25 이상 크게 향상시켰음을 보여줍니다.

핵심

🎧 1. 문제: "컴퓨터 점수" vs "사람의 귀"

상상해 보세요. 여러분이 AI 에게 "고양이가 비 오는 창가에 앉아 있는 소리"를 만들어달라고 요청했다고 칩시다. AI 가 소리를 만들어냈는데, 실제로는 "개가 짖는 소리"가 들린다면 어떨까요?

기존의 AI 는 이 두 가지 (텍스트와 소리) 가 얼마나 잘 맞는지 계산할 때 CLAPScore라는 점수를 매겼습니다. 이 점수는 컴퓨터가 "아, 이 텍스트와 이 소리가 수학적으로 비슷하네!"라고 계산한 결과입니다.

하지만 연구진은 의문을 품었습니다.

"컴퓨터가 100 점이라고 매긴 소리가, 실제로 들어본 사람에게는 10 점일 수도 있지 않을까?"

그래서 실험을 해봤습니다. 여러 가지 AI 가 만든 소리들에 대해 사람들에게 "이 소리가 설명과 얼마나 잘 맞나요?"라고 물어보고 점수를 매기게 했습니다.

결과: 충격적이게도, 컴퓨터 점수 (CLAPScore) 와 사람의 점수는 거의 상관관계가 없었습니다.

• 컴퓨터는 "완벽하게 맞네! 100 점!"이라고 외쳤는데, 사람은 "아니야, 전혀 안 맞아. 2 점이야"라고 반응했습니다.
• 마치 컴퓨터가 "이 그림은 정말 예쁘다"라고 말하는데, 사람들은 "이건 추하다"라고 반응하는 상황과 비슷했습니다.

🛠️ 2. 해결책: "Human-CLAP" (사람의 감성을 가르친 AI)

왜 이런 일이 일어났을까요? 기존 AI 는 방대한 양의 데이터로 학습했는데, 그 데이터 속에 "소리와 설명이 안 맞는 것"들이 섞여 있었기 때문입니다. 컴퓨터는 "데이터에 있으니까 맞겠지"라고 생각했지만, 실제로는 틀린 경우가 많았던 것입니다.

연구진은 **"그럼 사람의 귀를 직접 가르치자!"**라고 생각했습니다.

• 기존 방식: "이 소리와 이 글은 짝꿍이야! (무조건 100 점)"
• 새로운 방식 (Human-CLAP): "사람들이 이 소리를 듣고 '글과 안 맞네'라고 했어. 그럼 점수를 낮춰줘. '잘 맞네'라고 했으면 점수를 높여줘."

이렇게 **사람들이 매긴 실제 점수 (주관적 평가)**를 이용해 AI 를 다시 훈련시켰습니다. 마치 요리 실습을 할 때, 요리사 (AI) 가 만든 요리를 미식가 (사람) 가 맛보고 "소금이 너무 짜다"라고 지적하면, 요리사가 그 피드백을 받아 다음 요리를 고치는 과정과 같습니다.

📈 3. 결과: 사람의 마음을 더 잘 읽는 AI

새로운 AI(Human-CLAP) 를 만들어 다시 점수를 매겨보니 놀라운 변화가 일어났습니다.

• 기존 AI: 사람의 점수와 컴퓨터 점수의 일치도가 낮았음 (상관관계 0.28 수준).
• 새로운 AI (Human-CLAP): 사람의 점수와 컴퓨터 점수가 훨씬 잘 맞음 (상관관계 0.45 이상으로 크게 향상).

비유하자면:

• 기존 AI는 "이 노래는 가사와 멜로디가 수학적으로 완벽하게 일치하니까 100 점!"이라고 외치지만, 사람들은 "노래 가사가 멜로디랑 안 어울려. 30 점이야"라고 반응했습니다.
• 새로운 AI는 "사람들이 30 점이라고 했네? 아, 그렇구나. 내 점수도 30 점으로 고쳐야겠다"라고 생각하게 되어, 사람의 감성을 훨씬 잘 이해하게 된 것입니다.

💡 4. 왜 이게 중요할까요?

이 기술은 앞으로 AI 가 만들어내는 소리 (음악, 효과음 등) 를 평가할 때 매우 중요합니다.

1. 더 좋은 AI 개발: 개발자들이 "내 AI 가 만든 소리가 좋은가?"를 판단할 때, 사람의 귀와 비슷한 기준을 가진 점수 시스템을 쓸 수 있게 됩니다.
2. 접근성: 청각 장애가 있거나 소리를 직접 들어보기 어려운 사람들도, 텍스트 설명과 소리가 얼마나 잘 맞는지 정확하게 알 수 있게 되어 더 많은 사람이 오디오 콘텐츠를 즐길 수 있습니다.

🌟 한 줄 요약

"기존 AI 는 소리와 글이 수학적으로 맞는지만 봤지만, 새로운 'Human-CLAP'은 사람의 귀와 마음이 어떻게 반응하는지 직접 배워서, 훨씬 더 정확한 평가를 할 수 있게 되었습니다."

이 연구는 AI 가 단순히 데이터를 맞추는 것을 넘어, 사람의 감각과 감성을 이해하는 단계로 나아가는 중요한 발걸음이라고 할 수 있습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 텍스트 - 오디오 관계 (Text-to-Audio, TTA 등) 를 다루는 다양한 작업에서 CLAP (Contrastive Language-Audio Pretraining) 모델이 널리 사용되고 있습니다. 특히, 텍스트와 오디오 임베딩 간의 유사도를 기반으로 한 CLAPScore는 생성된 오디오와 텍스트의 관련성을 평가하는 주요 객관적 지표로 활용됩니다.
• 문제점:
  1. 인간 지각과의 불일치: CLAPScore 와 인간의 주관적 평가 점수 (Subjective Evaluation Score) 간의 상관관계가 명확히 규명되지 않았습니다.
  2. 낮은 상관관계: 본 논문은 기존 CLAPScore 가 인간의 주관적 평가와 상관관계가 매우 낮음을 실험적으로 증명했습니다.
  3. 데이터의 노이즈: 기존 CLAP 모델은 데이터셋 내의 텍스트 - 오디오 쌍이 완벽하게 일치한다고 가정하고 학습되지만, 실제로는 텍스트가 오디오의 모든 내용을 담지 못하거나 부정확한 '노이즈 데이터'가 포함되어 있습니다. 이로 인해 부적절한 쌍도 임베딩 공간에서 유사하게 매핑될 수 있습니다.
  4. 데이터 수집 비용: 더 깨끗한 데이터를 수집하여 모델을 재학습하는 것은 비용이 매우 많이 듭니다.

2. 제안 방법 (Methodology: Human-CLAP)

저자들은 소량의 인간 주관적 평가 점수를 활용하여 기존 CLAP 모델을 미세 조정 (Fine-tuning) 하는 Human-CLAP을 제안했습니다.

• 데이터셋: RELATE 데이터셋을 사용했습니다. 이는 AudioCaps(자연음) 와 AudioLDM, Tango 등 여러 TTA 모델로 생성된 합성음에 대한 인간 평가 점수 (0~10 점 척도) 를 포함하고 있습니다.
• 학습 전략:
  • 기존 CLAP는 단순히 짝지어진 (paired) 텍스트 - 오디오 쌍의 유사도를 최대화하는 반면, Human-CLAP은 인간의 주관적 점수를 타겟 값으로 사용하여 오디오 - 텍스트 간의 관계를 학습합니다.
  • 주관적 점수는 0~1 범위로 재조정 (Rescaling) 되어 사용됩니다.
• 손실 함수 (Loss Function):
  제안된 모델은 **대조 학습 (Contrastive Learning)**과 회귀 (Regression) 접근법을 결합한 손실 함수로 학습됩니다.
  1. 가중치 부여된 SCE Loss (wSCE): 기존 대칭적 교차 엔트로피 (SCE) 손실에 인간의 주관적 점수 ($a_i$) 를 가중치로 적용합니다.
     $$L_{wSCE} = -\frac{1}{2N} \sum_{i=1}^{N} a_i \left( \log \frac{\exp(\dots)}{\sum \dots} + \dots \right)$$
     이를 통해 관련성이 높은 쌍은 더 강하게, 낮은 쌍은 약하게 학습되도록 유도합니다.
  2. 회귀 손실 (Regression Loss): 예측된 유사도 ($y_i$) 와 실제 주관적 점수 ($a_i$) 간의 오차를 최소화합니다. MSE(평균 제곱 오차) 또는 MAE(평균 절대 오차) 를 사용합니다.
     $$L_{MSE} = \frac{1}{N} \sum (a_i - y_i)^2$$
  3. 최종 손실 함수:
     $$L = \lambda_1 L_{wSCE} + \lambda_2 L_{reg}$$
     (여기서 $L_{reg}$는 MSE 또는 MAE)

3. 주요 기여 (Key Contributions)

1. CLAPScore 와 인간 평가의 상관관계 분석: 기존 CLAPScore 가 인간 주관적 평가와 낮은 상관관계 (Spearman 순위 상관 계수 약 0.28) 를 가진다는 것을 실증했습니다.
2. Human-CLAP 제안: 기존 CLAP 학습 데이터의 약 1/320 수준인 소량의 주관적 평가 데이터만으로도 인간 지각을 반영한 새로운 CLAP 모델을 구축할 수 있음을 보였습니다.
3. 성능 향상: 제안된 방법을 통해 CLAPScore 와 인간 주관적 평가 간의 상관관계를 기존 대비 0.17 이상 크게 향상시켰습니다.

4. 실험 결과 (Results)

• 실험 설정: LAION CLAP 모델을 기반으로, 1,925 개의 학습 데이터와 458 개의 검증 데이터를 사용하여 50 에포크 동안 미세 조정했습니다.
• 주요 지표: 스피어만 순위 상관 계수 (SRCC), 선형 상관 계수 (LCC), 켄달 순위 상관 계수 (KTAU), MSE.
• 결과 요약:
  • 기저선 (Baseline): LAION CLAP 의 SRCC 는 0.280이었습니다.
  • 제안 모델 (Human-CLAP): wSCE + MAE 조합을 사용한 모델이 가장 우수한 성능을 보였으며, SRCC 0.457을 기록했습니다. 이는 기존 모델 대비 0.177 향상된 수치입니다.
  • 성능 비교:
    • 자연음 (Natural audio) 과 합성음 (Synthesized audio) 모두에서 상관관계가 개선되었습니다.
    • 특히 wSCE 손실 함수를 포함할 경우, 낮은 주관적 점수 (0 점에 가까운) 를 가진 데이터에 대해 모델이 낮은 CLAPScore 를 부여하는 능력이 향상되어, 기존 모델이 저품질 데이터를 높게 평가하는 경향을 보정했습니다.
  • 시각화: 산점도 (Fig. 3) 를 통해 제안된 모델은 고점수와 저점수 모두에서 인간 평가와 일관된 추세를 보임을 확인했습니다.

5. 의의 및 결론 (Significance)

• TTA 평가 지표의 신뢰성 제고: 텍스트 - 오디오 생성 (TTA) 작업에서 CLAPScore 를 객관적 평가 지표로 사용할 때, 기존 모델은 인간의 청각적 지각과 괴리가 있을 수 있음을 지적하고, 이를 해결할 수 있는 새로운 방법론을 제시했습니다.
• 효율적인 모델 개선: 방대한 데이터 재수집 없이도, 소량의 고품질 인간 평가 데이터만으로도 모델의 인간 친화적 성능을 극적으로 향상시킬 수 있음을 증명했습니다.
• 미래 적용: 제안된 Human-CLAP 은 오디오 생성 모델의 성능 평가뿐만 아니라, 오디오 검색, 자동 캡션 생성 등 텍스트 - 오디오 관련 모든 작업에서 인간 지각에 더 부합하는 임베딩 공간을 제공할 것으로 기대됩니다.

이 논문은 생성형 오디오 모델의 평가 기준을 '기계적 유사도'에서 '인간 지각'으로 전환하는 데 중요한 기여를 했으며, 효율적인 미세 조정 기법을 통해 이를 실현 가능하게 했습니다.