Enhancing Music Recommendation with User Mood Input

이 논문은 사용자의 기분 (Mood) 을 에너지 - 발렌스 스펙트럼에 기반하여 음악 추천 시스템에 통합한 실험을 통해, 기존 시스템보다 추천의 질이 통계적으로 유의미하게 향상됨을 입증했습니다.

핵심

🎵 기분에 맞는 노래를 찾아주는 '음악 추천 비서' 이야기

이 논문은 테런스 젱 (Terence Zeng) 이 쓴 것으로, 우리가 매일 듣는 음악 스트리밍 서비스 (스포티파이 같은 곳) 가 어떻게 더 똑똑해지고, 특히 **'내 기분'**을 알아서 노래를 추천해 줄 수 있는지에 대한 연구입니다.

이 복잡한 연구를 마치 친구와 나누는 이야기처럼, 쉬운 비유로 설명해 드릴게요.

---

1. 왜 이 연구를 했을까요? (문제 상황)

지금까지 음악 추천 시스템은 주로 **"누가 무엇을 들었는지"**를 보고 비슷한 사람을 찾아 노래를 추천했습니다. (예: "A 씨가 이 노래를 좋아했으니, A 씨와 취향이 비슷한 B 씨도 이 노래를 좋아할 거야!")

하지만 이 방법에는 큰 문제가 있습니다.

• 데이터가 너무 부족해요: 노래가 1 억 곡이나 있는데, 한 사람이 듣는 노래는 그중 0.1% 도 안 됩니다. 친구가 "이 노래 좋아해?"라고 물어봐도, 친구가 그 노래를 들어본 적이 없으면 추천을 못 해주는 거죠.
• 인기 위주: 인기 있는 노래만 계속 추천받게 되어, 새로운 아티스트를 발견하기 어렵습니다.

해결책: 노래가 어떤 '감정'을 담고 있는지 분석해서, 지금 내 기분에 맞는 노래를 찾아주는 것입니다.

---

2. 연구의 핵심 아이디어: "기분 지도" (Energy-Valence Model)

연구진은 인간의 감정을 지도처럼 그려봤습니다. 이 지도에는 두 가지 축이 있습니다.

1. 활기 (Energy): 얼마나 신나고 에너지가 넘치는가? (예: 춤추고 싶을 때 vs 잠들고 싶을 때)
2. 기분 (Valence): 얼마나 즐겁고 긍정적인가? (예: 행복할 때 vs 슬플 때)

이 지도 위에 노래들을 올려놓으면 다음과 같습니다.

• 신나는 파티 음악: 활기 (상) + 기분 (상)
• 슬픈 발라드: 활기 (하) + 기분 (하)
• 편안한 재즈: 활기 (하) + 기분 (상)

이제 사용자가 "지금은 슬프지만 차분한 상태야"라고 입력하면, 시스템은 지도에서 그 좌표에 가장 가까운 노래들을 찾아줍니다.

---

3. 실험 방법: "두 가지 추천 중 고르기"

연구진은 직접 웹사이트를 만들어 실험을 했습니다.

1. 사용자 로그인: 스포티파이 계정으로 로그인합니다.
2. 기분 선택: "지금 어떤 기분인가요?"라고 물어봅니다. (예: 행복, 슬픔, 피곤함, 흥분 등)
3. 두 가지 추천:
   • A 팀 (기존 방식): "이 노래를 좋아했으니, 비슷한 노래를 들어보세요." (기분은 무시)
   • B 팀 (새로운 방식): "지금이 슬픈 시간이니, 슬픈 분위기의 노래를 들어보세요." (기분 반영)
4. 평가: 사용자는 두 노래 중 어떤 것이 더 마음에 드는지 점수를 매깁니다.

---

4. 실험 결과: 기분을 반영한 추천이 압승!

결과는 매우 명확했습니다.

• 점수 비교: 기분을 반영한 추천 (B 팀) 이 기존 방식 (A 팀) 보다 훨씬 높은 점수를 받았습니다.
• 통계적 의미: 단순히 운이 좋아서가 아니라, 통계적으로도 매우 유의미한 차이가 있었습니다.

특히 재미있는 점:

• **"편안함 (Relaxed)"**이나 **"슬픔 (Sad)"**을 원할 때 추천의 효과가 가장 컸습니다.
• 하지만 **"흥분 (Stimulated)"**이나 "화남 (Angry)" 같은 감정은 기존 방식과 차이가 크지 않았습니다. (아마도 화가 났을 때는 그냥 좋아하는 노래를 듣는 게 더 중요해서일 수도 있습니다.)

---

5. 이 연구가 의미하는 바 (결론)

이 논문은 **"음악은 단순히 '내가 좋아하는 장르'만으로 결정되는 게 아니라, '지금 내 마음 상태'에 따라 달라진다"**는 것을 증명했습니다.

• 비유하자면: 기존 추천 시스템이 **"네가 좋아하는 맛집 목록을 보고 비슷한 식당을 추천"**했다면, 새로운 시스템은 **"네가 오늘 배가 고프고 몸이 피곤하니까, 따뜻한 국물이 있는 식당을 추천"**하는 것입니다.

6. 앞으로의 과제 (미래)

물론 아직 완벽하지는 않습니다.

• 직접 입력의 한계: 사용자가 직접 "지금은 슬퍼"라고 입력해야 합니다. 앞으로는 사용자의 표정이나 사진을 보고 기분을 알아서 추천해 주는 기술로 발전할 수 있을 것입니다.
• 기술적 문제: 너무 많은 데이터를 한 번에 처리하다 보면 서버가 멈출 수도 있습니다.

요약

이 연구는 **"음악 추천에 '기분'이라는 요소를 넣으면, 우리가 더 만족하는 음악을 들을 수 있다"**는 것을 보여줍니다. 앞으로 스포티파이나 멜론 같은 앱들이 "오늘 날씨나 내 컨디션에 맞는 플레이리스트"를 만들어준다면, 그 배경에는 이런 연구들이 있을 것입니다.

기술 요약

논문 개요

제목: Enhancing Music Recommendation with User Mood Input
저자: Terence Zeng (일리노이 대학교 어배너-섐페인, 컴퓨터 공학 석사 논문)
연도: 2025 년 12 월 (2026 년 3 월 arXiv 게재)

1. 문제 정의 (Problem Statement)

현대 음악 스트리밍 플랫폼 (예: Spotify) 은 방대한 콘텐츠로 인해 사용자가 직접 원하는 음악을 찾기 어렵게 만들었습니다. 이를 해결하기 위해 추천 시스템이 필수적이지만, 기존 방식에는 다음과 같은 한계가 존재합니다.

• 협업 필터링 (Collaborative Filtering) 의 한계: 사용자 상호작용 데이터가 매우 희소 (Sparsity) 하여 (99.9% 이상), 데이터가 부족한 사용자에게는 정확한 추천이 어렵습니다. 또한 인기 편향 (Popularity Bias) 을 심화시켜 소규모 아티스트의 노출을 저해합니다.
• 명시적 피드백 부재: 영화 등 다른 미디어와 달리 음악 스트리밍에서는 사용자가 점수를 매기는 기능이 거의 없으며, 재생 기록과 플레이리스트 같은 암시적 데이터만 존재합니다. 이는 사용자의 실제 선호도를 왜곡할 수 있습니다.
• 기존 콘텐츠 기반 필터링의 부족: 장르 분류나 악기 탐지 등 기존 콘텐츠 기반 필터링은 존재하지만, 사용자의 감정 상태 (Mood) 를 직접적으로 반영하여 추천하는 접근법은 상대적으로 덜 탐구되었습니다.

2. 방법론 (Methodology)

이 연구는 사용자의 명시적인 기분 입력을 기반으로 음악을 추천하는 기분 보조 추천 시스템 (Mood-Assisted Recommendation System) 을 개발했습니다.

가. 에너지 - 밸런스 모델 (Energy-Valence Model)

• Russell 의 모델을 기반으로 감정을 에너지 (Energy/Arousal) 와 밸런스 (Valence) 의 2 차원 좌표계로 매핑합니다.
  • 에너지: 각성도, 활기 (0~1)
  • 밸런스: 쾌감, 긍정적 정서 (0~1)
• 각 노래는 ReccoBeats API 를 통해 추출된 오디오 특징을 바탕으로 이 2 차원 평면상의 좌표를 가집니다.

나. 추천 알고리즘

사용자가 입력한 기분 (목표 좌표) 에 맞춰 노래를 선별하기 위해 두 가지 모델을 비교·검토했습니다.

1. k-최근접 이웃 (k-Nearest Neighbors, k-NN):
   • 사용자의 기분 좌표와 노래 좌표 간의 유클리드 거리를 계산하여 가장 가까운 노래를 선택하는 결정론적 (Deterministic) 방식입니다.
   • 계산 효율성을 위해 거리의 제곱을 사용합니다.
2. Softmax / 볼츠만 분포 (Boltzmann Distribution):
   • k-NN 의 단점인 '입력이 출력을 완전히 결정함'을 해결하기 위해 도입된 확률적 방식입니다.
   • 거리 ($D$) 를 볼츠만 분포 함수 $W = \exp(-D/k)$ 를 통해 확률 가중치로 변환합니다.
   • 장점: 가장 가까운 노래가 선택될 확률이 높지만, 약간의 무작위성을 도입하여 사용자에게 새로운 (Novel) 음악을 추천할 수 있게 합니다.

다. 실험 플랫폼 구축

• 아키텍처: Python Flask 기반 웹 애플리케이션.
• 데이터 소스 통합:
  • Spotify API: 사용자 인증 및 상위 재생 목록 (Top Tracks) 추출.
  • Last.fm API: Spotify 에 없는 '유사 곡' 추천을 위해 사용 (Seed songs 기반).
  • ReccoBeats API: 추천된 곡의 밸런스 및 에너지 값 추출.
• 성능 최적화: 수백 개의 API 호출이 필요한 과정에서 지연 시간을 줄이기 위해 asyncio 와 aiohttp 를 활용한 비동기 멀티스레딩을 적용하여 응답 시간을 수백 초에서 수 초로 단축했습니다.

3. 주요 기여 (Key Contributions)

1. 감정 기반 추천 프레임워크의 구현 및 평가: 명시적인 사용자 기분 입력과 오디오 특징 (Valence-Energy) 을 결합하여 추천 품질이 향상됨을 실증했습니다.
2. 실제 작동하는 웹 플랫폼 개발: Spotify, Last.fm, ReccoBeats 의 데이터를 실시간으로 통합하여 개인화된 추천을 생성하는 시스템을 구축했습니다.
3. 단일 맹검 실험 (Single-blind Experiment) 수행: 참가자에게 '기분 기반 추천'과 '기존 유사도 기반 추천 (Baseline)' 중 하나를 제시하고 평점을 매기도록 하여 두 시스템의 성능을 비교했습니다.

4. 실험 결과 (Results)

• 통계적 유의성: 27 명의 참가자를 대상으로 한 실험 결과, 기분 기반 추천 시스템의 평균 평점 (3.59) 은 기존 시스템 (2.67) 보다 유의하게 높았습니다.
• Mann-Whitney U 검정: 데이터가 정규 분포를 따르지 않음을 고려하여 비모수 검정을 수행한 결과, $p \approx 0.010$으로 통계적으로 유의미한 차이가 있음을 확인했습니다.
• 기분별 분석:
  • 'Relaxed (편안함)', 'Sad (슬픔)', 'Tired (피로)'와 같은 특정 기분에서는 추천 품질이 크게 향상되었습니다.
  • 반면, 'Stimulated (자극적)'나 'Distressed (불안)'와 같은 기분에서는 개선 효과가 미미하거나 없었습니다. 이는 특정 감정 상태에 대한 데이터나 매핑의 한계를 시사합니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 음악 소비는 장기적인 취향뿐만 아니라 단기적인 감정 상태에 크게 의존한다는 것을 실증했습니다. 이는 기존 협업 필터링의 한계를 보완하고, 더 개인화되고 적응적인 추천 시스템으로 나아가는 중요한 방향성을 제시합니다.
• 기술적 한계:
  • API 제한: 다수의 API 호출로 인한 레이트 리미팅 (Rate Limiting) 문제와 비동기 처리 중 발생할 수 있는 순서 불일치.
  • ID 매핑 문제: Spotify, Last.fm, ReccoBeats 간 곡 ID 매칭 실패로 인해 일부 곡이 누락됨.
  • 정의의 모호성: 에너지와 밸런스 값이 어떻게 산출되는지 (The Echo Nest 등 이전 플랫폼의 블랙박스 알고리즘) 명확하지 않음.
  • 표본 크기: 실험 참가자 수가 적고 (6 명), 수동 입력에 의존하여 편향이 존재할 수 있음.
• 향후 과제:
  • 2 차원 (에너지/밸런스) 을 넘어 더 많은 감정 차원 (Zentner 모델 등) 확장.
  • 비디오, 이미지 등 멀티모달 데이터를 활용하여 사용자의 기분을 자동으로 추론하는 기술 개발 (편향 제거).

결론

이 논문은 사용자의 감정 상태를 추천 시스템에 명시적으로 통합함으로써 음악 추천의 질을 통계적으로 유의미하게 향상시킬 수 있음을 입증했습니다. 이는 단순한 유사도 기반 추천을 넘어, 사용자의 현재 정서적 맥락을 이해하는 감성 지능형 추천 시스템 (Emotionally Intelligent Recommendation System) 의 가능성을 제시합니다.