Beyond Musical Descriptors: Extracting Preference-Bearing Intent in Music Queries

1. 연구 배경 및 문제 제기 (Problem)

• 현재의 한계: 음악 검색 및 추천 시스템에서 사용자 질의 (Query) 를 이해하는 것은 중요해졌으나, 기존 연구들은 주로 음악 기술자 (Descriptors, 예: 장르, 분위기, 악기 등) 를 추출하는 데 집중했습니다.
• 핵심 문제: 기술자 자체를 인식하는 것만으로는 부족합니다. 각 기술자가 사용자의 의도 (Intent) 에 대해 어떤 선호도를 나타내는지 (원하는 것, 원하지 않는 것, 유사한 것을 원하는 것) 를 파악하는 것이 필수적입니다.
  • 예시: "록 음악을 듣고 싶다" (긍정적 선호), "엘비스 프레슬리 제외하고 추천해 줘" (부정적 선호), "엘비스 프레슬리처럼 최근 음악을 원해" (참조/유사성).
• LLM 의 역할: 대형 언어 모델 (LLM) 이 이러한 복잡한 선호도 의도를 얼마나 정확하게 추출하고 분류할 수 있는지에 대한 명확한 벤치마크와 분석이 부재했습니다.

2. 제안된 방법론 및 데이터셋 (Methodology & Dataset)

A. MusicRecoIntent 데이터셋 구축

• 데이터 소스: Reddit 의 음악 추천 요청 게시물 2,291 건을 수집하여 수동으로 주석 (Annotation) 을 달았습니다.
• 주석 체계:
  1. 음악 기술자 (Descriptors): 7 가지 카테고리 (Decade, Genre, Instrument, Listening Context, Mood, Named Entity, Country) 로 분류.
  2. 선호도 의도 (Preference-bearing Intent): 각 기술자에 대해 다음 3 가지 역할 중 하나를 부여:
     • 긍정 (+): 원하는 속성 (Positive affinity)
     • 부정 (-): 원하지 않는 속성 (Negative aversion)
     • 참조 (~): 유사성 또는 기준점 (Referential role)
• 주석 품질: 두 명의 주석자가 작업했으며, 기술자 추출에 대한 일치율 (Global agreement) 은 77.1%, 선호도 의도 분류에 대한 Kappa 점수는 0.927 로 높은 신뢰도를 보였습니다.
• 통계: 최종 3,935 개의 주석이 포함되었으며, 대부분의 기술자는 긍정적 선호로 표시되었고, 부정적 선호는 드물었습니다.

B. 자동 추출 실험 (Automatic Annotation with LLMs)

• 모델: Gemma 3 (4B, 12B, 27B), LLaMA 3 (1.8B), Mistral (7B), Qwen 3 (8B, 32B) 등 다양한 크기와 아키텍처의 오픈소스 LLM 을 테스트했습니다.
• 프롬프트 설계:
  • 기술자 식별을 위한 1 단계 프롬프트 (6 개의 구체적 예시 포함).
  • 식별된 기술자의 선호도 의도를 판단하는 2 단계 프롬프트.
• 평가 지표:
  • 정확도 (Exact Match): 분할 (Segmentation) 이 완전히 일치하는 경우.
  • 부분 일치 (Partial Match): 적어도 하나의 단어가 겹치거나 부분적으로 정확한 경우.
  • 정밀도 (Precision), 재현율 (Recall), F1 점수를 계산하여 오류 유형 (누락, 불필요한 추출, 잘못된 분류 등) 을 분석했습니다.

3. 주요 결과 (Key Results)

A. 기술자 추출 성능

• 전체 성능: Gemma 3 (27B) 와 Qwen 3 (8B) 이 가장 높은 성능을 보였습니다. 전체 F1 점수는 Exact Match 기준 0.69, Partial Match 기준 0.76 이었습니다.
• 카테고리별 차이:
  • 높은 성능: Named Entity (이름), Country, Decade, Genre, Mood 등은 잘 추출되었습니다 (F1 > 0.80).
  • 낮은 성능: Listening Context (LC) 와 Instrument 는 상대적으로 낮았습니다 (F1 0.450.66). 이는 주석의 경계 설정 (Segmentation) 이 모호하거나 (예: "summer trip to norway"를 어떻게 나눌지), 기술자의 정의가 복잡하기 때문입니다.
• 모델 크기 영향: 일반적으로 더 크거나 최신 아키텍처일수록 추출 성능이 좋았습니다.

B. 선호도 의도 예측 성능

• 전반적 정확도: Ground Truth 와 비교했을 때 89% 의 일치율을 보였습니다.
• 혼동 행렬 분석:
  • 긍정 (+) 과 부정 (-): 높은 정확도로 예측되었습니다.
  • 참조 (~) 의 어려움: 모델이 '유사성'을 '긍정적 선호'로 잘못 예측하는 경향이 있었습니다 (231 건의 오분류). 특히 "like"라는 단어가 포함된 문장에서 유사성 요청을 긍정 선호로 오해하는 경우가 많았습니다.
  • 부정적 선호: 빈도가 낮아 통계적 신뢰도는 제한적이지만, 추출 자체는 정확했습니다.

C. 정성적 분석 (Qualitative Analysis)

• 주요 오류 원인:
  1. 분할 (Segmentation) 불일치: 인간과 모델이 동일한 정보를 인식하더라도 기술자의 경계를 다르게 설정 (예: "frank oceans blonde"를 하나의 엔티티로 볼지, 두 개로 볼지).
  2. 범용 용어 과다 주석: "music", "song" 등 의미 있는 기술자가 아닌 일반적인 용어를 추출하는 경향.
  3. 의미적 모호성: "Pouya 와 Ghostemane 의 1000 Rounds 와 같은 노래"와 같이 곡과 아티스트 중 무엇을 기준으로 할지 모호한 경우.
  4. 강한 부정과 긍정의 혼재: "랩은 싫지만 이 장르는 좋아해"와 같이 문장 내 부정과 긍정이 공존할 때 의도 파악이 어려웠습니다.

4. 주요 기여 (Key Contributions)

1. MusicRecoIntent 데이터셋: 음악 기술자와 함께 **선호도 의도 (긍정/부정/참조)**를 명시적으로 주석한 최초의 대규모 코퍼스입니다.
2. LLM 벤치마크: 다양한 LLM 이 음악 질의에서 기술자 추출 및 선호도 의도 파악 능력을 얼마나 갖췄는지에 대한 체계적인 평가 기준을 제시했습니다.
3. 오류 분석: 모델뿐만 아니라 인간 주석자도 겪는 경계 설정 (Boundary) 과 모호성 (Ambiguity) 의 공통된 어려움을 규명하여, 향후 주석 가이드라인 및 프롬프트 엔지니어링 개선 방향을 제시했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 시스템 개선: 단순한 키워드 매칭을 넘어, 사용자의 복잡한 의도 (무엇을 원하고, 무엇을 원하지 않으며, 무엇을 기준으로 삼는지) 를 이해하는 정밀한 음악 추천 시스템 개발의 기반을 마련했습니다.
• 향후 과제: LLM 은 명시적이고 잘 정의된 기술자 (이름, 장르 등) 는 잘 처리하지만, 문맥에 의존적인 기술자 (분위기, 상황) 와 미묘한 선호도 (유사성 vs 긍정) 를 구분하는 데는 여전히 한계가 있습니다.
• 제언: 더 나은 성능을 위해서는 주석 가이드라인의 명확화, 모호한 경우를 처리할 수 있는 프롬프트 최적화, 그리고 부정적 선호와 유사성 요청을 구분하는 모델 학습이 필요합니다.

이 연구는 음악 추천 분야에서 **기술자 추출 (Extraction)**을 넘어 **의도 이해 (Intent Understanding)**로 패러다임을 전환하는 중요한 이정표가 됩니다.