기술 요약: 생성형 영화 추천에서의 인기 편향 완화를 위한 대규모 언어 모델의 다단계 정렬

1. 문제 정의

대규모 언어 모델(LLM)이 통합된 추천 시스템은 강력한 내재적 **인기 편향(popularity bias)**을 나타낸다. 전 세계적인 상호작용 패턴이 포함된 방대한 코퍼스로 사전 학습되었기 때문에, LLM은 주류의 고빈도 아이템을 불균형하게 추천하는 반면, 니치(niche)하고 사용자에게 부합하는 콘텐츠는 과소 대표한다. 이러한 편향은 "부익부 빈익빈" 피드백 루프를 생성하여 카탈로그의 다양성과 사용자의 발견 가능성을 제한한다.

고전적인 추천 시스템은 사후 전략(예: 역 성향 가중치, 인기 인지 재순위화)을 통해 이를 해결해 왔으나, 생성적 추천(generative recommendation) 환경에서 LLM의 **내재적 정렬(intrinsic alignment)**이 고전적인 방법론들을 체계적으로 능가할 수 있는지 여부는 여전히 불분별하다. 기존의 LLM 기반 접근 방식은 주로 제로샷 프롬프팅이나 단일 단계 지도 미세 조정(SFT)에 의존하며, 이는 편향을 완화하지 못하거나 학습 데이터의 인기 분포를 그대로 재현하는 경렬이 있다. 또한, 서로 다른 정렬 단계가 어떻게 상호작용하는지, 그리고 편향 교정이 행동적 근거 설정(behavioral grounding)으로부터 분리되어야 하는지에 대한 체계적인 평가가 부족하다.

2. 방법론

저자들은 **행동적 근거 설정(behavioral grounding)**과 **편향 교정 정렬(bias-corrective alignment)**을 명시적으로 분리하는 다단계 정렬 파이프라인을 제안한다. 이 파이프라인은 세 가지 뚜렷한 단계로 구성된다.

1단계: 선호도 추출 및 프롬프트 엔지니어링

사용자 상호작용 이력을 구조화된 자연어 선호도 프로필로 변환한다. 결정론적 함수를 사용하여 사용자의 상위 10개 선호 영화와 하위 5개 비선호 영화를 일관된 텍스트 프롬프트로 변환한다. 이는 다양한 데이터셋(MovieLens 1M, Netflix Prize, Flickscore)과 평점 척도(5점 척도 vs 이진 분류)에 대해 입력을 통일한다.

2단계: 지도 미세 조정 (SFT)

LLM은 (프롬프트, 타겟) 쌍에 대해 행동적 근거 설정을 확립하기 위해 미세 조정된다.

• 목적: 모델이 사용자 프로필을 관련 아이템으로 매핑하는 일관되고 구조화된 추천 리스트를 생성하도록 학습시킨다.
• 데이터 구축: 사용자가 선호하는 영화와 장르 유사성(Jaccard 지수)이 높은 하위 50%의 인기 영화를 선택하여 타겟을 생성한다.
• 역할: SFT는 모델의 출력 형식과 관련성을 안정화하지만, 모델이 여전히 인기 있는 아이템을 선호하는 사전 지식을 보유할 수 있으므로 편향 문제를 본질적으로 해결하지는 못한다.

3단계: 직접 선호 최적화 (DPO)

SFT 모델을 바탕으로, 편향 교정 정렬을 수행하기 위해 DPO를 적용한다.

• 선호 쌍 구축: 각 사용자 프롬프트에 대해 두 가지 리스트를 프로그램 방식으로 구축한다:
  • 선호됨 ($y_w$): 장르 중첩도가 높으면서 하위 50%의 인기를 가진 영화 5개.
  • 거부됨 ($y_l$): 장르 매칭이 되지 않으면서 상위 50%의 인기를 가진 영화 5개.
• 최적화: 모델이 거부된 리스트($y_l$)에 비해 선호된 리스트($y_w$)의 로그 가능도(log-likelihood)를 최대화하도록 학습한다. 이는 인기 있는 아이템을 명시적으로 패널티를 부여하는 동시에 주제적 관련성에 보상을 준다.
• 핵심 차이점: 저자들은 DPO 자체가 새로운 것이 아니라, SFT 이후에 DPO를 적용하는 것이 핵심이라고 강조한다. 행동적 근거 설정 없이 DPO를 적용하면 출력이 불안정해지며, SFT만으로는 편향을 교정할 수 없다.

3. 실험 설정

• 데이터셋:
  • MovieLens 1M: 100만 개의 평점이 있는 균형 잡힌 벤치마크.
  • Netflix Prize: 극단적인 인기 편향을 가진 대규모 희소 데이터셋.
  • Flickscore: 이진 평점 및 다국어 컨텍스트를 가진 지역 데이터셋(인도 영화).
• 모델: 서로 다른 세대와 아키텍처를 대표하는 세 가지 오픈 소스 LLM:
  • LLaMA 3.1 8B: 최첨단 지시어 튜닝 모델.
  • LLaMA 2 7B: 이전 세대 베이스라인.
  • Mistral 7B: Grouped-Query Attention(GQA) 및 Sliding Window Attention을 갖춘 효율성 중심 아키텍처.
• 베이스라인:
  • 제로샷 프롬프팅 (Zero-Shot Prompting): 수정되지 않은 사전 학습된 모델.
  • 인기 인지 재순위화 (Popularity-Aware Re-Ranking): 생성된 리스트에서 인기 있는 아이템에 패널티를 주는 고전적인 사후(post-hoc) 방식의 베이스라인.

4. 주요 결과

연구는 추천 지표(Precision@5, nDCG@5, MAP@5)와 편향 완화 지표(Novelty, Catalog Coverage, Average Popularity)를 사용하여 성능을 평가한다.

• 편향 완화 vs 정확도: 다단계 정렬(SFT + DPO)은 경쟁력 있는 정확도를 유지하면서도 인기 편향을 유의미하게 감소시킨다.
  • Netflix Prize에서 DPO는 제로샷 베이스라인 대비 Novelty를 약 170%, Catalog Coverage를 약 280% 증가시켰으며, 평균 인기는 63% 감소했다.
  • MovieLens 1M에서 DPO는 LLaMA 3.1 기준으로 평균 인기를 약 1217에서 575로 낮추면서도 Precision@5의 하락은 미미했다.
• 내재적 vs 외재적 디바이어싱 (Debiasing): 제안된 내재적 정렬(SFT+DPO)은 고전적인 인기 인지 재순위화 베이스라인보다 일관되게 우수한 성능을 보였다.
  • 내재적 정렬은 모든 데이터셋과 모델에서 더 낮은 평균 인기를 기록하면서도 더 높은 Novelty와 Coverage를 달 ได้ 달성했다.
  • 재순위화 방식은 SFT+DPO에서 관찰된 안정적인 트레이드오프에 비해 랭킹 품질(Precision)의 하락이 더 크게 나타나는 경향이 있었다.
• 일반화 가능성: 이 전략은 서로 다른 모델 아키텍처(LLaMA 2, LLaMA 3.1, Mistral)와 다양한 문화적 맥락(서구권 vs 인도 영화) 전반에서 견고함을 입증하여, 근거 설정과 편향 교정의 분리가 특정 아키텍처에 국한되지 않음을 확인했다.

5. 주요 기여

1. 문제 분해: LLM의 인기 편향 완화를 단일 파인튜닝 목적이 아닌 두 단계 문제(행동적 근거 설정 + 편향 교정)로 정식화하였다.
2. 한계점에 대한 실증적 분석: SFT나 DPO 단독으로는 불충분함을 입증했다. 즉, SFT만으로는 편향을 재현하고, 근거 설정 없는 DPO는 불안정성을 초래한다.
3. 다단계 전략: SFT가 모델에 근거를 제공하고 DPO가 편향을 교정하는 워크플로우를 검증하여, 안정적이고 재현 가능하며 편향이 제거된 생성을 가능하게 했다.
4. 프로그램 방식의 선호도 구축: 아이템 인기 통계를 사용하여 DPO 선호 쌍을 구축하는 완전 자동화된 데이터 기반 방법을 도입하여 인간의 어노테이션 필요성을 제거했다.
5. 교차 모델/데이터셋 검증: 세 가지 LLM 제품군과 세 가지 뚜렷한 데이터셋에 걸쳐 광범위한 강건성을 제공했다.
6. 내재적 vs 외재적 비교: 고전적인 사후 재순위화 방식과 내재적 정렬을 체계적으로 비교하여, 모델 파라미터에 노출 목표를 임베딩하는 것이 더 우수한 노출 균형과 안정성을 제공함을 보여주었다.

6. 의의 및 주장

본 논문은 다단계 LLM 정렬을 생성적 추천 시스템에서 인기 편향을 완화하기 위한 원칙적이고 확장 가능한 전략으로 자리매김한다. 저자들은 다음과 같이 주장한다:

• 분리가 필수적이다: 행동적 근거 설정(SFT)과 편향 교정(DPO)을 분리하는 것은 안정적인 추천 행동과 효과적인 디바이어싱을 모두 달성하기 위해 필수적이다.
• 내재적 우월성: 다단계 정렬을 통해 노출 목표를 모델에 직접 임베딩하는 것은 후보군이 없는 생성적 설정에서 고전적인 사후 방식(재순위화 등)보다 체계적인 이점을 제공하며, 관련성과 공정성 사이의 더 나은 트레이드오프를 제공한다.
• 확장성: 이 접근 방식은 다양한 모델 크기와 문화적 맥락에 걸쳐 견고하므로, 다양한 추천 시나리오에 폭넓게 적용될 수 있음을 시사한다.

저자들은 한계점으로, 본 프레 lack framework가 사용자 이력이 없는 극단적인 콜드 스타트(cold-start) 시나리오를 명시적으로 다루지 않는다는 점과 전통적인 협업 필터링보다 다단계 파인튜닝의 계산 비용이 높다는 점을 언급했다. 또한, 인기 편향은 완화되었으나 사전 학습 데이터에서 유래한 다른 잠재적 스테레오타입(예: 인구통계학적 편향)은 지속될 수 있음을 명시했다.