기술 요약: LLM 기반 추천 시스템에서의 도메인 외(Out-of-Domain) 추천 제거

1. 문제 정의

대규모 언어 모델(LLM)은 뛰어난 추론 및 지시 이행 능력 덕분에 대화형 추천 시스템에 점점 더 많이 적용되고 있습니다. 그러나 현재 LLM 기반 추천 시스템의 치명적인 결함 중 하나는 도메인 외(Out-of-Domain, OOD) 아이템을 생성하는 것입니다. 엄격하게 알려진 카탈로그 내에서만 작동하는 기존의 ID 기반 시스템과 달리, LLM은 존재하지 않는 아이템을 환각(hallucination)하여 생성함으로써 실제 환경에서 부정적인 영향을 미칠 수 있습니다.

OOD 추천을 완화하기 위한 기존 접근 방식은 일반적으로 다음과 같은 세 가지 분리된 패러다임으로 나뉩니다:

1. 검색 기반(Retrieval-based): 사용자/아이템 정보를 임베딩으로 매핑하여 도메인 내 아이템을 검색합니다.
2. 제약 생성(Constrained Generation): 아이템 제목에 대한 접두사 트리(prefix tree) 등을 사용하여 디코딩 범위를 카탈로그 의존적 하위 공간으로 제한합니다.
3. 아이템 토크나이저(Item-Tokenizers): 아이템을 이산적인 토큰 시퀀스로 매핑하고, 학습된 공간 위에서 생성합니다.

이러한 방법들은 대개 서로 다른 백본(backbone)과 프롬프트를 사용하여 개발되므로, 통합된 환경에서 검색, 생성, 토크나이저 간의 상대적 강점이나 트레이드오프를 체계적으로 비교하거나 이해하기 어렵습니다.

2. 방법론: RecLM 프레임워크

저자들은 단일 아키텍처와 학습 프로토콜 아래에서 검색과 생성을 연결하는 통합 프레임워크인 RecLM을 제안합니다. 핵심 혁신은 추천 세그먼트를 구분하기 위한 특수 제어 토큰을 사용하는 것이며, 이를 통해 서로 다른 그라운딩(grounding) 메커니즘을 동일한 디코딩 과정에 플러그인 형태로 결합할 수 있습니다.

2.1 특수 아이템 지시 토큰 (Special Item Indicator Tokens)

RecLM은 백본 LLM(Llama3-8B-Instruct)에 두 가지 특수 토큰을 장착합니다:

• <SOI> (Start-of-Item): 모델이 그라운딩 제약이 적용되는 추천 세그먼트에 진입했음을 알립니다.
• <EOI> (End-of-Item): 세그먼트의 종료를 표시하며, 이후 모델은 일반적인 텍스트 생성을 재개합니다.

<SOI>와 <EOI> 사이에서 프레임워크는 다음 세 가지 변체 중 하나에 작업을 위임합니다:

A. RecLM-ret (검려 기반)

• 메커니즘: <SOI>에서의 은닉 상태(hidden state)를 사용하여 사전 구축된 임베딩 인덱스(BGE-M3로 구축)에서 가장 가까운 아이템을 검색합니다.
• 학습: 표준 언어 모델링 손실(loss)과 더불어, <SOI> 은닉 상태를 정답 아이템 임베딩과 정렬시키는 보조 검색 손실을 사용하여 최적화됩니다.

B. RecLM-cgen (재작성된 제목에 대한 제약 생성)

• 메커니그: 재작성된(rewritten) 제목 카탈로그에 구축된 접두사 트리 제약 하에 아이템 제목을 생성합니다.
• 제목 재작성기 (Title Rewriter, TR): 상세한 아이템 메타데이터를 간결하고 사람이 읽기 쉬운 제목으로 변환하기 위해 **그룹 상대 정책 최적화(GRPO)**를 통해 학습된 경량 모듈입니다. TR은 다섯 가지 보상 구성 요소로 최적화됩니다:
  • 아이템 간 유사도 (I2I): 이웃 구조를 보존합니다.
  • 사용자-아이템 정렬 (U2I): 제목이 사용자 선호도를 반영하도록 합니다.
  • 디코딩 복잡도 (DC): 조건부 퍼플렉서티(perplexity)를 최소화합니다.
  • 간결성 (CR): 더 짧은 제목을 선호합니다.
  • 변별력 (DPR): 제목이 유사한 다른 아이템들과 구별되도록 합니다.
• 학습: 손실 계산 시 소프트맥스 분모가 접두사 트리에 유효한 토큰으로 제한되는 **스코프 마스크 학습(Scope Mask Training)**을 채택하여, 학습이 추론 제약 조건과 일치하도록 보장합니다.

C. RecLM-token (이산적 아이템-토큰 생성)

• 메커니즘: RQ-VAE(Residual Vector Quantization) 인코더를 사용하여 각 카탈로그 아이템을 짧은 이산 토큰 시퀀스(예: <a_11><b_2>...)로 매핑합니다. LLM은 <SOI>와 <EOI> 사이에서 이러한 토큰 시퀀스를 생성합니다.
• 학습: LLM을 코드북(codebook)에 정렬시키기 위한 지도 미세 조정(SFT)과 GRPO 기반의 강화 학습을 포함합니다. 보상 함수는 위치 민감형 랭킹 보상과 포함 기반 보상을 결组合합니다.

2.2 다회차 대화 학습 (Multi-Round Dialogue Training)

모델이 경직된 QA 도구가 되는 것을 방지하기 위해, 저자들은 (ShareGPT 대화와 추천 작업을 결합한) 다회차 대화 샘플을 학습 데이터에 포함시켜, 모델이 일반적인 대화와 추천을 자연스럽게 교차할 수 있도록 합니다.

3. 주요 기여

1. 통합 프레임워크: RecLM은 <SOI>/<EOi> 인터페이스를 사용하여 검색, 제약 생성, 아이템 토크나이제이션 패러다임을 단일 아키텍처로 통합하여, 서로 다른 그라운딩 전략 간의 공정한 비교를 가능하게 합니다.
2. 경량 강화 모듈: 메타데이터를 압축하는 GRPO 학습 기반의 제목 재작성기와, 제약 디코딩을 학습 목표와 일치시키는 스코프 마스크 학습 전략을 도입했습니다.
3. 체계적 평가: Steam, Amazon Movies, Amazon Toys의 세 가지 공개 데이터셋에 대한 포괄적인 실증 연구를 통해, 모든 변체가 OOD 추천을 엄격히 제거하면서도 경쟁력 있거나 최첨단(SOTA)의 정확도를 달성함을 입증했습니다.

4. 실험 결과

Steam, Amazon Movies, Amazon Toys 데이터셋에서 12개의 베이스라인(전통적인 ID 기반, 동결된 LLM, 미세 조정된 LLM, 아이템-토크나이저 LLM)과 RecLM을 비교하는 실험을 수행했습니다.

• OOD 제거: 세 가지 RecLM 변체 모두 모든 데이터셋에서 OOD@10 = 0을 달이트하여, 도메인 외 추천을 엄격하게 제거했습니다. 이는 OOD 비율이 약 15%에서 90% 이상에 달했던 동결된 LLM(예: GPT-4o, Llama3)과 극명한 대조를 이룹니다.
• 정확도: 제약 생성 변체(RecLM-cgen 및 RecLM-token)는 HR@10 및 NDCG@10에서 강력한 ID 기반 베이스라인(예: SASRec) 및 기타 미세 조정된 LLM(예: BIGRec, CtrlRec)을 능가하며 최첨단 성능을 달랬습니다.
  • Steam 데이터셋에서 RecLM-cgen은 HR@10 0.0868을 달성하여, 가장 우수한 비-RecLM 베이스라인보다 14.8% 향상된 성능을 보였습니다.
  • Toys 데이터셋에서 RecLM-token은 가장 높은 NDCG@5(0.0643)를 기록하며 19.1%의 향상을 보였습니다.
• 제어 신뢰성: 다회차 대화 테스트에서, RecLM-cgen과 RecLM-token은 추천 턴에서는 정확히 10개의 <SOI> 토큰을 생성하고 추론 턴에서는 0개를 생성하는 등 거의 완벽한 제어 심볼 점수(CSN)를 달성하였으며, 일반적인 추론 능력(MMLU, GSM8K)을 희생하지 않았습니다.
• 절제 연구 (Ablation Studies): 각 구성 요소별로 점진적인 개선이 관찰되었습니다: 제약 생성이 비제약 미세 조정보다 랭킹을 개선하였고, 스코프 마스킹이 정확도를 더욱 높였으며, 제목 재작성기(특히 전체 RL 보상 적용 시)가 최종적인 성능 향상을 제공했습니다.

5. 의의 및 주장

본 논문은 Rec-LM이 아이템 환각을 줄이기 위한 서로 다른 패러다임을 비교하는 체계적인 기초를 제공한다고 주장합니다. 검색, 제약 생성, 토크나이제를 하나의 통합된 프레임워크로 통합함으로써 저자들은 다음을 입증했습니다:

• 신뢰성과 품질은 상충 관계가 아니다: 카탈로그 충실도(OOD@10 = 0)를 엄격하게 강제하면서 동시에 최첨단 추천 정확도를 달성하는 것이 가능하다는 점입니다.
• 패러다임 트레이드오프: 통합된 관점은 상호 보완적인 강점을 드러냅니다. 검색(RecLM-ret)이 효과적이긴 하지만, 제약 생성(RecLM-cgen/token)이 더 우수한 랭킹 정확도와 대화의 유연성을 제공합니다.
• 실용적 유용성: 이 프레임워크는 학술 및 산업 현장에서 LLM 기반 추천 시스템을 설계하기 위한 실용적인 도구를 제공하며, 현재 생성형 추천 시스템의 고질적인 문제인 OOD 문제를 완화할 수 있는 명확한 경로를 제시합니다.

저자들은 LLM의 자기회귀적(autoregressive) 특성으로 인한 추론 지연 시간과 다양성, 공정성, 장기적 사용자 만족도 지표에 대한 향후 연구 필요성을 인정했습니다. 그러나 RecLM을 신뢰할 수 있고 환각이 없는 LLM 추천 시스템을 향한 근본적인 단계로 포지셔닝하고 있습니다.