FlexRec: Adapting LLM-based Recommenders for Flexible Needs via Reinforcement Learning

이 논문은 시퀀스 수준의 보상이나 희소하고 노이즈가 많은 피드백으로 인한 학습 불안정성을 해결하기 위해, 역사실적 스왑 기반의 인과적 아이템 수준 보상과 불확실성을 고려한 크리틱 가이드 스케일링을 도입한 강화학습 기반 추천 프레임워크 'FlexRec'을 제안하여 다양한 추천 시나리오에서 기존 모델 대비 NDCG 와 Recall 성능을 획기적으로 향상시켰음을 보여줍니다.

핵심

FlexRec: 추천 시스템의 '유연한 두뇌'를 깨우는 방법

이 논문은 **"FlexRec"**이라는 새로운 기술을 소개합니다. 쉽게 말해, 이 기술은 인공지능 (LLM) 이 추천 시스템을 할 때, 사용자의 즉흥적인 기분이나 상황에 맞춰 추천 방식을 바꿀 수 있도록 가르치는 방법입니다.

기존의 추천 시스템은 "무조건 클릭률이 높은 것"이나 "무조건 많이 팔리는 것"처럼 하나의 목표만 쫓았습니다. 하지만 현실은 다릅니다. 어떤 날은 "새로운 취향을 발견하고 싶고", 어떤 날은 "인기 있는 걸 보고 싶고", 또 어떤 날은 "오래전부터 좋아하던 걸 다시 보고 싶을" 수도 있죠.

FlexRec 은 이 복잡한 인간의 마음을 이해하고, 상황에 맞춰 추천을 바꿔주는 초능력을 가진 추천 시스템을 만드는 방법입니다.

---

🎯 핵심 문제: 왜 기존 시스템은 답답할까?

기존의 추천 시스템은 마치 한 가지 요리법만 아는 셰프와 같습니다.

• 상황: 손님이 "매운 걸 먹고 싶어"라고 하면 매운 요리를 해주고, "달콤한 걸 먹고 싶어"라고 해도 여전히 매운 요리를 해줍니다. (왜냐하면 그 셰프는 '매운 요리'만 배웠기 때문입니다.)
• 문제: 인공지능 (LLM) 도 원래는 책이나 글을 읽는 데만 훈련되어 있어서, 추천이라는 새로운 일을 시키면 잘 못합니다. 게다가 추천을 할 때 사용자의 반응 (클릭 여부 등) 이 드물게만 나타나기 때문에 (우리가 모든 물건을 다 사보지는 않으니까), 인공지능이 "내가 잘했나, 못했나?"를 판단하기가 매우 어렵습니다.

💡 FlexRec 의 해결책: 두 가지 마법

FlexRec 은 이 두 가지 문제를 해결하기 위해 두 가지 마법을 사용합니다.

1. "만약에..." 시뮬레이션 (Swap-based Item-level Reward)

비유: 체스 게임의 한 수를 다시 생각해보기

기존의 방법은 "최종 결과물 (전체 리스트)"이 좋으면 모든 수를 칭찬하고, 나쁘면 모두 혼냅니다. 하지만 어떤 수 (아이템) 가 나쁜 결과를 만든 건지, 좋은 결과를 만든 건지 알 수 없습니다.

FlexRec 은 체스 게임에서 한 수를 바꿔보며 시뮬레이션을 합니다.

• "만약에 1 등으로 추천한 물건을 5 등으로 내리고, 5 등 물건을 1 등으로 올렸다면 어떨까?"
• 이렇게 만약에 (Counterfactual) 상황을 만들어서, 각 아이템이 실제 결과에 얼마나 기여했는지 정확하게 계산합니다.
• 효과: 인공지능은 "아, 이 물건을 1 등으로 둔 게 좋았구나!" 또는 "아, 이 물건을 1 등으로 둔 게 나빴구나!"를 정확하게 깨닫게 되어, 훨씬 빠르게 배웁니다.

2. "불확실한 정보"를 무시하는 안목 (Uncertainty-Aware Scaling)

비유: 낚시꾼과 잡은 물고기

추천 시스템은 사용자의 반응을 모두 알 수 없습니다. (사용자가 클릭한 건 알지만, 안 클릭한 건 왜 안 클릭했는지 모릅니다.) 그래서 인공지능은 가상적인 점수를 매겨야 합니다. 하지만 이 가상의 점수는 때로는 틀릴 수도 있습니다.

FlexRec 은 인공지능에게 **"이 점수가 얼마나 믿을 만한지"**도 함께 가르칩니다.

• 높은 확신: "이 물건을 추천하면 사용자가 좋아할 거야 (점수 90, 확신 90%)" → 강하게 반영
• 낮은 확신: "이 물건을 추천하면 좋아할지도 모르는데... (점수 90, 확신 10%)" → 약하게 반영하거나 무시
• 효과: 틀린 정보 (노이즈) 에 휘둘려 엉뚱한 방향으로 배우는 것을 막아줍니다. 마치 낚시꾼이 잡은 물고기가 진짜인지 가짜인지 확인하고, 가짜라면 무시하는 것과 같습니다.

---

🚀 FlexRec 의 놀라운 성과

이 기술을 적용한 결과, FlexRec 은 다음과 같은 능력을 보여줍니다.

1. 상황에 맞는 추천: "새로운 걸 찾아줘", "인기 있는 걸 보여줘", "내가 좋아하는 걸 보여줘"라는 명령어 하나만으로 추천 방식을 즉시 바꿉니다.
2. 범용성: 하나의 모델로 모든 상황을 다 처리할 수 있습니다. 별도의 모델을 여러 개 만들 필요가 없습니다.
3. 압도적인 성능: 기존 추천 시스템이나 다른 인공지능 모델보다 최대 100% 이상 더 좋은 결과를 냈습니다. (사용자가 원하는 물건을 더 빨리 찾아줍니다.)

🌟 결론

FlexRec 은 추천 시스템이 고정된 기계에서 유연한 파트너로 변신하게 해줍니다.

• 기존: "무조건 많이 팔리는 거 추천해."
• FlexRec: "오늘은 새로운 취향을 발견하고 싶어." → "알겠어, 너의 취향을 분석해서 아직 안 본 새로운 걸 찾아줄게!"

이 기술은 우리가 매일 사용하는 쇼핑, 영상, 음악 추천이 우리의 그날그날의 기분과 필요에 맞춰 더 똑똑하고 친절하게 변할 수 있음을 보여줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

현대 추천 시스템은 주로 단일 정적 목표 (예: 클릭률, 구매 전환율) 를 최적화하도록 설계되어 있습니다. 그러나 실제 사용자 의도는 동적이며 (예: 관심 극대화, 새로운 주제 탐색, 트렌드 따라가기), 비즈니스 목표도 시점에 따라 변화합니다. 기존 추천 시스템은 이러한 다양하고 유연한 필요 (Needs) 에 실시간으로 적응하는 데 한계가 있습니다.

대형 언어 모델 (LLM) 은 강력한 지시 따르기 (instruction-following) 능력과 일반화 능력을 바탕으로 이러한 문제를 해결할 잠재력을 가지지만, 기존 LLM 은 추천 작업에 맞춰 정렬되지 않아 직접적인 추천기로 사용하기 어렵습니다. 최근 강화 학습 (RL) 을 통한 후학습 (Post-training) 이 LLM 의 추론 능력을 향상시켰지만, 추천 시스템에 적용할 때 다음과 같은 두 가지 핵심 장애물에 직면합니다:

1. 세밀한 신용 부여 (Credit Assignment) 의 부재: 기존 RL 기반 추천 (예: GRPO) 은 전체 순위 리스트에 하나의 스칼라 보상 (Sequence-level reward) 을 부여합니다. 이는 개별 항목 (Item) 이 순위 결정에 기여한 정도를 세밀하게 파악하지 못해 학습 신호가 거칠고 비효율적입니다.
2. 희소하고 노이즈가 많은 피드백: 실제 상호작용 데이터는 매우 희소하며, 대부분의 항목에 대한 피드백이 누락됩니다. 이를 보완하기 위해 학습된 크리틱 (Critic) 모델을 사용하지만, 이 모델의 예측은 불확실성이 크고 노이즈가 많아 RL 업데이트를 불안정하게 만듭니다.

2. 제안 방법: FlexRec (Methodology)

저자들은 위 문제를 해결하기 위해 FlexRec이라는 RL 후학습 프레임워크를 제안합니다. 이는 LLM 기반 추천기를 동적인 추천 전략에 정렬하기 위한 두 가지 핵심 기법을 결합합니다.

가. 교환 기반 항목 수준 보상 (Swap-based Item-level Reward)

• 개념: autoregressive(자기회귀적) 순위 결정 과정에서 각 항목이 남은 후보군 내에서 어떤 기여를 했는지를 평가하기 위해 반사실적 교환 (Counterfactual Swap) 연산을 도입합니다.
• 작동 원리:
  • 생성된 순위 리스트에서 특정 항목 $a_k$와 그보다 낮은 순위의 항목 $a_j$를 교환하여 새로운 리스트를 만듭니다.
  • 교환 전후의 목적 함수 (예: NDCG) 변화량 ($\Delta$) 을 계산하여 해당 항목의 한계 기여도 (Marginal Contribution) 를 추정합니다.
  • 이는 기존 시퀀스 수준의 보상을 개별 항목 수준으로 세분화하여, 모델이 어떤 항목을 어떤 순서로 배치해야 하는지 세밀한 학습 신호를 제공합니다.
• 인과성 (Causality): 교환은 오직 아직 선택되지 않은 '남은 후보군' 내에서만 수행되도록 제한하여, 인과적 관계를 보장하고 편향을 제거합니다.

나. 불확실성 인식 강화 학습 (Uncertainty-aware GRPO)

• 문제: 상호작용 데이터가 희소할 때, 크리틱 모델이 예측한 보상은 신뢰도가 낮을 수 있습니다.
• 해결책:
  • 크리틱 모델이 보상의 예상값 (Mean) 과 함께 불확실성 (Variance) 을 함께 예측하도록 학습합니다.
  • RL 업데이트 시, 예측된 분산 (불확실성) 이 높은 보상 신호는 가중치를 낮추고 (Down-weighting), 분산이 낮은 신뢰할 수 있는 신호는 가중치를 높입니다.
  • 이를 통해 노이즈가 많은 크리틱 신호로 인한 정책 업데이트의 불안정성을 방지하고 학습을 안정화합니다.

3. 주요 기여 (Key Contributions)

1. 세밀한 신용 부여 메커니즘: 시퀀스 수준 보상의 한계를 극복하기 위해, 반사실적 교환을 기반으로 한 항목 수준 (Item-level) 보상을 설계하여 LLM 추천기의 학습 효율성을 극대화했습니다.
2. 불확실성 인식 업데이트: 희소 데이터 환경에서 발생하는 크리틱 모델의 노이즈 문제를 해결하기 위해 불확실성 (Uncertainty) 을 명시적으로 모델링하고 이를 업데이트 가중치에 반영하는 새로운 RL 알고리즘을 제안했습니다.
3. 유니버설 추천기 (Universal Recommender): 단일 LLM 을 다양한 필요 (관심 극대화, 탐색, 트렌드 등) 에 맞춰 학습시킴으로써, 하나의 모델이 지시어 (Instruction) 만 변경하여 다양한 추천 시나리오에 적응할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

저자들은 KuaiRec(단편 영상), MovieLens-1M(영화), ESCI(제품 검색) 등 다양한 데이터셋과 시나리오에서 FlexRec 을 평가했습니다.

• 성능 향상:
  • Need-specific Ranking: 특정 필요에 맞춘 순위에서 NDCG@5 는 최대 59%, Recall@5 는 최대 109.4% 향상되었습니다.
  • Generalization: '관심 극대화'로 학습된 모델이 '새로운 주제 탐색'이나 '트렌드 홍보'와 같은 보지 못한 필요 (Need) 에도 Recall@5 에서 최대 24.1% 향상되는 등 뛰어난 일반화 능력을 보였습니다.
• 비교 우위: 전통적인 추천기 (BERT4Rec, STAR) 와 기존 RL 기반 LLM 추천기 (Rec-R1, ConvRec-R1) 를 모두 압도하는 성능을 기록했습니다.
• 학습 안정성: 불확실성 인식 업데이트를 적용하지 않은 경우 학습 후기 성능이 저하되는 반면, FlexRec 은 학습 전반에 걸쳐 안정적이고 지속적인 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 기반 추천 시스템이 고정된 목표가 아닌, 사용자의 동적이고 유연한 필요에 실시간으로 적응할 수 있는 새로운 패러다임을 제시합니다.

• 기술적 의의: RL 기반 LLM 학습에서 발생하는 '희소 보상'과 '세밀한 신용 부여'라는 두 가지 근본적인 문제를 동시에 해결하는 체계적인 프레임워크를 정립했습니다.
• 실용적 의의: 하나의 모델로 다양한 비즈니스 목표 (매출 증대, 사용자 유지, 신규 탐색 등) 를 유연하게 처리할 수 있어, 시스템 유지보수 비용을 절감하고 추천의 투명성 (Reasoning) 을 높일 수 있습니다.
• 미래 방향: 추후 검색 (Retrieval) 단계나 오픈 월드 (Open-world) 항목 동적 관리 등으로 확장할 수 있는 기반을 마련했습니다.

요약하자면, FlexRec은 강화 학습의 정밀한 보상 설계와 불확실성 관리를 통해 LLM 을 진정한 '유연한 추천기'로 변모시킨 획기적인 연구입니다.