기술 요약: GFlowGR

문제 정의

대규모 언어 모델(LLM)을 사용하여 아이템 식별자를 자기회귀적으로 생성하는 생성형 추천(Generative Recommendation, GR) 프레임워크는 산업 현장에서 유망한 가능성을 보여주었습니다. 그러나 기존의 학습 패러다임인 주로 지도 미세 조정(Supervised Fine-Tuning, SFT)은 실제 배포 요구 사항과 두 가지 근본적인 불일치를 겪습니다:

1. 점 단위(Point-wise)와 집합 단위(Set-wise)의 불일치: SFT는 훈련 인스턴스당 단 하나의 정답 아이템을 예측하도록 최적화합니다. 반면, 실제 운영 시스템은 다양하고 가치가 높은 후보 집합을 생성할 것을 요구합니다. SFT는 훈련 과정에서 관련 있는 전체 아이템 집합을 무시하며, 이로 인해 오프라인의 단일 아이템 예측과 온라인의 집합 단위 추론 사이에 간극을 만듭니다.
2. 균등한 상호작용 가치: SFT는 모든 사용자 상호작용(예: 노출, 클릭, 구매)을 동일하게 유익한 것으로 취급합니다. 이는 구매 신호가 단순 노출보다 더 강력한 의도와 높은 플랫폼 가치를 나타낸다는 내재된 효용의 차이를 반영하지 못합니다.

최근의 보상 기반 미세 조정 방식(예: 강화 학습, 직접 선호 최优化(DPO))이 가치 인지 문제를 해결하려고 시도하지만, 종종 **토큰 수준의 감독(token-level supervision)**이 부족합니다. GR에서 아이템은 멀티 토큰 시퀀스로 표현되므로, 보상을 아이템 수준에서만 할당하는 것은 최적화 정밀도와 생성 품질을 제한합니다.

방법론: GFlowGR

이러한 과제를 해결하기 위해, 저자들은 **생성적 흐름 네트워크(Generative Flow Networks, GFlowNets)**에 기반한 미세 조정 프레임워크인 GFlowGR을 제안합니다. 이 프레임워크는 아이템 시퀀스를 생성할 확률이 그 유용성(utility)과 명시적으로 일치하도록 하여, GR을 순차적 집합 생성 문제로 재정의합니다.

핵심 구성 요소

GFlowGR은 세 가지 밀접하게 통합된 구성 요소로 이루어져 있습니다:

1. 궤적 샘플러 (Trajectory Sampler):

   • 단일 아이템이 아닌 후보 집합으로부터 훈련 궤적을 구축하여 집합 단위 학습을 가능하게 합니다.
   • 다음과 같은 다양한 샘플링 전략을 지원합니다:
     • 상호작용 로그 (Interaction Logs): 과거 세션 데이터를 사용합니다.
     • 무작위 샘플링 (Random Sampling): 희소한 데이터를 무작위 네거티브 샘플로 증강합니다.
     • 협업 모델 (Collaborative Model, CM) 샘플링: 사전 훈련된 CM이 네거티브 샘플 선택을 가이드하는 적응형 커리큘럼 방식입니다. 훈련 초기에는 "쉬운" 네거티브(낮은 CM 점수)를 사용하고, 후기 단계에는 훈련 난이도를 유지하기 위해 "어려운" 네거티브(높은 CM 점수)를 포함합니다.
     • LLM 기반 샘플링 (LLM-based Sampling): 현재 LLM의 빔 서치(beam search)를 사용하여 온-폴리시(on-policy) 네거티브를 생성합니다.

2. 행동 인지 보상 모델 (Behavior-Aware Reward Model):

   • 이질적인 사용자 신호를 복합 보상 $R(s_L)$로 통합하여 아이템의 유용성을 정량화합니다.
   • 보상은 세 가지 신호를 결합합니다:
     • 상호작용 신호 ($r_a$): 관찰된 피드백 수준(예: 구매 > 클릭 > 노출)에 기반합니다.
     • 추정 점수 ($r_c$): 협업 모델 또는 LLM 순방향 확률로부터 얻은 점수입니다.
     • 비즈니스 타겟 ($r_{sim}$): 양성 샘플과 공유되는 토큰의 수로 측정된 부분적 정확도입니다.
   • 이 모델은 관찰된 양성 아이템뿐만 아니라 증강된 샘플(미제시 아이템 포함)에도 보상을 할당하여, 관찰되지 않은 아이템에 0의 보상을 할당함으로써 발생하는 노출 편향(exposure bias)을 방지합니다.

3. GFlowNet 목적 함수 (GFlowNet Objective):

   • 흐름 일치 원리를 강제함으로써 토큰 수준의 감독을 제공합니다. 이 프레임워크는 완전한 아이템 시퀀스를 생성할 확률이 터미널 보상과 비례하도록($P(\tau) \propto R(s_L)$) 보장합니다.
   • 상세 균형(Detailed Balance, DB) 또는 궤적 균형(Trajectory Balance, TB) 손실 함수를 사용하여, 아이템 수준의 보상을 토큰 수준의 학습 신호로 분해하고 순방향 생성 확률을 역방향 흐름과 정렬합니다.
   • 전체 손실은 양성 샘플에 대한 표준 다음 토큰 예측 손실(SFT)과 샘플링된 궤적에 대한 GFlowNet 손실($L_{GFN}$)을 결합하며, 하이퍼파라미터 $\lambda$에 의해 균형이 조절됩니다.

주요 기여

1. 정식화: 본 논문은 GR을 다단계, 가치 인지 집합 생성 작업으로 정식화하고, 토큰 수준의 감독을 가능하게 하는 최초의 GFlowNet 기반 GR 미세 조정 프레임워크로서 GFlowGR을 제안합니다.
2. 모듈형 설계: 궤적 샘플러, 다중 신호 보상 모델, GFlowNet 손실로 구성된 유연한 아키텍처를 제시하며, 다양한 실질적 구현을 통해 이를 입증합니다.
3. 실증적 검증: TIGER 및 LETTER라는 두 가지 대표적인 LLM 기반 GR 백본을 사용하여 Yelp, Beauty, Instruments의 세 가지 실제 데이터셋에서 광범적인 실험을 수행하였으며, SFT, GRPO 및 DPO 변형을 포함한 강력한 베이스라인 모델들을 지속적이고 유의미하게 능가함을 보여주었습니다.
4. 산업적 배포: GFlowGR은 타오바오(Taobao)의 검색 광고 비즈니스에 성공적으로 통합되어 매일 수억 명의 활성 사용자에게 서비스되고 있습니다.

결과

오프라인 평가

• 성능: GFlowGR 변형 모델들(DB 및 TB)은 모든 지표(Top-5 및 Top-10에서의 Hit Rate 및 NDCG)에서 베이스라인을 일관되게 능가했습니다. 특히 GFlowGR-TB는 전체 궤적에 대해 최적화하는 능력 덕분에 매우 강력한 성능을 보였습니다.
• 절제 연구 (Ablation Studies):
  • 보상 모델의 구성 요소 중 하나라도 제거하면 성능이 저하되었으며, 이는 상호작용 신호, 협업 점수, 토큰 유사성을 결합하는 것의 필요성을 확인시켜 줍니다.
  • 적응형 샘플링(CM 기반)이 무작위 샘플링보다 우수한 성능을 보였습니다.
  • 아이템 집합(증강된 궤적)으로부터 학습하는 것이 매우 중요했습니다. 단일 양성 아이템($N=1$)으로 훈련된 모델은 일반화 성능이 떨어졌습니다.
• 보상 통합: 학습 가능한 가중 합산 방식이 단순 합산보다 약간 더 나은 성능을 보였으며, 이는 이질적인 신호들을 교정하는 것이 결과 개선에 도움이 됨을 시사합니다.

온라인 배포 (타오바오)

• 매출 영향: 2025년 중반 이후, GFlowGR은 타오바오 검색 광고에서 연간 매출에 대해 0.4%의 상대적 개선을 달아냈으며, 이는 수십억 단위의 금전적 이득에 해당합니다.
• A/B 테스트: 트래픽의 10%를 대상으로 한 15일간의 테스트 결과, 총 매출에서 통계적으로 유의미한 +0.43%의 상승을 기록했습니다.
• 효율성: GFlowGR은 증강된 샘플로 인해 표준 SFT보다 약 2.1배의 훈련 시간이 더 소요되지만, GRPO와 같은 다른 RL 방식에 비해 사용자 상호작용 활용 측면에서 훨씬 더 높은 효율성을 달성합니다.
• 롱테일 성능: 신규 등록 아이템에 대한 +4.0% 매출 증가, 롱테일 쿼리에 대한 +1.8% 매출 증가 등 소외된 케이스에서도 주목할 만한 개선을 보였으며, 아이템 커버리지 다양성 또한 증가했습니다.

의의 및 주장

본 논문은 GFlowGR이 점 단위 훈련과 집합 단위 서비스 사이의 간극을 메움으로써 차세대 생성형 추천 시스템을 위한 원칙적인 토대를 제공한다고 주장합니다. 아이템 생성을 확률적 궤적으로 모델링하고 생성 확률을 행동 인지 보상과 일치시킴으로써, 이 프레임워크는 가치에 비례하며 다양하고 고품질인 추천을 가능하게 합니다.

저자들은 GFlowGR이 GR의 훈련 패러다임에 있어 핵심적인 병목 현상을 해결하며, 단일 아이템 최적화를 넘어 GFlowNet에 이론적 근거를 두고 실제 대규모 산업 환경에서 검증된 집합 단위, 가치 인지 접근 방식으로 나아가고 있음을 강조합니다. 이 연구는 토큰 수준의 감독과 다양한 후보 집합을 통합하는 것이 LLM 기반 추천 시스템을 실제 비즈니스 목표에 정렬시키는 데 필수적임을 입증합니다.