🤖 machine learning

Adaptive Loss Balancing for Noise-Robust GRPO in Generative Recommendation

이 논문은 정책이 불확실하고 보상 모델이 변별력이 있는 샘플에 대해서만 선택적으로 강화 학습을 적용함으로써, 오프라인 지표와 온라인 프로덕션 A/B 테스트 모두에서 균일한 RL 방식보다 우수한 성능을 보이는 노이즈 강건 생성형 추천을 위한 새로운 프레임워크인 AdaGRPO를 소개한다.

원저자: Kewei Xu, Junbo Qi, Yanyan Zou, Pengfei Zhang, Xingzhi Yao, Shengjie Li

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kewei Xu, Junbo Qi, Yanyan Zou, Pengfei Zhang, Xingzhi Yao, Shengjie Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 똑똑하고 창의적인 비서에게 영화를 추천하는 법을 가르치고 있다고 상상해 보세요. 당신은 이 비서를 교육하는 두 가지 방법을 가지고 있습니다:

"교과서" 방식 (지도 학습): 당신은 비서에게 수천 개의 "사용자 기록 -> 올바른 영화 추천" 사례를 보여줍니다. 비서는 이러한 패턴을 암기하며 학습합니다. 이는 안전하고 꾸준하지만, 똑같은 구식 제안만 반복하는 데 갇힐 수 있습니다.
"코치" 방식 (강화 학습): 당신은 비서가 스스로 영화를 추측하도록 둡니다. 그러면 "코치"(순위 알고리즘)가 지켜보며 점수를 줍니다: "좋은 추측이야!" 또는 "나쁜 추측이야!" 비서는 높은 점수를 쫓으며 학습합니다.

문제점: 코치는 결함이 있다
이 논문은 현실 세계에서 이 "코치"가 완벽하지 않다고 주장합니다. 코치는 시스템이 이미 보여주었던 영화들만을 본 데이터로 학습되었습니다. 이는 편향을 만듭니다:

"쉬운" 경우: 만약 비서가 이미 인기 있는 영화를 잘 맞히고 있다면, 코치는 그저 일반적인 "잘했어!"라는 반응만 보입니다. 모든 추측에 대한 점수가 거의 비슷해집니다. 비서는 새로운 것을 배우지 못하거나, 더 나아가 코치를 기쁘게 하기 위해 무작정 아무거나 추측하기 시작하며, 실제로 무엇이 중요한지를 잊어버립니다.
"어려운" 경우: 만약 비서가 틈새 상품이나 새로운 영화를 맞춰야 한다면, 코치는 혼란스러워할 수 있습니다. 코치가 이 영화를 본 적이 없기 때문에, 올바르고 독특한 영화 대신 지루하고 대중적인 영화에 높은 점수를 줄 수도 있습니다. 만약 비서가 이 잘못된 조언을 듣는다면, 결과적으로 더 나빠지게 됩니다.

해결책: AdaGRPO (선택적 코치)
저자들은 AdaGRPO라고 불리는 새로운 시스템을 만들었습니다. AdaGRPO는 코치가 비서에게 100% 명령을 내리도록 허용하는 대신, 스마트한 문지기 역할을 합니다.

AdaGRPO는 코치의 조언이 유효하게 작용하기 전에 두 가지 간단한 질문을 던집니다:

"비서가 어려움을 겪고 있는가?" (정책 난이도): 만약 비서가 이미 정답을 잘 알고 있다면, 코치의 조언은 중복되는 것이므로 무시됩니다.
"코치가 지금 정말 도움이 되는가?" (보상 변별력): 만 만약 코치가 혼란스럽거나 편향되어 있다면(예: 올바른 틈새 상품 대신 인기 있는 상품을 선호하는 경우), 그 조언은 무시됩니다.

비유: "선택적 튜터(개인 과외 교사)"
시험 공부를 하는 학생과 튜터를 생각해 보세요.

기존 방식: 튜터는 학생이 정답을 맞히든 틀리든 상관없이 모든 답변에 대해 소리를 지릅니다. 만약 튜터가 지쳤거나 편향되어 있다면, 학생은 혼란에 빠져 실수를 하기 시작합니다.
AdaGR포 방식: 튜터는 오직 두 가지 조건이 모두 충족될 때만 입을 엽니다:
1. 학생이 실제로 막혀서 답을 모르고 있을 때.
2. 튜터가 정답을 알고 있다는 확신이 있고, 단순히 추측하는 것이 아닐 때.

만약 학생이 이미 답을 알고 있다면, 튜터는 조용히 있습니다(학생이 자신의 지식에 의존하도록 둡니다). 만약 튜터가 확신이 없다면, 튜터 역시 조용히 있습니다. 이를 통해 학생이 나쁜 습관을 배우는 것을 방지합니다.

결과
연구팀은 이를 대규모 이커머스 플랫폼(JD.com)에서 테스트했습니다:

오프라인 테스트: 새로운 방식은 정확도(올바른 아이템 찾기)를 최고점에서 11.01%에서 12.18%로 향상시키는 동시에, "환각"(가짜 아이템을 만들어내는 현상)을 매우 낮게 유지했습니다. 기존 방식들은 결함이 있는 코치를 만족시키려고 너무 애쓰다가 결국 성능이 저하되었습니다.
실제 환경 테스트: 이 방식을 실제 사용자들에게 적용했을 때, 더 많은 사람들이 아이템을 클릭하고 사이트에서 더 많은 시간을 보내는 결과를 가져왔습니다.

핵적인 시사점
이 논문의 결론은, 추천을 위한 AI를 만드는 데 있어 가장 큰 과제는 더 "똑똑한" 코치를 만드는 것이 아니라는 것입니다. 진짜 과제는 코치를 언제 믿을 것인가를 아는 것입니다. 코치가 실제로 도움이 되고 학생이 실제로 어려움을 겪고 있을 때만 코치의 말에 귀를 기울함으로써, 시스템은 더 빠르게 학습하고 더 신뢰할 수 있게 됩니다.

기술 요약: 생성형 추천을 위한 노이즈 강건한 AdaGRPO (Adaptive Loss Balancing)

1. 문제 정의

생ative Recommendation (GR)은 학습된 시맨틱 ID(Semantic ID, SID) 상에서 오토레그레시브 디코딩 태스크로 아이템 검색을 재정의합니다. GR은 전통적인 임베딩 기반 리콜(recall)에 비해 롱테일 및 시맨틱 관련 아이템에 대해 우수한 커버리지를 제공하지만, 랭킹 모델만큼 미세한 변별력을 갖추지 못하는 경우가 많습니다. 이 간극을 메우기 위해, 프로덕션 랭커(production ranker)를 보상 모델(Reward Model, RM)로 사용하여 GR 정책을 미세 조정하는 강화학습(RL), 구체적으로는 GRPO(Group Relative Policy Optimization)가 제안되었습니다.

그러나 본 논문은 생성형 추천에 RL을 균일하게 적용할 때 발생하는 치명적인 결함인 보상 모델 노이즈와 노출 편향(exposure bias) 문제를 지적합니다. 프로덕션 랭커는 노출 편향이 있는 로그를 기반으로 학습되었기 때문에, 학습 분포 외부에 있는 아이템(예: 신규 또는 롱테일 아이템)에 대해서는 신뢰할 수 없습니다. 저자들은 균일한 보상 적용의 두 가지 실패 모드를 식별했습니다:

쉬운 샘플 (Easy Samples): 정책이 이미 정답(ground-truth) 아이템을 높게 랭크하고 있을 때, 보상 점수는 좁게 밀집됩니다. 이로 인해 GRPO 어드밴티지(advantage)가 0에 가깝게 붕괴되며, 그래디언트가 RM 노이즈에 의해 지배되어 과최적화(reward hacking)를 초래합니다.
어려운 샘플 (Hard Samples - RM-Unreliable): 정답이 롱테일 아이템인 경우, RM은 국소적으로 미적정(miscalibrated)되어 실제 타겟보다 인기 있는 방해 요소(distractor)를 더 높게 평가할 수 있습니다. 여기에 RL을 적용하면 정책이 올바른 답으로부터 멀어지게 만듭니다.

계층적 분석(Stratified analysis) 결과, 모든 샘플에 걸친 RM의 총체적인 영향력은 0에 가깝지만, 특정 조건(정책이 불확inc한 '난이도'와 RM의 '변별력'이 높은 경우) 하에서는 실질적인 긍정적 가이드를 제공한다는 것을 밝혀냈습니다.

2. 방법론: AdaGRPO

이러한 문제를 해결하기 위해, 저자들은 보상 유도 최적화를 균일한 압력이 아닌 **선택적 허용(selective admission)**으로 취급하는 프레임워크인 AdaGRPO를 제안합니다. 핵심 혁신은 롤아웃 그룹(rollout group)에서 계산된 두 가지 순위 기반 진단 지표를 바탕으로 GRPO 손실 항을 게이팅(gating)하는 샘플 단위의 이진 클립(binary clip)입니다.

각 인스턴스 $i$ 에 대한 목적 함수는 다음과 같습니다:
$L_i(\theta) = L^{(i)}_{NLL}(\theta) + \lambda \alpha_i L^{(i)}_{GRPO}(\theta)$
여기서:

$L_{NLL}$ 은 모든 훈련 인스턴스를 안정적으로 고정하는 지도 학습 기반 음의 로그 가능도(negative log-likelihood)입니다.
$\lambda$ 는 전역 스케일링 계수입니다.
$\alpha_i \in \{0, 1\}$ 는 두 가지 진단 지식에 의해 결정되는 클립 계수입니다.

진단 1: 정책 측면의 난이도 ( $f_1$ )
이 조건은 정답 아이템( $y^*$ )이 정책 자체의 랭킹(로그 가능도 기준) 상위 $\tau$ -분위 안에 포함되는지 확인합니다.

논리: 만약 $y^*$ 가 이미 상위 순위에 있다면, 지도 학습 손실만으로 충분하므로 GRPO 항은 불필요합니다(클리핑됨). 만약 $y^*$ 가 낮은 순위에 있다면, 정책이 불확실한 상태이므로 RL 가이드가 필요할 수 있습니다.

진단 2: 보상 측면의 변별력 ( $f_2$ )
이 조건은 RM이 정답과 문맥적으로 무관한 부정적 아이템(negatives)을 신뢰성 있게 분리할 수 있는지 확인합니다.

논리: RM은 진단 풀(롤아웃 및 샘플링된 네거티브 포함) 내에서 $y^*$ 를 상위 $\tau$ -분위 내에 랭크해야 하며, 동시에 모든 샘플링된 네거티브를 하위 $(1-\rho)$ -분위 내에 랭크해야 합니다. 만약 RM이 관련 아이템과 무관한 아이템을 구분하지 못한다면, 해당 신호는 신뢰할 수 없는 것으로 간주됩니다(클리핑됨).

클립(The Clip):
최종 계수는 $\alpha_i = f_1 \cdot f_2$ 입니다. GRPO 손실은 해당 인스턴스가 현재 정책에 대해 어렵고(difficult) 동시에 **국소적으로 신뢰할 수 있는 보상 신호에 의해 뒷받침될 때(reliable)**만 허용됩니다. 그렇지 않으면 업데이트는 순수 지도 학습으로 돌아갑니다. 이는 PPO의 클리핑 원칙을 토큰 도메인(토큰 업데이트 제한)에서 샘플 도메인(전체 인스턴스 제외)으로 확장한 것입니다.

3. 주요 기여

보상 신뢰성에 대한 계층적 분석: 본 논문은 프로덕션 랭커가 생성형 추천에 미치는 총체적인 영향력이 상충하는 실패 모드(쉬운 샘플에서의 노이즈와 어려운 샘플에서의 편향)로 인해 미미하다는 것을 실증적으로 입증했습니다. 이는 RM의 효용이 전역적이 아니라 조건부임을 확립합니다.
AdaGRPO 프레임워크: 샘플별 진단에 따라 지도 학습과 RL 사이를 동적으로 전환하는 새로운 훈련 목적 함수를 제안합니다. 이는 학습된 가치 네트워크(value network)나 복잡한 보상 모델링 없이, 기존 롤아웃 통계에서 도출된 순위 기반 임계값에 의존하여 구현됩니다.
노이즈 강건한 최적화: 보상 신호가 중복되거나 오도될 수 있는 샘플에서 GRPO 항을 클리핑함으로써, 이 방법은 표준 GRPO 훈련에서 흔히 나타나는 리콜 성능의 붕괴와 환각(hallucination) 현상을 방지합니다.

4. 실험 결과

이 방법은 대규모 이커머스 데이터셋(175K 시퀀스)과 프로덕션 A/B 테스트를 통해 검증되었습니다.

오프라인 결과:

성능: 최적의 중간 체크포인트에서, AdaGRPO는 환각률을 $\le 0.22\%$ 로 유지하면서 HR@10을 11.01%(Base)에서 12.18%로 향상시켰습니다.
안정성: HR@10이 심각하게 붕괴(10.39%로 하락)하고 환각이 급증(0.89%)하는 표준 GRPO와 달리, AdaGRPO는 견고함(HR@10: 11.63%, 환각: 0.27%)을 유지했습니다.
비교: AdaGRPO는 리트리벌 유효성 경계(retrieval-validity frontier) 전반에서 고정된 NLL-GRPO 혼합 모델보다 우수한 성능을 보였습니다. 특히 보상 변별력 조건( $f_2$ )을 추가했을 때, 난이도( $f_1$ )만 사용했을 때보다 환각이 줄어들고 HR이 개선되었습니다.
계층적 분석: 이득은 중간 난이도 빈(bin)에서 가장 두드러졌으며, 이는 이 방법이 RL이 유익한 특정 영역을 정확히 타겟팅하고 있음을 확인시켜 줍니다.

온라인 A/B 테스트:

프로덕션 테스트에서 AdaGRTP는 대조군 대비 통계적으로 유의미한 성과를 달성했습니다:
- 유효 아이템 페이지 뷰 (IPV): +0.43%
- 사용자 클릭률 (UCTR): +0.27%
- 체류 시간 (Dwell Time): +0.23%
반면, 고정된 NLL-GRPO 혼합 방식을 사용한 베이스라인은 참여 지표에서 통계적으로 유의미한 이득을 보이지 못했습니다.

5. 의의 및 주장

본 논문은 생성형 추천에 RL을 적용할 때의 핵심 과제는 더 강력한 보상을 설계하는 것이 아니라, 언제 보상 신호를 신뢰할 수 있는지 식별하는 것이라고 결론짓습니다.

패러다임 전환: 이 연구는 보상의 전역적 최적화에서 **국소적, 인스턴스 단위의 신뢰(local, instance-wise trust)**로 초점을 전환합니다. 정책의 불확실성과 보상 모델의 교정(calibration) 사이의 불일치로 인해, 추천 시스템에서 RL 신호를 균일하게 적용하는 것은 본질적으로 위험하다고 주장합니다.
실용적 유용성: 선택적 정책 그래디언트 업데이트를 통해, 생성형 추천 모델이 지도 학습 기반의 구조적 지식을 희생하지 않으면서도 노이즈가 있는 프로덕션 랭커를 효과적으로 활용할 수 있음을 시사합니다.
한계점 명시: 저자들은 훈련 중 정답 아이템에 대한 의존성, 하이퍼파라미터( $\tau, \rho$ )에 대한 민감도, 다양한 사용자 세그먼트 및 카탈로그 신선도 체제에 대한 추가 검증 필요성 등 한계점을 인정합니다. 그들은 온라인 결과를 모든 베이스라인에 대한 결정적 인과 증명이라기보다, 방법론의 견고함을 보여주는 강력한 프로덕션 지원 근거로 제시합니다.