🤖 machine learning

Adaptive Loss Balancing for Noise-Robust GRPO in Generative Recommendation

यह शोध पत्र AdaGRPO को पेश करता है, जो एक नवीन रूपरेखा (framework) है जो केवल उन नमूनों पर सुदृढीकरण शिक्षण (reinforcement learning) को चुनि적으로 लागू करके शोर-रोधी जनरेटिव अनुशंसा (noise-robust generative recommendation) को बढ़ाता है जहाँ नीति अनिश्चित है और रिवॉर्ड मॉडल भेदभावपूर्ण है, जिससे यह ऑफलाइन मेट्रिक्स और ऑनलाइन प्रोडक्शन ए/बी परीक्षणों दोनों में समान आरएल (uniform RL) दृष्टिकोणों से बेहतर प्रदर्शन करता है।

मूल लेखक: Kewei Xu, Junbo Qi, Yanyan Zou, Pengfei Zhang, Xingzhi Yao, Shengjie Li

प्रकाशित 2026-06-09

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Kewei Xu, Junbo Qi, Yanyan Zou, Pengfei Zhang, Xingzhi Yao, Shengjie Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, रचनात्मक सहायक को उपयोगकर्ताओं को फिल्में सुझाने के लिए प्रशिक्षित कर रहे हैं। आपके पास इस सहायक को सिखाने के दो तरीके हैं:

"टेक्स्टबुक" विधि (सुपरवाइज्ड लर्निंग): आप सहायक को हजारों उदाहरण दिखाते हैं जैसे "उपयोगकर्ता का इतिहास -> सही फिल्म का सुझाव।" सहायक इन पैटर्नों को याद करके सीखता है। यह सुरक्षित और स्थिर है, लेकिन यह वही पुराने सुझाव दोहराने में फंस सकता है।
"कोच" विधि (रीइन्फोर्समेंट लर्निंग): आप सहायक को अपने आप फिल्में अनुमान लगाने देते हैं। फिर, एक "कोच" (एक रैंकिंग एल्गोरिदम) देखता है और एक स्कोर देता है: "अच्छा अनुमान!" या "बुरा अनुमान!" सहायक उच्च स्कोर पाने की कोशिश में सीखता है।

समस्या: कोच त्रुटिपूर्ण है
पेपर तर्क देता है कि वास्तविक दुनिया में, यह "कोच" पूर्ण नहीं है। इसे उस डेटा पर प्रशिक्षित किया गया था जहाँ उपयोगकर्ताओं ने केवल वही फिल्में देखीं जो सिस्टम ने उन्हें पहले से ही दिखाई थीं। यह एक पूर्वाग्रह (bias) पैदा करता है:

"आसान" मामले: यदि सहायक पहले से ही किसी लोकप्रिय फिल्म का अनुमान लगाने में अच्छा है, तो कोच बस एक सामान्य "अच्छा काम किया!" दे देता है। स्कोर लगभग एक जैसे होते हैं। सहायक कुछ भी नया नहीं सीख पाता, या इससे भी बुरा, वह कोच को खुश करने के लिए बेतरतीब ढंग से अनुमान लगाने लगता है, जिससे वह भूल जाता है कि वास्तव में क्या महत्वपूर्ण है।
"कठिन" मामले: यदि सहायक को किसी विशिष्ट (niche) या नई फिल्म का अनुमान लगाने की आवश्यकता है, तो कोच भ्रमित हो सकता है। क्योंकि कोच ने पहले कभी इस फिल्म को नहीं देखा है, इसलिए वह सही, अद्वितीय फिल्म के बजाय एक उबाऊ, लोकप्रिय फिल्म को उच्च स्कोर दे सकता है। यदि सहायक इस गलत सलाह को सुनता है, तो वह और भी खराब हो जाता है।

समाधान: AdaGRPO (एक "चयनात्मक कोच")
लेखकों ने एक नया सिस्टम बनाया है जिसे AdaGRO कहा जाता है। कोच को 100% समय सहायक को निर्देश देने देने के बजाय, AdaGRPO एक स्मार्ट गेटकीपर की तरह काम करता है।

यह कोच की सलाह को मान्य होने देने से पहले दो सरल प्रश्न पूछता है:

"क्या सहायक संघर्ष कर रहा है?" (पॉलिसी डिफिकल्टी): यदि सहायक पहले से ही उत्तर अच्छी तरह से जानता है, तो कोच की सलाह को अनदेखा कर दिया जाता है क्योंकि वह अनावश्यक है।
"क्या कोच अभी वास्तव में मददगार है?" (रिवॉर्ड डिस्क्रिमिनेबिलिटी): यदि कोच भ्रमित है या पक्षपाती है (उदाहरण के लिए, सही विशिष्ट फिल्म के बजाय लोकप्रिय फिल्मों को प्राथमिकता देता है), तो इसकी सलाह को अनदेखा कर दिया जाता है।

उपमा: "चयनात्मक ट्यूटर"
एक छात्र के बारे में सोचें जो एक टेस्ट के लिए ट्यूटर के साथ पढ़ाई कर रहा है।

पुराना तरीका: ट्यूटर हर उत्तर के लिए छात्र पर चिल्लाता है, चाहे उसने सही उत्तर दिया हो या गलत। यदि ट्यूटर थका हुआ है या पक्षपाती है, तो छात्र भ्रमित हो जाता है और गलतियाँ करना शुरू कर देता है।
AdaGRPO तरीका: ट्यूटर केवल तभी बोलता है जब दो चीजें सच होती हैं:
1. छात्र वास्तव में फंस गया है और उसे उत्तर नहीं पता है।
2. ट्यूटर को विश्वास है कि उसे सही उत्तर पता है और वह केवल अनुमान नहीं लगा रहा है।

यदि छात्र पहले से ही उत्तर जानता है, तो ट्यूटर चुप रहता है (छात्र को अपने ज्ञान पर भरोसा करने देने के लिए)। यदि ट्यूटर अनिश्चित है, तो वह भी चुप रहता है। यह छात्र को बुरी आदतें सीखने से रोकता है।

परिणाम
टीम ने इसे एक बड़े ई-कॉमर्स प्लेटफॉर्म (JD.com) पर परखा:

ऑफलाइन टेस्ट: नए तरीके ने सटीकता (सही आइटम ढूंढना) में सुधार किया, जो अपने शिखर पर 11.01% से बढ़कर 12.18% हो गई, जबकि "हैलुसिनेशन" (फर्जी आइटम बनाना) को बहुत कम रखा। पुराने तरीके अंततः खराब हो गए क्योंकि उन्होंने त्रुटिपूर्ण कोच को खुश करने की बहुत अधिक कोशिश की।
वास्तविक दुनिया का परीक्षण: जब उन्होंने इसे वास्तविक उपयोगकर्ताओं पर आजमाया, तो इससे अधिक लोग वस्तुओं पर क्लिक करने लगे और साइट पर अधिक समय बिताने लगे।

बड़ी सीख
पेपर निष्कर्ष निकालता है कि सिफारिशें करने के लिए AI का उपयोग करने में सबसे बड़ी चुनौती एक "स्मार्टर" कोच बनाना नहीं है। चुनौती यह जानना है कि कोच पर कब भरोसा करना है। कोच को केवल तभी सुनने से जब वह वास्तव में सहायक हो और छात्र वास्तव में संघर्ष कर रहा हो, सिस्टम तेजी से सीखता है और अधिक विश्वसनीय रहता है।

तकनीकी सारांश: जेनेरेटिव रिकमेंडेशन में शोर-रोधी (Noise-Robust) GRPO के लिए एडेप्टिव लॉस बैलेंसिंग

1. समस्या विवरण (Problem Statement)

जेनेरेटिव रिकमेंडेशन (GR) आइटम रिट्रीवल को सीखे गए सिमेंटिक आईडी (SIDs) पर एक ऑटोरेग्रेसिव डिकोडिंग कार्य के रूप में पुनर्गठित करता है। हालांकि GR पारंपरिक एम्बेडिंग-आधारित रिकॉल की तुलना में लॉन्ग-टेल और सिमेंटिक रूप से संबंधित आइटम्स के लिए बेहतर कवरेज प्रदान करता है, लेकिन इसमें रैंकिंग मॉडल्स जैसी सूक्ष्म भेदभाव क्षमता (fine-grained discrimination) की कमी होती है। इस अंतर को पाटने के लिए, प्रोडक्शन रैंकर्स को रिवॉर्ड मॉडल्स (RMs) के रूप में उपयोग करके GR पॉलिसी को फाइन-ट्यून करने के लिए रिइन्फोर्समेंट लर्निंग (RL), विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO), का प्रस्ताव दिया गया है।

हालांकि, यह पेपर जेनेरेटिव रिकमेंडेशन में RL को समान रूप से लागू करने में एक गंभीर दोष की पहचान करता है: रिवॉर्ड मॉडल का शोर (noise) और एक्सपोजर बायस (exposure bias)। प्रोडक्शन रैंकर्स एक्सपोजर-बायस्ड लॉग्स पर प्रशिक्षित होते हैं, जो उन्हें उनके ट्रेनिंग डिस्ट्रीब्यूशन से बाहर के आइटम्स (जैसे नए या लॉन्ग-टेल आइटम्स) के लिए अविश्वसनीय बनाते हैं। लेखक यूनिफॉर्म रिवॉर्ड एप्लीकेशन के दो विफलता मोड (failure modes) की पहचान करते हैं:

ईजी सैंपल्स (Easy Samples): जब पॉलिसी पहले से ही ग्राउंड-ट्रुथ आइटम को उच्च रैंक देती है, तो रिवॉर्ड स्कोर बहुत करीब क्लस्टर हो जाते हैं। इसके परिणामस्वरूप GRPO एडवांटेज लगभग शून्य हो जाता है, जिससे ग्रेडिएंट RM के शोर द्वारा हावी हो जाता है, जो ओवर-ऑप्टिमाइजेशन (रिवॉर्ड हैकिंग) की ओर ले जाता है।
हार्ड सैंपल्स (Hard Samples - RM-अविश्वसनीय): जब ग्राउंड ट्रुथ एक लॉन्ग-टेल आइटम होता है, तो RM स्थानीय रूप से गलत कैलिब्रेटेड हो सकता है, जिससे वह लोकप्रिय डिस्ट्रैक्टर्स को वास्तविक लक्ष्य से अधिक स्कोर दे सकता है। यहाँ RL लागू करने से पॉलिसी सही उत्तर से दूर जा सकती है।

स्तरीकृत विश्लेषण (Stratified analysis) से पता चलता है कि जबकि सभी सैंपल्स पर RM का कुल प्रभाव (aggregate influence) शून्य के करीब है, यह सशर्त रूप से (conditionally) पर्याप्त सकारात्मक मार्गदर्शन प्रदान करता है—विशेष रूप से उन सैंपल्स पर जहाँ पॉलिसी अनिश्चित (कठिनाई) है और RM में उच्च भेदभाव क्षमता (विश्वसनीयता) है।

2. कार्यप्रणाली: AdaGRPO

इन समस्याओं को संबोधित करने के लिए, लेखक AdaGRPO का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो रिवॉर्ड-गाइडेड ऑप्टिमाइजेशन को यूनिफॉर्म प्रेशर के बजाय चयनात्मक प्रवेश (selective admission) के रूप में मानता है। मुख्य नवाचार एक सैंपल-लेवल बाइनरी क्लिप (binary clip) है जो रोलआउट ग्रुप से गणना किए गए दो रैंक-आधारित डायग्नोस्टिक्स के आधार पर GRPO लॉस टर्म को गेट (gate) करता है।

प्रत्येक इंस्टेंस $i$ के लिए ऑब्जेक्टिव फंक्शन है:
$L_i(\theta) = L^{(i)}_{NLL}(\theta) + \lambda \alpha_i L^{(i)}_{GRPO}(\theta)$
जहाँ:

$L_{NLL}$ सुपरवाइज्ड नेगेटिव लॉग-लाइक्लीहुड (NLL) है, जो स्थिरता सुनिश्चित करने के लिए सभी ट्रेनिंग इंस्टेंसेस को एंकर करता है।
$\lambda$ एक ग्लोबल स्केलिंग कोएफिशिएंट है।
$\alpha_i \in \{0, 1\}$ एक क्लिप कोएफिशिएंट है जो दो डायग्नोस्टिक्स द्वारा निर्धारित होता है:

डायग्नोस्टिक 1: पॉलिसी-साइड कठिनाई ( $f_1$ )
यह स्थिति जाँचती है कि क्या ग्राउंड-ट्रुथ आइटम ( $y^*$ ) पॉलिसी की अपनी रैंकिंग (लॉग-लाइक्लीहुड के आधार पर) के शीर्ष $\tau$ -फ्रैक्शन के बाहर है।

तर्क: यदि $y^*$ पहले से ही शीर्ष रैंकों में है, तो सुपरवाइज्ड लॉस पर्याप्त है, और GRPO टर्म अनावश्यक है (क्लिप किया गया)। यदि $y^*$ कम रैंक पर है, तो पॉलिसी अनिश्चित है, और RL मार्गदर्शन की संभावित आवश्यकता है।

डायग्नोस्टिक 2: रिवॉर्ड-साइड भेदभाव क्षमता ( $f_2$ )
यह स्थिति जाँचती है कि क्या RM संदर्भहीन नेगेटिव्स से ग्राउंड ट्रुथ को विश्वसनीय रूप से अलग कर सकता है।

तर्क: RM को एक डायग्नोस्टिक पूल (रोलआउट्स और सैंपल्ड नेगेटिव्स सहित) में $y^*$ को शीर्ष $\tau$ -फ्रैक्शन में रैंक करना चाहिए AND सभी सैंपल्ड नेगेटिव्स को बॉटम $(1-\rho)$ -फ्रैक्शन में रैंक करना चाहिए। यदि RM प्रासंगिक और अप्रासंगिक आइटम्स को अलग करने में विफल रहता है, तो सिग्नल को अविश्वसनीय माना जाता है (क्लिप किया गया)।

द क्लिप (The Clip):
अंतिम कोएफिशिएंट $\alpha_i = f_1 \cdot f_2$ है। GRPO लॉस केवल तभी स्वीकार किया जाता है जब इंस्टेंस वर्तमान पॉलिसी के लिए कठिन हो और स्थानीय रूप से विश्वसनीय रिवॉर्ड सिग्नल द्वारा समर्थित हो। अन्यथा, अपडेट शुद्ध सुपरविजन पर वापस चला जाता है। यह टोकन अपडेट्स (रेशियो डोमेन) से PPO क्लिपिंग सिद्धांत को सैंपल डोमेन (पूरे इंस्टेंसेस को बाहर करना) तक विस्तारित करता है।

3. प्रमुख योगदान

रिवॉर्ड विश्वसनीयता का स्तरीकृत विश्लेषण: यह पेपर अनुभवजन्य रूप से प्रदर्शित करता है कि जेनेरेटिव रिकमेंडेशन पर प्रोडक्शन रैंकर्स का कुल प्रभाव (aggregate influence) विरोधाभासी विफलता मोड (ईजी सैंपल्स पर शोर, हार्ड सैंपल्स पर बायस) के कारण नगण्य है। यह स्थापित करता है कि RM उपयोगिता वैश्विक नहीं, बल्कि सशर्त है।
AdaGRPO फ्रेमवर्क: एक नवीन ट्रेनिंग ऑब्जेक्टिव जो मौजूदा रोलआउट सांख्यिकी से प्राप्त प्रति-सैंपल डायग्नोस्टिक्स के आधार पर सुपरवाइज्ड लर्निंग और RL के बीच गतिशील रूप से स्विच करता है। यह किसी सीखे गए वैल्यू नेटवर्क या जटिल रिवॉर्ड मॉडलिंग की आवश्यकता के बिना, बिना किसी जटिलता के काम करता है।
शोर-रोधी अनुकूलन (Noise-Robust Optimization): उन सैंपल्स पर GRPO टर्म को क्लिप करके जहाँ रिवॉर्ड सिग्नल या तो रेडंडेंट है या भ्रामक है, यह विधि रिक्रिएशन के पतन (collapse) और मतिभ्रम (hallucination) को रोकती है जो मानक GRPO ट्रेनिंग में अक्सर देखा जाता है।

4. प्रयोगात्मक परिणाम

इस पद्धति को एक बड़े पैमाने के ई-कॉमर्स डेटासेट (175K सीक्वेंस) और प्रोडक्शन A/B टेस्ट पर मान्य किया गया।

ऑफलाइन परिणाम:

प्रदर्शन: सर्वश्रेष्ठ इंटरमीडिएट चेकपॉइंट पर, AdaGRPO ने HR@10 को 11.01% (Base) से बढ़ाकर 12.18% कर दिया, जबकि मतिभ्रम दर (hallucination rate) $\le 0.22\%$ रखी।
स्थिरता: मानक GRPO के विपरीत, जो अंतिम चेकपॉइंट पर HR@10 में भारी गिरावट (10.39% तक) और मतिभ्रम में उछाल (0.89%) का शिकार हुआ, AdaGRPO ने मजबूती (HR@10: 11.63%, मतिभ्रम: 0.27%) बनाए रखी।
तुलना: AdaGRPO ने रिट्रीवल-वैलिडिटी फ्रंटियर के पार फिक्स्ड NLL-GRPO मिश्रणों से बेहतर प्रदर्शन किया। $f_2$ (रिवॉर्ड-डिस्क्रिमिनेबिलिटी कंडीशन) को जोड़ने से केवल $f_1$ (डिफिकल्टी) का उपयोग करने की तुलना में मतिभ्रम कम हुआ और HR में सुधार हुआ।
स्तरीकृत विश्लेषण: लाभ सबसे अधिक इंटरमीडिएट-डिफिकल्टी बिन्स में देखे गए, जो पुष्टि करता है कि यह विधि उन विशिष्ट क्षेत्रों को लक्षित करती है जहाँ RL फायदेमंद है।

ऑनलाइन A/B टेस्ट:

प्रोडक्शन टेस्ट में, AdaGRse ने कंट्रोल के मुकाबले सांख्यिकीय रूप से महत्वपूर्ण लाभ प्राप्त किया:
- इफेक्टिव आइटम पेज व्यूज (IPV): +0.43%
- यूजर क्लिक-थ्रू रेट (UCTR): +0.27%
- ड्वेल टाइम (Dwell Time): +0.23%
इसके विपरीत, एक फिक्स्ड NLL-GRPO मिश्रण का उपयोग करने वाले बेसलाइन ने एंगेजमेंट मेट्रिक्स में कोई सांख्यिकीय रूप से महत्वपूर्ण लाभ नहीं दिखाया।

5. महत्व और दावे

पेपर यह निष्कर्ष निकालता है कि जेनेरेटिव रिकमेंडेशन में RL लागू करने की केंद्रीय चुनौती मजबूत रिवॉर्ड डिजाइन करना नहीं है, बल्कि यह पहचानना है कि रिवॉर्ड सिग्नल पर कब भरोसा किया जा सकता है।

पैराडाइम शिफ्ट: यह कार्य ग्लोबल रिवॉर्ड ऑप्टिमाइजेशन से लोकल, इंस्टेंस-वाइज ट्रस्ट की ओर ध्यान केंद्रित करता है। यह तर्क देता है कि रिकमेंडेशन में RL सिग्नल्स का यूनिफॉर्म अनुप्रयोग स्वाभाविक रूप से जोखिम भरा है क्योंकि पॉलिसी अनिश्चितता और रिवॉर्ड मॉडल कैलिब्रेशन के बीच बेमेल (mismatch) होता है।
व्यावहारिक उपयोगिता: परिणाम बताते हैं कि पॉलिसी-ग्रेडिएंट अपडेट का चयनात्मक प्रवेश जेनेरेटिव रिकमेंडर्स को सुपरवाइज्ड प्री-ट्रेनिंग से प्राप्त संरचनात्मक ज्ञान (structural knowledge) से समझौता किए बिना शोर वाले प्रोडक्शन रैंकर्स का प्रभावी ढंग से लाभ उठाने की अनुमति देता है।
विनम्रता: लेखक सीमाओं को स्वीकार करते हैं, जिसमें ट्रेनिंग के दौरान ग्राउंड-ट्रुथ आइटम्स पर निर्भरता, हाइपरपैरामीटर्स ( $\tau, \rho$ ) के प्रति संवेदनशीलता, और विविध यूजर सेगमेंट और कैटलॉग फ्रेशनेस रिजीम के माध्यम से और अधिक सत्यापन की आवश्यकता शामिल है। वे ऑनलाइन परिणामों को विधि की मजबूती के लिए मजबूत प्रोडक्शन सपोर्ट के रूप में फ्रेम करते हैं, न कि सभी संभावित बेसलाइन्स पर श्रेष्ठता के निश्चित कारण प्रमाण के रूप में।