HCGRec: Hint-Conditioned Generative Recommendation with Semantic IDs

कल्पना कीजिए कि आप एक रोबोट को एक बेहतरीन पर्सनल शॉपर (व्यक्तिगत खरीदारी सहायक) बनने के लिए सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह यह देखे कि आपने पहले क्या खरीदा है और अंदाज़ा लगाए कि आपको आगे क्या चाहिए होगा। पुराने ज़माने में, रोबोट बस लाखों वस्तुओं की एक विशाल सूची को देखता और एक-एक करके उन्हें स्कोर करने की कोशिश करता, जैसे कोई शिक्षक परीक्षाओं के ढेर को ग्रेड दे रहा हो। लेकिन यह धीमा और उबाऊ है। एक नया, अधिक शानदार विचार यह है कि रोबोट उत्तर को "लिखना" शुरू करे। यह आपके द्वारा अगली चीज़ की चाहत को एक गुप्त कोड की तरह मानता है—संख्याओं या प्रतीकों की एक छोटी स्ट्रिंग जिसे "सिमेंटिक आईडी" (Semantic ID) कहा जाता है। रोबक इस कोड को शब्द दर शब्द लिखना सीखता है, ठीक वैसे ही जैसे किसी कहानी में वाक्य पूरा किया जाता है।

समस्या यह है कि यह "कोड लिखने" वाला तरीका एक ट्रैफिक जाम में फंस सकता है। कल्पना कीजिए कि रोबोट "1-2-3-4" जैसा कोड लिखने की कोशिश कर रहा है। यदि वह पहले नंबर में गलती कर देता है और "9" लिख देता है, तो अब वह गलत सड़क पर आ गया है। अब वह कितनी भी कोशिश क्यों न कर ले, वह सही घर तक कभी नहीं पहुँच पाएगा क्योंकि उसने गलत मोहल्ले से शुरुआत की थी। AI ट्रेनिंग की दुनिया में, इसका मतलब है कि रोबोट को उसके प्रयासों के लिए कोई श्रेय नहीं मिलता क्योंकि वह कभी सही उत्तर तक नहीं पहुँच पाता, इसलिए वह सीखना बंद कर देता है। यह पेपर, जिसका शीर्षक HCGRec है, इसी ट्रैफिक जाम को हल करता है। यह एक चतुर तरकीब प्रस्तावित करता है जिससे रोबोट को पूरा उत्तर दिए बिना भी सही सड़क पर वापस आने में मदद मिल सके, ताकि वह वास्तव में अपनी गलतियों से सीख सके।

AI के मस्तिष्क में ट्रैफिक जाम

समाधान को समझने के लिए, आइए देखें कि ये AI शॉपर आमतौर पर कैसे सीखते हैं। पहले, उन्हें एक बुनियादी शिक्षा मिलती है जिसे "सुपरवाइज्ड फाइन-ट्यूनिंग" (SFT) कहा जाता है। इसे ऐसे समझें कि रोबोट एक पाठ्यपुस्तक पढ़ रहा है जहाँ शिक्षक उसे सही उत्तर देता है और कहता है, "देखो? जब तुम यह देखते हो, तो तुम्हें वह लिखना चाहिए।" जब रोबलेट को उत्तर कुंजी (answer key) देखने के लिए मजबूर किया जाता है, तो वह सही कोड की नकल करने में माहिर हो जाता है।

लेकिन वास्तविक दुनिया में, रोबोट को अपने दम पर अनुमान लगाना होता है। यहीं पर "रिवॉर्ड-बेस्ड पोस्ट-ट्रेनिंग" (Reward-Based Post-Training) काम आती है। रोबोट कोड का अनुमान लगाने की कोशिश करता है, और यदि वह सही होता है, तो उसे एक गोल्ड स्टार (इनाम/रिवॉर्ड) मिलता है। यदि वह गलत होता है, तो उसे कुछ नहीं मिलता। कुशलता से सीखने के लिए, AI एक साथ कई अलग-अलग अनुमान (एक "ग्रुप") लगाता है और उनकी तुलना करता है। यदि एक अनुमान दूसरों की तुलना में बेहतर है, तो उसे बढ़ावा मिलता है।

यहीं पर पेपर को एक बड़ी समस्या मिलती है: "जीरो-रिवॉर्ड" (Zero-Reward) का जाल।

चूंकि कोड एक पेड़ (tree) की तरह बने होते हैं (एक व्यापक श्रेणी से शुरू होकर, फिर अधिक विशिष्ट होना), यदि AI गलत पहली शाखा चुन लेता है, तो वह हार चुका है। भले ही वह 16 अलग-अलग अंत (endings) आज़माए, वे सभी गलत होंगे क्योंकि उन्होंने गलत जगह से शुरुआत की थी। AI को उन सभी के लिए शून्य रिवॉर्ड मिलेगा। जब AI देखता है कि अनुमानों का एक समूह शून्य रिवॉर्ड प्राप्त कर रहा है, तो वह यह नहीं बता पाता कि कौन सा अनुमान "कम गलत" था। यह एक पार्किंग लॉट में गोल-गोल घूमकर गाड़ी चलाना सीखने जैसा है; आप बेहतर नहीं हो पाते क्योंकि आप कभी गंतव्य तक नहीं पहुँचते। पेपर इन्हें "फाइनाइट-रोलआउट अनरीचेबल" (finite-rollout unreachable) ग्रुप्स कहता है। अपने प्रयोगों में, उन्होंने पाया कि उनके ट्रेनिंग ग्रुप्स का 70% से अधिक हिस्सा इस बेकार स्थिति में फंसा हुआ था, जिससे कोई उपयोगी फीडबैक नहीं मिल पा रहा था।

समाधान: एक "संकेत" जो बेईमानी नहीं है

लेखक, कांगनिंग झांग और उनकी टीम, ने HCGRec (Hint-Conditioned Generative Recommendation) नामक एक फ्रेमवर्क विकसित किया है। उनका विचार सरल लेकिन शक्तिशाली है: AI को एक छोटा सा संकेत दें, लेकिन केवल तभी जब वह पूरी तरह से खो गया हो।

कल्पना कीजिए कि आप "शब्द पहचानो" का खेल खेल रहे हैं। यदि आप अटक जाते हैं, तो आपका दोस्त फुसफुसा सकता है, "यह 'A' अक्षर से शुरू होता है।" आपको पूरा उत्तर नहीं मिला, लेकिन अब आप जानते हैं कि आप सही मोहल्ले में हैं। आप अभी भी खुद बाकी का शब्द ढूंढ सकते हैं।

HCG-Rec बिल्कुल यही करता है, लेकिन एक ट्विस्ट के साथ:

1. निदान (Diagnosis): AI की कठिन ट्रेनिंग शुरू करने से पहले, टीम एक त्वरित परीक्षण करती है। वे AI से पूछते हैं, "क्या तुम अपने दम पर सही उत्तर तक पहुँच सकते हो?"
2. संकेत (The Hint): यदि AI कहता है "नहीं, मैं गलत शाखा में फंसा हूँ," तो सिस्टम उसे सही रास्ते पर वापस लाने के लिए सबसे छोटा संभव संकेत देता है। यह केवल कोड का पहला नंबर हो सकता है।
3. चुनौती (The Challenge): अब, AI को बाकी का कोड (the "suffix") अपने दम पर बनाना होता है। क्योंकि वह सही मोहल्ले में शुरू हुआ है, उसके पास सही उत्तर खोजने और रिवॉर्ड पाने का वास्तविक अवसर है।

यह एक बेकार, शून्य-रिवॉर्ड वाले ग्रुप को एक उपयोगी लर्निंग ग्रुप में बदल देता है। AI अंततः अपने विभिन्न अंत (endings) की तुलना कर सकता है और सीख सकता है कि कौन से बेहतर हैं।

गुप्त नुस्खा: श्रेय किसे मिलना चाहिए?

पेपर एक सूक्ष्म विवरण की ओर भी इशारा करता है कि श्रेय कैसे दिया जाए। यदि AI को एक संकेत (जैसे पहला नंबर) दिया जाता है, तो वह नंबर उसका अनुमान नहीं था—वह सिस्टम द्वारा प्रदान किया गया एक तथ्य था। AI को उस नंबर का अनुमान लगाने के लिए "पॉलिसी क्रेडिट" (policy credit) नहीं मिलना चाहिए जिसे उसने वास्तव में नहीं लगाया।

इसलिए, लेखक हिंट-अवेयर क्रेडिट डिकम्पोजिशन (Hint-Aware Credit Decomposition) पेश करते हैं। वे ट्रेनिंग को दो भागों में विभाजित करते हैं:

• संकेत वाला भाग (The Hinted Part): सिस्टम AI को यह पहचानने के लिए सिखाता है कि संकेत सही है, जिसका उपयोग मानक "सुपरवाइज्ड लर्निंग" (जैसे वर्कशीट को सुधारने वाला शिक्षक) के माध्यम से किया जाता है।
• जेनरेटेड भाग (The Generated Part): AI को केवल उस हिस्से के लिए "रिवॉर्ड" क्रेडिट मिलता है जिसे उसने वास्तव में लिखा है (बाकी का कोड)।

यह सुनिश्चित करता है कि AI सही रास्ते पर रहना सीखता है (संकेत की मदद से) और साथ ही यात्रा के बाकी हिस्से के लिए अच्छे अनुमान लगाना भी सीखता है।

उन्होंने क्या पाया

टीम ने तीन वास्तविक दुनिया के शॉपिंग डेटासेट्स पर परीक्षण किया: म्यूजिकल इंस्ट्रूमेंट्स (Musical Instruments), आर्ट्स एंड क्राफ्ट्स (Arts & Crafts), और वीडियो गेम्स (Video Games)। उन्होंने अपने तरीके की तुलना पुराने तरीकों से की।

• परिणाम: HCGRec ने सुझाव दिया कि यह AI की सिफारिश करने की क्षमता में काफी सुधार करता है, विशेष रूप से सूची में गहराई में स्थित आइटम (जैसे कि 50वां सबसे अच्छा मैच) खोजने के लिए।
• "जीरो-ग्रेडिएंट" (Zero-Gradient) का समाधान: सबसे रोमांचक खोज यह थी कि उन्होंने "फंसे हुए" ट्रेनिंग ग्रुप्स की संख्या को 70% से अधिक से घटाकर 20% से कम कर दिया। इसका मतलब है कि AI वास्तव में अपने लगभग सभी प्रयासों से सीख रहा है, न कि केवल भाग्यशाली प्रयासों से।
• संतुलन: उन्होंने पाया कि "संकेत" बहुत लंबा नहीं होना चाहिए (वरना वह पूरा उत्तर दे देगा) और संकेत के लिए "क्रेडिट" बहुत भारी नहीं होना चाहिए (वरना AI अनुमान लगाना छोड़ देगा)। थोड़ा सा मार्गदर्शन सबसे अच्छा काम करता है।

यह क्यों मायने रखता है

यह पेपर यह दावा नहीं करता कि इसने AI सिफारिशों को हमेशा के लिए हल कर दिया है। यह सुझाव देता है कि इन "जेनरेटिव" शॉपरों को प्रशिक्षित करने के वर्तमान तरीके में एक छिपा हुआ दोष है: वे असंभव स्थितियों से सीखने की कोशिश में समय बर्बाद करते हैं। केवल यह जाँचकर कि क्या AI खो गया है और उसे एक छोटा, लक्षित धक्का देकर, हम सीखने की प्रक्रिया को बहुत अधिक कुशल बना सकते हैं। यह यह समझने जैसा है कि किसी छात्र को गणित की ऐसी समस्या हल करने के लिए मजबूर करने के बजाय जिसे वह शुरू भी नहीं कर सकता, आप बस उसे पहली लाइन लिखने में मदद करते हैं ताकि वह बाकी का काम पूरा कर सके। परिणाम एक स्मार्ट, तेज़ सीखने वाला है जो जानता है कि सही रास्ता कैसे ढूँढा जाए, तब भी जब रास्ता कठिन हो।