Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training
यह शोध पत्र एक तीन-चरणीय प्रगतिशील पोस्ट-ट्रेनिंग फ्रेमवर्क (लीनियर प्रोबिंग, फुल फाइन-ट्यूनिंग, और रीइन्फोर्समेंट फाइन-ट्यूनिंग) प्रस्तावित करता है जो रिवॉर्ड-आधारित अनुकूलन को कार्य अनुकूलन से अलग करके अनुशंसा के लिए फाउंडेशन मॉडल्स को व्यावसायिक मेट्रिक्स के साथ प्रभावी ढंग से संरेखित करता है, जो ऑफलाइन प्रयोगों और बड़े पैमाने पर ऑनलाइन ए/बी परीक्षणों दोनों में बेहतर प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जादुई पुस्तकालय में कदम रख रहे हैं जहाँ किताबें आपस में बात करती हैं। यह सिर्फ कोई साधारण पुस्तकालय नहीं है; यह एक "फाउंडेशन मॉडल" (Foundation Model) पुस्तकालय है। इस मॉडल को एक सुपर-स्मार्ट, दुनिया देख चुके लाइब्रेरियन के रूप में सोचें जिसने अरबों कहानियाँ पढ़ी हैं और जानता है कि लोग किताबें देखते समय कैसा व्यवहार करते हैं। इस लाइब्रेरियन ने पहले से ही कहानी कहने के सामान्य नियमों और मानवीय जिज्ञासा को सीख लिया है। लेकिन पेचीदा हिस्सा यह है कि सिर्फ इसलिए कि लाइब्रेरियन को यह पता है कि किताब कैसे ढूँढनी है, इसका मतलब यह नहीं है कि वह यह भी जानता है कि पुस्तकालय के मालिक को वास्तव में क्या चाहिए। मालिक को शायद इस बात से फर्क पड़ता हो कि लोग पुस्तकालय में कितना समय बिताते हैं, या कितने लोग सदस्यता खरीदते हैं, न कि केवल इस बात से कि वे शेल्फ से कितनी किताबें उठाते हैं।
कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से अनुशंसा प्रणालियों (Recommender Systems) में, यह दैनिक संघर्ष है। हमारे पास ये विशाल, प्री-ट्रेंड AI मॉडल (लाइब्रेरियन) हैं जो यह बताने में माहिर हैं कि आप अगली चीज़ क्या क्लिक कर सकते हैं। लेकिन व्यवसाय को केवल क्लिक्स से अधिक चाहिए; उन्हें गहरा जुड़ाव (deep engagement) चाहिए, जैसे कि एक पूरी कॉमिक सीरीज़ को पूरा पढ़ना या प्रीमियम कंटेंट के लिए भुगतान करना। समस्या यह है कि "क्लिक्स" के संकेत हर जगह हैं और उन्हें देखना आसान है, जबकि "गहरी संतुष्टि" के संकेत दुर्लभ हैं और उन्हें ढूँढना कठिन है। यदि आप लाइब्रेरियन को सीधे उन दुर्लभ संकेतों के पीछे भागने के लिए सिखाने की कोशिश करते हैं, तो वे अक्सर भ्रमित हो जाते हैं, जो कुछ वे पहले से जानते थे उसे भूल जाते हैं, और अजीब चीजें रिकमेंड करने लगते हैं। यह पेपर एक चतुर, चरण-दर-चरण तरीके की खोज करता है जिससे इन डिजिटल लाइब्रेरियनों को प्रशिक्षित किया जा सके ताकि वे केवल यह अनुमान न लगाएं कि आप क्या क्लिक करेंगे, बल्कि वास्तव में आपको ऐसी कहानियाँ खोजने में मदद करें जिन्हें आप लंबे समय तक पसंद करेंगे।
तीन-चरणीय नृत्य: एक अनुशंसा लाइब्रेरियन को कैसे प्रशिक्षित करें
NAVER WEB-TOON के शोधकर्ताओं ने, जो डिजिटल कॉमिक्स के लिए एक विशाल प्लेटफॉर्म है, महसूस किया कि AI को एक साथ सब कुछ सिखाने की कोशिश करना आपदा का नुस्खा है। उन्होंने एक "प्रोग्रेसिव अलाइनमेंट" (Progressive Alignment) फ्रेमवर्क प्रस्तावित किया, जो मूल रूप से एक तीन-चरणों वाला ट्रेनिंग कैंप है जिसे एक सामान्य-उद्देश्य वाले AI को एक बिजनेस-सक्षम अनुशंसा विशेषज्ञ में बदलने के लिए डिज़ाइन किया गया है, बिना उसके दिमाग को खराब किए।
चरण 1: वार्म-अप (लीनियर प्रोबिंग - Linear Probing)
कल्पना कीजिए कि आपके पास एक मास्टर शेफ (एक प्री-ट्रेंड फाउंडेशन मॉडल) है जो कुछ भी बनाना जानता है। आप चाहते हैं कि वह एक विशिष्ट नया व्यंजन बनाए, लेकिन आप नहीं चाहते कि वह बाकी सब कुछ बनाना भूल जाए। यदि आप उन्हें अचानक नए चाकू और बर्तन (डाउनस्ट्रीम मॉड्यूल) थमा देते हैं और उन्हें तुरंत खाना बनाना शुरू करने के लिए कहते हैं, तो वे घबरा सकते हैं और अपने मौजूदा कौशल को बर्बाद कर सकते हैं।
इसलिए, पहला चरण लीनियर प्रोबिंग (LP) है। इस चरण में मास्टर शेफ का दिमाग फ्रीज (स्थिर) रहता है—वे अपनी मौलिक खाना पकाने की शैली को नहीं बदल सकते। आप उन्हें केवल नए चाकू और बर्तनों के साथ अभ्यास करने की अनुमति देते हैं। यह नए उपकरणों को शेफ के हाथों में सहज होने में मदद करता है बिना उनके मूल व्यंजनों को बिगाड़े। यह एक नए कर्मचारी को बॉस के साथ एक सप्ताह तक छायांकन (shadowing) करने देने जैसा है, इससे पहले कि उन्हें चूल्हा छूने की अनुमति दी जाए। यह AI के विशाल ज्ञान और कॉमिक्स की सिफारिश करने के विशिष्ट कार्य के बीच संबंध को स्थिर करता है।
चरण 2: पूर्ण अभ्यास (फुल फाइन-ट्यूनिंग - Full Fine-Tuning)
एक बार जब नए उपकरण स्थिर हो जाते हैं, तो शेफ को पूर्ण स्वतंत्रता के साथ खाना बनाने देने का समय आता है। यह फुल फाइन-ट्यूनिंग (FFT) है। अब, पूरे मॉडल को अनलॉक कर दिया जाता है। शेफ इस विशिष्ट रेस्टोरेंट के मेनू में विशेषज्ञता हासिल करने के लिए अपनी पूरी खाना पकाने की शैली को बदल सकता है। क्योंकि नए उपकरणों को चरण 1 में पहले ही वार्म-अप किया जा चुका था, इसलिए शेफ अभिभूत नहीं होता है। वे अपने सामान्य ज्ञान की ठोस नींव को बरकरार रखते हुए ग्राहकों की विशिष्ट पसंद (डाउनस्ट्रीम टास्क) को सीख सकते हैं। शोधकर्ताओं ने पाया कि इसे दो चरणों (LP फिर FFT) में करने से यह एक ही बड़ी छलांग लगाने से कहीं बेहतर था, जो अक्सर "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) की ओर ले जाता है—जहाँ AI स्मार्ट होना भूल जाता है क्योंकि वह बहुत अधिक विशिष्ट होने की कोशिश में व्यस्त होता है।
चरण 3: रिवॉर्ड गेम (रिनफोर्समेंट फाइन-ट्यूनिंग - Reinforcement Fine-Tuning)
यहीं पर जादू होता है। शेफ अब मेनू के अनुसार खाना बनाने में अच्छा है, लेकिन क्या वे वह बना रहे हैं जो मालिक वास्तव में चाहता है? मालिक को गहरी संतुष्टि (जैसे कि ग्राहक कॉमिक्स का पूरा सीजन खरीदना) की परवाह है, न कि केवल एक त्वरित स्नैक (एक सिंगल क्लिक) की। लेकिन गहरी संतुष्टि दुर्लभ है; अधिकांश लोग केवल ब्राउज़ करते हैं।
यदि आप शेफ को केवल दुर्लभ "गहरी संतुष्टि" वाली जीत के लिए लक्ष्य बनाने के लिए सिखाने की कोशिश करते हैं, तो वे बेतहाशा अनुमान लगाना शुरू कर सकते हैं। इसके बजाय, शोधकर्ताओं ने एक रिवॉर्ड मॉडल (Reward Model) का उपयोग किया। इसे एक टेस्ट-टेस्टर के रूप में सोचें जिसके पास एक विशेष स्कोरकार्ड है। टेस्ट-टेस्टर दुर्लभ, गहरे इंटरैक्शन को देखता है और उन्हें एक "रिवॉर्ड स्कोर" देता है।
तीसरे चरण में, रिनफोर्समेंट फाइन-ट्यूनिंग (RFT) में, शेफ केवल भीड़ को खुश करने के लिए खाना नहीं बनाता; वे टेस्ट-टेस्टर के स्कोर को खुश करने के लिए खाना बनाते हैं। AI कई सिफारिशें उत्पन्न करता है, टेस्ट-टेस्टर (रिवॉर्ड मॉडल) उन्हें गहरे जुड़ाव की संभावना के आधार पर स्कोर देता है, और AI उच्च स्कोर प्राप्त करने के लिए अपनी रणनीति को समायोजित करना सीखता है। महत्वपूर्ण रूप से, AI अभी भी उन "घने" (dense) संकेतों का उपयोग करता है (जैसे क्लिक) जो उसने चरण 2 में सीखे थे, यह जानने के लिए कि क्या रिकमेंड करना है, लेकिन "रिवॉर्ड" संकेत इसे निर्देशित करते हैं कि दीर्घकालिक खुशी को अधिकतम करने के लिए उन्हें कैसे रैंक किया जाए।
उन्होंने क्या पाया (और उन्होंने किस पर "ना" कहा)
टीम ने अपने वेबटून प्लेटफॉर्म से वास्तविक उपयोगकर्ता इंटरैक्शन के एक विशाल डेटासेट पर इस तीन-चरणी विधि का परीक्षण किया। उन्होंने अपने नए तरीके की तुलना पुराने तरीकों से की।
"यह न करें" की सूची:
पेपर स्पष्ट रूप से दो सामान्य शॉर्टकट के खिलाफ तर्क देता है:
- सीधे दुर्लभ व्यावसायिक लक्ष्यों पर प्रशिक्षण न दें। यदि आप शुरुआत से ही AI को "पेड कंटेंट कंप्लीशन" के लिए अनुकूलित करने की कोशिश करते हैं, तो यह सामान्यीकरण करने में विफल रहता है। यह एक छात्र को गुणा सीखने से पहले उन्नत कैलकुलस समस्याओं को हल करने के लिए सिखाने जैसा है। संकेत बहुत कम (दुर्लभ) हैं, और मॉडल खो जाता है।
- रिवॉर्ड मॉडल का उपयोग सीधे अंतिम रिकमेंडर के रूप में न करें। शोधकर्ताओं ने "टेस्ट-टेस्टर" (रिवॉर्ड मॉडल) को सीधे सिफारिशें देने वाले व्यक्ति के रूप में उपयोग करने का प्रयास किया। हालांकि यह मॉडल गहरे जुड़ाव को पहचानने में अच्छा था, लेकिन लाखों उपलब्ध कॉमिक्स को रैंक करने में यह बहुत खराब था। इसमें लाखों वस्तुओं में से सबसे अच्छी वस्तु चुनने के लिए आवश्यक "विभेदन" (discrimination) की कमी थी। पेपर सुझाव देता है कि रिवॉर्ड मॉडल एक खिलाड़ी के बजाय एक कोच के रूप में सबसे अच्छा है।
जीतने वाली रणनीति:
"प्रोग्रेसिव अलाइनमेंट" (LP → FFT → RFT) सबसे अच्छा काम करता है।
- ऑफलाइन टेस्ट: जब उन्होंने ऐतिहासिक डेटा पर सिमुलेशन चलाया, तो उनका तीन-चरणीय मॉडल सिंगल-फेज मॉडल से बेहतर रहा। विशेष रूप से, वह संस्करण जिसने सीखे गए रिवॉर्ड मॉडल के साथ GRPO (रिनफोर्समेंट लर्निंग का एक विशिष्ट प्रकार) का उपयोग किया, उसने उच्चतम स्कोर प्राप्त किया। इसने उच्च क्लिक-रेट (Rank NDCG) को बनाए रखते हुए उपयोगकर्ताओं को कंटेंट फनल में गहराई तक धकेलने (Funnel NDCG) में सफलता प्राप्त की।
- वास्तविक दुनिया का प्रमाण: वे केवल सिमुलेशन तक सीमित नहीं रहे। उन्होंने अपने लाइव प्लेटफॉर्म पर एक बड़ा A/B टेस्ट चलाया। उन्होंने अपने नए AI की तुलना अपने मानक, नॉन-फाउंडेशन मॉडल से की। परिणामों ने दिखाया कि नया फ्रेमवर्क लगातार उपयोगकर्ता जुड़ाव में सुधार करता है। "GRPO विद रिवॉर्ड मॉडल" वाला संस्करण विशेष रूप से उपयोगकर्ताओं को आगे पढ़ने और पेड एपिसोड तक पहुँचने के लिए प्रेरित करने में अच्छा था, जबकि "DPO" (एक अन्य एल्गोरिदम) वाला संस्करण शुरुआती क्लिक पाने के लिए थोड़ा बेहतर था।
मुख्य निष्कर्ष
पेपर सुझाव देता है कि शक्तिशाली AI रिकमेंडर बनाने का रहस्य केवल उन्हें अधिक डेटा देना या तुरंत सबसे कठिन लक्ष्य के लिए अनुकूलित करना नहीं है। यह चरणों (stages) के बारे में है। पहले, नए उपकरणों को स्थिर करें। दूसरा, मॉडल को विशेषज्ञ बनाएं। तीसरा, मॉडल को व्यावसायिक लक्ष्यों की ओर धीरे से निर्देशित करने के लिए एक सीखे हुए "रिवॉर्ड" सिग्नल का उपयोग करें, ताकि वह अच्छे, तत्काल चुनाव करने की अपनी क्षमता न खोए।
"कार्य सीखने" को "व्यावसायिक लक्ष्यों के साथ संरेखण" से अलग करके, शोधकर्ताओं ने एक तरीका खोजा जिससे उनका AI स्मार्ट और लाभदायक दोनों बन सका। यह एक याद दिलाता है कि कभी-कभी, सर्वश्रेष्ठ परिणाम प्राप्त करने के लिए, आपको अंत तक दौड़ने के बजाय धीरे-धीरे, चरण-दर-चरण आगे बढ़ना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।