Multi-Stage Alignment of Large Language Models for Popularity Bias Mitigation in Generative Movie Recommendation
यह शोध पत्र एक बहु-चरणीय संरेखण पाइपलाइन प्रस्तावित करता है जो लोकप्रियता पूर्वाग्रह (popularity bias) को प्रभावी ढंग से कम करने के लिए प्राथमिकता निष्कर्षण (preference extraction), पर्यवेक्षित फाइन-ट्यूनिंग (supervised fine-tuning), और डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (Direct Preference Optimization) को जोड़ता है, जिससे प्रतिस्पर्धी सटीकता बनाए रखते हुए बेहतर नवीनता (novelity) और कैटलॉग कवरेज प्राप्त होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जादुई पुस्तकालय में प्रवेश कर रहे हैं जो आपके बारे में सब कुछ जानता है। आप उसे कहते हैं, "मुझे टाइम ट्रैवल वाली साइंस-फिक्शन फिल्में पसंद हैं," और वह तुरंत आपको दस फिल्मों की एक सूची फुसफुसाकर बताता है जो आपको पसंद आ सकती हैं। यह आधुनिक अनुशंसा प्रणालियों (recommendation systems) का वादा है, जो 'लार्ज लैंग्वेज मॉडल्स' (LLMs) नामक विशाल कंप्यूटर दिमागों द्वारा संचालित होते हैं। ये मॉडल उन सुपर-रीडर्स की तरह हैं जिन्होंने इंटरनेट पर मौजूद लगभग हर किताब, समीक्षा और फिल्म की कहानी को पढ़ लिया है। वे भाषा और संदर्भ को समझने में अविश्वसनीय रूप से स्मार्ट हैं। हालाँकि, इन सुपर-रीडर्स के साथ एक छिपी हुई समस्या है: वे "प्रसिद्ध" चीजों के प्रति जुनूनी हैं। क्योंकि उन्होंने बहुत कुछ पढ़ा है, वे जानते हैं कि द एवेंजर्स या टाइटैनिक का जिक्र हर जगह होता है, इसलिए वे सभी को वही लोकप्रिय हिट्स सुझाते रहते हैं, भले ही आपको वास्तव में 1974 की कोई अजीब, कम चर्चित इंडी फिल्म पसंद हो। यह एक ऐसे टूर गाइड की तरह है जो केवल शीर्ष पांच पर्यटक स्थलों को जानता है और आपको छिपे हुए रत्नों को दिखाने से इनकार करता है, चाहे आप कितनी भी जिद क्यों न करें। इसे "लोकप्रियता पूर्वाग्रह" (popularity bias) कहा जाता है, और यह पुस्तकालय को उबाऊ और दोहराव वाला बना देता है, जिससे वे अनूठे खजाने छिप जाते हैं जो वास्तव में आपके लिए एकदम सही हो सकते हैं।
शोधकर्ताओं ने इस प्रसिखी के जुनून को ठीक करने का निर्णय लिया। उन्होंने कंप्यूटर दिमाग को केवल "अधिक प्रयास करने" के लिए नहीं कहा; बल्कि उन्होंने मॉडल के सोचने के तरीके को बदलने के लिए एक विशेष, तीन-चरणीय प्रशिक्षण शिविर बनाया। सबसे पहले, उन्होंने मॉडल को एक अच्छा लाइब्रेरियन बनना सिखाया, यह दिखाकर कि लोग वास्तव में क्या पसंद करते हैं (एक चरण जिसे 'सुपरवाइज्ड फाइन-ट्यूनिंग' कहा जाता है)। फिर, उन्होंने "यह या वह" का एक खेल खेला जहाँ मॉडल को एक प्रसिद्ध फिल्म और एक कम प्रसिद्ध लेकिन समान रूप से दिलचस्प फिल्म के बीच चयन करना था, और उसे छिपे हुए रत्न को चुनने के लिए पुरस्कृत किया गया (एक चरण जिसे 'डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन' कहा जाता है)। "मददगार बनने की सीख" को "विविधता सीखने की सीख" से अलग करके, उन्होंने एक ऐसी प्रणाली बनाई जो आपको वे फिल्में सुझाती है जिन्हें आप वास्तव में पसंद करेंगे, न कि वे फिल्में जिन्हें दुनिया के बाकी सभी लोगों ने देखा है। उनके प्रयोगों ने दिखाया कि इस नई विधि ने कुछ मामलों में सुझाए गए लोकप्रिय फिल्मों की संख्या को आधा करने में सफलता प्राप्त की, जबकि सिफारिशें सटीक और मजेदार भी बनी रहीं।
तीन-चरणीय समाधान की कहानी
एक लार्ज लैंग्वेज मॉडल (LLM) को एक बहुत ही प्रतिभाशाली लेकिन थोड़े घमंडी मूवी क्रिटिक (फिल्म समीक्षक) के रूप में सोचें। इस क्रिटिक ने लाखों समीक्षाएं पढ़ी हैं और हजारों फिल्में देखी हैं, लेकिन क्योंकि उन्होंने बहुत कुछ देखा है, उनमें एक बुरी आदत है: वे केवल ब्लॉकबस्टर फिल्में ही सुझाते हैं। यदि आप उनसे फिल्म का सुझाव मांगते हैं, तो वे लगभग हमेशा अब तक की शीर्ष 10 सबसे लोकप्रिय फिल्में सुझाएंगे, इस बात को नजरअंदाज करते हुए कि शायद आपको एक्शन फिल्में पसंद न हों और शांत डॉक्यूमेंट्री पसंद हों। यह वही "लोकप्रियता पूर्वाग्रह" है जिससे यह पेपर निपटता है।
लेखकों ने महसूस किया कि क्रिटिक को केवल "अधिक विविध होने" के लिए कहना प्रभावी नहीं होता है। इसके बजाय, उन्होंने एक मल्टी-स्टेज एलाइनमेंट पाइपलाइन डिजाइन की, जो मॉडल को एक बेहतर, निष्पक्ष मार्गदर्शक बनाने के लिए एक तीन-अंकों वाले नाटक की तरह है।
अंक 1: प्रेफरेंस प्रोफाइल (तैयारी)
प्रशिक्षण शुरू होने से पहले, टीम उपयोगकर्ता के इतिहास को लेती है—जिन फिल्मों को उन्होंने उच्च रेटिंग दी और जिन्हें वे नापसंद करते थे—और उसे एक सरल कहानी में बदल देती है। कंप्यूटर को संख्याओं की एक अस्त-व्यस्त सूची देने के बजाय, वे एक प्रॉम्प्ट लिखते हैं जैसे: "इस उपयोगकर्ता को द गॉडफादर और इनसेप्शन पसंद है, लेकिन उन्हें गिगली और कैट्स नापसंद है।" यह मॉडल को एक स्पष्ट, मानवीय चित्र देता है कि उपयोगकर्ता वास्तव में क्या पसंद करता है।
अंक 2: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) – नियम सीखना
इस चरण में, मॉडल को एक विश्वसनीय रेकमेंडर (सिफारिश करने वाला) बनना सिखाया जाता है। शोधकर्ता इसे हजारों उदाहरण दिखाते हैं जहाँ एक उपयोगकर्ता की कहानी को उन फिल्मों की सूची के साथ जोड़ा जाता है जो वास्तव में अच्छे मिलान हैं लेकिन सबसे अधिक लोकप्रिय नहीं हैं। यह एक शिक्षक की तरह है जो छात्र को दिखाता है: "यह एक छात्र है जिसे हॉरर पसंद है; यहाँ एक बेहतरीन हॉरर फिल्म है जो द एक्सोरसिस्ट नहीं है। इस पैटर्न को याद करो।" मॉडल सुसंगत, संरचित सूचियाँ बनाना सीखता है जो उपयोगकर्ता की पसंद से मेल खाती हैं, लेकिन इस स्तर पर, वह केवल निर्देशों का पालन करना सीख रहा है, अभी तक अपने पूर्वाग्रह से लड़ना नहीं।
अंक 3: डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) – पूर्वाग्रह तोड़ने वाला
यही जादू वाला कदम है। अब जब मॉडल सूची बनाना जान गया है, तो वे इसे 'अंडरडॉग्स' (कम चर्चित) को प्राथमिकता देना सिखाते हैं। वे एक खेल बनाते हैं जहाँ मॉडल एक ही उपयोगकर्ता के लिए दो सूचियाँ देखता है:
- सूची A (अस्वीकृत): पाँच बहुत लोकप्रिय, मुख्यधारा की फिल्में।
- सूची B (पसंदीदा): पाँच कम लोकप्रिय फिल्में जो अभी भी उपयोगकर्ता के जॉनर (शैली) में पूरी तरह फिट बैठती हैं।
मॉडल को यह समझने के लिए प्रशिक्षित किया जाता है कि सूची B "बेहतर" उत्तर है। यह उस घमंडी क्रिटिक को यह बताने जैसा है कि, "आप प्रसिद्ध फिल्म चुनकर गलत हैं; छिपा हुआ रत्न ही सही चुनाव है।" ऐसा करके, मॉडल प्रसिद्ध वस्तुओं को सुझाने की इच्छा को सक्रिय रूप से दबाना और इसके बजाय विशिष्ट (niche), प्रासंगिक सामग्री की दृश्यता को बढ़ाना सीख जाता है।
उन्होंने क्या पाया
शोधकर्ताओं ने इस तीन-चरणीय विधि का परीक्षण तीन अलग-अलग मूवी डेटासेट्स पर किया: मूवीलेंस 1M (एक क्लासिक डेटासेट), नेटफ्लिक्स प्राइज (एक विशाल, अव्यवस्थित डेटासेट जिसमें अत्यधिक लोकप्रियता पूर्वाग्रह है), और फ्लिकस्कोर (भारतीय सिनेमा और क्षेत्रीय विविधता पर केंद्रित डेटासेट)। उन्होंने अपनी नई विधि की तुलना "पुराने तरीके" (बिना प्रशिक्षण के केवल जीरो-शॉट मॉडल का उपयोग करना) और एक साधारण ट्रिक (री-रैंकिंग) के विरुद्ध की, जहाँ आप मॉडल द्वारा सूची बनाने के बाद उसे बस री-रैंक कर देते हैं।
परिणाम काफी स्पष्ट थे:
- "घमंडी" मॉडल: जब अकेला छोड़ा गया (जीरो-शॉट), तो मॉडलों ने ज्यादातर प्रसिद्ध फिल्में सुझाईं। उदाहरण के लिए, नेटफ्लिक्स डेटासेट पर, सुझाई गई फिल्मों की औसत लोकप्रियता रैंक लगभग 1,600 थी (जिसका अर्थ है कि वे बहुत प्रसिद्ध थीं)।
- नई विधि: तीन-चरणीय प्रशिक्षण के बाद, मॉडल बहुत अधिक विविध फिल्में सुझाने लगे। नेटफ्लिक्स डेटासेट पर, औसत लोकप्रियता रैंक गिरकर लगभग 590 हो गई। इसका मतलब है कि वे काफी कम प्रसिद्ध फिल्में सुझा रहे थे, फिर भी वे उपयोगकर्ता के लिए प्रासंगिक थीं।
- सटीकता बनी रही: सबसे अच्छी बात यह थी कि मॉडल सटीक होना बंद नहीं हुआ। इसने यह नहीं सीखा कि केवल अलग दिखने के लिए रैंडम कचरा सुझाया जाए। "प्रिसिजन" (यह कितनी बार सटीक सुझाव देता है) लगभग समान रहा, जबकि "नोवेल्टी" (सुझावों में नवीनता और विशिष्टता) में भारी उछाल आया—नेटफ्लिक्स डेटासेट पर कभी-कभी 170% से भी अधिक की वृद्धि हुई।
उन्होंने यह भी पाया कि यह नई विधि "री-रैंकिंग" ट्रिक से बेहतर काम करती है। री-रैंकिंग यह है कि मॉडल को एक सूची बनाने के लिए कहें, और फिर एक इंसान (या एक साधारण कंप्यूटर स्क्रिप्ट) अंत में प्रसिद्ध फिल्मों को कम चर्चित फिल्मों से बदल देता है। पेपर ने दिखाया कि मॉडल को स्वयं (इंट्रिन्सिक एलाइनमेंट के माध्यम से) शुरुआत से ही कम चर्चित फिल्मों को चाहने के लिए प्रशिक्षित करना, केवल अंत में सूची को ठीक करने की तुलना में बेहतर और अधिक स्थिर परिणाम देता है।
यह क्यों मायने रखता है
यह पेपर सुझाव देता है कि हमें एक ऐसी अनुशंसा प्रणाली और एक ऐसी प्रणाली के बीच चुनाव करने की आवश्यकता नहीं है जो या तो सटीक हो या निष्पक्ष हो। पहले मॉडल को उपयोगकर्ता को समझने के लिए प्रशिक्षित करके, और फिर उसे विविधता को महत्व देने के लिए सिखाकर, हम ऐसा AI बना सकते हैं जो आपको उस अगली महान फिल्म को खोजने में मदद करे जिसे आपने पहले कभी नहीं सुना है, बजाय इसके कि वह आपको फिर से वही नवीनतम सुपरहीरो ब्लॉकबस्टर देखने के लिए कहे।
लेखक नोट करते हैं कि हालांकि उनकी विधि अच्छी तरह से काम करती है, लेकिन इसे प्रशिक्षित करने के लिए बहुत अधिक कंप्यूटर शक्ति की आवश्यकता होती है। वे यह भी बताते हैं कि उन्होंने उन उपयोगकर्ताओं पर इसका परीक्षण नहीं किया जिनके पास कोई इतिहास नहीं है ("कोल्ड स्टार्ट" समस्या), जो भविष्य के लिए एक चुनौती है। लेकिन उन उपयोगकर्ताओं के लिए जिन्होंने पहले से ही अपनी पसंद साझा की है, यह मल्टी-स्टेज दृष्टिकोण मूवी अनुशंसाओं को केवल सबसे लोकप्रिय चीजों के सेल्स पिच की तरह दिखने के बजाय, कुछ विशेष की वास्तविक खोज जैसा बनाने का एक व्यवस्थित और स्केलेबल तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।