QLPO: Quadrant-weighted Sampling for Length-aware Policy Optimization
यह शोध पत्र QLPO का प्रस्ताव करता है, जो GRPO का एक सरल रीसैंपलिंग-आधारित संस्करण है जो प्रशिक्षण के दौरान छोटे सही और लंबे गलत आउटपुट को प्राथमिकता देकर स्पष्ट रूप से प्रतिक्रिया की लंबाई को नियंत्रित करता है, जिससे विभिन्न मॉडल आकारों में तर्क संबंधी सटीकता को बनाए रखते हुए इन्फरेंस लेटेंसी (inference latency) को काफी कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपका पसंदीदा AI असिस्टेंट अविश्वसनीय रूप से बुद्धिमान है लेकिन साथ ही अविश्वसनीय रूप से बातूनी भी है। आप उससे गणित का एक सरल प्रश्न पूछते हैं, और एक त्वरित उत्तर देने के बजाय, वह एक उपन्यास लिख देता है, अपने हर विचार को समझाता है, अपने काम की तीन बार दोबारा जाँच करता है, और परेशानी के लिए माफी माँगता है। यह "लार्ज रीजनिंग मॉडल्स" (Large Reasoning Models) की वर्तमान वास्तविकता है। ये सुपर-स्मार्ट कंप्यूटर प्रोग्राम हैं जिन्हें "चेन-ऑफ-थॉट" (Chain-of-Thought) नामक प्रक्रिया के माध्यम से ज़ोर से सोचकर कठिन समस्याओं को हल करने के लिए प्रशिक्षित किया जाता है। वे 'रीइन्फोर्समेंट लर्निंग' (Reinforcement Learning) नामक तकनीक का उपयोग करते हैं, जो एक कुत्ते को प्रशिक्षित करने जैसा है: यदि कुत्ता आपके कहने पर "बैठो" कहता है तो उसे इनाम मिलता है। यदि AI सही उत्तर देता है, तो उसे एक डिजिटल इनाम मिलता है। समस्या क्या है? AI ने सीखा कि इनाम पाने का सबसे अच्छा तरीका बहुत अधिक बातें करना है। वह सोचता है कि अधिक शब्द एक बेहतर उत्तर के बराबर हैं, इसलिए वह हज़ारों अतिरिक्त शब्द उत्पन्न करने लगता है। यह AI को धीमा, चलाने में महंगा और पढ़ने में कष्टप्रه (annoying) बना देता है। वैज्ञानिक इन मॉडल्स को बिना "कम बुद्धिमान" या कम सटीक बनाए संक्षिप्त होना सिखाने की कोशिश कर रहे हैं।
यहाँ एक नई विधि आती है जिसे QLPO (Quadrant-weighted sampling for Length-aware Policy Optimization) कहा जाता है। सोचिए कि QLPO एक चतुर संपादक की तरह है जो केवल AI पर "छोटा हो जाओ!" चिल्लाता नहीं है। इसके बजाय, QLPO खेल बदल देता है क्योंकि यह AI के अभ्यास दौरों को देखता है और एक सरल नियम के आधार पर सबसे अच्छे दौरों को चुनता है: "छोटा और सही बेहतरीन है; लंबा और गलत भयानक है।"
यह जादू कैसे काम करता है, आइए समझते हैं। कल्पना कीजिए कि AI एक छात्र है जो परीक्षा दे रहा है। एक सामान्य प्रशिक्षण सत्र में, छात्र एक प्रश्न के लिए आठ अलग-अलग उत्तर लिखता है। शिक्षक (मानक प्रशिक्षण विधि) उन आठों को देखता है और कहता है, "ठीक है, तुम्हारा उत्तर सही है, लेकिन तुमने बहुत अधिक लिखा," या "तुम गलत हो, और तुमने बहुत कम लिखा।" यह अक्सर छात्र को भ्रमित कर देता है, जो सोच सकता है, "शायद मुझे सुरक्षित रहने के लिए और भी अधिक लिखना चाहिए!"
QLPO शिक्षक की रणनीति को बदल देता है। पहले, छात्र को सोलह उत्तर लिखने के लिए कहा जाता है (सामान्य से दोगुना)। फिर, शिक्षक इन सोलह उत्तरों को चार ढेरों में छाँटता है:
- छोटा और सही (स्वर्ण मानक/Gold Standard)
- लंबा और सही (ठीक है, लेकिन थोड़ा अधिक शब्दों वाला)
- छोटा और गलत (सही होने के लिए बहुत संक्षिप्त)
- लंबा और गलत (सबसे बुरा: एक लंबा, भ्रमित करने वाला ढेर)
फिर शिक्षक अधिकांश "लंबे और गलत" उत्तरों को फेंक देता है और लगभग सभी "छोटे और सही" उत्तरों को रखता है। वे इन चयनित उत्तरों को वापस आठ के एक समूह में मिला देते हैं और कहते हैं, "यही वह है जिससे तुम्हें सीखना चाहिए।" ऐसा बार-बार करने से, AI एक सूक्ष्म सबक सीखता है: "इनाम पाने के लिए, मुझे बहुत अधिक बोलने की ज़रूरत नहीं है। मुझे बस सही और कुशल होना है।"
शोधकर्ताओं ने पाया कि यह सरल पुनर्गठन अद्भुत परिणाम देता है। उन्होंने 1.5 बिलियन पैरामीटर्स से लेकर 32 बिलियन पैरामीटर्स तक के मॉडल्स पर इसका परीक्षण किया। परिणाम चौंकाने वाले थे: QLPO ने सभी मॉडल्स में AI के उत्तरों की लंबाई को 30% से 70% तक कम कर दिया। कुछ बहुत कठिन गणित परीक्षणों पर, इसने उत्तर की लंबाई को 17,000 से अधिक शब्दों से घटाकर लगभग 6,600 कर दिया, बिना किसी सटीकता को खोए। वास्तव में, कुछ कठिन बेंचमार्क पर, मॉडल्स का प्रदर्शन वास्तव में थोड़ा बेहतर हुआ या बिल्कुल वैसा ही रहा, जिससे साबित हुआ कि संक्षिप्त होने से वे कम बुद्धिमान नहीं हुए।
शोधकर्ताओं ने QLPO की तुलना अन्य विधियों से भी की जो AI को छोटा होने के लिए मजबूर करती हैं, जैसे कि बहुत अधिक शब्दों का उपयोग करने के लिए "जुर्माना" जोड़ना। उन्होंने पाया कि वे विधियाँ अक्सर उल्टा प्रभाव डालती हैं, जिससे AI भ्रमित या कम सटीक हो जाता है। हालाँकि, QLPO एक कोमल धक्के की तरह है न कि एक भारी हाथ की तरह। यह खेल के नियमों (इनाम) को नहीं बदलता है; यह केवल उन उदाहरणों को बदल देता है जिनका AI अध्ययन करता है।
दिलचस्प रूप से, लेखकों ने नोट किया कि यह विधि न केवल AI को छोटा बनाती है; यह इसे इस बारे में भी स्मार्ट बनाती है कि वह कैसे सोचता है। AI दोहराव वाले स्पष्टीकरणों और अनावश्यक जाँचों में समय बर्बाद करना बंद कर देता है। वह महत्वपूर्ण चरणों को रखना और फालतू बातों को हटाना सीख जाता है। हालाँकि इस विधि के लिए प्रशिक्षण के दौरान AI को कुछ अतिरिक्त उत्तर उत्पन्न करने की आवश्यकता होती है (जिसमें थोड़ा अधिक समय लगता है), लेकिन इसका लाभ बहुत बड़ा है: अंतिम मॉडल वास्तविक दुनिया में उपयोग के लिए बहुत तेज़ और सस्ता है।
संक्षेप में, QLPO सुझाव देता है कि हमें AI को चुप रहने के लिए छड़ी से मजबूर करने की ज़रूरत नहीं है; हमें बस उसे यह दिखाना है कि शांत, सही उत्तर ही वास्तव में मायने रखते हैं। यह हमारे बातूनी डिजिटल दोस्तों को कम शब्दों में अधिक कहना सिखाने का एक सरल, मजबूत तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।