Distributional Biases in Post-Training: A Markovian Analysis of Reasoning Trajectories
यह शोध पत्र तर्क (reasoning) को मार्कोव ट्रांज़िशन (Markov transitions) के रूप में मॉडल करके पोस्ट-ट्रेनिंग में अन्वेषण (exploration) के विरोधाभास को हल करता है, सैद्धांतिक रूप से यह सिद्ध करते हुए कि RLVR और ORM/PRM जैसी मानक विधियाँ मॉडलों को उच्च-संभाव्यता वाले पथों की ओर पक्षपाती बनाती हैं और दुर्लभ तर्क चरणों को भुला देती हैं, जबकि यह प्रदर्शित करते हुए कि इंस्टेंस रिजेक्शन (instance rejection) और KL रेगुलराइजेशन (KL regularization) जैसी अन्वेषण रणनीतियाँ इन महत्वपूर्ण प्रक्षेप पथों (trajectories) को संरक्षित करने में मदद करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "Distributional Biases in Post-Training: A Markovian Analysis of Reasoning Trajectories" का सरल भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।
मुख्य समस्या: "आलसी छात्र" का विरोधाभास (The "Lazy Student" Paradox)
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (एक AI मॉडल) है जिसने पुस्तकालय की हर किताब पढ़ ली है (प्री-ट्रेनिंग)। यह छात्र बहुत सी जानकारियाँ जानता है और कई समस्याओं को हल कर सकता है। हालाँकि, जब बात वास्तव में कठिन और पेचीदा गणितीय समस्याओं को हल करने की आती है, तो छात्र "आसान रास्ता" चुनने लगता है।
शोधकर्ताओं ने एक अजीब विरोधाभास देखा:
- लक्ष्य: हम चाहते हैं कि छात्र कठिन समस्याओं को बेहतर ढंग से हल करना सीखे। इसके लिए हम रीइन्फोर्समेंट लर्निंग (RL) जैसी विधियों का उपयोग करते हैं—जो मूल रूप से छात्र को सही उत्तरों के लिए 'गोल्ड स्टार' (पुरस्कार) देने और गलत उत्तरों के लिए कोई स्टार न देने जैसा है।
- अपेक्षा: हमें उम्मीद थी कि इस प्रशिक्षण से छात्र नए और रचनात्मक तरीके खोजने लगेगा।
- वास्तविकता: अधिक रचनात्मक होने के बजाय, छात्र और भी कठोर (rigid) होता जा रहा है। वे उन दुर्लभ, चतुर समाधानों को अनदेखा करने लगते हैं जो वास्तव में कठिन समस्याओं के लिए काम करते हैं, और केवल सबसे सामान्य, "स्पष्ट" चरणों पर ही टिके रहते हैं। वे उन "ट्रिक्स" को भूल जाते हैं जो वे पहले जानते थे।
शोध पत्र यह पूछता है: तर्क करने की क्षमता सुधारने की कोशिश वास्तव में छात्र को कठिन चीजों को भूलने पर क्यों मजबूर कर देती है?
उपमा: रास्तों का जंगल (The Analogy: The Forest of Paths)
इसे समझाने के लिए, लेखक छात्र के मस्तिष्क को एक जंगल के रूप में देखते हैं जहाँ हर रास्ता किसी समस्या को हल करने का एक तरीका है।
- पेड़ (तर्क पथ - Reasoning Paths): कुछ रास्ते चौड़े, धूप वाले और चलने में आसान हैं। ये "आसान-तर्क" (Easy-to-Reason) पथ हैं। ये सरल समस्याओं (जैसे "2+2") के लिए काम आते हैं।
- झाड़ियाँ (कठिन पथ - Hard Paths): कुछ रास्ते संकरे, घने और ढूँढने में कठिन हैं। ये "कठिन-तर्क" (Hard-to-Reason) पथ हैं। आपको पेचीदा समस्याओं (जैसे जटिल बीजगणित या तर्क पहेलियों) के लिए इनकी आवश्यकता होती है।
- बेस मॉडल (The Base Model): किसी भी विशेष प्रशिक्षण से पहले, छात्र दोनों—चौड़े रास्तों और संकरी झाड़ियों—को जानता है। हो सकता है कि वह झाड़ियों का उपयोग अक्सर न करे, लेकिन वह जानता है कि वे अस्तित्व में हैं।
क्या गलत हो जाता है? ("द स्क्वीजिंग इफेक्ट" - The "Squeezing Effect")
जब हम छात्र को गणित में बेहतर बनाने के लिए मानक प्रशिक्षण विधियों (जैसे RLVR या PPO) का उपयोग करते हैं, तो हम वास्तव में उन्हें कह रहे होते हैं: "उस रास्ते पर चलो जो तुम्हें सबसे भरोसेमंद तरीके से गोल्ड स्टार दिला सके।"
समस्या यह है कि "चौड़े, धूप वाले रास्ते" सांख्यिकीय रूप से अधिकांश समस्याओं के लिए सही होने की अधिक संभावना रखते हैं। इसलिए, प्रशिक्षण एल्गोरिदम छात्र को उन चौड़े रास्तों पर हर समय चलने के लिए प्रेरित करता है।
- द स्क्वीज़ (दबाव): जैसे-जैसे छात्र चौड़े रास्तों पर ध्यान केंद्रित करता है, संकरी झाड़ियाँ उनकी स्मृति से गायब होने लगती हैं। कठिन पथ चुनने की उनकी संभावना शून्य के करीब पहुँच जाती है।
- परिणाम: छात्र आसान समस्याओं का एक "विशेषज्ञ" बन जाता है लेकिन कठिन समस्याओं को हल करने की क्षमता खो देता है क्योंकि वह संकरे रास्तों को भूल चुका होता है। इसे "सिम्प्लिसिटी बायस" (Simplicity Bias) या "स्क्वीजिंग इफेक्ट" कहा जाता है।
"स्मार्ट" स्कोरिंग सिस्टम क्यों विफल होते हैं?
आप सोच सकते हैं, "ठीक है, चलिए एक स्मार्ट जज (रिवॉर्ड मॉडल) का उपयोग करते हैं जो केवल अंतिम उत्तर के लिए नहीं, बल्कि तर्क के हर चरण के लिए अंक देता है।"
शोध पत्र दिखाता है कि यहाँ तक कि ये स्मार्ट जज भी एक अंधे बिंदु (blind spot) रखते हैं। वे सटीकता (correctness) के बजाय निरंतरता (consistency) को पुरस्कृत करने की प्रवृत्ति रखते हैं।
- यदि कोई पथ एक मानक, सामान्य पैटर्न जैसा दिखता है, तो जज उसे उच्च स्कोर देता है, भले ही वह किसी विशिष्ट कठिन समस्या के लिए गलत हो।
- यदि कोई पथ दुर्लभ और असामान्य (झाड़ियाँ) है, तो जज उसे कम स्कोर देता है क्योंकि वह "असामान्य" है, भले ही वह उस विशिष्ट कठिन समस्या को हल करने का एकमात्र सही तरीका हो।
इसलिए, प्रशिक्षण विधि और स्कोरिंग सिस्टम दोनों मिलकर छात्र को कठिन, दुर्लभ रास्तों को अनदेखा करने के लिए मजबूर करते हैं।
समाधान: झाड़ियों को जीवित कैसे रखें (How to Keep the Thickets Alive)
लेखक दो मुख्य तरीके प्रस्तावित करते हैं ताकि छात्र कठिन रास्तों को भूलने से बच सके:
1. आसान प्रश्नों को अस्वीकार करें (करिकुलम लर्निंग - Curriculum Learning)
कल्पना कीजिए कि आप छात्र को प्रशिक्षित कर रहे हैं। यदि आप उन्हें ऐसा प्रश्न देते हैं जिसे वे पहले से ही चौड़े रास्तों का उपयोग करके आसानी से हल कर सकते हैं, तो उन्हें उसका अभ्यास न करने दें।
- क्यों? यदि वे आसान प्रश्नों का अभ्यास करते रहेंगे, तो वे केवल चौड़े रास्तों को ही मजबूत करेंगे और झाड़ियों को भूल जाएंगे।
- समाधान: केवल वे प्रश्न दिखाएं जहाँ आसान रास्ते विफल हो जाते हैं। यह उन्हें कठिन ट्रिक्स को खोजने और उन्हें मजबूत करने के लिए मजबूर करता है। शोध पत्र सिद्ध करता है कि यह "अस्वीकृति" रणनीति छात्र को आसान चीजों को खोए बिना कठिन चीजें सीखने में मदद करती है।
2. "जिज्ञासा" दंड जोड़ें (KL Regularization)
प्रशिक्षण प्रक्रिया में, एक नियम जोड़ें जो कहता है: "जो तुम पहले से जानते थे, उससे बहुत अधिक मत बदलो।"
- उपमा: यह छात्र को यह बताने जैसा है कि, "तुम नई चीजें सीख सकते हो, लेकिन अपने पास मौजूद पुराने नक्शों को मत भूलना।"
- समाधान: छात्र के मूल ज्ञान (Base Model) से उनके विचलन को सीमित करके, हम उन्हें अपनी संकरी झाड़ियों को पूरी तरह से मिटाने से रोकते हैं। यह विविध, कठिन समस्याओं को संभालने की उनकी क्षमता को सुरक्षित रखता है।
3. बेहतर स्कोरिंग (DPRM)
लेखक तर्क के चरणों को स्कोर करने का एक नया तरीका भी प्रस्तावित करते हैं, जिसे DPRM (Doob’s h-Transform-induced Process Reward Model) कहा जाता है।
- केवल यह देखने के बजाय कि कोई चरण कितना "सामान्य" है, यह विधि किसी पथ के सही उत्तर तक पहुँचने की क्षमता (potential) को देखता है, जिसे उसकी दुर्लभता के आधार पर समायोजित किया जाता है।
- यह छात्र को एक बोनस देने जैसा है यदि वह कम चले गए रास्ते का पता लगाता है जिसमें काम करने की अच्छी संभावना है, बजाय इसके कि उसे केवल असामान्य होने के कारण दंडित किया जाए।
संक्षेप में (Summary in a Nutshell)
- समस्या: AI मॉडल, जब उन्हें तर्क करने के लिए प्रशिक्षित किया जाता है, तो वे "आलसी" होने लगते हैं। वे दुर्लभ, चतुर समाधानों (कठिन पथ) को भूल जाते हैं और केवल सामान्य, सरल समाधानों (आसान पथ) पर ही टिके रहते हैं।
- कारण: मानक प्रशिक्षण उन सबसे अधिक बार दिखने वाले पैटर्न को पुरस्कृत करता है, जो आमतौर पर आसान होते हैं। यह "स्क्वीज़" या दबाव डालता है जिससे कठिन, दुर्लभ पैटर्न बाहर निकल जाते हैं।
- समाधान:
- उन आसान प्रश्नों पर प्रशिक्षण देना बंद करें जहाँ मॉडल पहले से ही उत्तर जानता है।
- एक बाधा (constraint) जोड़ें जो उन्हें उनके मूल, व्यापक ज्ञान को भूलने से रोकती है।
- एक स्मार्ट स्कोरिंग का उपयोग करें जो दुर्लभ लेकिन सही तर्क पथों को महत्व देती है।
यह शोध पत्र गणितीय रूप से सिद्ध करता है कि इन सुधारों के बिना, AI मॉडल अपनी कठिन, जटिल समस्याओं को हल करने की क्षमता खो देंगे, भले ही वे आसान समस्याओं में बेहतर हो रहे हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।