CoT-Space: A Theoretical Framework for Internal Slow-Thinking via Reinforcement Learning
यह शोध पत्र CoT-Space को प्रस्तुत करता है, जो एक सैद्धांतिक ढांचा है जो चेन-ऑफ-थॉट (Chain-of-Thought) तर्क को एक निरंतर अर्थपूर्ण स्थान (continuous semantic space) के भीतर एक अनुकूलन प्रक्रिया के रूप में मॉडल करता है ताकि अंडरफिटिंग और ओवरफिटिंग के बीच एक ट्रेड-ऑफ के रूप में इष्टतम तर्क लंबाई के अभिसरण (convergence) की व्याख्या की जा सके, जिससे सुदृढीकरण शिक्षण (Reinforcement Learning) के माध्यम से टेस्ट-टाइम स्केलिंग के लिए एक सिद्धांतपूर्ण आधार प्रदान किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Why Does Reasoning Length Converge?" पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ स्पष्टीकरण दिया गया है।
बड़ा सवाल: AI मॉडल अनंत काल तक सोचना क्यों नहीं जारी रखते?
कल्पना कीजिए कि आप एक कठिन गणित की समस्या को हल करने की कोशिश कर रहे हैं। आप एक चरण लिख सकते हैं, उत्तर की जाँच कर सकते हैं, और रुक सकते हैं। या, आप एक हज़ार चरण लिख सकते हैं, हर एक संख्या की दोबारा जाँच कर सकते हैं, जब तक कि आप पूरी तरह आश्वस्त न हो जाएं।
AI की दुनिया में, शोधकर्ताओं ने कुछ अजीब देखा। जब वे लार्ज लैंग्वेज मॉडल्स (LLMs) को अधिक गहराई से सोचने के लिए प्रशिक्षित करते हैं (जिसे 'रीइन्फोर्समेंट लर्निंग' कहा जाता है), तो मॉडल अनंत काल तक लंबे और लंबे विचार (chains of thought) उत्पन्न करना जारी नहीं रखते। इसके बजाय, वे स्वाभाविक रूप से एक विशिष्ट "स्वीट स्पॉट" (सही लंबाई) पर आकर रुक जाते हैं। यदि वे बहुत कम लिखते हैं, तो वे उत्तर गलत देते हैं। यदि वे बहुत अधिक लिखते हैं, तो भी वे गलत होते हैं (या समय बर्बाद करते हैं)।
यह पेपर पूछता है: AI स्वाभाविक रूप से इस आदर्श लंबाई को क्यों पाता है और वहीं क्यों रुक जाता है?
समस्या: शब्दों को गिनना बनाम विचारों को समझना
लंबे समय तक, वैज्ञानिकों ने AI का विश्लेषण शब्द-दर-शब्द (टोकन-दर-टोकन) करके किया। उन्होंने AI की सोच को एक ट्रेन की तरह माना जो एक स्टेशन (शब्द) से दूसरे स्टेशन तक चलती है।
लेखक कहते हैं कि यह एक गैलेक्सी को समझने के लिए व्यक्तिगत सितारों को गिनने जैसा है। यह बहुत अव्यवस्थित और विविक्त (discrete) है। इसके बजाय, वे गैलेक्सी को स्वयं (सेमेंटिक स्पेस) देखने का प्रस्ताव देते हैं।
- पुराना दृष्टिकोण (टोकन-स्तर): कल्पना कीजिए कि आप एक जंगल में चल रहे हैं जहाँ हर एक पत्ता एक अलग, विशिष्ट कदम है। वहां रास्ता देखना कठिन है।
- नया दृष्टिकोण (रीजनिंग-स्तर): लेखक ज़ूम आउट करते हैं। वे कहते हैं कि भले ही AI एक ही विचार को व्यक्त करने के लिए कई अलग-अलग शब्द लिखता है (जैसे, "कुल की गणना करें," "योग का पता लगाएं," "गणित करें"), वे अलग-अलग शब्द संयोजन एक ही विचार का प्रतिनिधित्व करते हैं।
- उपमा: AI के तर्क (reasoning) स्थान को एक चिकनी, निरंतर पहाड़ी के रूप में सोचें। भले ही AI को कई "विविक्त कदम" (विशिष्ट शब्द लिखना) लेने पड़ते हैं, लेकिन विचारों का अंतर्निहित परिदृश्य चिकना और निरंतर है, जैसे कि एक स्लाइड।
मुख्य खोज: "गोल्डिलॉक्स" (Goldilocks) ट्रेड-ऑफ
यह पेपर तर्क देता है कि AI आदर्श तर्क लंबाई इसलिए पाता है क्योंकि यह अंडरफिटिंग (Underfitting) और ओवरफिटिंग (Overfitting) के बीच एक क्लासिक संतुलन है।
1. अंडरफिटिंग (बहुत कम सोचना)
- उपमा: कल्पना कीजिए कि आप एक चौड़ी नदी को कूदकर पार करने की कोशिश कर रहे हैं। यदि आप केवल एक या दो छोटे कूद लगाते हैं, तो आप पानी में गिर जाते हैं।
- पेपर का दावा: यदि तर्क श्रृंखला (reasoning chain) बहुत छोटी है, तो AI ने समाधान तक पहुँचने के लिए पर्याप्त "कदम" नहीं उठाए हैं। यह एक जटिल गणितीय समस्या को आवश्यक मध्यवर्ती गणनाओं के बिना हल करने की कोशिश करने जैसा है। AI विफल हो जाता है क्योंकि उसने पर्याप्त नहीं सोचा।
2. ओवरफिटिंग (बहुत अधिक सोचना)
- उपमा: कल्पना कीजिए कि आप उसी नदी को पार कर रहे हैं, लेकिन अब आप 1,000 छोटे, डगमगाते कदम उठाते हैं। आप लड़खड़ाने लगते हैं, हर कंकड़ से भ्रमित होने लगते हैं, और आप गलती से हर एक हरकत का बहुत अधिक विश्लेषण करने के कारण पथ से नीचे उतर सकते हैं।
- पेपर का दावा: यदि तर्क श्रृंखला बहुत लंबी है, तो AI सामान्य तर्क सीखने के बजाय प्रश्न की विशिष्ट बारीकियों को "याद" करने लगता है। वह प्रॉम्प्ट की सटीक शब्दावली के प्रति बहुत संवेदनशील हो जाता है। यह उस छात्र की तरह है जो अभ्यास परीक्षण के लिए उत्तर कुंजी को रट लेता है लेकिन वास्तविक परीक्षा में विफल हो जाता है क्योंकि प्रश्न थोड़े अलग होते हैं। अतिरिक्त सोच "शोर" (noise) और भ्रम पैदा करती है।
"शोर" (Noise) का रूपक: सही कदम का आकार खोजना
लेखक भौतिकी और मशीन लर्निंग से जुड़े शोर (यादृच्छिकता/randomness) के एक चतुर रूपक का उपयोग करते हैं।
- सेटअप: कल्पना कीजिए कि AI एक घाटी के निचले हिस्से (सही उत्तर) को खोजने की कोशिश कर रहा है।
- बहुत छोटा (कम शोर): यदि AI बड़े, आत्मविश्वासी कदम उठाता है (बहुत छोटी रीजनिंग), तो वह घाटी के निचले हिस्से को कूदकर पार कर सकता है और दूसरी ओर जा सकता है, जिससे समाधान छूट जाता है।
- बहुत लंबा (उच्च शोर): यदि AI छोटे, हिचकिचाते कदम उठाता है (बहुत लंबी रीजनिंग), तो वह विवरणों में खो जाता है। वह इतना हिलने-डुलने (शोर) लगता है कि वह नीचे जाने वाले चिकने रास्ते को नहीं ढूंढ पाता।
- स्वीट स्पॉट: एक "गोल्डिलॉक्स" मात्रा में तर्क लंबाई होती है जो AI को लक्ष्य को मिस करने या कूदने के बजाय घाटी का पता लगाने में मदद करने के लिए बिल्कुल सही मात्रा में "शोर" प्रदान करती है।
प्रयोगों ने क्या दिखाया
शोधकर्ताओं ने इस सिद्धांत का परीक्षण वास्तविक AI मॉडल्स के साथ किया और चार मुख्य बातें पाईं:
- कठिन समस्याओं के लिए लंबे पथ की आवश्यकता होती है: ठीक वैसे ही जैसे एक कठिन पहेली के लिए अधिक टुकड़ों की आवश्यकता होती है, कठिन गणितीय समस्याओं ने AI को "अंडरफिटिंग" से बचने के लिए स्वाभाविक रूप से लंबी विचार श्रृंखलाएं उत्पन्न करने के लिए मजबूर किया।
- स्मार्ट मॉडल्स को छोटे पथों की आवश्यकता होती है: आश्चर्यजनक रूप से, बड़े, अधिक शक्तिशाली मॉडल्स वास्तव में छोटी तर्क श्रृंखलाओं पर स्थिर हुए। क्यों? क्योंकि वे सीखने में इतने अच्छे हैं कि उन्हें बहुत अधिक समझाने की आवश्यकता नहीं है। यदि वे बहुत अधिक सोचते हैं, तो वे विशिष्ट प्रश्न को ओवरफिट (याद) करने लगते हैं। "सामान्य" और मजबूत रहने के लिए उन्हें जल्दी रुकने की आवश्यकता होती है।
- यह मायने नहीं रखता कि आप उन्हें कैसे प्रशिक्षित करते हैं: चाहे उन्होंने विभिन्न प्रशिक्षण एल्गोरिदम (जैसे विभिन्न प्रकार की रीइन्फोर्समेंट लर्निंग) का उपयोग किया हो, AI हमेशा एक दिए गए समस्या के लिए उसी "इष्टतम लंबाई" पर अभिसरित (converge) हुआ। लंबाई समस्या और मॉडल का गुण है, न कि प्रशिक्षण पद्धति का।
- अधिक शोर = छोटे पथ: जब प्रशिक्षण वातावरण अधिक "शोर वाला" (अधिक यादृच्छिक) था, तो AI ने भ्रमित होने से बचने के लिए छोटे, अधिक मजबूत पथ लेना सीखा।
निष्कर्ष
पेपर निष्कर्ष निकालता है कि तर्क लंबाई का "अभिसरण" (convergence) कोई बग नहीं है; यह एक फीचर है। यह AI द्वारा समस्या को हल करने के लिए पर्याप्त काम करने (अंडरफिटिंग से बचना) और इतना अधिक काम न करने (ओवरफिटिंग से बचना) के बीच संतुलन बनाने का स्वाभाविक परिणाम है।
AI के तर्क को शब्दों की एक टेढ़ी-मेढ़ी सूची के बजाय एक चिकनी, निरंतर यात्रा के रूप में देखकर, लेखक दिखाते हैं कि ये मॉडल वास्तव में उन्हीं मौलिक नियमों का पालन कर रहे हैं जिनका पालन मनुष्यों और शास्त्रीय मशीनों ने दशकों से किया है। वे बस सोचने के लिए सही "गोल्डिलॉक्स" लंबाई पा रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।