Training Large Reasoning Models Efficiently via Progressive Thought Encoding
यह शोध पत्र प्रोग्रेसिव थॉट एनकोडिंग (Progressive Thought Encoding) को प्रस्तुत करता है, जो एक पैरामीटर-कुशल फाइन-ट्यूनिंग विधि है जो लार्ज रीजनिंग मॉडल्स को जटिल गणितीय बेंचमार्क पर काफी अधिक सटीकता प्राप्त करने में सक्षम बनाती है, साथ ही मध्यवर्ती तर्क (intermediate reasoning) को निश्चित आकार के वेक्टर्स में एनकोड करके मेमोरी बाधाओं को दूर करती है, जिससे सुदृढीकरण शिक्षण (reinforcement learning) के दौरान फुल-कैश बैकप्रोपैगेशन की आवश्यकता समाप्त हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत कठिन गणित की समस्या हल करने की कोशिश कर रहे हैं, जैसे कि कोई जटिल पहेली। आपके पास एक शानदार सहायक (AI) है जो चरणों के माध्यम से सोच सकता है, लेकिन इस सहायक की एक बहुत ही अजीब सीमा है: उसकी कार्यशील स्मृति (working memory) बहुत छोटी है।
वह एक बार में अपने सामने केवल 10 पृष्ठों के नोट्स रख सकता है। यदि समाधान के लिए 100 पृष्ठों के चिंतन की आवश्यकता है, तो जैसे ही वह पृष्ठ 11 लिखता है, पृष्ठ 1 मेज से गिर जाता है और हमेशा के लिए खो जाता है।
समस्या: "गिरते हुए नोट्स" की दुविधा
आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "नोट्स" टोकन (tokens) कहलाते हैं, और "मेज" KV कैश (KV Cache) (एक मेमोरी बफर) है।
- पुराना तरीका (पूर्ण स्मृति): कठिन समस्याओं को हल करने के लिए, AI को पहले एक विशाल मेज दी जाती थी जो उसके सभी 100 पृष्ठों को रख सके। लेकिन वह मेज इतनी बड़ी और भारी है कि उसे किराए पर लेने में बहुत पैसा खर्च होता है (महंगे GPU) और उसे व्यवस्थित करने में बहुत समय लगता है।
- "स्लाइडिंग विंडो" वाला तरीका (सस्ता डेस्क): पैसा बचाने के लिए, शोधकर्ताओं ने AI को एक छोटी, निश्चित आकार की मेज दी। जैसे-जैसे नए नोट्स आते थे, पुराने नोट्स किनारे से धकेल दिए जाते थे।
- दोष: यदि AI एक ऐसी समस्या हल कर रहा है जहाँ उत्तर पृष्ठ 90 पर पृष्ठ 5 के संकेत पर निर्भर करता है, और पृष्ठ 5 मेज से गिर गया है, तो AI भ्रमित हो जाता है और विफल हो जाता है। यह एक कहानी को पूरा करने की कोशिश करने जैसा है जब आप उसका प्रारंभ ही भूल गए हों।
समाधान: "प्रोग्रेसिव थॉट एनकोडिंग" (Progressive Thought Encoding)
लेखकों ने एक चतुर तरकीब निकाली जिसे "प्रोग्रेसिव थॉट एनकोडिंग" कहा जाता है।
पुराने नोट्स को मेज से गिरने और कचरे में जाने देने के बजाय, वे AI को एक नया कौशल सिखाते हैं: चलते-फिरते सारांश बनाना (Summarizing on the fly)।
यह इस प्रकार काम करता है, एक रचनात्मक उपमा का उपयोग करते हुए:
"यात्री पत्रकार" की उपमा
कल्पना कीजिए कि AI एक खोजी रिपोर्ट लिखने वाला पत्रकार है।
- प्रतिबंध: संपादक कहता है, "आप अपने डेस्क पर केवल अपने नोटबुक के अंतिम 10 पृष्ठ ही रख सकते हैं। बाकी को हटा दिया जाना चाहिए।"
- पुराना तरीका: पत्रकार बस अपने पुराने पृष्ठों को फेंक देता है। जब उसे पृष्ठ 3 के किसी तथ्य को संदर्भित करने की आवश्यकता होती है, तो वह उसे नहीं ढूंढ पाता। कहानी बिखर जाती है।
- नया तरीका (प्रोग्रेसिव थॉट एनकोडिंग):
- हर बार जब एक पृष्ठ को मेज से हटाया जाने वाला होता है, तो पत्रकार उसे केवल फेंकता नहीं है।
- इसके बजाय, वह उस पृष्ठ के सबसे महत्वपूर्ण सुरागों का एक एक-वाक्य का सारांश लिखता है और उसे एक विशेष "ट्रैवलिंग जर्नल" (यह "वेक्टर रिप्रेजेंटेशन" या "LoRA एडॉप्टर" है) में दर्ज करता है।
- इसके बाद वह पूरे पृष्ठ को हटा देता है, लेकिन वह जर्नल को अपने पास रखता है।
- जैसे-जैसे वह अधिक लिखता है, वह जर्नल में नए सारांश जोड़ता रहता है।
- जब उसे शुरुआत की किसी चीज़ को याद करने की आवश्यकता होती है, तो वह खोए हुए पृष्ठों को नहीं देखता; वह जर्नल को पढ़ता है।
यह क्यों एक गेम-चेंजर है
1. यह एक "जादुई बैकपैक" की तरह है
AI अपने सोचने के पूरे इतिहास को एक छोटे, हल्के "बैकपैक" (मॉडल वेट्स) में संकुचित करना सीख जाता है। भले ही डेस्क (कैश) छोटा हो, बैकपैक में उन सभी चीजों का सार होता जिनके बारे में AI ने अब तक सोचा है।
2. सस्ता और तेज़ प्रशिक्षण
चूंकि AI को अपने विचारों को रखने के लिए एक विशाल मेज की आवश्यकता नहीं है, इसलिए इसे बहुत सस्ते कंप्यूटरों पर प्रशिक्षित किया जा सकता है। शोध बताते हैं कि इससे मेमोरी का उपयोग लगभग 50% कम हो जाता है। यह एक गोदाम किराए पर लेने के बजाय बैकपैक का उपयोग करने जैसा है।
3. स्मार्ट सोच
आश्चर्यजनक रूप से, इस पद्धति ने न केवल पैसे बचाए; इसने AI को अधिक स्मार्ट भी बना दिया।
- जब AI को अपने विचारों का सारांश बनाने के लिए मजबूर किया जाता है, तो वह वास्तव में यह सीखने लगता है कि क्या महत्वपूर्ण है।
- कठिन गणित प्रतियोगिताओं (जैसे AIME) के परीक्षणों में, इस पद्धति ने मानक "बड़े डेस्क" वाले तरीकों को भारी अंतर से पीछे छोड़ दिया (कुछ परीक्षणों में 23% बेहतर)।
निष्कर्ष
यह पेपर AI की एक बड़ी बाधा को हल करता है: हम एक ऐसा सुपर-स्मार्ट AI कैसे बना सकते हैं जो बिना किसी बहुत महंगे कंप्यूटर के लंबे समय तक सोच सके?
अपने पिछले विचारों का सारांश बनाने का कौशल सिखाकर, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो:
- कुशल है: आधी मेमोरी का उपयोग करता है।
- स्केलेबल है: यह छोटे, अधिक सुलभ हार्डवेयर पर चल सकता है।
- सटीक है: यह पहले की तुलना में कठिन समस्याओं को बेहतर ढंग से हल करता है क्योंकि यह तर्क के "धागे" को नहीं खोता है।
यह एक ऐसे छात्र के बीच का अंतर है जो अपनी नोटबुक बहुत छोटी होने के कारण परीक्षा के निर्देशों का आधा हिस्सा भूल जाता है, और एक ऐसे छात्र के बीच जो पढ़े गए प्रत्येक पृष्ठ का एक आदर्श 'चीट-शीट' सारांश लिखता है, जिससे वह एक छोटी नोटबुक के साथ भी परीक्षा में उत्कृष्ट प्रदर्शन कर पाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।