SuperThoughts: Reasoning Tokens in Superposition
यह शोधपत्र SuperThoughts को प्रस्तुत करता है, जो एक ऐसी विधि है जो निरंतर चेन-ऑफ-थॉट (Chain-of-Thought) टोकन को सिंगल लेटेंट रिप्रेजेंटेशन (latent representations) में संकुचित करती है जिसे मल्टी-टोकन प्रेडिक्शन मॉड्यूल के माध्यम से डिकोड किया जाता है, ताकि जटिल गणित और रीजनिंग बेंचमार्क पर प्रतिस्पर्धी सटीकता बनाए रखते हुए रीजनिंग की लंबाई में 20-30% की कमी और इन्फरेंस थ्रूपुट में दोगुनी वृद्धि प्राप्त की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन गणित की समस्या को हल करने की कोशिश कर रहे हैं। आमतौर पर, एक स्मार्ट कंप्यूटर (जिसे लार्ज लैंग्वेज मॉडल कहा जाता है) इसे एक इंसान की तरह अंतिम उत्तर देने से पहले विचारों की एक लंबी सूची लिखने की तरह, चरण-दर-चरण खुद से बात करके हल करता है। इसे "चेन-ऑफ-थॉट" (CoT) कहा जाता है।
इस विचार प्रक्रिया के प्रत्येक चरण को एक एकल शब्द के रूप में सोचें जिसे कंप्यूटर लिखता है। एक कठिन समस्या को हल करने के लिए, इसे शायद 500 शब्द लिखने पड़ सकते हैं। इसके द्वारा लिखे गए हर एक शब्द के लिए, कंप्यूटर को रुकना, सोचना और एक विशाल गणना करनी पड़ती है। यह सटीक है, लेकिन धीमा है और बहुत अधिक ऊर्जा का उपयोग करता है, जैसे एक कार चलाना जहाँ आपको हर एक मीटर के लिए इंजन को रोकना और फिर से शुरू करना पड़ता है।
समस्या: बहुत अधिक रुकना
इस शोध के पीछे के शोधकर्ताओं ने पूछा: "हमें हर एक शब्द के लिए क्यों रुकना और फिर से शुरू करना पड़ता है? क्या कंप्यूटर एक साथ दो शब्दों के बारे में नहीं सोच सकता?"
कंप्यूटर को "अदृश्य" विचारों (शब्दों के बजाय) में सोचने के लिए बनाने के पिछले प्रयास विफल रहे क्योंकि कंप्यूटर भ्रमित हो जाता था और बिना स्पष्ट फीडबैक के अपना रास्ता भटक जाता था। यह केवल अपने दिमाग में सोचने से एक नई भाषा सीखने जैसा है बिना कभी बोलने के; आप खो सकते हैं क्योंकि आपको तब तक पता नहीं चलता कि आपके विचार सही हैं जब तक आप उन्हें ज़ोर से नहीं बोलते।
समाधान: सुपरथॉट्स (SuperThoughts)
यह शोध पत्र एक नया तरीका पेश करता है जिसे सुपरथॉट्स कहा जाता है। यह कैसे काम करता है, इसके लिए एक सरल उपमा (analogy) का उपयोग करें:
कल्पना कीजिए कि आप एक भोजन तैयार कर रहे हैं एक शेफ हैं।
- पुराना तरीका (Standard): आप एक सब्जी काटते हैं, उसे पकाते हैं, चखते हैं, फिर अगली सब्जी काटते हैं, पकाते हैं, चखते हैं। आप यह एक-एक करके करते हैं। इसमें बहुत समय लगता है।
- सुपरथॉट्स का तरीका: आप एक ही समय में दो सब्जियां काटते हैं और उन्हें एक विशेष "सुपर-बाउल" (यह कंप्रेसर/Compressor है) में डालते हैं। फिर आप इस सुपर-बाउल को पकाते हैं। जब आप इसे बाहर निकालते हैं, तो आपको केवल एक पकी हुई सब्जी नहीं मिलती; आपको दो पूरी तरह से पकी हुई सब्जियां परोसने के लिए तैयार मिलती हैं (यह मेन मॉड्यूल/Main Module और MTP मॉड्यूल/MTP Module का एक साथ काम करना है)।
दो विचारों को एक "सुपर-थॉट" में बांधकर, कंप्यूटर को समान परिणाम प्राप्त करने के लिए आधे 'कुकिंग स्टेप्स' (फॉरवर्ड पासेस) की आवश्यकता होती है। यह सैद्धांतिक रूप से गति को दोगुना कर देता है।
सुरक्षा जाल: "कॉन्फिडेंस चेक" (विश्वास की जाँच)
एक पेच है। कभी-कभी, दो विचारों को एक साथ बांधना बहुत कठिन होता है। यदि कंप्यूटर समस्या के वास्तव में पेचीदा हिस्से को हल करने की कोशिश कर रहा है, तो यदि वह एक साथ दो कदम उठाने की कोशिश करता है तो वह भ्रमित हो सकता है।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक कॉन्फिडेंस चेक जोड़ा है।
- इसे एक ड्राइवर की सड़क की जाँच करने जैसा समझें। यदि सड़क साफ और आसान है (एक "आसान" विचार), तो ड्राइवर तेज चलता है और एक साथ दो कदम लेता है।
- लेकिन यदि सड़क धुंधली या खतरनाक हो जाती है (एक "कठिन" विचार), तो ड्राइवर धीमा हो जाता है और पुराने तरीके पर वापस चला जाता है: एक बार में एक कदम।
यह स्वचालित रूप से होता है। यदि कंप्यूटर अगले दो शब्दों की सही भविष्यवाणी करने में 100% सुनिश्चित नहीं है, तो वह कहता है, "कोई बात नहीं, चलो अभी एक शब्द करते हैं," और फिर अगले एक के लिए फिर से प्रयास करता है। यह सुनिश्चित करता है कि कंप्यूटर तेज़ होने के चक्कर में गलतियाँ न करे।
उन्होंने क्या पाया
शोधकर्ताओं ने कई कठिन गणित और विज्ञान की पहेलियों (जैसे MATH500 और OlympiadBench) पर इसका परीक्षण किया। यहाँ क्या हुआ:
- गति: कंप्यूटर को समस्याओं को हल करने के लिए लगभग 20% से 30% कम चरणों की आवश्यकता पड़ी। यह एक लंबे सड़क मार्ग को शॉर्टकट लेकर आधा करने जैसा था।
- सटीकता: आश्चर्यजनक रूप से, कंप्यूटर बहुत अधिक मूर्ख नहीं हुआ। इसकी सटीकता धीमी और सावधानीपूर्ण विधि की तुलना में बहुत मामूली रूप से (100 में से लगभग 1 या 2 अंक) गिरी।
- आकार मायने रखता है: बड़े कंप्यूटर (अधिक "मस्तिष्क शक्ति" वाले) छोटे कंप्यूटरों की तुलना में "एक साथ दो" वाले तरीके को बेहतर ढंग से संभालते हैं।
संक्षेप में
सुपरथॉट्स एक तरीका है जिससे AI अपनी बुद्धिमत्ता खोए बिना तेज़ी से सोच सकता है। एक-एक कदम लेने के बजाय, यह एक साथ दो कदम उठाने की कोशिश करता है। यदि यह अनिश्चित महसूस करता है, तो यह सुनिश्चित करने के लिए कि यह सही है, यह स्वचालित रूप से एक बार में एक कदम लेने के लिए धीमा हो जाता है। यह जवाबों को काफी हद तक सही रखते हुए समय और कंप्यूटिंग शक्ति बचाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।