Think Deep, Speak Once: Relit, A Recursive Latent Implicit Transformer Framework
ReLIT एक हाइब्रिड फ्रेमवर्क है जो एक फ्रोजन (frozen) LLM को एक हल्के रिकर्सिव ब्लॉक के साथ उन्नत करता है ताकि लेटेंट स्पेस में कुशल, सिमेंटिक रूप से ग्राउंडेड "डीप थिंकिंग" को अंजाम दिया जा सके, जिससे स्पष्ट टोकन-आधारित चेन-ऑफ-थॉट जनरेशन के बिना उच्च तार्किक तर्क प्रदर्शन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली सुलझाने की कोशिश कर रहे हैं। अधिकांश लोग, और यहाँ तक कि आज के सबसे स्मार्ट कंप्यूटर प्रोग्राम भी, इसे ज़ोर से बोलकर खुद को समझाते हुए हल करते हैं। वे कहते हैं, "ठीक है, अगर A सच है, तो B सच होना चाहिए, और अगर B सच है, तो C..." यह एक कागज़ पर चरणों की एक लंबी, अव्यवस्थित सूची लिखने जैसा है। यह काम करता है, लेकिन यह धीमा है और शब्दों को लिखने के लिए बहुत अधिक स्याही (या कंप्यूटर पावर) खर्च करता है। वैज्ञानिक इसे "चेन-ऑफ-थॉट" (Chain-of-Thought) कहते हैं, और हालांकि यह बेहतरीन है, लेकिन यह एक दुकान तक जाने के लिए केवल चलने के लिए भारी पत्थरों से भरा बैकपैक ढोने जैसा है।
हाल ही में, शोधकर्ताओं ने सोचा: "क्या होगा अगर हम बिना बोले सोच सकें?" कल्पना कीजिए कि आपका मस्तिष्क आपके सिर के भीतर एक शांत, अदृश्य स्थान में उस सारी भारी मानसिक मेहनत को कर सके, और केवल तब बोले जब वह उत्तर के बारे में 100% सुनिश्चित हो। इस विचार को "लेटेंट रीजनिंग" (Latent Reasoning) कहा जाता है। यह मन में गणित करने जैसा है, न कि उसे लिखकर हल करने जैसा। लेकिन इसमें एक पेंच है: कंप्यूटर शब्दों को उत्पन्न करने (टेक्स्ट जेनरेट करने) में बहुत अच्छे हैं, लेकिन कभी-कभी वे बिना भ्रमित हुए या शब्दों का अर्थ खोए बिना गहरी, मौन सोच रखने में संघर्ष करते हैं। यह शोध पत्र, जो एक प्रमुख कंप्यूटर विज्ञान सम्मेलन में प्रस्तुत किया गया है, एक नया तरीका पेश करता है जिससे कंप्यूटर को "गहरा सोचने और एक बार बोलने" के लिए सिखाया जा सके।
समस्या: बहुत अधिक बकबक
वर्तमान अति-बुद्धिमान कंप्यूटर मॉडल, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) के रूप में जाना जाता है, उन प्रतिभाशाली छात्रों की तरह हैं जिन्हें गणित की समस्या के हर चरण पर अपना काम दिखाने के लिए मजबूर किया जाता है। यदि आप उनसे कोई कठिन प्रश्न पूछते हैं, तो वे केवल उत्तर नहीं देते; वे अपने तर्क को समझाने के लिए टेक्स्ट की एक लंबी धारा उत्पन्न करते हैं। हालांकि यह सही उत्तर पाने में मदद करता है, लेकिन यह अविश्वसनीय रूप से अक्षम है। यह एक शेफ से भोजन परोसने से पहले चाकू चलाने के हर प्रहार और बर्तन चलाने के हर घुमाव का वर्णन करने के लिए कहने जैसा है। इसमें बहुत समय लगता है, बहुत अधिक ऊर्जा खर्च होती है, और कभी-कभी शेफ बात करते-करते इतना थक जाता है कि वह गलती कर देता है।
समाधान: ReLIT (मौन विचारक)
इस शोध पत्र के लेखकों ने, जो भारतीय प्रौद्योगिकी संस्थान रुड़की से हैं, ReLIT (रिकर्सिव लेटेंट इमप्लिसिट ट्रांसफॉर्मर) नामक एक नया फ्रेमवर्क बनाया है। ReLIT को एक "साइलेंट थिंकर" सैंडविच के रूप में समझें।
कल्पना कीजिए कि एक बहुत ही जानकार, पूर्व-प्रशिक्षित लाइब्रेरियन (जिसे "फ्रोजन बैकबोन" कहा जाता है) है जो लाइब्रेरी के हर शब्द का अर्थ जानता है लेकिन वास्तविक सोच नहीं करता है। इस लाइब्रेरियन के बीच में, ReLIT एक छोटा, सुपर-फास्ट, ट्रेन करने योग्य "थिंकिंग ब्लॉक" डालता है।
यह प्रक्रिया कैसे काम करती है, इसके लिए एक सरल उपमा देखें:
- एंकर (लाइब्रेरियन): सबसे पहले, कंप्यूटर प्रश्न पढ़ता है और शब्दों का "अर्थ" जानने के लिए लाइब्रेरियन से पूछता है। यह सिस्टम को एक ठोस आधार देता है ताकि वह इस बात से न भटके कि प्रश्न किस बारे में है।
- स्क्रैचपैड (मौन विचार): चरणों को "A से B होता है" जैसे लिखने के बजाय, कंप्यूटर अपने मन में एक छिपा हुआ, अदृश्य "स्क्रैचपैड" बनाता है। यह एक अनुमान के साथ शुरू करता है।
- रिकर्सिव लूप (गहन गोता): यही जादू वाला हिस्सा है। कंप्यूटर एक लूप चलाता है जहाँ वह अपने अनुमान की जाँच करता है, एक कमी पाता है, और उसे ठीक करता है, और यह प्रक्रिया बार-बार चलती है। लेकिन यह सब मौन रहकर करता है। यह प्रक्रिया के दौरान कोई नया शब्द उत्पन्न नहीं करता है। यह केवल अपने आंतरिक "थॉट वेक्टर" (विचार का एक गणितीय प्रतिनिधित्व) को परिष्कृत करता है।
- हाल्टिंग सिग्नल ("मैं समाप्त हुआ" बटन): सिस्टम के पास एक विशेष सेंसर है जो जाँचता है, "क्या मैं स्थिर हूँ? क्या मेरा उत्तर सुसंगत है?" यदि उत्तर लगातार बदल रहा है, तो यह सोचता रहता है। एक बार जब उत्तर बदलना बंद हो जाता है और स्थिर हो जाता है, तो यह "हॉल्ट" (Halt) बटन दबा देता है।
- अंतिम उत्तर: केवल इसके बाद कि सारा मौन चिंतन पूरा हो गया है, कंप्यूटर अंततः बोलता है, और केवल अंतिम उत्तर आउटपुट करता है।
उन्होंने क्या पाया
शोधकर्ताओं ने इस "मौन विचारक" का कई तर्क पहेलियों पर परीक्षण किया, जिसमें वे कार्य शामिल हैं जहाँ आपको नियमों की एक श्रृंखला का पालन करना होता है (जैसे "यदि बॉब एक बिल्ली है, और सभी बिल्लियाँ स्तनधारी हैं, तो क्या बॉब एक स्तनधारी है?")।
- यह बिना बोले काम करता है: ProofWriter नामक एक डेटासेट पर, ReLIT ने 98.6% की सटीकता प्राप्त की। यह प्रभावशाली है क्योंकि इसने उन बड़े, अधिक महंगे मॉडलों की बराबरी की या उन्हें पीछे छोड़ दिया जो अपने चरणों को बोलकर समझाने पर निर्भर रहते हैं।
- यह कठिनाई के अनुसार ढल जाता है: सिस्टम इतना स्मार्ट है कि वह जानता है कि कितनी देर सोचना है। आसान पहेलियों के लिए, इसने लगभग 3.6 चरणों के मौन विचार के बाद रुकना शुरू किया। अधिक कठिन पहेलियों के लिए जिनमें अधिक भ्रमित करने वाले नियम थे (जैसे RuleTaker डेटासेट में), इसने स्वाभाविक रूप से अधिक समय तक सोचा, औसतन 5.2 चरण।
- यह बहुत कम डेटा के साथ काम करता है: यहाँ तक कि जब उन्होंने मॉडल को सीखने के लिए केवल 200 उदाहरण दिए (जो कि बहुत कम मात्रा है), तब भी यह तर्क को समझने में सक्षम था, हालाँकि इसे अपने उत्तर को स्थिर करने के लिए थोड़ा अधिक सोचना पड़ा (लगभग 7.8 चरण)।
यह क्यों महत्वपूर्ण है
यह शोध पत्र सुझाव देता है कि कंप्यूटर को और अधिक बुद्धिमान बनाने के लिए हमें आवश्यक रूप से उन्हें बड़ा बनाने या उन्हें अधिक मेमोरी देने की आवश्यकता नहीं है। इसके बजाय, हम उन्हें "गहरा" सोचने वाला बना सकते हैं। उन्हें एक छिपे हुए, निरंतर स्थान में अपने विचारों को परिष्कृत करने की अनुमति देकर, बजाय इसके कि उन्हें हर चरण को लिखने के लिए मजबूर किया जाए, हम गणना की शक्ति और समय की भारी बचत कर सकते हैं।
लेखक सावधानी से नोट करते हैं कि यह एक विशिष्ट प्रकार का तर्क है। वे यह नहीं कह रहे हैं कि यह अन्य सभी सोचने के तरीकों की जगह ले लेगा, लेकिन वे दिखाते हैं कि तार्किक कार्यों के लिए, "गहरा सोचना, एक बार बोलना" समस्याओं को हल करने का एक अत्यधिक कुशल और गणितीय रूप से स्थिर तरीका है। यह सिद्ध करता है कि एक मॉडल छोटा और कुशल हो सकता है लेकिन फिर भी उसमें तर्क की जटिल श्रृंखलाओं को सुलझाने की क्षमता हो सकती है, बशर्ते उसे पहले मौन रूप से सोचने की अनुमति दी जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।