J-CoT: Chain-of-Thought in J-Space
यह शोध पत्र J-CoT को प्रस्तुत करता है, जो एक आवर्ती तर्क ढांचा (recurrent reasoning framework) है जो मध्यवर्ती अवस्थाओं को एक "J-स्पेस" समन्वय प्रणाली के भीतर शब्दावली-अनुक्रमित गुणांकों (vocabulary-indexed coefficients) के रूप में प्रसारित करके मौजूदा लेटेंट-रीज़निंग विधियों में सुधार करता है, जिससे पूर्णतः मौखिक तर्क (fully verbalized rationales) या सघन छिपी हुई अवस्था पुनरावृत्ति (dense hidden state recurrence) की आवश्यकता के बिना कुशल गणना सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सोचने वाली मशीनों की गुप्त भाषा
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबट को एक कठिन पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। अतीत में, यह करने का सबसे अच्छा तरीका यह था कि रोबोट को "ज़ोर से सोचने" के लिए मजबूर किया जाए। उसे अपना तर्क लिखने के लिए अंतिम उत्तर देने से पहले पूर्ण अंग्रेजी वाक्यों में अपने हर एक कदम को लिखना पड़ता। इसे चेन-ऑफ-थॉट (Chain-of-Thought) कहा जाता है, और यह अच्छा काम करता है क्योंकि यह रोबोट की गति को धीमा कर देता है, जिससे उसे अपना काम जाँचने का समय मिलता है। लेकिन इसमें एक पेंच है: रोबोट को पूर्ण वाक्यों में बोलने के लिए मजबूर करना वैसा ही है जैसे किसी इंसान से यह कहना कि वह किसी मित्र को अपना पूरा आंतरिक विचार (internal monologue) पूरी तरह खत्म होने से पहले ही फुसफुसाकर बता दे। यह धीमा है, और इसमें व्याकरण और कहानी सुनाने में ऊर्जा बर्बाद होती है जबकि रोबोट को केवल गणित या तर्क करने की आवश्यकता होती है।
दूसरी ओर, कुछ वैज्ञानिकों ने रोबोट को पूरी तरह से मौन रहकर सोचने देने की कोशिश की, जहाँ चरणों के बीच गुप्त, अदृश्य संकेत पास किए जाते हैं। इसे लेटेंट रीजनिंग (Latent Reasoning) कहा जाता है। यह तेज़ है, लेकिन यह कक्षा में एक नोट पास करने जैसा है जो एक ऐसे कोड में लिखा गया है जो इतना सघन और अव्यवस्थित है कि कोई नहीं जानता कि वास्तव में कौन सी जानकारी महत्वपूर्ण है। रोबोट बिना किसी स्पष्ट तरीके से अपने विचारों को व्यवस्थित किए हुए, संख्याओं के समुद्र में खो सकता है।
तो, शोधकर्ताओं के लिए बड़ा सवाल यह है: क्या कोई मध्य मार्ग है? क्या हम रोबोट को अपने विचारों को आगे बढ़ाने का एक ऐसा तरीका दे सकते हैं जो व्यवस्थित और स्पष्ट हो, लेकिन हर छोटे विचार को पूर्ण वाक्य में बदलने में समय बर्बाद न करे? यही वह समस्या है जिसे "J-COT: Chain-of-Thought in J-Space" नामक शोध पत्र हल करने का प्रयास करता है।
शोध पत्र का बड़ा विचार: "J-थॉट" (J-Thought)
लेखक एक नई विधि पेश करते हैं जिसे J-CoT (J-Chain-of-Thought) कहा जाता है। रोबोट को एक कहानी लिखने या डेटा का एक अव्यवस्थित ढेर पास करने के लिए मजबूर करने के बजाय, J-CoT एक चतुर मध्यस्थ का उपयोग करता है जिसे J-थॉट कहा जाता है।
रोबोट के मस्तिष्क को लाखों किताबों वाले एक विशाल पुस्तकालय के रूप में सोचें। जब रोबोट सोच रहा होता है, तो वह आमतौर पर पूरी किताबें (वाक्य) पढ़ने और लिखने के लिए निकालता है। लेकिन J-CoT सुझाव देता है कि चरणों के बीच, रोबोट को पूरी किताब निकालने की आवश्यकता नहीं है। इसके बजाय, उसे केवल विशिष्ट पृष्ठ संख्याओं और हाइलाइट्स की एक सूची के साथ एक लाइब्रेरी कार्ड पास करने की आवश्यकता है।
यहाँ उनके "J-स्पेस" सिस्टम में यह कैसे काम करता है:
- शब्दावली सूचकांक (The Vocabulary Index): कल्पना कीजिए कि रोबोगी के शब्दकोश में हर शब्द का उसके मस्तिष्क में एक अद्वितीय पता (address) है।
- J-थॉट (The J-Thought): सोचने के एक चरण के अंत में, रोबोट एक वाक्य नहीं लिखता है। इसके बजाय, वह अपने मस्तिष्क की ओर देखता है और कहता है, "मैं इन विशिष्ट शब्द-पतों से संबंधित अवधारणाओं पर ध्यान केंद्रित कर रहा हूँ, और यहाँ बताया गया है कि मेरा ध्यान कितना गहरा है।" वह इन शब्द-पतों से जुड़े नंबरों (गुणांकों/coefficients) की एक छोटी सूची बनाता है।
- हैंडऑफ (The Handoff): यह सूची J-थॉट है। इसे अगले चरण को पास किया जाता है। यह एक वाक्य नहीं है, इसलिए यह तेज़ है। लेकिन क्योंकि यह विशिष्ट शब्दों से जुड़ा है, इसलिए यह व्यवस्थित और अर्थपूर्ण है।
- अगला चरण (The Next Step): रोबोट इस सूची को लेता है, अपने मस्तिष्क में "पतों" को ढूँढता है, और उस जानकारी का उपयोग करके सोचना जारी रखता है। वह तब तक अपना सारा भारी काम अपने पूर्ण, जटिल मस्तिष्क के भीतर कर सकता है जब तक कि वह अंतिम उत्तर देने के लिए तैयार न हो जाए।
उन्होंने क्या पाया
शोधकर्ताओं ने इस विचार का परीक्षण कुछ बहुत कठिन कार्यों पर किया, जैसे जटिल गणितीय समस्याओं को हल करना, विज्ञान के प्रश्नों के उत्तर देना और कंप्यूटर कोड लिखना। उन्होंने J-CoT की तुलना पुराने "ज़ोर से सोचने" वाले तरीके और "गुप्त कोड" वाले तरीके से की।
परिणाम काफी उत्साहजनक थे। उन्होंने पाया कि J-CoT-Zero (एक संस्करण जिसे किसी अतिरिक्त प्रशिक्षण की आवश्यकता नहीं थी) पहले से ही उन सर्वश्रेष्ठ "गुप्त कोड" विधियों के बराबर या कभी-कभी उनसे बेहतर था जिनका उन्होंने परीक्षण किया था। इसने गणितीय पहेलियों से लेकर कोडिंग चुनौतियों तक, उनके द्वारा परीक्षण किए गए प्रत्येक बेंचमार्क पर शीर्ष प्रदर्शन करने वालों की बराबरी की या उन्हें पीछे छोड़ दिया।
इससे भी बेहतर, जब उन्होंने "लाइब्रेरी कार्ड" पढ़ने और लिखने में और भी बेहतर होने के लिए J-CoT-Train नामक संस्करण को प्रशिक्षित किया, तो यह स्पष्ट विजेता बन गया। इसने गणित, विज्ञान, कोडिंग और तर्क के सभी कार्यों में उच्चतम अंक प्राप्त किए। उदाहरण के लिए, MATH-500 नामक एक कठिन गणित परीक्षण पर, प्रशिक्षित संस्करण ने 50.4% के पिछले सर्वोत्तम स्कोर से उछलकर 54.0% अंक प्राप्त किए।
यह क्यों महत्वपूर्ण है (और यह क्या नहीं है)
शोध पत्र सुझाव देता है कि यह "J-स्पेस" इंटरफ़ेस एक आदर्श संतुलन (sweet spot) है। यह साबित करता है कि रोबोट को स्पष्ट रूप से सोचने के लिए पूर्ण वाक्यों में बोलने के लिए मजबूर करने की आवश्यकता नहीं है, लेकिन आपको इसे अदृश्य संख्याओं के कोहरे में भटकने देने की भी आवश्यकता नहीं है। इस शब्दावली-अनुक्रमित सूची का उपयोग करके, रोबोट व्याकरण के बोझ के बिना अपने विचारों को व्यवस्थित रख सकता है।
हालाँकि, लेखक इस बात का दावा करने में सावधान हैं कि यह सब कुछ हमेशा के लिए हल करने वाला कोई जादुई समाधान (magic bullet) है। वे नोट करते हैं कि उनके परिणाम विशिष्ट परीक्षणों और मॉडलों पर आधारित हैं। वे यह भी बताते हैं कि जबकि "J-थॉट" एक बेहतरीन मध्य मार्ग है, रोबोट को अभी भी अपने मस्तिष्क के भीतर भारी गणना करनी होगी; J-थॉट केवल एक संदेशवाहक है।
संक्षेप में, शोध पत्र सुझाव देता है कि रोबोट को एक चरण से दूसरे चरण तक अपने विचारों को पास करने के तरीके को बदलकर—पूर्ण वाक्यों से एक स्मार्ट, शब्द-आधारित सूची में—हम इसे कठिन समस्याओं को हल करने में अधिक बुद्धिमान, तेज़ और कुशल बना सकते हैं। यह समझने जैसा है कि एक भीड़ भरे कमरे में संदेश पहुँचाने के लिए, आपको एक पैराग्राफ चिल्लाने या गुप्त कोड फुसफुसाने की आवश्यकता नहीं है; आपको बस सही कीवर्ड्स के साथ एक साइन बोर्ड दिखाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।