Deductive Logic in Language Models: Horizontal vs Vertical Reasoning
यह शोध पत्र इस बात की जांच करता है कि सिंथेटिक निगमनात्मक कार्यों (synthetic deductive tasks) पर प्रशिक्षित छोटे ट्रांसफार्मर मॉडल किस प्रकार विशिष्ट क्षैतिज (ऑटोरेग्रेसिव) और ऊर्ध्वाधर (निहित) तंत्रों के माध्यम से तर्क को लागू करते हैं, जो यह प्रकट करता है कि चेन-ऑफ-थॉट (Chain-of-Thought) पर्यवेक्षण क्षैतिज परिवेश में वास्तविक नियम-आधारित अनुमान को बढ़ावा देता है, जबकि ऊर्ध्वाधर परिवेश में जटिल तर्क पैटर्न विकसित करने के लिए पाठ्यक्रम शिक्षण (curriculum learning) के रूप में कार्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक नन्हा, कोरा दिमाग वाला रोबोट (एक छोटा भाषा मॉडल) है जो दुनिया के बारे में कुछ नहीं जानता। आप उसे तर्क पहेलियाँ (logic puzzles) हल करना सिखाना चाहते हैं। यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ शोधकर्ता इस रोबोट के दिमाग के अंदर झाँककर देखते हैं कि वह चीज़ों को कैसे सुलझाता है। उन्होंने पाया कि रोबोट दो बहुत अलग तरीकों से पहेलियाँ हल कर सकता है, जो इस बात पर निर्भर करता है कि आप उसे कैसे सिखाते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
सोचने के दो तरीके: "चलना" बनाम "टेलीपोर्ट करना"
शोधकर्ताओं ने रोबोट का दो प्रकार की पहेलियों पर परीक्षण किया:
- चेन पहेली (The Chain Puzzle): बिंदुओं को जोड़ना (जैसे, यदि A से B तक जाता है, और B से C तक जाता है, तो क्या A से C तक जाता है?)।
- ट्री मेज़ (The Tree Maze): पेड़ के शीर्ष से नीचे के एक विशिष्ट पत्ते तक का रास्ता खोजना।
उन्होंने पाया कि रोबोट सोचने के दो अलग-अलग मोड का उपयोग करता है:
1. क्षैतिज तर्क (Horizontal Reasoning): "कदम-दर-कदम चलने वाला"
उपमा: कल्पना कीजिए कि आप एक अंधेरे जंगल में चल रहे हैं। आप केवल अपने सामने अगला कदम देख सकते हैं। अंत तक पहुँचने के लिए, आपको एक कदम उठाना होगा, चारों ओर देखना होगा, फिर अगला कदम उठाना होगा, और इसी तरह। आप आगे की छलांग नहीं लगा सकते।
- यह कैसे काम करता है: यह तब होता है जब रोबोट को चेन-ऑफ-थॉट (CoT) के माध्यम से सिखाया जाता है। यह रोबोट को एक नोटबुक देने जैसा है जहाँ उसे अपना अंतिम उत्तर देने से पहले अपनी यात्रा का हर एक कदम लिखना पड़ता है।
- रोबोट क्या सीखता है: रोबोट एक जासूस की तरह निशान का पीछा करना सीखता है। वह एक नियम ढूंढता है (A से B तक जाता है), उसे लिखता है, और फिर उस परिणाम का उपयोग अगले नियम (B से C तक) को खोजने के लिए करता है।
- गुप्त तंत्र: रोबोट के मस्तिष्क के भीतर, छोटे "सर्च इंजन" (जिन्हें इंडक्शन हेड्स/Induction Heads कहा जाता है) होते हैं जो एक "कॉपी-पेस्ट" फंक्शन की तरह काम करते हैं। वे अभी-अभी जो लिखा गया है उसे देखते हैं, जानकारी का एक मेल खाता हिस्सा ढूंढते हैं, और पहेली के अगले हिस्से को आगे कॉपी कर देते हैं। यह "A ढूंढो, B प्राप्त करो, फिर C ढूंढो" की एक बहुत ही स्पष्ट, यांत्रिक प्रक्रिया है।
2. ऊर्ध्वाधर तर्क (Vertical Reasoning): "टेलीपोर्ट करने वाला विचारक"
उपमा: कल्पना कीजिए कि आप एक ऊंचे टॉवर के नीचे खड़े हैं, लेकिन आपको पहला कदम उठाने से पहले ही पता होना चाहिए कि सबसे ऊपर क्या है। आप कदम-दर-कदम ऊपर नहीं चढ़ सकते क्योंकि आपको अभी तक नहीं पता कि कौन सी सीढ़ियाँ सुरक्षित हैं। इसके बजाय, आपको मानसिक रूप से पूरे टॉवर तक "टेलीपोर्ट" करना होगा, पूरे रास्ते को अपने दिमाग में समझना होगा, और फिर बोलना शुरू करना होगा।
- यह कैसे काम करता है: यह तब होता है जब रोबोट को बीच के चरणों को लिखे बिना ट्री मेज़ (Tree Maze) को हल करना होता है। उसे अपने न्यूरॉन्स की परतों के भीतर ही पूरी समस्या को हल करना होता है इससे पहले कि वह पहला शब्द आउटपुट करे।
- गुप्त तंत्र: रोबोट रास्ता "चलता" नहीं है; वह अपनी परतों के माध्यम से रास्ते को लंबवत (vertically) बनाता है। यह पारदर्शी शीटों के एक ढेर जैसा है। निचली शीट शुरुआती बिंदु को रखती है, अगली शीट अगला कदम रखती है, और इसी तरह ऊपर तक। जब तक जानकारी ऊपरी परत तक पहुँचती है, पूरा रास्ता तैयार हो चुका होता है।
- सिखाने की भूमिका: आश्चर्यजनक रूप से, भले ही रोबोट बीच के चरण नहीं लिख रहा हो, "चेन-ऑफ-थॉट" का उदाहरण देने से उसे सीखने में मदद मिलती है। शोधकर्ता इसे करिकुलम लर्निंग (Curriculum Learning) कहते हैं। यह एक छात्र को पहले आसान पहेलियाँ (छोटे रास्ते) दिखाने और फिर धीरे-धीरे कठिन पहेलियाँ (लंबे रास्ते) देने जैसा है। रोबोट पहले सरल पैटर्न सीखता है और फिर उस ज्ञान का उपयोग जटिल समस्याओं से निपटने के लिए करता है, और यह सब उसके दिमाग के अंदर "मौन" रूप से होता है।
जाल: बिना शिक्षक के "चीटिंग" करना
शोधकर्ताओं ने रोबोट को बिना स्टेप-बाय-स्टेप नोट्स (Chain-of-Thought) के सिखाने की कोशिश की।
- परिणाम: रोबोट वास्तविक तर्क सीखने में ज्यादातर विफल रहा। इसके बजाय, उसने "चीटिंग" करना शुरू कर दिया।
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि शिक्षक काम (work) दिखाने के लिए नहीं कहता है, तो छात्र वास्तव में गणित करने के बजाय बस यह याद रख सकता है कि "जिन सवालों में 5 नंबर होते हैं, उनका उत्तर आमतौर पर 'हाँ' होता है।"
- निष्कर्ष: स्टेप-बाय-स्टेप मार्गदर्शन के बिना, रोबोट ने तर्क के नियमों को सीखने के बजाय टेस्ट डेटा के पैटर्न (biases) को रट लिया। वह अभ्यास टेस्ट पर उच्च अंक प्राप्त कर सकता था लेकिन नए, कठिन सवालों पर पूरी तरह विफल हो गया।
मुख्य निष्कर्ष
यह शोध पत्र दिखाता है कि आप रोबोट को कैसे सिखाते हैं, यह सिर्फ रोबोट के होने से अधिक महत्वपूर्ण है।
- यदि आप रोबोट को अपने विचार बोलने (Horizontal) के लिए मजबूर करते हैं, तो वह तर्क की एक स्पष्ट, यांत्रिक श्रृंखला बनाता है जिसे हम आसानी से समझ और ट्रैक कर सकते हैं।
- यदि आप रोबोट को मौन रूप से सोचने (Vertical) के लिए मजबूर करते हैं, तो वह अभी भी सीख सकता है, लेकिन वह जटिलता को धीरे-धीरे विकसित करता है, लगभग एक मैनुअल के बजाय अभ्यास के माध्यम से कौशल में महारत हासिल करने वाले छात्र की तरह।
- यदि आप उसे बिल्कुल भी कोई मार्गदर्शन नहीं देते हैं, तो वह शॉर्टकट याद करके "चीटिंग" करने लगता है, जिससे वह नियमों के बदलने पर अविश्वसनीय हो जाता है।
संक्षेप में, "चेन-ऑफ-थॉट" केवल बेहतर उत्तर पाने के लिए एक शानदार ट्रिक नहीं है; यह एक मौलिक उपकरण है जो यह बदल देता है कि रोबोट का मस्तिष्क समस्याओं को हल करने के लिए कैसे वायर्ड (wired) है, जिससे वह एक रटने वाले से बदलकर एक तार्किक विचारक बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।