A Syllogistic Probe: Tracing the Evolution of Logic Reasoning in Large Language Models
यह शोध पत्र अस्तित्व संबंधी आयात (existential import) को एक प्रोब के रूप में उपयोग करके बड़े भाषा मॉडलों (large language models) में तार्किक तर्क के विकास की जांच करता है ताकि यह प्रदर्शित किया जा सके कि मॉडल स्केलिंग, सोचने की प्रक्रियाएं और बेस मॉडल का चयन सामूहिक रूप से पारंपरिक से आधुनिक न्यायवाक्य तर्क (syllogistic logic) की ओर बदलाव को प्रेरित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप छात्रों (AI मॉडल्स) को तर्क पहेलियों (logic puzzles) को हल करना सिखा रहे हैं। सदियों से, मनुष्य इन पहेलियों को हल करने के तरीके पर बहस करते रहे हैं। विचार करने के दो मुख्य स्कूल हैं:
- "ओल्ड स्कूल" (पारंपरिक तर्क): यह दृष्टिकोण मानता है कि यदि आप किसी चीज़ के बारे में बात करते हैं, तो उसका अस्तित्व होना चाहिए। यदि आप कहते हैं, "सभी यूनिकॉर्न के सींग होते हैं," तो ओल्ड स्कूल यह मान लेता है कि यूनिकॉर्न वास्तविक हैं और इसलिए निष्कर्ष निकालता है, "कुछ यूनिकॉर्न के सींग होते हैं।"
- "स्ट्रिक्ट स्कूल" (आधुनिक तर्क): यह दृष्टिकोण अधिक कठोर है। यह कहता है, "सिर्फ इसलिए कि आप यूनिकॉर्न के बारे में बात कर रहे हैं, इसका मतलब यह नहीं है कि वे मौजूद हैं।" यदि यूनिकॉर्न मौजूद नहीं हैं, तो यह कथन "सभी यूनिकॉर्न के सींग होते हैं" तकनीकी रूप से सत्य है (क्योंकि कोई विपरीत उदाहरण नहीं है), लेकिन आप यह निष्कर्ष नहीं निकाल सकते कि "कुछ यूनिकॉर्न के सींग होते हैं" क्योंकि सींग होने के लिए कोई यूनिकॉर्न ही नहीं है।
यह शोध पत्र एक सरल प्रश्न पूछता है: जैसे-जैसे AI मॉडल बड़े और स्मार्ट होते जा रहे हैं, क्या वे स्वाभाविक रूप से "ओल्ड स्कूल" से "स्ट्रिक्ट स्कूल" की ओर बढ़ रहे हैं?
यहाँ शोधकर्ताओं द्वारा पाए गए निष्कर्षों की कहानी है, जिसे रोजमर्रा के उपमाओं (analogies) का उपयोग करके समझाया गया है।
1. "आकार" का प्रभाव: बड़ा होना हमेशा बेहतर नहीं होता (जब तक कि वह सही तरह का बड़ा न हो)
शोधकर्ताओं ने कई अलग-अलग AI मॉडलों का परीक्षण किया, छोटे से लेकर विशाल तक।
- उपमा: एक पुस्तकालय की कल्पना करें। एक छोटा पुस्तकालय केवल उन कहानियों से भरा हो सकता है जो मानती हैं कि उनमें सब कुछ वास्तविक है (ओल्ड स्कूल)। जैसे-जैसे पुस्तकालय विशाल होता जाता है, इसमें केवल उन्हीं पुरानी धारणाओं वाली अधिक कहानियाँ जुड़ सकती हैं।
- निष्कर्ष: अधिकांश AI परिवारों (जैसे Llama और Gemma) के लिए, मॉडल को बड़ा बनाने से वह केवल "ओल्ड स्कूल" नियमों का पालन करने में बेहतर बना। वे सोचने के पुराने तरीके में और भी मजबूत हो गए।
- अपवाद: हालाँकि, एक विशिष्ट परिवार (Qwen) के लिए, मॉडल को बड़ा करने से एक पैराडाइम शिफ्ट (दृष्टिकोण में बदलाव) हुआ। जैसे-जैसे वे बड़े हुए, उन्होंने "ओल्ड स्कूल" धारणाओं को छोड़ना शुरू कर दिया और "स्ट्रिक्ट स्कूल" के नियमों को अपना लिया। उन्हें समझ आया, "रुको, सिर्फ इसलिए कि मैं इसके बारे में बात कर रहा हूँ, इसका मतलब यह नहीं है कि यह मौजूद है।"
2. "सोचने" वाला इंजन: मात्रा से अधिक गुणवत्ता
शोधकर्ताओं ने पाया कि आपको सख्ती से सोचने के लिए बहुत बड़ा दिमाग होने की आवश्यकता नहीं है; आपको बस गहराई से सोचने की आवश्यकता है।
- उपमा: एक छात्र की कल्पना करें जो परीक्षा दे रहा है।
- स्केलिंग (Scaling): यह छात्र को एक बड़ा मस्तिष्क (अधिक न्यूरॉन्स) देने जैसा है।
- सोचना (RL): यह छात्र को एक "रफ नोटबुक" (scratchpad) देने जैसा है जहाँ उसे उत्तर देने से पहले अपने तर्क के हर चरण को लिखने के लिए मजबूर किया जाता है।
- निष्कर्ष: एक मध्यम आकार का मॉडल जिसे "चरण-दर-चरण सोचने" (रीइन्फोर्समेंट लर्निंग नामक तकनीक का उपयोग करके) के लिए प्रशिक्षित किया गया था, उस विशाल मॉडल के समान प्रदर्शन करता था जिसने बिना सोचे उत्तर दिया। "सोचने" की प्रक्रिया एक टर्बोचार्जर की तरह काम करती है। इसने मॉडल को अपने प्रशिक्षण डेटा में देखे गए पैटर्न के आधार पर अनुमान लगाने के बजाय अपने तर्क के नियमों की जांच करने के लिए मजबूर किया।
- सावधानी: मॉडल को प्रॉम्प्ट में केवल यह कहना कि "आइए चरण-दर-चरण सोचें" पर्याप्त नहीं था। मॉडल को इसे गहराई से करने के लिए प्रशिक्षित किया जाना आवश्यक था। यह एक छात्र को "अधिक प्रयास करने" के लिए कहने और एक छात्र को समस्याओं को हल करने की विधि सिखाने के बीच का अंतर है।
3. "नींव" मायने रखती है: आप दलदल पर गगनचुंबी इमारत नहीं बना सकते
शोधकर्ताओं ने यह देखने के लिए "बेस" (Base) मॉडल (अनप्रशिक्षित मूल संस्करण) का अध्ययन किया कि वे कहाँ से शुरू करते हैं।
- उपमा: बेस मॉडल को एक घर की नींव के रूप में सोचें।
- यदि नींव पहले से ही थोड़ी "स्ट्रिक्ट स्कूल" की ओर झुकी हुई है, तो उसके ऊपर "स्ट्रिक्ट" घर बनाना आसान है।
- यदि नींव पूरी तरह से "ओल्ड स्कूल" है, तो उसके ऊपर "स्ट्रिक्ट" घर बनाने की कोशिश अस्थिर और कमजोर होगी।
- निष्कर्ष: वे Qwen मॉडल जिन्होंने सफलतापूर्वक आधुनिक तर्क में बदलाव किया, उनकी "नींव" में पहले से ही सख्त नियमों को समझने के संकेत मौजूद थे। Llama और Gemma मॉडलों की नींव गहराई से "ओल्ड स्कूल" में जमी हुई थी, इसलिए प्रशिक्षण के बाद भी, उन्हें यह बदलाव करने में संघर्ष करना पड़ा।
4. "खाली कमरा" की समस्या
शोधकर्ताओं ने पाया कि AI अभी भी संघर्ष करता है जब वाक्य का विषय "खाली" (जैसे यूनिकॉर्न, या बिना सेब वाले बॉक्स) होता है।
- उपमा: एक इंसान के लिए यह कहना आसान है कि, "यदि बॉक्स में सेब नहीं हैं, तो 'कुछ सेब लाल हैं' गलत है।" लेकिन एक AI के लिए, यदि वह सेबों को देख नहीं सकता, तो वह भ्रमित हो जाता है। वह अपने प्रशिक्षण डेटा की ओर वापस जाने लगता है, जो वास्तविक दुनिया के उदाहरणों से भरा है जहाँ चीजें वास्तव में अस्तित्व में होती हैं।
- निष्कर्ष: जब तर्क पहेली में "खाली" चीजों को शामिल किया गया, तो मॉडल गलतियाँ करने और "ओल्ड स्कूल" सोच पर वापस जाने के प्रति अधिक संवेदनशील थे। यह दर्शाता है कि उनका "तर्क" अभी भी शुद्ध अमूर्त नियमों के बजाय वास्तविक दुनिया के ज्ञान से बंधा हुआ है।
5. "भाषा" का पूर्वाग्रह
मॉडलों ने हर भाषा में एक जैसा नहीं सोचा।
- उपमा: एक ऐसे छात्र की कल्पना करें जिसने अंग्रेजी में गणित सीखा लेकिन घर पर स्पेनिश बोलता है। वे सवाल सुनने के आधार पर अलग-अलग तरीके से समस्या हल कर सकते हैं।
- निष्कर्ष: AI की तर्क क्षमता "भाषा-तटस्थ" (language-neutral) नहीं थी। एक मॉडल अंग्रेजी में "स्ट्रिक्ट लॉजिक" विशेषज्ञ हो सकता है, लेकिन चीनी में "ओल्ड स्कूल" विचारक हो सकता है (या इसके विपरीत, मॉडल के आधार पर निर्भर करता है)। यह सुझाव देता है कि उनका तर्क अभी भी उनके प्रशिक्षण डेटा के विशिष्ट भाषाई पैटर्न से गहराई से प्रभावित है।
सारांश
शोध पत्र निष्कर्ष निकालता है कि AI तर्क केवल "बड़ा" होने का परिणाम नहीं है। यह इनका मिश्रण है:
- नींव: क्या मूल मॉडल में आधुनिक तर्क का थोड़ा सा संकेत था?
- प्रशिक्षण: क्या इसे गहराई से "सोचने" और अपने नियमों की जांच करने के लिए सिखाया गया था?
- आर्किटेक्चर: कुछ डिजाइनों (जैसे "मिक्सचर ऑफ एक्सपर्ट्स") ने इस बदलाव को तेजी से होने में मदद की।
सबसे स्मार्ट मॉडलों में "स्ट्रिक्ट स्कूल" का तर्क उभर रहा है, लेकिन यह एक नाजुक संक्रमण है। यदि नींव कमजोर है या प्रशिक्षण गहरा नहीं है, तो AI खुशी-खुशी यह मान लेगा कि केवल चर्चा करने मात्र से यूनिकॉर्न का अस्तित्व हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।