Reasoning Capabilities of Large Language Models. Lessons Learned from General Game Playing
यह शोध पत्र जनरल गेम प्लेइंग परिवेश के भीतर चार लार्ज लैंग्वेज मॉडल्स की औपचारिक तर्क क्षमताओं का मूल्यांकन करता है, जिससे यह पता चलता है कि हालांकि वर्तमान मॉडल्स ने महत्वपूर्ण प्रगति दिखाई है, लेकिन कार्य की जटिलता और स्टेप डेप्थ बढ़ने के साथ उनका प्रदर्शन घट जाता है, जो अक्सर काल्पनिक नियमों (hallucinated rules) और सिंटैक्टिक गलतियों जैसी विशिष्ट तर्क संबंधी त्रुटियों के कारण होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट लॉजिक गेम: क्या AI वास्तव में सोच सकता है, या सिर्फ अंदाज़ा लगाता है?
कल्पना कीजिए कि आप एक रोबोट को एक बिल्कुल नया बोर्ड गेम खेलना सिखा रहे हैं। आप उसे बोर्ड या गोटियाँ नहीं दिखाते। इसके बजाय, आप उसे एक मोटी, सूखी नियम पुस्तिका थमा देते हैं जो एक अजीब, कोड जैसी भाषा (जिसे GDL कहा जाता है) में लिखी गई है। आपके रोबोट ने पहले कभी यह खेल नहीं देखा है। उसे नियमों को पढ़ना होगा, यह समझना होगा कि कौन सी चालें वैध (legal) हैं, और यह अनुमान लगाना होगा कि आपके एक कदम चलने के बाद बोर्ड बिल्कुल कैसा दिखेगा।
शोधकर्ताओं ने इस शोध पत्र में बिल्कुल यही किया। वे यह देखना चाहते थे कि क्या आधुनिक AI (लार्ज लैंग्वेज मॉडल्स, या LLMs) वास्तव में इंसानों की तरह तर्क (reasoning) कर सकते हैं, या वे केवल देखे गए पैटर्न के आधार पर अंदाज़ा लगा रहे हैं।
यहाँ उनके प्रयोग, परिणामों और उनके अर्थ का विवरण दिया गया है, जिसे कुछ मज़ेदार उपमाओं (analogies) के साथ समझाया गया है।
1. सेटअप: "ब्लाइंडफोल्डेड चेस" टेस्ट
आमतौर पर, जब हम AI से कोई सवाल पूछते हैं, तो वह अपने ट्रेनिंग डेटा के आधार पर उत्तर देता है (जैसे कोई छात्र जिसने पाठ्यपुस्तक रट ली हो)। लेकिन क्या होगा अगर सवाल ऐसी चीज़ के बारे में हो जिसे AI ने पहले कभी नहीं देखा?
शोधकर्ताओं ने जनरल गेम प्लेइंग (GGP) नामक एक फ्रेमवर्क का उपयोग किया। इसे "ब्लाइंडफोल्डेड चेस" (आंखों पर पट्टी बांधकर शतरंज खेलना) टेस्ट की तरह समझें।
- नियम: उन्होंने AI को एक सख्त लॉजिक भाषा (GDL) में लिखा गया गेम डिस्क्रिप्शन दिया। यह एक गुप्त कोड में लिखी रेसिपी देने जैसा है।
- कार्य: AI को एक रेफरी की भूमिका निभानी थी। उसे खेल की वर्तमान स्थिति को देखना था, नियमों को पढ़ना था, और कहना था: "यदि खिलाड़ी A 'X' करता है, तो बोर्ड बदलकर 'Y' हो जाएगा।"
- ट्विस्ट: यह सुनिश्चित करने के लिए कि AI केवल अपने ट्रेनिंग डेटा से "King" या "Pawn" जैसे शब्दों को पहचान नहीं रहा है, उन्होंने नामों को बदल (scramble) दिया।
- मूल: "एक Knight L-शेप में चलता है।"
- बदला हुआ: "एक Flurg L-शेप में चलता है।"
- रैंडम: "एक X9z एक Q2p शेप में चलता है।"
यदि AI बदले हुए नामों के साथ भी खेल को सही ढंग से खेल पाता है, तो यह साबित करता है कि वह वास्तव में तर्क (logic) को समझ रहा था, न कि केवल शतरंज के तथ्यों को याद कर रहा था।
2. प्रतियोगी
उन्होंने चार अलग-अलग "मस्तिष्क" का परीक्षण किया:
- Gemini 2.5 Pro: भारी भरकम चैंपियन (बहुत स्मार्ट, बहुत महंगा)।
- Gemini 2.5 Flash: तेज़ और हल्का (तेज़, थोड़ा कम गहरा)।
- GPT-OSS 120B: एक शक्तिशाली ओपन-सोर्स मॉडल।
- Llama 3.3 70B: एक अन्य लोकप्रिय ओपन-सोर्स मॉडल।
3. चार चुनौतियाँ
AI को चार अलग-अलग टेस्ट पास करने थे, जो आसान से लेकर असंभव तक थे:
- लेवल 1: वन-स्टेप हॉप (एक कदम की छलांग)। "यह बोर्ड है। यह चाल है। अगला बोर्ड कैसा दिखेगा?"
- परिणाम: टॉप मॉडल्स इसमें कमाल के थे। उन्होंने इसे लगभग 95-99% बार सही किया। यह एक इंसान द्वारा सरल निर्देश पढ़ने और उसे पूरी तरह से पालन करने जैसा था।
- लेवल 2: रूलबुक चेक (नियम पुस्तिका की जाँच)। "यह बोर्ड है। अभी कौन सी चालें वैध हैं?"
- परिणाम: यह कठिन होता गया। AI कुछ चालें छोड़ना या अवैध चालें बनाना शुरू कर दिया। यह उस रेफरी की तरह है जो नियम तो जानता है लेकिन बारीक विवरण (fine print) चेक करना भूल जाता है।
- लेवल 3: टाइम ट्रैवलर (समय यात्री)। "यह शुरुआती बोर्ड है। ये लगातार 5 चालें हैं। अंत में बोर्ड कैसा दिखेगा?"
- परिणाम: यहाँ चीजें गड़बड़ाने लगीं। AI को चाल 1 के बाद की स्थिति को याद रखना था, फिर उसका उपयोग चाल 2 के लिए करना था, और इसी तरह। स्टेप 1 में छोटी सी गलती स्टेप 5 को बिगाड़ सकती थी। टॉप मॉडल्स ठीक-ठाक थे, लेकिन वे गलतियाँ करने लगे।
- लेवल 4: ग्रैंडमास्टर। "खुद 5 चालें चलें, वैध चालें चुनें, और अंतिम स्थिति बताएं।"
- परिणाम: यह सबसे कठिन था। AI को चालें चुननी भी थीं और परिणाम की गणना भी करनी थी। प्रदर्शन काफी गिर गया। यह आँखों पर पट्टी बांधकर शतरंज खेलने और चालों को ज़ोर से बोलने के समान है; अंततः वे ट्रैक खो देते हैं।
4. बड़ी खोजें
🧠 "स्कैम्बलड नेम" (बदले हुए नाम) का सरप्राइज
जब शोधकर्ताओं ने "King" और "Pawn" जैसे शब्दों को "X9z" और "Q2p" जैसे निरर्थक शब्दों से बदल दिया, तो सबसे स्मार्ट मॉडल्स (Gemini 2.5 Pro) क्रैश नहीं हुए। वे अभी भी खेल को अच्छी तरह से खेल पा रहे थे।
- इसका अर्थ क्या है: AI केवल यह याद नहीं कर रहा है कि "Knights L-shape में चलते हैं।" यह वास्तव में नियमों के ढांचे (structure) को सीख रहा है। यह उस बच्चे की तरह है जो सीखता है कि "यदि आप ब्लॉक को धक्का देंगे, तो वह गिर जाएगा," चाहे आप उस ब्लॉक को "पत्थर", "ईंट" या "चीज़" कुछ भी कहें।
📉 "लॉन्ग चेन" (लंबी श्रृंखला) की समस्या
तर्क की श्रृंखला जितनी लंबी होती गई (क्रमवार अधिक चालें), AI उतना ही खराब होता गया।
- उपमा: "टेलीफोन" के खेल की कल्पना करें। आप एक दोस्त को संदेश फुसफुसाते हैं, जो अगले को फुसफुसाता है, और इसी तरह। जब तक वह 10वें व्यक्ति तक पहुँचता है, संदेश बिगड़ चुका होता है।
- AI: हर बार जब AI एक नई स्थिति की गणना करता है, तो उसके पास गलती करने की एक छोटी सी संभावना होती है। यदि वह स्टेप 1 में गलती करता है, तो स्टेप 2 एक झूठ पर आधारित होगा, और स्टेप 10 तक आते-आते पूरा खेल बेतुका हो जाएगा। स्मार्ट मॉडल्स ने कम गलतियाँ कीं, लेकिन वे बिना गलती किए लंबे समय तक नहीं चल सके।
🚫 "हैलुसिनेशन" (भ्रम) का जाल
शोधकर्ताओं ने पाया कि जब AI फंस जाता था, तो वह केवल "मुझे नहीं पता" नहीं कहता था। वह चीजें बनाने लगता था।
- नकली नियम: वह एक ऐसा नियम बना देता था जो कोड में मौजूद ही नहीं था।
- भूतिया टुकड़े (Ghost Pieces): वह बोर्ड पर उन टुकड़ों को बनाए रखता था जिन्हें हटाया जाना चाहिए था।
- सिंटैक्स एरर: वह उत्तर गलत फॉर्मेट में लिख देता था (जैसे लिस्ट मांगी जाने पर वाक्य लिखना)।
5. फैसला: वे स्मार्ट हैं या भाग्यशाली?
अच्छी खबर:
आधुनिक AI ने तार्किक तर्क (logical reasoning) में एक बड़ी छलांग लगाई है। वे एक जटिल, औपचारिक सेट नियमों को देख सकते हैं जिसे उन्होंने पहले कभी नहीं देखा है और उन्हें उच्च सटीकता के साथ पालन कर सकते हैं। वे केवल "शब्दों की भविष्यवाणी" करने के बजाय "सोचने" में बेहतर हो रहे हैं।
बुरी खबर:
वे अभी तक पूर्ण "लॉजिक इंजन" नहीं हैं।
- वे लंबी श्रृंखलाओं (जैसे 10 कदम आगे की योजना बनाना) के साथ संघर्ष करते हैं।
- वे तब भ्रमित हो जाते हैं जब नियम बहुत गहरे या जटिल होते हैं।
- दबाव बढ़ने पर वे हैलुसिनेशन (तथ्य गढ़ने) के प्रति प्रवृत्त होते हैं।
निष्कर्ष (Takeaway)
इन AI मॉडल्स को प्रतिभाशाली इंटर्न (brilliant interns) के रूप में देखें।
- यदि आप उन्हें एक सरल, एक-चरणीय कार्य देते हैं, तो वे एकदम सही होते हैं।
- यदि आप उन्हें कई चरणों वाला एक जटिल प्रोजेक्ट देते हैं, तो वे शुरुआत में बहुत अच्छा काम करेंगे, लेकिन वे बीच में एक विवरण मिस कर सकते हैं, और फिर वे एक ऐसा समाधान बनाकर उसे "ठीक" करने की कोशिश कर सकते हैं जो सुनने में तो अच्छा लगता है लेकिन वास्तव में गलत है।
निष्कर्ष: हम तर्क करने में हमारी मदद के लिए उन पर भरोसा कर सकते हैं, लेकिन हमें अंतिम जांच (final check) के लिए उन पर भरोसा नहीं करना चाहिए। हमें उनके काम को सत्यापित करने के लिए एक इंसान (या एक सख्त कंप्यूटर प्रोग्राम) की आवश्यकता है, विशेष रूप से लंबे और जटिल कार्यों के लिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।