Human-Level Reasoning: A Comparative Study of Large Language Models on Logical and Abstract Reasoning
यह अध्ययन आठ कस्टम-डिज़ाइन किए गए प्रश्नों का उपयोग करके नौ प्रमुख लार्ज लैंग्वेज मॉडल्स की तार्किक और अमूर्त तर्क क्षमताओं का मानव प्रदर्शन के विरुद्ध मूल्यांकन और तुलना करता है, जो मॉडल्स की निगमनात्मक क्षमताओं में महत्वपूर्ण अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास अविश्वसनीय रूप से प्रतिभाशाली पुस्तकालयाध्यक्षों (librarians) से भरा एक कमरा है। ये पुस्तकालयाध्यक्ष (लार्ज लैंग्वेज मॉडल्स, या LLMs) दुनिया की लगभग हर किताब पढ़ चुके हैं। वे तथ्यों को सुना सकते हैं, कविताएं लिख सकते हैं और किसी भी इंसान से कहीं अधिक तेज़ी से भाषाओं का अनुवाद कर सकते हैं। लेकिन यह शोध पत्र जो सवाल पूछता है वह यह है: क्या वे वास्तव में वह समझते हैं जो वे पढ़ रहे हैं, या वे बस वाक्य में अगले शब्द का अनुमान लगाने में बहुत अच्छे हैं?
यह पता लगाने के लिए, लेखक बेंजामिन ग्रैंडो मोरेरा ने एक "लॉजिक जिम" बनाया और 15 डिजिटल पुस्तकालयाध्यक्षों को मानव छात्रों और प्रोफेसरों के एक समूह के खिलाफ प्रतिस्पर्धा करने के लिए आमंत्रित किया।
यहाँ कुछ रोज़मर्रा के रूपकों (metaphors) का उपयोग करते हुए बताया गया है कि क्या हुआ।
परीक्षण: एक पहेली बॉक्स, न कि ट्रिविया क्विज़
मॉडल्स से "पहला राष्ट्रपति कौन था?" (जिसे वे याददाश्त से बता सकते हैं) पूछने के बजाय, शोधकर्ता ने उन्हें 8 पेचीदा पहेलियाँ दीं। ये पहेलियाँ पहेलियों की तरह थीं जिनमें मॉडल्स को छिपे हुए नियमों को समझना था, न कि केवल तथ्यों को याद करना था।
इसे इस तरह सोचें:
- मानव मस्तिष्क एक जासूस की तरह है जो सुराग देखता है, बिंदुओं को जोड़ता है, और कहता है, "आहा! मुझे पैटर्न दिख गया!"
- AI मस्तिष्क एक सुपर-फास्ट पैटर्न-मैचिंग मशीन की तरह है जो कहती है, "मैंने यह शब्द पहले देखा है, इसलिए मैं अनुमान लगाऊँगा कि इसके बाद आमतौर पर क्या आता है।"
8 चुनौतियाँ (एक "रुकावट दौड़")
पेपर में मॉडल्स का परीक्षण इन चीज़ों पर किया गया:
- सप्ताह का दिन पहेली: यदि "SUN + 1 = MON," तो "TUE + 2" क्या है? (अधिकांश मॉडल्स ने इसे हल कर लिया, लेकिन कुछ संक्षिप्त रूपों (abbreviations) से भ्रमित हो गए)।
- एलिफेंट सांग (हाथी का गाना): एक अजीब पैटर्न जहाँ "बॉदर" (bother) शब्द को कितनी बार बोलना है, यह इस पर निर्भर करता है कि हाथियों की संख्या विषम (odd) है या सम (even)। इंसानों ने पैटर्न को आसानी से देख लिया; कई AI इस दोहराव में फंस गए।
- गुप्त कोड: एक सरल अक्षर बदलाव (जैसे A का B हो जाना)। अधिकांश मॉडल्स ने इसे सुलझा लिया, लेकिन कुछ ने कैपिटलाइजेशन (capitalization) गलत कर दिया।
- ट्रिक मैथ क्वेश्चन: "3 + 3 x 5 क्या है?" सही उत्तर 18 है। लेकिन टेस्ट में विकल्प दिए गए जैसे 16, 20, 30, और 45। 18 तो विकल्प में था ही नहीं!
- ट्विस्ट: कई मॉडल्स (और कुछ इंसान भी) भ्रमित हो गए। उन्होंने देखा कि गणित सही था लेकिन विकल्प गलत थे, और कुछ ने यह कहने के बजाय कि "हे, इनमें से कोई भी सही नहीं है," बस "सबसे करीबी" गलत उत्तर चुन लिया।
- महीने का रहस्य: यह सबसे कठिन था। इसमें पूछा गया था कि महीने "May" के लिए एक छिपा हुआ कोड खोजें। कोड में महीने की संख्या का वर्ग करना (5 का वर्ग = 25) और "May" शब्द के अक्षरों को गिनना (4 अक्षर), फिर उन्हें एक साथ जोड़ना शामिल था, जिससे 254 प्राप्त होता।
- परिणाम: इंसान इस मामले में ठीक थे, लेकिन AI ज्यादातर विफल रहे। उन्होंने जटिल गणितीय सूत्रों का उपयोग करने की कोशिश की जो फिट नहीं बैठते थे, बजाय इसके कि वे सरल "संख्याओं को जोड़ने" वाले ट्रिक को देख पाते।
- भाषा परिवर्तन: पुर्तगाली महीने के संक्षिप्त रूपों को स्पेनिश नामों के साथ मिलाना। अगर इंसानों को स्पेनिश नहीं आती तो वे संघर्ष करते, लेकिन AI (जो कई भाषाएँ जानते हैं) ने इसमें बाजी मार ली।
- द्विभाषी दिन: अंग्रेजी और पुर्तगाली सप्ताह के दिनों का मिश्रण जिसमें भाषा बदलने के बारे में एक छिपा हुआ नियम था। इंसानों और AI दोनों को इसमें कठिनाई हुई।
- बाइनरी कोड: उन संख्याओं को जोड़ना जो बेस-10 (जैसे 1000) की तरह दिखती हैं लेकिन वास्तव में बेस-2 (बाइनरी) में हैं। केवल सबसे स्मार्ट मॉडल्स ने ही महसूस किया, "रुको, ये सामान्य संख्याएँ नहीं हैं!" और इसे हल किया।
स्कोरबोर्ड: कौन जीता?
शोधकर्ता ने अंक दिए:
- 10 अंक: सही उत्तर पाने के लिए।
- 5 अंक: सही लॉजिक (तर्क) के लिए, भले ही अंतिम संख्या गलत हो।
- 0 अंक: गलत होने या हार मान लेने के लिए।
परिणाम:
- इंसान: प्रोफेसर (विशेषज्ञ) समग्र रूप से सबसे अच्छा प्रदर्शन करते हैं, विशेष रूप से पेचीदा पहेलियों पर। छात्र अच्छा करते हैं लेकिन अमूर्त (abstract) पहेलियों में अधिक संघर्ष करते हैं।
- AI: औसतन, AI ने 100 में से लगभग 73 अंक प्राप्त किए, जबकि इंसानों ने लगभग 70 अंक प्राप्त किए।
- क्या AI जीत गया? हाँ, थोड़ा सा! लेकिन यहाँ एक पेंच है: AI आसान चीजों में बहुत अच्छा था (जैसे विभिन्न भाषाओं में महीनों को जानना) और अजीब, अमूर्त चीजों (जैसे हाथी का गाना या छिपा हुआ नंबर कोड) में बहुत बुरा था।
- सबसे अच्छे AI मॉडल्स (जैसे GPT-4o और Claude) लगभग पूर्ण स्कोर के करीब थे, लेकिन कमजोर मॉडल्स (जैसे Sabiá 3) बहुत कम स्कोर करते थे।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि ये AI मॉडल प्रतिभाशाली तोते की तरह हैं। वे मानवीय बातचीत की नकल कर सकते हैं और मानक समस्याओं को पूरी तरह से हल कर सकते हैं। हालाँकि, जब आप उन्हें लीक से हटकर सोचने, एक अजीब पैटर्न पहचानने, या यह समझने के लिए कहते हैं कि प्रश्न एक चाल है, तो वे अक्सर लड़खड़ा जाते हैं।
- इंसान "फ्लुइड इंटेलिजेंस" (तरल बुद्धि) में बेहतर होते हैं—मौके पर नए नियमों को समझना।
- AI "क्रिस्टलाइज्ड इंटेलिजेंस" (क्रिस्टलीकृत बुद्धि) में बेहतर होते हैं—उनके द्वारा पहले से याद किए गए डेटा की विशाल मात्रा का उपयोग करना।
अध्ययन दिखाता है कि हालांकि AI बात करने में डरावना कुशल होता जा रहा है, लेकिन इसने अभी तक उस तरह से सोचने की कला में महारत हासिल नहीं की है जैसे कि एक इंसान करता है, खासकर जब खेल के नियम छिपे हुए या असामान्य हों। AI अभी भी ज्यादातर इस आधार पर अनुमान लगा रहा है कि उसने पहले क्या देखा है, बजाय इसके कि वह पहेली के पीछे के तर्क को वास्तव में समझ सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।