Are Large Language Models Truly Smarter Than Humans?
यह शोध पत्र छह फ्रंटियर लार्ज लैंग्वेज मॉडल्स के एक कठोर बहु-विधि ऑडिट को प्रस्तुत करता है, जो यह प्रकट करता है कि सार्वजनिक बेंचमार्क पर मनुष्यों पर उनकी स्पष्ट श्रेष्ठता डेटा संदूषण (डेटा कंटैमिनेशन) द्वारा काफी बढ़ा दी गई है, जिसमें स्मृति दर (मेमोराइजेशन रेट) डोमेन के अनुसार भिन्न होती है और अप्रत्यक्ष या पैराफ्रेज किए गए प्रश्नों पर परीक्षण किए जाने पर प्रदर्शन में भारी गिरावट आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि छात्रों का एक समूह एक बहुत ही महत्वपूर्ण परीक्षा दे रहा है ताकि वे खुद को प्रतिभाशाली साबित कर सकें। इस परीक्षा का नाम "MMLU" है, और इसमें कानून और चिकित्सा से लेकर भौतिकी और दर्शनशास्त्र तक सब कुछ शामिल है।
हाल ही में, AI मॉडल्स (जैसे कि वे सुपर-स्मार्ट चैटबॉट्स जिनके बारे में आपने सुना होगा) इस परीक्षा में लगभग पूर्ण अंक प्राप्त कर रहे हैं। लोग कह रहे हैं, "वाह, ये AI मानव विशेषज्ञों से भी अधिक स्मार्ट हैं!"
लेकिन यह शोध पत्र एक बहुत ही सरल, चुभता हुआ सवाल पूछता है: "क्या इन छात्रों ने वास्तव में सामग्री का अध्ययन किया था, या उन्होंने केवल उत्तर कुंजी (answer key) को रट लिया था?"
इस शोध पत्र के लेखकों ने यह पता लगाने के लिए तीन अलग-अलग तरीकों की जांच करने का निर्णय लिया कि क्या AI वास्तव में "स्मार्ट" है या केवल "चीटिंग" कर रहा है क्योंकि उसने परीक्षा के प्रश्नों को पहले देख लिया था। उन्होंने क्या पाया, इसका सरल विवरण यहाँ दिया गया है।
तीन जांचें
1. "गूगल सर्च" टेस्ट (प्रयोग 1)
विचार: यदि छात्र ने परीक्षा रट ली है, तो प्रश्न इंटरनेट पर कहीं न कहीं होने चाहिए।
विधि: शोधकर्ताओं ने परीक्षा से 513 प्रश्न लिए और उन्हें गूगल किया। उन्होंने जांचा कि क्या सटीक प्रश्न और उत्तर टेक्स्टबुक्स, लेक्चर नोट्स या ब्लॉग पोस्ट के रूप में ऑनलाइन मौजूद थे।
परिणाम: उन्होंने पाया कि 13.8% प्रश्न निश्चित रूप से "दूषित" (contaminated) थे (जिसका अर्थ है कि AI ने संभवतः प्रशिक्षण के दौरान उन्हें देखा था)।
- उपमा: यह ऐसा है जैसे यह पता चलना कि अंतिम परीक्षा के 7 में से 1 प्रश्न एक सार्वजनिक फोरम पर पोस्ट किया गया था जहाँ शिक्षक ने गलती से उत्तर कुंजी छोड़ दी थी।
- आश्चर्य: "STEM" विषय (विज्ञान, तकनीक, इंजीनियरिंग, गणित) सबसे अधिक दूषित थे। इससे भी बदतर, दर्शनशास्त्र (Philosophy) जैसे विषयों में, 66% प्रश्न ऑनलाइन पाए गए। ऐसा लगता है कि AI ने केवल अवधारणाओं को नहीं सीखा; इसने विशिष्ट प्रश्नों को रट लिया।
2. "पुनर्लेखन" (Rewrite) टेस्ट (प्रयोग 2)
विचार: यदि कोई छात्र किसी अवधारणा को वास्तव में समझता है, तो वह उत्तर दे सकता है भले ही शिक्षक प्रश्न को फिर से लिख दे। यदि उसने केवल उत्तर रटा है, तो शब्दों के बदलने पर वह भ्रमित हो जाएगा।
विधि: शोधकर्ताओं ने 100 प्रश्न लिए और उन्हें फिर से लिखा।
- मूल: "फ्रांस की राजधानी क्या है?"
- पुनर्लिखित: "कौन सा शहर फ्रांसीसी गणराज्य के सरकार के केंद्र के रूप में कार्य करता है?"
उन्होंने उन्हीं प्रश्नों को अलग शब्दावली के साथ AI से पूछा।
परिणाम: जब शब्द बदले, तो AI का स्कोर काफी गिर गया। - उपमा: कल्पना कीजिए कि एक छात्र "The Road Not Taken" कविता को पूरी तरह से सुना सकता है। लेकिन यदि आप उससे पूछें, "उस यात्री के बारे में कविता क्या है जिसने कम चले हुए रास्ते को चुना?" तो वह सुन्न हो जाता है। उसने शब्दों को रटा था, अर्थ को नहीं।
- बड़ी गिरावट: कानून (Law) और नैतिकता (Ethics) में, AI का स्कोर लगभग 20% गिर गया। यह सुझाव देता है कि इन महत्वपूर्ण क्षेत्रों में, AI मुख्य रूप से प्रश्न की विशिष्ट शब्दावली को पहचान रहा था, न कि वास्तविक कानूनी या नैतिक तर्क को समझ रहा था।
3. "रिक्त स्थान भरें" (Fill-in-the-Blank) टेस्ट (प्रयोग 3)
विचार: यदि AI ने परीक्षा रट ली है, तो वह किसी ऐसे प्रश्न के रिक्त स्थान को भर पाने में सक्षम होना चाहिए जिसे उसने पहले देखा है, भले ही आप एक शब्द छिपा दें।
विधि: उन्होंने प्रश्नों को लिया और एक मुख्य शब्द या गलत विकल्प को ढक दिया। उन्होंने AI से छिपे हुए हिस्से का अनुमान लगाने को कहा।
परिणाम: AI 72.5% बार छिपे हुए हिस्सों का अनुमान लगाने में सक्षम रहा।
- उपमा: यह एक छात्र को वाक्य दिखाने जैसा है: "फ्रांस की राजधानी [____] है।" यदि वह बिना सोचे "पेरिस" कहता है, तो उसने केवल अनुमान नहीं लगाया; उसने वाक्य की संरचना को याद रखा।
- अजीब विसंगति: एक मॉडल, DeepSeek-R1, अजीब था। वह सटीक शब्दों को याद नहीं रख सका (वह खाली स्थान को पूरी तरह से नहीं भर सका), लेकिन वह गायब शब्द के विचार का अनुमान लगा सका। यह एक ऐसे छात्र की तरह था जो सटीक शब्दावली भूल गया लेकिन सामान्य कहानी को याद रख पाया। इसने समझाया कि वह "पुनर्लेखन" टेस्ट में खराब प्रदर्शन करने के बावजूद भी सामग्री को जानने में सक्षम क्यों था।
बड़ी तस्वीर: इसका क्या अर्थ है?
शोध पत्र निष्कर्ष निकालता है कि AI अभी भी अनिवार्य रूप से मनुष्यों से "अधिक स्मार्ट" नहीं है; यह केवल उन पैटर्न को पहचानने में बहुत अच्छा है जिन्हें इसने पहले देखा है।
- "परीक्षा" लीक हो गई है: जिन परीक्षणों का उपयोग हम AI की बुद्धिमत्ता को मापने के लिए करते हैं, वे ओपन-बुक परीक्षा की तरह हैं जहाँ उत्तर इंटरनेट पर पोस्ट किए गए हैं। AI ने इंटरनेट पढ़ा है, इसलिए उसने परीक्षा देख ली है।
- रटना बनाम समझना: इन परीक्षणों पर उच्च स्कोर का अर्थ अक्सर यह होता है कि AI ने प्रश्न की "स्क्रिप्ट" को रट लिया है, न कि यह कि उसके पास मानव विशेषज्ञ की तरह गहरी, लचीली तर्क क्षमता है।
- खतरा: यदि हम इन स्कोर के आधार पर वास्तविक दुनिया की नौकरियों (जैसे वकील या डॉक्टर होने) के लिए इन AI मॉडलों पर भरोसा करते हैं, तो हम मुसीबत में पड़ सकते हैं।
- रूपक: एक ऐसे पायलट की कल्पना करें जिसने सिम्युलेटर टेस्ट में 100% स्कोर किया है, लेकिन केवल इसलिए क्योंकि उसने टेस्ट के विशिष्ट उड़ान पथ को रट लिया था। यदि हवा बदल जाती है या कोई नया अवरोध सामने आता है (एक "पुनर्लिखित" प्रश्न), तो वे दुर्घटनाग्रस्त हो सकते हैं।
निष्कर्ष (The Takeaway)
लेखक यह नहीं कह रहे हैं कि AI बेकार है। वे कह रहे हैं कि हमें यह मानना बंद करना चाहिए कि ये सार्वजनिक परीक्षण "मानव-स्तर की बुद्धिमत्ता" का एक निष्पक्ष माप हैं।
यह जानने के लिए कि AI वास्तव में स्मार्ट है, हमें इसे एक ऐसा टेस्ट देना होगा जिसे इसने कभी नहीं देखा है, और ऐसे प्रश्न लिखने होंगे जिनका सामना इसने पहले कभी नहीं किया है। जब तक हम ऐसा नहीं करते, लीडरबोर्ड पर दिखने वाले उच्च स्कोर केवल एक बहुत अच्छे तोते की आवाज़ हो सकते हैं जो वही दोहरा रहा है जो उसने सुना है, बजाय इसके कि वह अपने आप सोचने वाला कोई जीनियस हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।