Beyond Accuracy: A Multidimensional Evaluation of Statistical Reasoning in Large Language Models
यह अध्ययन एक बहुआयामी मूल्यांकन ढांचे का प्रस्ताव करता है जो सरल सटीकता मेट्रिक्स से आगे बढ़कर यह प्रकट करता है कि कैसे 15 लार्ज लैंग्वेज मॉडल्स सांख्यिकीय तर्क का निर्माण और संचार करते हैं, यह प्रदर्शित करते हुए कि जहाँ सटीकता महत्वपूर्ण रूप से भिन्न होती है, वहीं मॉडल साझा वैचारिक संरचनाओं को साझा करते हैं परंतु विशिष्ट वेंडर-विशिष्ट व्याख्यात्मक शैलियों का प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल पुस्तकालय में जा रहे हैं जहाँ किताबें एक नए प्रकार के लाइब्रेरियन द्वारा लिखी गई हैं: एक आर्टिफिशियल इंटेलिजेंस (AI)। ये AI लाइब्रेरियन, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, पढ़ने, लिखने और बातचीत करने में अविश्वसनीय रूप से कुशल हैं। वे सामान्य ज्ञान के सवालों के जवाब दे सकते हैं, कविताएँ लिख सकते हैं, और गणित की उन समस्याओं को हल कर सकते हैं जो कभी इंसानों को उलझा देती थीं। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि एक AI आपको सही उत्तर देता है, इसका मतलब यह नहीं है कि वह वास्तव में प्रश्न को समझता है। यह अपने प्रशिक्षण डेटा (training data) में देखे गए पैटर्न के आधार पर अनुमान लगा रहा हो सकता है, ठीक वैसे ही जैसे एक तोता किसी ऐसे वाक्यांश को दोहराता है जिसे उसने हज़ार बार सुना है, बिना यह जाने कि उसका अर्थ क्या है।
सांख्यिकी (statistics) की दुनिया में—जो संख्याओं और अनिश्चितता को समझने का विज्ञान है—यह एक बड़ी बात है। सांख्यिकी केवल नंबरों को जोड़ने के बारे में नहीं है; यह अनिश्चितता के तहत तर्क करने, यह समझने के बारे में है कि कोई पैटर्न संयोग मात्र है या नहीं, और यह समझाने के बारे में है कि आप अपने उत्तर तक कैसे पहुँचे। लंबे समय से, वैज्ञानिक इन AI लाइब्रेरियनों का परीक्षण उन्हें प्रश्न पूछकर और उनके उत्तरों की जाँच करके करते रहे हैं कि वे सही हैं या गलत। यह एक छात्र के टेस्ट को केवल उसकी बबल शीट देखकर ग्रेड देने जैसा है, उस बिखरे हुए रफ वर्क (scratch work) को अनदेखा कर देना जहाँ वास्तविक सोच छिपी होती है। लेकिन क्या होगा अगर AI गलत कारणों से सही उत्तर दे देता है? या क्या होगा अगर वह गलत उत्तर दे लेकिन अपनी सोच को इतनी खूबसूरती से समझाए कि वह बुद्धिमान लगे? यह जानने के लिए कि क्या ये AI लाइब्रेरियन सांख्यिकी में हमारी मदद करने के लिए तैयार हैं, हमें केवल अंतिम स्कोर से कहीं अधिक गहराई से देखने की आवश्यकता है।
यही ठीक वही काम है जो साउदर्न स्लेमोंट यूनिवर्सिटी (Southern Methodist University) के शोधकर्ताओं की एक टीम ने करने का निर्णय लिया। उन्होंने 15 अलग-अलग AI मॉडल्स के साथ एक क्लास के छात्रों की तरह व्यवहार किया, जो हाई स्कूल स्तर से लेकर ग्रेजुएट स्कूल तक के चार अलग-अलग सांख्यिकी परीक्षाओं में शामिल थे। केवल यह गिनने के बजाय कि कितने उत्तर सही थे, उन्होंने "रफ वर्क" (scratch work) यानी उन स्पष्टीकरणों को देखने का फैसला किया जो AI ने लिखे थे। उन्होंने यह देखने के लिए कि AI ने क्या कहा, कैसे कहा और वास्तव में किन विचारों का उपयोग किया, एक विशेष प्रकार के डिजिटल आवर्धक लेंस (magnifying glass) का उपयोग किया।
यहाँ उन्हें क्या मिला, यह थोड़ा चौंकाने वाला है। सबसे पहले, स्कोर बहुत बिखरे हुए थे। आप किस AI से पूछते हैं, इस पर निर्भर करते हुए, उन्होंने 55% से 78% तक प्रश्न सही किए। यह एक बहुत बड़ा अंतर है, जैसे एक छात्र को 'C' ग्रेड मिले और दूसरे को 'A'। लेकिन जब शोधकर्ताओं ने स्पष्टीकरणों को देखा, तो कुछ आश्चर्यजनक हुआ। अलग-अलग स्कोर होने के बावजूद, लगभग हर AI मॉडल एक ही "मानसिक टूलबॉक्स" (mental toolbox) का उपयोग कर रहा था। वे सभी एक ही तरह से सांख्यिकीय अवधारणाओं—जैसे कॉन्फिडेंस इंटरवल (confidence intervals), सैंपलिंग (sampling), और हाइपोथेसिस टेस्टिंग (hypothesis testing)—के बारे में बात कर रहे थे। यह ऐसा था मानो क्लास के हर छात्र ने, चाहे उसे 'A' मिला हो या 'C', अध्ययन करने के लिए बिल्कुल एक ही पाठ्यपुस्तक का उपयोग किया हो।
वास्तविक अंतर इसमें नहीं था कि वे क्या जानते थे, बल्कि इसमें था कि वे कितनी विश्वसनीयता से उसका उपयोग करते थे। सबसे स्मार्ट मॉडल्स केवल अधिक तथ्य नहीं जानते थे; वे बस उन तथ्यों को लागू करने में बेहतर थे जो वे सभी साझा करते थे। वे कम भ्रमित होते थे, कम हार मानते थे, और बिना जानकारी के तुक्का लगाने के बजाय यह कहने की अधिक संभावना रखते थे, "मैं इसका उत्तर नहीं दे सकता क्योंकि मेरे पास जानकारी की कमी है।"
शोधकर्ताओं ने यह भी देखा कि AI बनाने वाले के बारे में एक दिलचस्प पैटर्न है। एक ही कंपनी द्वारा बनाए गए मॉडल्स (जैसे OpenAI के विभिन्न GPT या Anthropic के Claude संस्करण) अन्य कंपनियों के मॉडल्स की तुलना में एक-दूसरे के अधिक समान लगते थे। यह वैसा ही है जैसे भाई-बहनों की आवाज़ें थोड़ी अलग हो सकती हैं लेकिन उनकी एक ही पारिवारिक लहजा (accent) होती है। हालाँकि, यह "पारिवारिक लहजा" भी काफी सूक्ष्म था; वे जिस तरह से बोलते थे उसमें अंतर बहुत कम था यदि तुलना की जाए कि वे सभी एक ही मूल विचारों के बारे में सोच रहे थे।
तो, मुख्य निष्कर्ष क्या है? यह पेपर सुझाव देता है कि हम इन AI मॉडल्स को केवल इस आधार पर नहीं आंक सकते कि वे सही उत्तर देते हैं। सही उत्तर पाना कहानी का केवल आधा हिस्सा है। दूसरा आधा हिस्सा तर्क के पीछे के कारण को समझना है। अध्ययन से पता चलता है कि जबकि ये AI मॉडल्स सांख्यिकी में बेहतर हो रहे हैं, वे आवश्यक रूप से पहले की तुलना में किसी मौलिक रूप से नई तरह से "सोच" नहीं रहे हैं। वे सभी सांख्यिकीय अवधारणाओं के एक ही पूल से जानकारी ले रहे हैं; विजेता वे हैं जो उन अवधारणाओं के साथ अधिक सुसंगत और सावधान हैं।
अंत में, लेखक हमें चेतावनी देते हैं कि जैसे-जैसे हम स्कूलों और वास्तविक दुनिया के डेटा विश्लेषण में इन AI टूल्स का उपयोग करना शुरू कर रहे हैं, हमें सावधान रहने की आवश्यकता है। हमें केवल अंतिम संख्या पर भरोसा नहीं करना चाहिए। हमें स्पष्टीकरण को भी देखना होगा। क्योंकि सांख्यिकी में, यह जानना कि कोई चीज़ क्यों सच है, अक्सर यह जानने जितना ही महत्वपूर्ण होता है कि वह क्या सच है। AI आपको सही उत्तर दे सकता है, लेकिन यदि वह केवल एक आत्मविश्वासी आवाज के साथ अनुमान लगा रहा है, तो वह तर्क करने के लिए एक विश्वसनीय साथी नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।