Automated reproducibility assessments in the social and behavioral sciences using large language models
यह अध्ययन प्रदर्शित करता है कि बड़े भाषा मॉडल सामाजिक और व्यवहारिक विज्ञानों में स्वचालित पुनरुत्पादकता आकलन के लिए एक स्केलेबल स्क्रीनिंग टूल के रूप में कार्य कर सकते हैं, जो व्यवस्थित ऑडिट में विशेषज्ञ निर्णय को बदलने के बजाय उसका समर्थन करते हुए, मानव पुनरविश्लेषकों के तुलनीय गुणात्मक निष्कर्ष प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विज्ञान की दुनिया की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ शोधकर्ता इस बारे में किताबें लिखते हैं कि लोग कैसे सोचते हैं, व्यवहार करते हैं और एक-दूसरे से कैसे जुड़ते हैं। लंबे समय से, इस लाइब्रेरी में एक बेचैन करने वाली चिंता रही है: कभी-कभी, जब अन्य विशेषज्ञ मूल नोट्स को पढ़ने और गणित को दोबारा करने की कोशिश करते हैं, तो उन्हें वही उत्तर नहीं मिलता। इसे "प्रजनन संकट" (reproducity crisis) कहा जाता है। यह बिल्कुल वैसा ही है जैसे यदि आप चॉकलेट केक की रेसिपी का पालन करें, लेकिन जब आप खुद इसे बनाने की कोशिश करें, तो आपको केक के बजाय एक कटोरा सूप मिले। सामाजिक और व्यवहारिक विज्ञान में—जो इस बात का अध्ययन करते हैं कि हम वोट क्यों देते हैं, हम कैसे सीखते हैं, या हमें क्या खुश करता है—इन रेसिपी की जाँच करना अविश्वसनीय रूप से कठिन है। इसके लिए आमतौर पर विशेषज्ञों की एक टीम (वैज्ञानिकों) को काम पर रखने की आवश्यकता होती है जो हफ्तों या महीनों तक रसोई में बिताएं, यह पता लगाने के लिए कि वास्तव में किन सामग्रियों का उपयोग किया गया था और उन्हें कैसे मिलाया गया था। यह धीमा, महंगा और शेल्फ पर मौजूद हर एक किताब के लिए करना बहुत कठिन है।
अब यहाँ नया खिलाड़ी आया है: लार्ज लैंग्वेज मॉडल (LLM)। आप इन्हें उन सुपर-स्मार्ट एआई चैटबॉट्स के रूप में जानते होंगे जो कहानियाँ लिख सकते हैं, सवालों के जवाब दे सकते हैं और यहाँ तक कि कंप्यूटर कोड भी लिख सकते हैं। एक LLM को एक अथक, अत्यंत तीव्र प्रशिक्षु शेफ (apprentice chef) के रूप में सोचें जो एक रेसिपी बुक पढ़ सकता है, सामग्रियों को देख सकता है और तुरंत खुद केक बनाने की कोशिश कर सकता है। बड़ा सवाल जो वैज्ञानिकों ने पूछा है वह यह है: क्या यह डिजिटल प्रशिक्षु वास्तव में इस काम को कर सकता है? क्या यह एक प्रकाशित अध्ययन को देख सकता है, डेटा ढूंढ सकता है, गणना कर सकता है और हमें बता सकता है कि मूल परिणाम वास्तविक था या केवल एक इत्तेफाक? यदि यह कर सकता है, तो यह लाइब्रेरी को हमेशा के लिए बदल सकता है, एक ऐसी प्रक्रिया को जो वर्षों लेती है उसे मिनटों में बदल सकता है, जिससे हमें अपनी शेल्फ पर रखी किताबों पर अधिक भरोसा करने में मदद मिल सके।
यह पेपर यह पता लगाने के लिए एक बड़े प्रयोग की कहानी है कि क्या वह डिजिटल प्रशिक्षु रसोई के लिए तैयार है। शोधकर्ताओं ने, जो जर्मनी और अमेरिका के विश्वविद्यालयों की एक टीम के नेतृत्व में थे, मनोविज्ञान, अर्थशास्त्र और राजनीति विज्ञान के 180 वास्तविक अध्ययनों वाला एक विशाल परीक्षण आयोजित किया। उन्होंने एक एआई मॉडल (विशेष रूप से 'क्लाउड ओपस 4.7' नामक संस्करण) को मूल डेटा और "रेसिपी" (अध्ययन का दावा) दिया और उससे परिणामों को फिर से बनाने के लिए कहा। उन्होंने प्रत्येक अध्ययन के लिए यह परीक्षण पांच बार चलाया ताकि यह देखा जा सके कि एआई कितना सुसंगत था, ठीक वैसे ही जैसे एक ही केक को पांच बार बनाकर यह देखना कि क्या वह हर बार एक जैसा बनता है।
परिणाम "वाह" और "ओह" का मिश्रण थे। एआई मुख्य तस्वीर को समझने में आश्चर्यजनक रूप रूप से अच्छा था। 80% मामलों में, एआई इस बात पर मूल अध्ययन के साथ सहमत था कि मुख्य विचार सत्य था या असत्य। यह कुछ ऐसा था जैसे प्रशिक्षु कह रहा हो, "हाँ, यह केक निश्चित रूप से चॉकलेट है," ठीक मूल शेफ की तरह। हालाँकि, जब सटीक माप की बात आई—केक का सटीक आकार या चीनी की सटीक मात्रा—तो एआई थोड़ा संघर्ष करता दिखा। केवल लगभग 24% समय ही एआई बहुत कम त्रुटि मार्जिन के भीतर सटीक "इफेक्ट साइज" (एक विशिष्ट संख्या जो परिणाम की ताकत को मापती है) प्राप्त कर पाया। अन्य मामलों में, एआई का केक अभी भी चॉकलेट था, लेकिन मूल की तुलना में शायद थोड़ा अधिक मीठा या थोड़ा अधिक सूखा था।
एआई वास्तविक मनुष्यों के मुकाबले कैसा प्रदर्शन करता है, यह देखने के लिए, शोधकर्ताओं ने अध्येशनों के एक छोटे समूह को देखा जहाँ मानव विशेषज्ञों ने भी गणित को दोबारा करने की कोशिश की थी। यहाँ, एआई ने वास्तव में काफी अच्छा किया, 40% मामलों में मूल निष्कर्षों से मेल खाया, जो वास्तव में मानव विशेषज्ञों से थोड़ा बेहतर था, जो केवल 28% मामलों में उनसे मेल खाते थे। मनुष्य और एआई दोनों ही सामग्रियों को मिलाने के बारे में अलग-अलग विकल्प चुनते हुए प्रतीत हुए, जो विज्ञान में सामान्य है, लेकिन एआई मूल रेसिपी के करीब रहने में आश्चर्यजनक रूप से अच्छा था।
टीम ने यह भी परीक्षण किया कि क्या एआई को पूरी रेसिपी बुक की आवश्यकता है या केवल एक संक्षिप्त सारांश की। उन्होंने एआई को पूरा पेपर, "कैसे करें" (how-to) सेक्शन के बिना पेपर, और केवल एब्स्ट्रैक्ट (शुरुआत में छोटा सारांश) दिया। आश्चर्यजनक रूप से, इससे बहुत फर्क नहीं पड़ा; एआई तीनों स्थितियों में लगभग समान प्रदर्शन करता था। यह सुझाव देता है कि एआई मुख्य लक्ष्य के आधार पर सही चरणों का अनुमान लगाने में बहुत अच्छा है, भले ही उसके पास हर एक विवरण न हो। उन्होंने कुछ अलग एआई मॉडल भी आजमाए, जिनमें कुछ मुफ्त और ओपन-सोर्स मॉडल भी शामिल थे, और उन सभी ने समान परिणाम दिए।
तो, फैसला क्या है? पेपर सुझाव देता है कि ये एआई मॉडल अभी तक पूरी तरह से मानव विशेषज्ञों को बदलने वाले मास्टर शेफ नहीं हैं। कभी-कभी एआई अटक जाता है, सही सामग्रियां नहीं ढूंढ पाता, या गणना में गलती कर देता है। लेकिन, यह एक अविश्वसनीय रूप से शक्तिशाली उपकरण है जो एक "प्रथम-चरण" (first-pass) स्क्रीनर के रूप में कार्य कर सकता है। एक ऐसे लाइब्रेरियन की कल्पना करें जो संदिग्ध दिखने वाली 100 किताबों को जल्दी से स्कैन करके उन्हें फ्लैग कर सकता है, ताकि मानव विशेषज्ञ अपना समय केवल कठिन वाले मामलों पर खर्च कर सकें। लेखक तर्क देते हैं कि हालांकि एआई अंतिम निर्णायक नहीं होना चाहिए, लेकिन यह एक स्केलेबल, तेज़ और सहायक असिस्टेंट हो सकता है जो विज्ञान को अधिक कठोर और विश्वसनीय बनाने में मदद करे, जिससे हमें त्रुटियों को पकड़ने में मदद मिले इससे पहले कि वे हमारे स्थायी इतिहास का हिस्सा बनें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।