Frontier language models recover scientific quality but predictably diverge from human reviewers
जबकि फ्रंटियर भाषा मॉडल स्थापित वैज्ञानिक गुणवत्ता पदानुक्रमों को सफलतापूर्वक पुन: प्राप्त करते हैं और मानव समीक्षकों की तुलना में उच्च अंतर-मॉडल सहमति प्राप्त करते हैं, वे व्यवस्थित रूप से मौलिकता को कम आंकते हैं और पेपर की कमजोरियों को पहचानने में मनुष्यों के साथ कमजोर संरेखण प्रदर्शित करते हैं, जो समीक्षा प्रक्रिया में संरचनात्मक विषमताओं को प्रकट करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विज्ञान एक प्रक्रिया पर निर्भर करता है जिसे 'पियर रिव्यू' (सहकर्मी समीक्षा) कहा जाता है, जहाँ विशेषज्ञ नए शोध पत्रों को पढ़ते हैं और निर्णय लेते हैं कि क्या वह कार्य प्रकाशन के लिए पर्याप्त रूप से अच्छा है। यह प्रणाली एक फिल्टर के रूप में कार्य करती है, यह सुनिश्चित करती है कि केवल उच्च गुणवत्ता वाले विचार ही वैज्ञानिक रिकॉर्ड में प्रवेश करें। हालाँकि, लिखे जा रहे शोध पत्रों की संख्या में भारी विस्फोट हुआ है, विशेष रूप से आर्टिफिशियल इंटेलिजेंस के तेजी से बढ़ते क्षेत्र में। सबमिशन की भारी मात्रा ने मानव स्वयंसेवकों को थका दिया है, जिससे कई लोग यह सोचने लगे हैं कि क्या कंप्यूटर इसमें मदद कर सकते हैं। लार्ज लैंग्वेज मॉडल्स, वही शक्तिशाली एआई सिस्टम जो निबंध लिख सकते हैं या प्रश्नों के उत्तर दे सकते हैं, अब यह परीक्षण किए जा रहे हैं कि क्या वे समीक्षकों के रूप में कार्य कर सकते हैं। बड़ा सवाल केवल यह नहीं है कि क्या ये मशीनें एक पेपर को पढ़ सकती हैं, बल्कि यह है कि क्या वे समझ सकती हैं कि एक पेपर को वास्तव में उत्कृष्ट क्या बनाता है, और क्या उनका निर्णय मानव विशेषज्ञों के निर्णय से मेल खाता है।
शोधकर्ताओं की एक टीम ने तीन सबसे उन्नत एआई मॉडल्स को परीक्षण में डालकर इसका उत्तर देने का प्रयास किया। उन्होंने प्रमुख सम्मेलनों और जर्नल्स से एक हजार से अधिक मशीन लर्निंग पेपर्स एकत्र किए, जिनमें कुछ व्यापक रूप से स्वीकृत थे और अन्य कम। उन्होंने तीनों एआई सिस्टम से प्रत्येक पेपर को पढ़ने और उन्हें चार श्रेणियों में एक सरल चार-बिंदु पैमाने पर ग्रेड देने के लिए कहा: विज्ञान कितना सटीक था, लेखन कितना स्पष्ट था, कार्य कितना महत्वपूर्ण लग रहा था, और विचार कितने नए या मौलिक थे। फिर शोधकर्ताओं ने प्रत्येक पेपर के लिए एक एकल, सर्वसम्मत निर्णय बनाने के लिए तीनों एआई के स्कोर को मिलाया। उन्होंने ऐसा एआई को यह बताए बिना किया कि कौन से पेपर स्वीकार किए गए थे और किनको अस्वीकार कर दिया गया था, जिससे यह सुनिश्चित हुआ कि मशीनें केवल सामग्री का ही मूल्यांकन कर रही हैं।
परिणामों ने दिखाया कि एआई सिस्टम गुणवत्ता को पहचानने में आश्चर्यजनक रूप से कुशल थे। जब शोधकर्ताओं ने स्कोर देखे, तो एआई ने छोटे वर्कशॉप्स की तुलना में शीर्ष-स्तरीय सम्मेलनों के पेपर्स को लगातार उच्च अंक दिए। इसने उन जर्नल लेखों को भी अधिक अंक दिए जिन्हें अन्य वैज्ञानिकों द्वारा कई बार उद्धृत (cite) किया गया था, उन समान लेखों की तुलना में जिन्हें कम बार उद्धृत किया गया था। बिना परिणाम बताए भी, एआई ने पोस्टर के रूप में प्रस्तुत किए जाने वाले पेपर्स की तुलना में मौखिक प्रस्तुति (oral talks) के रूप में प्रस्तुत किए गए पेपर्स को उच्च रैंक दी। यह सुझाव देता है कि एआई उन सूक्ष्म संकेतों का पता लगा सकता है जिनका उपयोग मानव विशेषज्ञों ने दशकों से उत्कृष्ट कार्य को औसत कार्य से अलग करने के लिए किया है।
हालाँकि, अध्ययन में एआई के सोचने के तरीके में एक स्पष्ट और सुसंगत दोष भी पाया गया। जबकि मनुष्य और मशीनें एक पेपर की समग्र गुणवत्ता पर सहमत थे, एआई ने व्यवस्थित रूप से मौलिकता को कम महत्व दिया। ग्रेडिंग प्रणाली में, मौलिकता को तकनीकी सटीकता या स्पष्टता के समान ही महत्व दिया जाना चाहिए था, लेकिन एआई मॉडल्स ने इसे लगातार कम भार दिया। वे उन पेपर्स का पक्ष लेने लगे जो पद्धतिगत रूप से ठोस और अच्छी तरह से लिखे गए थे, भले ही विचार विशेष रूप से नए न हों, जबकि उन पेपर्स को कम अंक दिए जो नवीन अवधारणाएं पेश करते थे लेकिन शायद थोड़े कम पॉलिश किए गए थे। यह पूर्वाग्रह तीनों अलग-अलग एआई मॉडल्स में दिखाई दिया, जो यह दर्शाता है कि यह इन प्रणालियों के वैज्ञानिक पाठ का मूल्यांकन करने के तरीके में एक गहरा पैटर्न है, न कि किसी एक प्रोग्राम की गलती।
शोधकर्ताओं ने यह भी देखा कि एआई पेपर्स की खूबियों और कमियों के बारे में क्या कहता है, और इसकी तुलना मानव समीक्षकों द्वारा लिखी गई टिप्पणियों से की। उन्होंने एआई और मनुष्यों के बीच सहमति के संबंध में एक अजीब विभाजन पाया। जब बात एक पेपर के अच्छे बिंदुओं को पहचानने की थी, तो एआई और मनुष्य अक्सर मजबूत सहमति में थे। लेकिन जब बात खामियों या कमजोरियों को पकड़ने की आई, तो एआई अक्सर उन चीजों को चूक गया जो मनुष्यों ने पकड़ी थीं, या ऐसी समस्याओं की ओर इशारा किया जो मनुष्यों ने नहीं देखी थीं। यह अंतर केवल एआई तक सीमित नहीं था; मानव समीक्षक भी कमजोरियों पर खूबियों की तुलना में एक-दूसरे से अधिक असहमत होते थे। यह सुझाव देता है कि एक वैज्ञानिक तर्क में खामियों को ढूंढना एक कठिन कौशल है जिसे पूर्णतः में मास्टर करना किसी के लिए भी—मानव या मशीन—कठिन है।
अंततः, यह अध्ययन दिखाता है कि हालांकि एआई शोध के बड़े ढेर को छाँटने और उच्च-गुणवत्ता वाले कार्य की पहचान करने के लिए एक शक्तिशाली उपकरण हो सकता है, लेकिन यह मानवीय निर्णय का पूर्ण विकल्प नहीं है। मशीनें स्थापित योग्यता और तकनीकी सुदृढ़ता को पहचानने में उत्कृष्ट हैं, लेकिन वे उसी कठिन कार्य में संघर्ष करती हैं जिसका सामना मनुष्य करते हैं: एक तर्क में सूक्ष्म, महत्वपूर्ण कमजोरियों को पहचानना। शोधकर्ता निष्कर्ष निकालते हैं कि यदि इन उपकरणों का भविष्य में उपयोग किया जाता है, तो उन्हें मानवीय निरीक्षण के साथ जोड़ा जाना चाहिए, विशेष रूप से यह सुनिश्चित करने के लिए कि तकनीकी पूर्णता की दौड़ अनजाने में वास्तव में मौलिक और रचनात्मक विचारों को पीछे न धकेल दे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।