LLM assisted writing deserves empirical evaluation

विज्ञान हमेशा से एक संवाद रहा है, जो सीमाओं और भाषाओं के पार अपनी खोजों को साझा करने के लिए स्पष्ट लेखन पर निर्भर करता है। दशकों से, शोधकर्ता यह सुनिश्चित करने के लिए सलाहकारों, पेशेवर संपादकों और अनुवाद सेवाओं पर निर्भर रहे हैं कि उनका कार्य वैश्विक समुदाय द्वारा समझा जाए। आज, इस संवाद में एक नया प्रतिभागी शामिल हुआ है: लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल)। ये कंप्यूटर प्रोग्राम हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है जो मानवीय भाषा को उल्लेखनीय प्रवाह के साथ पढ़, सारांशित और पुनर्गठित कर सकते हैं। जैसे-जैसे ये उपकरण प्रयोगशालाओं और कार्यालयों में सामान्य होते जा रहे हैं, विज्ञान में उनकी भूमिका को लेकर एक बहस छिड़ गई है। कई लोग चिंतित हैं कि उनका उपयोग विचारों के वास्तविक लेखक को छिपा सकता है, त्रुटियाँ पेश कर सकता है, या अनुसंधान की गुणवत्ता को कम कर सकता है। फलस्वरूप, वर्तमान चर्चा का अधिकांश हिस्सा इस बात पर केंद्रित है कि यह कैसे पता लगाया जाए कि मशीन ने पेपर लिखने में मदद की है, जिससे यह मुद्दा मुख्य रूप से निगरानी का मामला बन गया है। हालाँकि, पहचान पर यह ध्यान एक अधिक महत्वपूर्ण प्रश्न को अनदेखा कर सकता है: ये उपकरण वास्तव में विज्ञान संचार करने के तरीके और इसमें कौन भाग ले सकता है, इसे कैसे बदलते हैं?

इसका उत्तर देने के लिए, वील कॉर्नेल मेडिसिन और कोलंबिया यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने सिद्धांत के बजाय साक्ष्यों को देखने का निर्णय लिया। उन्होंने हेल्थ इंफॉर्मेटिक्स के क्षेत्र के 69,209 वैज्ञानिक शोध पत्रों के एक विशाल संग्रह का परीक्षण किया, जो इस बात से संबंधित है कि चिकित्सा और सार्वजनिक स्वास्थ्य में डेटा और तकनीक का उपयोग कैसे किया जाता है। शोधकर्ताओं ने इन शोध पत्रों को तीन समूहों में विभाजित किया ताकि वे देख सकें कि उनमें क्या अंतर है। पहले समूह में वे शोध पत्र शामिल थे जो 2022 के अंत से पहले लिखे गए थे, यानी सबसे उन्नत चैटबॉट्स के सार्वजनिक रिलीज से पहले। दूसरे समूह में उस तारीख के बाद के शोध पत्र शामिल थे जिनमें इन उपकरणों के उपयोग के कोई संकेत नहीं मिले। तीसरा समूह उसी हालिया अवधि के उन शोध पत्रों का था जिन्हें शोधकर्ताओं ने लार्ज लैंग्वेज मॉडल्स द्वारा समर्थित पाया। इन समर्थित शोध पत्रों को खोजने के लिए, उन्होंने एक विशेष कंप्यूटर प्रोग्राम का उपयोग किया जिसे मानवीय लेखन और एआई (AI) द्वारा पुनर्गठित या उत्पन्न किए गए टेक्स्ट के बीच सूक्ष्म अंतर को पहचानने के लिए प्रशिक्षित किया गया था।

विश्लेषण से पता चला कि इन उपकरणों द्वारा समर्थित शोध पत्र वे निम्न-गुणवत्ता वाले या कम गंभीर कार्य नहीं थे जैसा कि आलोचक अक्सर डरते हैं। इसके बजाय, डेटा एक अलग वास्तविकता का सुझाव देता है। ये शोध पत्र अपनी प्रस्तुति में अधिक केंद्रित थे। जहाँ एक विशिष्ट वैज्ञानिक शोध पत्र कई अलग-अलग विषयों के माध्यम से भटक सकता है, वहीं एआई-समर्थित शोध पत्र एक ही स्पष्ट विषय पर अधिक मजबूती से टिके रहे। उनके शीर्षक और सारांश अनुसंधान के मुख्य विषय के साथ बारीकी से संरेखित थे, जिससे पाठकों के लिए यह समझना आसान हो गया कि अध्ययन वास्तव में किस बारे में था और व्यापक क्षेत्र के भीतर इसका स्थान कहाँ है। इस स्पष्टता का अर्थ यह नहीं था कि विचार कम मौलिक थे; बल्कि, इसने सुझाव दिया कि इन उपकरणों ने लेखकों को स्थापित वैज्ञानिक संवादों के भीतर अपने कार्य को अधिक सटीक रूप से स्थापित करने में मदद की।

अन्य अन्य कार्यों को संदर्भित करने के तरीके में एक महत्वपूर्ण बदलाव देखा गया। एआई-समर्थित शोध पत्रों ने बिना सहायता वाले शोध पत्रों की तुलना में अधिक स्रोतों का उल्लेख किया, और वे स्रोत विषयों की एक विस्तृत श्रृंखला को कवर करते थे। यह निष्कर्ष इस विचार को चुनौती देता है कि मशीनें केवल लेखन को तेज़ बनाती हैं बिना कोई मूल्य जोड़े। यह सुझाव देता है कि शोधकर्ता इन उपकरणों का उपयोग उन साहित्य को खोजने के लिए कर रहे हैं जो शायद उन्हें अन्यथा नहीं मिल पाते, संभवतः जटिल ग्रंथों का सारांश देकर या नए खोज शब्दों को उत्पन्न करके। हालाँकि, शोधकर्ताओं ने नोट किया कि संदर्भों की लंबी सूची का मतलब स्वतः ही यह नहीं है कि अनुसंधान अधिक गहरा या बेहतर है। एक ग्रंथ सूची (बिब्लियोग्राफी) व्यापक लेकिन उथली हो सकती है, या इसमें ऐसे उद्धरण शामिल हो सकते हैं जो मुख्य तर्क से केवल ढीले तौर पर जुड़े हों। ये उपकरण सूचना का एक विस्तृत जाल इकट्ठा करना आसान बनाते हैं, लेकिन सबसे प्रासंगिक और सटीक स्रोतों का चयन करने की जिम्मेदारी अभी भी मानव लेखक पर ही टिकी है।

शायद सबसे चौंकाने वाला अंतर यह था कि ये शोध पत्र कौन लिख रहा था। अध्ययन से पता चला कि एआई-समर्थित शोध पत्रों के पहले लेखक के उस देश में होने की संभावना अधिक थी जहाँ अंग्रेजी प्राथमिक भाषा नहीं है। उन्होंने विभिन्न महाद्वीपों के शोधकर्ताओं के बीच सहयोग का उच्च स्तर भी दिखाया और इसमें निम्न- एवं मध्यम-आय वाले देशों के अधिक लेखक शामिल थे। यह पैटर्न बताता है कि ये उपकरण एक सेतु (ब्रिज) के रूप में कार्य कर रहे हैं, जिससे वैज्ञानिकों को उन भाषाई बाधाओं को दूर करने में मदद मिल रही है जो अक्सर अंतरराष्ट्रीय पत्रिकाओं में प्रकाशन को कठिन और महंगा बना देती हैं। संपादन और अनुवाद के लिए ऑन-डिमांड सहायता प्रदान करके, यह तकनीक समान अवसर (लेवल प्लेइंग फील्ड) प्रदान कर सकती है, जिससे अधिक विविध आवाज़ों को वैश्विक वैज्ञानिक संवाद में प्रवेश करने की अनुमति मिल सके।

इन बदलावों के फोकस, उद्धरण आदतों और लेखकत्व के बावजूद, अध्ययन ने पाया कि कार्य की दृश्यता और प्रभाव स्थिर रहा। एक आम चिंता यह है कि एआई की मदद से लिखे गए शोध पत्रों को अनदेखा किया जा सकता है या कम बार उद्धृत किया जा सकता है। डेटा ने इसका समर्थन नहीं किया। जब शोधकर्ताओं ने प्रकाशन के बाद शोध पत्रों को प्राप्त होने वाले उद्धरणों की गति की तुलना की, तो एआई-समर्थित शोध पत्रों ने बिना किसी मदद के लिखे गए पत्रों के समान ही प्रदर्शन किया। वे उच्च प्रतिष्ठा वाली पत्रिकाओं में भी प्रकाशित हुए, जो अन्य समूहों के समान ही था। यह इंगित करता है कि वैज्ञानिक समुदाय इन शोध पत्रों को अस्वीकार नहीं कर रहा है; इसके बजाय, उन्हें पारंपरिक कार्य की समान दर से पढ़ा और मान्यता दी जा रही है।

शोधकर्ताओं ने निष्कर्ष निकाला कि विज्ञान में आर्टिफिशियल इंटेलिजेंस के बारे में बातचीत को बदलने की आवश्यकता है। लोगों को इन उपकरणों का उपयोग करते हुए पकड़ने या "वास्तविक" विद्वत्ता को "सहायता प्राप्त" कार्य से अलग करने के बजाय, वैज्ञानिक समुदाय को स्वयं अनुसंधान की गुणवत्ता पर ध्यान केंद्रित करना चाहिए। अध्ययन सुझाव देता है कि ये उपकरण स्वाभाविक रूप से अच्छे या बुरे नहीं हैं; वे केवल लेखन प्रक्रिया का एक नया हिस्सा हैं, ठीक वैसे ही जैसे स्पेलचेकर या एक सांख्यिकीय सॉफ्टवेयर पैकेज। उनका प्रभाव पूरी तरह से इस बात पर निर्भर करता है कि उनका उपयोग कैसे किया जाता है। यदि वे लेखकों को अधिक स्पष्ट रूप से संवाद करने और अधिक विविध दृष्टिकोणों को शामिल करने में मदद करते हैं, तो वे एक शक्तिशाली सकारात्मक शक्ति बन सकते हैं। यदि उनका उपयोग काम से बचने या त्रुटियों को छिपाने के लिए किया जाता है, तो वे हानिकारक हो सकते हैं। साक्ष्य दिखाते हैं कि ये उपकरण पहले से ही विज्ञान को लिखे जाने के तरीके और इसे कौन लिखता है, इसे नया रूप दे रहे हैं, और सबसे अच्छा तरीका यह है कि कार्य को उसकी सटीकता और अखंडता से आंका जाए, न कि उस सॉफ़्टवेयर से जिसका उपयोग ड्राफ्ट तैयार करने के लिए किया गया था।