Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models

बायोमेडिकल रिसर्च की दुनिया की कल्पना एक विशाल रसोईघर के रूप में करें जहाँ वैज्ञानिक लगातार नई रेसिपी (उनके अध्ययन) तैयार कर रहे हैं। लंबे समय तक, ये रेसिपी केवल विशेषज्ञों के एक पैनल द्वारा सख्त "टेस्ट-टेस्ट" (पीयर रिव्यू) के बाद ही जनता को परोसी जाती थीं। लेकिन हाल ही में, शेफ अपनी बिना टेस्ट की हुई कच्ची रेसिपी को एक सार्वजनिक बुलेटिन बोर्ड पर पोस्ट करने लगे हैं जिसे प्रीप्रिंट (जैसे bioRxiv) कहा जाता है, ताकि हर कोई उन्हें तुरंत देख सके।

कुछ लोग चिंतित हैं क्योंकि क्योंकि इन रेसिपीज़ को अभी तक टेस्ट नहीं किया गया है, इसलिए वे गलतियों या अतिशयोक्ति से भरी हो सकती हैं। इस अध्ययन ने इस चिंता को दूर करने का निर्णय लिया और 72,644 रेसिपी के जोड़ों का विश्लेषण किया: मूल संस्करण जिसे बुलेटिन बोर्ड पर पोस्ट किया गया था और अंतिम, स्वीकृत संस्करण जिसे रेस्टोरेंट में परोसा गया जब आलोचकों ने अपनी मंजूरी दी।

शोधकर्ताओं ने इसे क्या पाया, यह जानने के लिए उन्होंने एक सुपर-स्मार्ट एआई असिस्टेंट (एक बहुत ही सावधान संपादक की तरह) का उपयोग किया ताकि दोनों संस्करणों की तुलना की जा सके:

1. मुख्य संदेश वही रहता है

एक अध्ययन के मुख्य दावे को समाचार कहानी की हेडलाइन की तरह समझें। शोधकर्ताओं ने पाया कि लगभग 90% अध्ययनों के लिए, हेडलाइन में ज्यादा बदलाव नहीं आया।

• 40% बार, हेडलाइन बिल्कुल वैसी ही थी।
• 50% बार, हेडलाइन को थोड़ा पॉलिश किया गया या मामूली सुधार किया गया, जैसे "हमने एक इलाज खोज लिया" को बदलकर "हमने एक आशाजनक उपचार खोजा" करना।
• केवल 10% बार हेडलाइन को पूरी तरह से बदला गया।

दूसरे शब्दों शब्दों में, शोध की "आत्मा" आमतौर पर बुलेटिन बोर्ड से अंतिम प्रकाशन तक की यात्रा के दौरान बरकरार रहती है।

2. वैज्ञानिक अधिक आत्मविश्वासी नहीं, बल्कि अधिक सतर्क हो जाते हैं

जब वैज्ञानिक प्रीप्रिंट पोस्ट करते हैं, तो वे अक्सर उत्साहित और आत्मविश्वासी होते हैं। अपने काम की समीक्षा के बाद, वे अपनी उत्तेजना को थोड़ा कम कर देते हैं।

• कल्पना करें कि एक वैज्ञानिक कह रहा है, "यह दवा एक चमत्कार है!" प्रीप्रिंट में।
• अंतिम पेपर में, वे इसे बदलकर कह सकते हैं, "यह दवा आशाजनक परिणाम दिखाती है।"
• अध्ययन में पाया गया कि वैज्ञानिकों के समीक्षा के बाद अधिक सावधान और सतर्क होने की संभावना, अधिक आत्मविश्वासी होने की तुलना में दोगुनी थी। वे अपने दावों को आलोचकों के देखने के बाद शायद ही कभी अधिक नाटकीय बनाते हैं।

3. समय मायने रखता है, लेकिन रुझान सुधर रहे हैं

• इंतजार का खेल: यदि कोई अध्ययन समीक्षा कतार में बहुत लंबे समय तक रहा (धीमी लेन में), तो उसके बड़े पैमाने पर पुनर्गठन (रीराइट) की संभावना अधिक थी (14% संभावना) तुलनात्मक रूप से उन लोगों के जिन्हें जल्दी समीक्षा मिली (7% संभावना)। ऐसा लगता है कि आलोचक रेसिपी को जितना अधिक समय तक चबाते हैं, उनके द्वारा पूरी रेसिपी बदलने की संभावना उतनी ही अधिक होती है।
• बेहतर होना: वर्षों के दौरान (2019 से 2024 तक), बड़े पैमाने पर पुनर्गठन की आवश्यकता काफी कम हो गई है। यह ऐसा है जैसे शेफ आलोचकों को भेजने से पहले ही अपनी रेसिपी लिखने में बेहतर हो रहे हैं।

4. "प्रीप्रिंट सेफ्टी नेट"

अध्ययन में कुछ दिलचस्प भी देखा गया: वे पेपर जिन्होंने कभी बुलेटिन बोर्ड का रुख नहीं किया, वे उन पेपरों की तुलना में दोगुनी दर से वापस लिए गए (रिट्रैक्टेड - रिकॉर्ड से हटा दिए गए क्योंकि वे गलत थे) जो प्रीप्रिंट के रूप में शुरू हुए थे। यह ऐसा है जैसे रेसिपी को जल्दी पोस्ट करना और जनता को इसे पहले देखने देना एक सुरक्षा जांच के रूप में कार्य करता है, जो त्रुटियों को स्थायी होने से पहले ही पकड़ लेता है।

निष्कर्ष

मुख्य निष्कर्ष सरल है: प्रीप्रिंट सत्य का एक विश्वसनीय स्रोत हैं।

सिर्फ इसलिए कि किसी वैज्ञानिक अध्ययन को अभी तक "आधिकारिक" रूप से प्रकाशित नहीं किया गया है, इसका मतलब यह नहीं है कि उसके मुख्य निष्कर्ष मनगढ़ंत अनुमान हैं। प्रीप्रिंट बुलेटिन बोर्ड से अंतिम प्रकाशन तक की यात्रा में आमतौर पर केवल थोड़ी बहुत पॉलिशिंग शामिल होती है, न कि पूरी तरह से नया लेखन। अधिकांश बायोमेडिकल रिसर्च के केंद्रीय दावे ठोस होते हैं, भले ही अंतिम आलोचकों ने अपनी मंजूरी न दी हो।