Dead Science Walking: Publication Bias and the AI Scientist Pipeline

तकनीकी सारांश: डेड साइंस वॉकिंग: पब्लिकेशन बायस और द एआई साइंटिस्ट पाइपलाइन

समस्या विवरण
यह शोध पत्र तर्क देता है कि एआई वैज्ञानिक प्रणालियाँ—स्वायत्त एजेंट जो परिकल्पनाएँ (hypotheses) उत्पन्न करने, कोड निष्पादित करने, सिमुलेशन चलाने और शोध पत्र तैयार करने में सक्षम हैं—वैज्ञानिक साहित्य में निहित "नल रिजल्ट गैप" (null result gap) को विरासत में लेने और उसे बढ़ाने के जोखिम में हैं। जबकि मानव विज्ञान में सुधार की धीमी प्रक्रियाएँ होती हैं (जैसे, विफल प्रतिकृति/replications, विद्वानों के बीच असहमति, या शोध पत्रों का वापस लिया जाना/retraction) जो महीनों या दशकों में काम करती हैं, एआई प्रणालियाँ ऐसी सुधार प्रक्रियाओं के बंद होने से पहले हजारों परिकल्पनाओं को उत्पन्न और मूल्यांकन कर सकती हैं।

मुख्य मुद्दा कॉर्पस विफलता (corpus failure) है: एआई प्रणालियाँ ऐसे साहित्य पर प्रशिक्षित और आधारित होती हैं जो सकारात्मक परिणामों का अत्यधिक प्रतिनिधित्व करता है और 'नल' परिणामों (null findings), विफल प्रतिकृतियों और वापस लिए गए कार्यों का कम प्रतिनिधित्व करता है। यह एक विकृत 'प्रायर' (prior) बनाता है जहाँ सुलभ कॉर्पस यह सुझाव देता है कि परिकल्पनाएँ वास्तविक अनुभवजन्य वास्तविकता (empirical reality) की तुलना में अधिक सफल होती हैं। शोध पत्र का मानना है कि विशिष्ट शासन (governance) के बिना, एआई वैज्ञानिक केवल खोज को गति ही नहीं देंगे, बल्कि इन दृष्टि दोषों (blind spots) के प्रसार को भी गति देंगे, जिससे संभावित रूप से साहित्य का एक नया स्तर निर्मित होगा जो दिखने में जितना विश्वसनीय लगता है, वास्तव में उतना नहीं होगा।

कार्यप्रणाली और औपचारिकीकरण
लेखक इस विरूपण और इसके प्रवर्धन को तीन प्राथमिक तंत्रों के माध्यम से औपचारिक रूप देते हैं:

1. द नल रिजल्ट गैप ($\Delta$):
   इसे इस अंतर के रूप में परिभाषित किया गया है कि कॉर्पस में किसी परिकल्पना को सकारात्मक के रूप में प्रस्तुत करने की संभावना और उस परिकल्पना के सत्य (या सफलतापूर्वक पुनरुत्पादित) होने की संभावना के बीच क्या अंतर है।
   $$\Delta = \Pr[C(h) = 1 \mid h \in L] - \Pr[h \in T \mid h \in L]$$
   जहाँ $L$ प्रकाशित साहित्य है, $T$ सत्य परिकल्पनाओं का उपसमुच्चय है, और $C(h)$ कॉर्पस द्वारा $h$ को सकारात्मक के रूप में प्रस्तुत करने की घटना है।

• अनुभवजन्य अनुमान (Empirical Estimates): शोध पत्र मौजूदा प्रतिकृति साहित्य के आधार पर तीन डोमेन में $\Delta$ का अनुमान लगाता है:
  • ड्रग डिस्कवरी (Drug Discovery): $\Delta \approx 0.60$
  • मनोविज्ञान (Psychology): $\Delta \approx 0.56$
  • कैंसर जीव विज्ञान (Cancer Biology): $\Delta \approx 0.35$

2. एम्प्लीफिकेशन इंडेक्स ($A_\Delta$):
   शोध पत्र एक इंडेक्स पेश करता है जो यह मॉडल करता है कि एआई पाइपलाइन कच्चे अंतराल (raw gap) को कैसे बढ़ाती है। यह तीन बायस मल्टीप्लायर्स ($\alpha_1, \alpha_2, \alpha_3 \ge 1$) को परिभाषित करता है जो रिट्रीवल (retrieval), जनरेशन (generation) और इवैल्यूएशन (evaluation) चरणों के अनुरूप हैं:
   $$A_\Delta = \alpha_1 \cdot \alpha_2 \cdot \alpha_3$$

• रिट्रीवल ($\alpha_1$): मानक रिट्रीवल सिस्टम 'नल-रिजल्ट' रिकॉर्ड की तुलना में सकारात्मक एब्स्ट्रैक्ट्स को प्राथमिकता देते हैं (यहाँ $\alpha_1 \approx 1.4$ निर्धारित है)।
• जनरेशन ($\alpha_2$): एलएलएम (LLMs) मिश्रित साक्ष्यों को आत्मविश्वासी और सुसंगत आख्यानों में संश्लेषित करने की प्रवृत्ति रखते हैं, जिससे संभावित रूप से चेतावनियों को छोड़ दिया जाता है (यहाँ $\alpha_2 \approx 1.3$ निर्धारित है)।
• इवैल्यूएशन ($\alpha_3$): स्वचालित जज अक्सर साक्ष्य विश्वसनीयता के बजाय प्रवाह (fluency) और नवीनता को पुरस्कृत करते हैं (यहाँ $\alpha_3 \approx 1.2$ निर्धारित है)।
• परिणाम: एक मानक तीन-चरणीय पाइपलाइन कच्चे अंतराल को लगभग $2.18\times$ के कारक से बढ़ा सकती है (उदाहरण के लिए, मनोविज्ञान के $0.56$के अंतराल को$\approx 1.22$ के प्रभावी विरूपण में बदलना)। लेखक नोट करते हैं कि यह एक प्रथम-क्रम का अनुमान है; वास्तविक प्रवर्धन अधिक हो सकता है क्योंकि चरणों के बीच सकारात्मक सहसंबंध होता है।

3. विफलता मोड वर्गीकरण (Failure Mode Taxonomy):
   शोध पत्र चार विशिष्ट शासन विफलता मोड को वर्गीकृत करता है:

• कॉन्फिडेंट रिडिस्कवरी (Confident Rediscovery): प्रणाली ज्ञात-असत्य परिकल्पनाओं को नए दिशाओं के रूप में प्रस्तावित करती है क्योंकि रिट्रीवल कॉर्पस में प्रतिकृति विफलता डेटा का अभाव होता है।
• घोस्ट एविडेंस एक्यूमुलेशन (Ghost Evidence Accumulation): कई एआई प्रणालियाँ एक-दूसरे के आउटपुट को उद्धृत करती हैं, जिससे एक ऐसा साइटेशन नेटवर्क बनता है जो अभिसरण (convergence) दिखाता प्रतीत होता है, लेकिन वास्तव में यह साझा अपस्ट्रीम बायस का एक लूप है।
• रेप्लिकेशन लॉन्ड्रिंग (Replication Laundering): एआई-जनित दावों को अन्य एआई प्रणालियों द्वारा पूर्व साक्ष्य के रूप में उद्धृत किया जाता है, जो वास्तविक प्रयोगात्मक संपर्क के बिना स्वतंत्र प्रतिकृति की नकल करता है।
• कॉन्फिडेंस मिसकैलिब्रेशन (Confidence Miscalibration): प्रणाली उन परिकल्पनाओं पर उच्च विश्वास रिपोर्ट करती है जिनके पास बहुत कम अनुभवजन्य समर्थन है क्योंकि मूल्यांकन मेट्रिक्स 'असत्य सिद्ध करने वाले रिकॉर्ड' (falsification records) की कमी को दंडित नहीं करते हैं।

प्रमुख योगदान और प्रस्तावित हस्तक्षेप
शोध पत्र यह दावा नहीं करता है कि वर्तमान प्रणालियों ने पहले से ही इन सभी विफलताओं को साकार कर लिया है, बल्कि यह तर्क देता है कि पूर्व शर्तें (बायस्ड कॉर्पसी, टेक्स्ट के ऊपर रिट्रीवल, फ्लूएंट जनरेशन, ऑटोमेटेड लूप्स) मौजूद हैं। यह मूल कारण (साक्ष्य आधार) को संबोधित करने के लिए तीन संरचनात्मक हस्तक्षेप प्रस्तावित करता है:

1. ट्रेनिंग इंफ्रास्ट्रक्चर के रूप में नल-रिजल्ट डेटाबेस:
   लेखक 'नल परिणामों' के लिए एक संरचित स्कीमा (परिकल्पना, प्रोटोकॉल, परिणाम, प्रभाव आकार, विश्वास अंतराल, प्री-रजिस्ट्रेशन लिंक) प्रस्तावित करते हैं जिसे मशीन-पठनीय बनाया जाना चाहिए। यह ClinicalTrials.gov और 'रजिस्टर्ड रिपोर्ट्स' के तर्क को एआई-पठनीय कॉर्पस तक विस्तारित करता है, यह सुनिश्चित करता है कि विफल प्रतिकृतियां प्रथम श्रेणी के साक्ष्य हों।

2. रिट्रैक्शन-अवेयर इवैल्यूएशन मेट्रिक्स:
   शोध पत्र बेंचमार्क के लिए एक "रिट्रैक्शन-अवेयर स्कोर" ($R_a$) प्रस्तावित करता है। यह मेट्रिक उन प्रणालियों को दंडित करता है जो संदर्भ के बिना रिट्रैक्ट (वापस लिए गए) साहित्य का उपयोग दावों के समर्थन के रूप में करती हैं। इसका उद्देश्य प्रोत्साहनों को संरेखित करना है ताकि वे प्रणालियाँ जो रिट्रैक्शन को अनदेखा करती हैं, उन्हें उन प्रणालियों के समान स्कोर न मिले जो रिट्रैक्शन का पता लगाती हैं और संदर्भ देती हैं।

3. अनिवार्य ट्रेनिंग कॉर्पस डिस्क्लोजर:
   एआई-सहायता प्राप्त कार्य स्वीकार करने वाले मंचों को एक "ट्रेनिंग कॉर्पस कार्ड" (मॉडल कार्ड के समान) की आवश्यकता होनी चाहिए। इस प्रकटीकरण में स्रोत, 'नल-रिजल्ट' कवरेज, रिट्रैक्शन फ़िल्टरिंग, नॉलेज कटऑफ और यह विवरण होना चाहिए कि क्या जनरेटेड आउटपुट को रिट्रीवल कॉर्पसा में पुनः प्रवेश करने की अनुमति है। यह साक्ष्य सीमा को एक अस्पष्ट कार्यान्वयन विवरण के बजाय ऑडिट योग्य बनाता है।

महत्व और दावे
शोध पत्र का केंद्रीय दावा यह है कि त्वरण (acceleration) स्वतः ही ज्ञानशास्त्रीय प्रगति (epistemic progress) नहीं है। यदि इनपुट रिकॉर्ड 'नल रिजल्ट्स' को छोड़ देता है, तो गति (speed) उस विलोपन को बढ़ा देती है। लेखक तर्क देते हैं कि प्रतिक्रिया बुनियादी ढांचे (infrastructural) के स्तर पर होनी चाहिए: नल परिणामों को इंडेक्स करना, रिट्रैक्शन जागरूकता का मूल्यांकन करना और प्रशिक्षण कॉर्पस का खुलासा करना।

इसका महत्व इस बात में है कि यह शासन के प्रश्न को काल्पनिक भविष्य के जोखिमों से हटाकर तत्काल बुनियादी ढांचे की आवश्यकताओं की ओर ले जाता है। शोध पत्र का कहना है कि बिना इन हस्तक्षेपों के, क्षेत्र अपनी खोज को तेज करने से पहले अपने ही अन-करेक्टेड (uncorrected) त्रुटियों के पुनर्चक्रण को तेज करने का जोखिम उठाता है। प्रस्तावित हस्तक्षेप मौजूदा वैज्ञानिक बुनियादी ढांचे के पूरक हैं और इनके लिए जिम्मेदार एआई परмdeployment को प्रतिबंधित करने की आवश्यकता नहीं है; बल्कि, इनका लक्ष्य साक्ष्य आधार को निरीक्षण योग्य बनाना है इससे पहले कि एआई निष्कर्ष पुन: प्रयोज्य वैज्ञानिक बुनियादी ढांचे बन जाएं।