ARA: Agentic Reproducibility Assessment For Scalable Support Of Scientific Peer-Review

तकनीकी सारांश: एजेंटिक रिप्रोड्यूसिबिलिटी असेसमेंट (ARA)

समस्या विवरण
वैज्ञानिक सहकर्मी समीक्षा (peer review) आधुनिक अनुसंधान आउटपुट के पैमाने और जटिलता के स्तर पर पुनरुत्पादकता (reproducibility) का आकलन करने में तेजी से अक्षम हो रही है। प्रकाशनों में घातीय वृद्धि, जिसे लेखन सहायकों के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा त्वरित किया गया है, ने पारंपरिक गुणवत्ता आश्वासन तंत्रों पर दबाव डाला है। जबकि पुनरुत्पादकता वैज्ञानिक योगदानों को मान्य करने के लिए एक आवश्यक शर्त है, इसके आकलन के लिए प्रयोगात्मक निर्भरताओं, पद्धतिगत विकल्पों, डेटा प्रवाह और परिणाम-उत्पन्न करने वाली प्रक्रियाओं के पुनर्निर्माण की आवश्यकता होती है। यह प्रक्रिया समय की सीमाओं और सबमिशन की मात्रा को देखते हुए अक्सर मानव समीक्षकों की क्षमता से बाहर हो जाती है। मौजूदा स्वचालित दृष्टिकोण अक्सर डोमेन-विशिष्ट होते हैं, सरल चेकलिस्ट-आधारित पार्सिंग पर निर्भर करते हैं, या प्रकाशन पाठ के परे बाहरी प्रतिकृति पैकेज (कोड, डेटा) तक पहुंच की आवश्यकता रखते हैं। फलस्वरूप, पुनरुत्पादकता मूल्यांकन मानक वर्कफ़्लो में कम प्रतिनिधित्व वाले और स्केल करने में कठिन बने हुए हैं।

कार्यप्रणाली
यह शोध पत्र एजेंटिक रिप्रोड्यूसिबिलिटी असेसमेंट (ARA) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो पुनरुत्पादकता मूल्यांकन को सीधे वैज्ञानिक दस्तावेजों से निष्पादित किए जाने वाले एक संरचित तर्क कार्य (structured reasoning task) के रूप में औपचारिक रूप देता है। ARA बिना किसी बाहरी आर्टिफैक्ट, सोर्स कोड, या निष्पादन वातावरण की आवश्यकता के कार्य करता है। पाइपलाइन में तीन प्राथमिक चरण शामिल हैं:

1. वर्कफ़्लो ग्राफ निर्माण:
   एक वैज्ञानिक पेपर $D$ को देखते हुए, ARA एक निर्देशित वर्कफ़्लो ग्राफ $G = (V, E)$ का निर्माण करता है। नोड्स $V$ को चार डोमेन-अज्ञेय (domain-agnostic) चरणों में विभाजित किया गया है:

• स्रोत (Sources): डेटासेट, धारणाएं और अनुसंधान प्रश्न।
• विधियाँ (Methods): मध्यवर्ती रूपांतरण, एल्गोरिदम, पैरामीटर और सॉफ्टवेयर/हार्डवेयर संसाधन।
• प्रयोग (Experiments): मूल्यांकन प्रोटोकॉल, बेसलाइन, रनटाइम स्थितियां और कॉन्फ़िगरेशन।
• सिंक (Sinks): परिणाम-प्रासंगिक चित्र, तालिकाएं और रिपोर्ट किए गए निष्कर्ष।
  एज (Edges) $E$ इन घटकों के बीच निर्भरता संबंधों का प्रतिनिधित्व करते हैं। एक LLM एजेंट इन घटकों को संरचित प्रश्नों का उपयोग करके निकालता है, और ट्रैसेबिलिटी सुनिश्चित करने के लिए अपने उत्तरों को शाब्दिक स्रोत उद्धरणों (literal source quotes) पर आधारित करता है।

2. माइक्रो-लेवल स्कोरिंग:
   व्यक्तिगत नोड्स की पुनर्निमाण क्षमता (reconstructability) का आकलन एक ऑर्डिनल स्कोरिंग फंक्शन $r(\cdot) \in \{1, 2, 3, 4\}$ का उपयोग करके किया जाता है, जहाँ 1 सूचना की कमी को दर्शाता है और 4 स्वतंत्र पुनर्निर्माण के लिए पर्याप्त विवरण को दर्शाता है। यह स्कोरिंग चरण-विशिष्ट रूप से की जाती है, जो एल्गोरिदम स्पष्टता (विधियों के लिए) बनाम डेटासेट उपलब्धता (स्रोतों के लिए) जैसे पहलुओं के बीच अंतर करती है।

3. पुनरुत्पादकता स्कोरिंग:
   माइक्रो-लेवल आकलन को दो ऑर्थोगोनल अक्षों के माध्यम से एक अंतिम मिश्रित पुनरुत्पादकता स्कोर $R$ में एकत्रित किया जाता है:

• सामग्री स्कोर ($R_c$): स्वतंत्र पुनर्निर्माण के लिए नोड्स (स्रोत, विधियाँ, प्रयोग, सिंक) की वर्णनात्मक पर्याप्तता को मापता है। यह चरण-विशिष्ट औसत स्कोर का एक भारित उत्तल संयोजन (weighted convex combination) है।
• संरचनात्मक स्कोर ($R_s$): वर्कफ़्लो ग्राफ की कनेक्टिविटी की गुणवत्ता को मापता है। यह विच्छेदित स्रोतों, अनाथ सिंक (orphan sinks), अनसुलझे संदर्भों, टूटे हुए स्रोत-से-सिंक पथों, और ग्राफ विखंडन को दंडित करता है।
  अंतिम स्कोर ज्यामितीय माध्य (geometric mean) है: $R = \sqrt{R_c \cdot R_s}$। यह फॉर्मूलेशन सुनिश्चित करता है कि वर्णनात्मक विवरण या संरचनात्मक कनेक्टिविटी में से किसी भी कमजोरी की भरपाई दूसरे की मजबूती से नहीं की जा सकती।

प्रमुख योगदान

• दस्तावेज़-स्तरीय तर्क का औपचारिकीकरण: ARA पुनरुत्पादकता मूल्यांकन को केवल एक चेकलिस्ट या पूर्ण निष्पादन कार्य के रूप में नहीं, बल्कि पाठ से निकाले गए साक्ष्य-जनरेशन वर्कफ़्लो पर एक संरचित तर्क समस्या के रूप में मॉडल करता है।
• डोमेन-अज्ञेय ढांचा: अन्य कार्यों के विपरीत जो विशिष्ट क्षेत्रों (जैसे कंप्यूटर विज्ञान या सामाजिक विज्ञान) तक सीमित हैं, ARA को विषम वैज्ञानिक डोमेन में संचालित करने के लिए डिज़ाइन किया गया है।
• स्केलेबल डायग्नोस्टिक सपोर्ट: सिस्टम लापता रिपोर्टिंग तत्वों, अपूर्ण वर्कफ़्लो और पुनरुत्पादकता बाधाओं की पहचान करने के लिए एक स्केलेबल तंत्र प्रदान करता है, जिसका उद्देश्य मानव सहकर्मी समीक्षा के पूरक के रूप में कार्य करना है।
• व्यापक बेंचमार्किंग: लेखक ReScience C डेटासेट पर ARA का मूल्यांकन करते हैं, जिसमें कई विषयों के 213 मानव-सत्यापित कम्प्यूटेशनल पुनरुत्पादकता अध्ययन शामिल हैं। यह अपने प्रकार के सबसे बड़े क्रॉस-डोमेन बेंचमार्क में से एक है।

परिणाम
प्रयोग 213 ReScience C लेखों पर किए गए, जिसमें ARA के आकलन की तुलना मानव-सत्यापित पुनरुत्पादन वर्कफ़्लो और रिपोर्टिंग संरचनाओं से की गई।

• निरंतरता (Consistency): ढांचा विभिन्न LLM आर्किटेक्चर (Gemini, GPT-4.1, और Qwen वेरिएंट सहित), सैंपलिंग टेम्परेचर और बार-बार किए गए रन के बीच पर्याप्त स्थिरता प्रदर्शित करता है। ग्राफ संरचनात्मक निरंतरता और पुनरुत्पादकता स्कोर परिवर्तनशीलता कम रहती है, जो इंगित करता है कि सिस्टम भ्रम (hallucination) या ऑरेकल-जैसी यादृच्छिकता से प्रेरित नहीं है।
• प्रदर्शन: ARA मानव आकलन के साथ निरंतर सहमति प्राप्त करता है, जो तीन पुनरुत्पादकता मूल्यांकन बेंचमार्क (ReScience C, ReproBench, और GoldStandardDB) में लगभग 61% सटीकता तक पहुँचता है।
• तुलना: बाहरी रिपॉजिटरी या प्रतिकृति पैकेज तक पहुंच के बिना, केवल दस्तावेज़-स्तरीय सेटिंग के तहत काम करने के बावजूद, ARA मौजूदा एजेंटिक सिस्टम (ReplicatorAgent, ReproScreener) की तुलना में मानव एनोटेशन के साथ समानता या बेहतर प्रदर्शन करता है।
• असहमति विश्लेषण: ARA और मानव विशेषज्ञों के बीच असहमति आम तौर पर एक ऑर्डिनल स्केल स्तर के भीतर सीमित है। "विधियों" (Methods) और "प्रयोगों" (Experiments) चरणों के लिए असहमति अधिक है, जहाँ मानव समीक्षक अक्सर उन कार्यान्वयन विवरणों पर निर्भर करते हैं जो पूर्ण प्रतिकृति के दौरान ही प्रकट होते हैं, जो अकेले पाठ से दृश्यमान नहीं होते हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि ARA बड़े पैमाने पर मानव पुनरुत्पादकता निर्णयों के करीब पहुँचने के लिए एजेंटिक AI सिस्टम के उपयोग की तकनीकी व्यवहार्यता को प्रदर्शित करता है। लेखक ARA को मानव विशेषज्ञ सहकर्मी समीक्षा के प्रतिस्थापन के रूप में नहीं, बल्कि एक स्केलेबल डायग्नोस्टिक पूरक के रूप में देखते हैं। पुनरुत्पादकता मूल्यांकन को दस्तावेज़-स्तरीय तर्क कार्य के रूप में संचालित करके, यह ढांचा निम्नलिखित के लिए मार्ग प्रशस्त करता है:

• संपादकीय पाइपलाइनों और बड़े पैमाने पर साहित्य स्क्रीनिंग को गति देना।
• विविध वैज्ञानिक डोमेन में सुसंगत, पारदर्शी और पुनरुत्पादक गुणवत्ता जांच प्रदान करना।
• पूर्ण प्रतिकृति प्रयासों से पहले रिपोर्टिंग अंतराल की पहचान करके "पुनरुत्पादकता संकट" को संबोधित करना।

लेखक इस बात पर जोर देते हैं कि सिस्टम का मूल्य बिना किसी बाहरी आर्टिफैक्ट के कार्य करने की इसकी क्षमता में निहित है, जिससे यह प्रकाशित साहित्य के विशाल बहुमत के लिए लागू होता है जहाँ कोड और डेटा तुरंत उपलब्ध नहीं होते हैं। विभिन्न मॉडलों में परिणामों की मजबूती और कठोर बेंचमार्क पर मानव निर्णयों के साथ संरेखण यह सुझाव देता है कि संरचित वर्कफ़्लो पुनर्निर्माण सरल दस्तावेज़ पार्सिंग से परे सार्थक संकेतों को कैप्चर कर सकता है।