तकनीकी सारांश: MIRAI – उच्च-प्रभाव वाले शैक्षणिक अनुसंधान का पूर्वानुमान और सृजन

समस्या विवरण

वैज्ञानिक समुदाय मात्रा और गुणवत्ता के बढ़ते संकट का सामना कर रहा है। वैज्ञानिक साहित्य तेजी से बढ़ रहा है—जैसा कि नेचर इंडेक्स लेखों में 16.1% की वार्षिक वृद्धि और 2026 में arXiv सबमिशन के रिकॉर्ड स्तर तक पहुँचने से सिद्ध होता है—उच्च-प्रभाव वाले कार्यों की पहचान करना कठिन होता जा रहा है। यह चुनौती AI-जनित पाठ की बढ़ती संख्या और अनुसंधान वित्त पोषण में कमी से और भी जटिल हो गई है, जो अधिक कुशल संसाधन आवंटन को आवश्यक बनाती है।

अनुसंधान प्रभाव का मूल्यांकन करने वाली वर्तमान विधियाँ महत्वपूर्ण सीमाओं से ग्रस्त हैं:

• सहकर्मी समीक्षा (Peer Review): वर्तमान प्रकाशन दर के अनुरूप स्केल नहीं कर सकती और यह पूर्वाग्रह एवं कच्चे मात्रात्मक प्रॉक्सी पर निर्भर है।
• उद्धरण मेट्रिक्स (Citation Metrics): स्वाभाविक रूप से विलंबित संकेतक हैं जिन्हें प्रकट होने में वर्षों लग जाते हैं और ये आंतरिक योग्यता के बजाय प्रतिष्ठा पूर्वाग्रहों को बढ़ाते हैं।
• मौजूदा पूर्वानुमान मॉडल: अक्सर प्रकाशन-पश्चात डेटा (उद्धरण इतिहास, लेखक नेटवर्क) या सतही, डोमेन-विशिष्ट विशेषताओं पर निर्भर करते हैं, जो प्रकाशन के समय प्रभाव का पूर्वानुमान लगाने की उनकी क्षमता को सीमित करते हैं।

संबोधित मुख्य शोध प्रश्न हैं: (1) क्या केवल प्रकाशन के समय उपलब्ध सामग्री (शीर्षक, सार, तिथि) का उपयोग करके शोध के स्तर पर प्रभाव का पूर्वानुमान लगाया जा सकता है? (2) क्या इस पूर्वानुमानित संकेत का उपयोग उच्च-प्रभाव वाले संभावित नवीन शोध दिशाओं को सृजनात्मक रूप से संश्लेषित करने के लिए किया जा सकता है?

कार्यप्रणाली

डेटा संग्रह और ग्राफ निर्माण

लेखकों ने अप्रैल 9, 2026 तक जमा किए गए arXiv पेपर्स से विशेष रूप से एक स्व-निहित शैक्षणिक उद्धरण ग्राफ (academic citation graph) का निर्माण किया, जिसमें 2,976,125 पेपर्स शामिल थे (उस समय के कुल संग्रह का 98.74%)।

• स्रोत: मेटाडेटा प्राप्त करने के लिए Semantic Scholar API का उपयोग किया गया, जिसमें शीर्षक, सार, प्रकाशन तिथि और संदर्भ आईडी शामिल थे।
• ग्राफ संरचना: पेपर्स को एक निर्देशित उद्धरण ग्राफ (directed citation graph) के रूप में दर्शाया गया जिसे स्पार्स CSR फॉर्मेट में संग्रहीत किया गया। ग्राफ को स्व-निहित रखने के लिए संदर्भों को केवल arXiv संग्रह के भीतर मौजूद पेपर्स तक सीमित रखा गया ताकि PageRank गणना सटीक रहे।
• क्षेत्र: डेटासेट कंप्यूटर साइंस, गणित और भौतिकी की ओर अत्यधिक झुका हुआ है।

लेबल परिभाषा

विभिन्न आयु के पेपर्स के बीच निष्पक्ष तुलना सुनिश्चित करने के लिए, लेखकों ने निश्चित समय अंतराल ($n$-वर्ष प्रकाशन के बाद) के आधार पर प्रभाव लेबल परिभाषित किए:

1. उद्धरण गणना (Citation Count): पहले $n$ वर्षों के भीतर प्राप्त उद्धरणों की संख्या के रूप में परिभाषित। लक्षित चर लॉग-ट्रांसफॉर्म काउंट है: $\ln(1 + C_n)$।
2. PageRank: निश्चित समय अंतराल पर उद्धरण सबग्राफ पर गणना की गई। ग्राफ के आकार के विसरण (जहाँ कच्चा PageRank ग्राफ बढ़ने के साथ घटता है) को ठीक करने के लिए, लेखकों ने रूपांतरण $\ln(N \times \text{PageRank})$ का उपयोग किया, जहाँ $N$ कोहॉर्ट के सबग्राफ में पेपर्स की संख्या है। यह मीट्रिक दीर्घकालिक प्रभाव और मील के पत्थर की स्थिति को बेहतर ढंग से कैप्चर करता है।

मॉडल आर्किटेक्चर (MIRAI)

MIRAI (Multi-year Inference of Research trends and Academic Impact) एक डीप लर्निंग फ्रेमवर्क है जिसे प्रकाशन के 1 से 5 वर्ष बाद के प्रभाव स्कोर की भविष्यवाणी करने के लिए डिज़ाइन किया गया है।

• इनपुट:
  • टेक्स्ट: शीर्षक और सार को संयोजित किया गया ("{title}\n{abstract}") और इसे llama-embed-nemotron-8b (4096-आयामी वेक्टर) का उपयोग करके एम्बेड किया गया।
  • अस्थायी डेटा (Temporal Data): प्रकाशन तिथि को भिन्नात्मक वर्ष में परिवर्तित किया गया और z-score के माध्यम से सामान्यीकृत (normalize) किया गया।
• नेटवर्क: चार छिपी हुई परतों (2048, 1024, 512, 256 आयाम) वाला एक फीडफॉरवर्ड न्यूरल नेटवर्क (FFNN), जो LayerNorm, ReLU एक्टिवेशन और 0.3 ड्रॉपआउट का उपयोग करता है।
• आउटपुट: 1 से 5 वर्ष के क्षितिज (horizons) के अनुरूप अनुमानित प्रभाव स्कोर का एक 5-वेक्टर।
• प्रशिक्षण: मॉडल को सभी क्षितिजों में संयुक्त रूप से MSE लॉस के साथ प्रशिक्षित किया गया है। लॉस को क्षितिजों पर औसत किया गया है ताकि यह सुनिश्चित हो सके कि 5-वर्षीय टर्म को उपलब्ध कम लेबल होने के बावजूद समान महत्व मिले। अनुकूलन (Optimization) के लिए $3 \times 10^{-4}$ लर्निंग रेट के साथ AdamW का उपयोग किया गया।

अनुसंधान सृजन पाइपलाइन

स्थापित कार्य के साथ हालिया विकास को संश्लेषित करके उच्च-प्रभाव वाले शोध विचारों को उत्पन्न करने के लिए एक पाइपलाइन विकसित की गई:

1. सीडिंग (Seeding): पेयर्स (जोड़े) का चयन किया जाता है: एक "पुराना" पेपर (टॉप 1% ग्राउंड-ट्रुथ PageRank, 2016–2021) और एक "नया" पेपर (टॉप 5% MIRAI-अनुमानित PageRank, 2026)।
2. संश्लेषण (Synthesis): एक LLM (Claude Haiku 4.5) सीड पेयर के प्रमुख योगदानों को मिलाकर एक संभावित शीर्षक और सार तैयार करता है।
3. चयन: पाइपलाइन $N=32$ उम्मीदवारों को उत्पन्न करती है। उच्चतम MIRAI स्कोर वाले उम्मीदवार को अंतिम आउटपुट के रूप में चुना जाता है।
4. वैरिएंट्स: अध्ययन MIRAI-निर्देशित पाइपलाइन (Variant A) की तुलना LLM-निर्देशित पाइपलाइन (Variant B) और रैंडम बेसलाइन (Variant C) से करता है।

मुख्य परिणाम

प्रभाव भविष्यवाणी प्रदर्शन

2021 में प्रकाशित पेपर्स पर मूल्यांकित करते हुए, MIRAI ने प्राप्त किया:

• 5-वर्षीय उद्धरण भविष्यवाणी: Spearman's $\rho$ 0.6192।
• 5-वर्षीय PageRank भविष्यवाणी: Spearman's $\rho$ 0.4686।

प्रमुख रुझान:

• क्षितिज प्रभाव (Horizon Effect): प्रदर्शन पूर्वानुमान क्षितिज के साथ निरंतर बढ़ता है। लंबा क्षितिज अधिक स्थिर लेबल प्रदान करता है, जो भविष्य की भविष्यवाणी करने की कठिनाई पर भारी पड़ता है।
• मीट्रिक तुलना: उद्धरण गणना मॉडल PageRank मॉडलों से बेहतर प्रदर्शन करते हैं, संभवतः इसलिए क्योंकि PageRank उद्धृत करने वाले पेपर्स की केंद्रीयता पर पुनरावर्ती रूप से निर्भर करता है, जो कि केवल टेक्स्ट से अनुमान लगाने योग्य संकेत कम है।
• अस्थायी स्थिरता (Temporal Stability): प्रदर्शन 2019 तक स्थिर है लेकिन 2020–2023 के टेस्ट वर्षों के लिए घट जाता है। इसका कारण arXiv पर कंप्यूटर साइंस सबमिशन का तीव्र विस्तार है, जिसे मॉडल अच्छी तरह से संभालता है, जबकि भौतिकी और गणित में प्रदर्शन गिर जाता है।

ज़ीरो-शॉट LLMs के साथ तुलना

MIRAI की तुलना 2-वर्षीय उद्धरण प्रभाव द्वारा पेपर्स को रैंक करने के लिए फ्रंटियर LLMs (GPT-4o और Hermes 3) की ज़ीरो-शॉट प्रॉम्प्टिंग से की गई:

• ग्लोबल रैंकिंग: MIRAI ने $\rho = 0.581$ प्राप्त किया, जो GPT-4o ($\rho = 0.336$) और Hermes 3 ($\rho = 0.305$) से काफी बेहतर है।
• उच्च-प्रभाव पुनर्प्राप्ति (High-Impact Retrieval): MIRAI ने शीर्ष 5% पेपर्स के लिए 0.426 का Average Precision (AP) प्राप्त किया, जबकि GPT-4o के लिए यह 0.179 और Hermes 3 के लिए 0.151 था।
• निष्कर्ष: उद्धरण डेटा पर सुपरवाइज्ड ट्रेनिंग, ज़ीरो-शॉट LLM प्रॉम्प्टिंग की तुलना में काफी मजबूत रैंकिंग प्रदर्शन प्रदान करती है।

अनुसंधान सृजन मूल्यांकन

300 परीक्षणों की तुलना करने वाले एक अध्ययन में, MIRAI-निर्देशित पाइपलाइन (A), LLM-निर्देशित पाइपलाइन (B), और रैंडम बेसलाइन (C) के बीच:

• LLM जज (GPT-5.4): LLM-निर्देशित पाइपलाइन (B) को MIRAI-निर्देशित पाइपलाइन (A) की तुलना में 62.0% मामलों में पसंद करता है। हालाँकि, दोनों क्यूरेटेड पाइपलाइन (A और B) अनक्यूरेटेड बेसलाइन (C) से काफी बेहतर प्रदर्शन करती हैं।
• MIRAI जज: स्वाभाविक रूप से A-बनाम-B तुलनाओं में अपने स्वयं के पाइपलाइन (A) को 96.3% बार पसंद करता है।
• रूब्रिक विश्लेषण: LLM जज ने पाया कि MIRAI चयन (A बनाम C) ने महत्व (Significance) (+0.82) और स्पष्टता (Clarity) (+0.24) में सुधार किया लेकिन नवीनता (Novelty) या तकनीकी सुदृढ़ता (Technical Soundness) में महत्वपूर्ण सुधार नहीं किया। इसके विपरीत, LLM चयन (B बनाम C) ने चारों मानदंडों में सुधार किया।
• व्याख्या: MIRAI महत्व और स्पष्टता से सह-संबंधित एक वास्तविक लेकिन आंशिक संकेत कैप्चर करता है, जबकि LLM जज नवीनता और तकनीकी सुदृढ़ता सहित गुणवत्ता के व्यापक आयामों को कैप्चर करते प्रतीत होते हैं।

महत्व और दावे

यह शोध पत्र MIRAI को वैज्ञानिक प्रभाव के स्केलेबल, सामग्री-आधारित मूल्यांकन की दिशा में एक कदम के रूप में प्रस्तुत करता है, जो उद्धरण इतिहास से स्वतंत्र होकर कम विलंबता (low latency) के साथ कार्य करता है। इसके प्राथमिक योगदान हैं:

1. व्यवहार्यता का प्रदर्शन: यह दिखाना कि केवल टेक्स्ट और तिथि का उपयोग करके प्रकाशन के समय उच्च-प्रभाव वाले शोध की भविष्यवाणी की जा सकती है, जिससे ऐसा प्रदर्शन प्राप्त होता है जो ज़ीरो-शॉट LLMs से बेहतर है।
2. सृजनात्मक अनुप्रयोग: एक ऐसी पाइपलाइन का प्रस्ताव करना जो नवीन शोध दिशाओं के विचार-मंथन को निर्देशित करने के लिए भविष्य कहनेवाला संकेतों का उपयोग करती है।
3. न्यायसंगत मूल्यांकन: पारंपरिक सहकर्मी समीक्षा और विलंबित उद्धरण मेट्रिक्स के लिए एक संभावित विकल्प प्रदान करना, जो पूर्वाग्रह और प्रतिष्ठा प्रभावों के प्रति संवेदनशील हैं।

लेखक विनम्रतापूर्वक निष्कर्ष निकालते हैं कि हालांकि MIRAI महत्व और स्पष्टता जैसे आयामों को पकड़ने के लिए एक शक्तिशाली संकेत प्रदान करता है, यह अभी भी मानव या LLM जजों की तरह शोध की गुणवत्ता के सभी आयामों (जैसे नवीनता और तकनीकी सुदृढ़ता) को पूरी तरह से कैप्चर नहीं करता है। वे सुझाव देते हैं कि एक हाइब्रिड दृष्टिकोण, जो MIRAI की भविष्य कहने वाली शक्ति को अन्य मूल्यांकन संकेतों के साथ जोड़ता है, तेजी से बढ़ते वैज्ञानिक साहित्य में योगदान देने और नेविगेट करने का एक आशाजनक मार्ग है। 5-वर्षीय उद्धरण भविष्यवाणी मॉडल को आगे के अनुसंधान को सुगम बनाने के लिए सार्वजनिक रूप से उपलब्ध कराया गया है।