Evaluating LLM-Based Grant Proposal Review via Structured Perturbations

यहाँ शोध पत्र "Evaluating LLM-Based Grant Proposal Review via Structured Perturbations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

अनुसंधान पारिस्थितिकी तंत्र एक "माल्थुसियन ट्रैप" (Malthusian trap) का सामना कर रहा है जहाँ अनुदान आवेदनों (जैसे, 2017 के बाद से UKRI आवेदनों की संख्या लगभग दोगुनी हो गई है) की घातीय वृद्धि मैन्युअल पीयर रिव्यू की क्षमता से कहीं अधिक तेजी से बढ़ रही है, जिससे समीक्षकों की थकान और निर्णय चक्रों में देरी हो रही है। जबकि जेनरेटिव एआई (GenAI) का उपयोग आवेदकों द्वारा प्रस्तावों का मसौदा तैयार करने के लिए तेजी से किया जा रहा है, समीक्षकों के लिए यह अभी भी प्रतिबंधित है, जो एक विषमता पैदा करता है जिससे समीक्षा की गुणवत्ता कम होने या और अधिक देरी होने का जोखिम बना रहता है।

शैक्षणिक समीक्षा में LLMs पर मौजूदा शोध मुख्य रूप से कॉन्फ्रेंस पेपर रिव्यूिंग (पूर्ण कार्य का पूर्वव्यापी मूल्यांकन) पर केंद्रित है। हालाँकि, अनुदान समीक्षा (Grant Reviewing) मौलिक रूप से भिन्न है:

• भावी और प्रशासनिक (Prospective & Administrative): यह पूर्ण परिणामों के बजाय व्यवहार्यता, मूल्य और भविष्य के प्रभाव का आकलन करती है।
• उच्च दांव (High Stakes): इसमें त्रुटियों का अर्थ महत्वपूर्ण पूंजी और बहु-वर्षीय प्रतिबद्धताएँ शामिल हैं।
• डेटा की कमी (Data Scarcity): अनुदान प्रस्तावों में संवेदनशील बौद्धिक संपदा और गोपनीय डेटा होता है, जो बड़े पैमाने पर प्रशिक्षण या सार्वजनिक बेंचमार्किंग के लिए उपलब्ध नहीं है।
• संदर्भगत व्यापकता (Contextual Breadth): समीक्षाओं के लिए विविध दस्तावेजों (वित्तीय स्प्रेडशीट, नैतिकता विवरण, प्रभाव योजनाएं) को संश्लेषित करने और गैर-गुमनाम मेटाडेटा के माध्यम से नेविगेट करने की आवश्यकता होती है।

मुख्य अंतराल यह है कि इस उच्च-जोखिम वाले, डेटा-दुर्लभ डोमेन में क्या LLMs पर्याप्त कमजोरियों की पहचान कर सकते हैं, विश्वसनीय स्कोर उत्पन्न कर सकते हैं, या मानव विशेषज्ञों के समान फीडबैक दे सकते हैं, इसका व्यवस्थित मूल्यांकन करने के लिए शोध की कमी है।

2. कार्यप्रणाली (Methodology)

डेटा की कमी और गोपनीयता संबंधी बाधाओं को दूर करने के लिए, लेखक एक परटर्बेशन-आधारित मूल्यांकन ढांचे (perturbation-based evaluation framework) का प्रस्ताव करते हैं। हजारों प्रस्तावों को लेबल करने के बजाय, वे वास्तविक प्रस्तावों के एक सीमित सेट को लेते हैं और संवेदनशीलता का परीक्षण करने के लिए व्यवस्थित रूप से "दोष" (faults) पेश करते हैं।

A. डेटासेट

• स्रोत: यूनिवर्सिटी ऑफ शेफील्ड के छह वास्तविक इंजीनियरिंग और भौतिक विज्ञान अनुसंधान परिषद (EPSRC) प्रस्ताव।
• गोपनीयता: सभी प्रोसेसिंग स्थानीय इंफ्रास्ट्रक्चर पर ऑफलाइन की गई थी। दो प्रस्तावों में ग्राउंड-ट्रुथ तुलना के लिए पूर्ण विशेषज्ञ समीक्षा टिप्पणियाँ शामिल थीं।
• प्रीप्रोसेसिंग: दस्तावेजों को मार्कडाउन (Markdown) में परिवर्तित किया गया, जिसमें टाइमलाइन डेटा को संरचना बनाए रखने के लिए तालिकाओं के रूप में क्रमबद्ध किया गया।

B. परटर्बेशन वर्गीकरण (Perturbation Taxonomy)

लेखकों ने छह गुणवत्ता अक्षों (quality axes) को परिभाषित किया जो UKRI मूल्यांकन प्रक्रिया से प्राप्त हुए हैं। उन्होंने विशिष्ट, लक्षित दोषों को पेश करके छह प्रस्तावों में 42 विशिष्ट परटर्बेशन उत्पन्न किए:

1. फंडिंग (Funding): बढ़ा हुआ बजट, लागत औचित्य हटाना, संसाधनों का गलत आवंटन।
2. टाइमलाइन (Timeline): अवास्तविक कार्य संपीड़न (task compression), गलत मील के पत्थर (milestones)।
3. क्षमता (Competency): प्रमुख कर्मियों को हटाना, कौशल के साक्ष्य को कमजोर करना।
4. एलाइनमेंट (Alignment): अवसर के उद्देश्यों को बदलना, "हम क्या देख रहे हैं" अनुभागों को बदलना।
5. स्पष्टता (Clarity): संक्षिप्त रूपों (acronyms) के विस्तार को हटाना, अस्पष्टता लाना, तथ्यात्मक पृष्ठभूमि को हटाना।
6. प्रभाव (Impact): हितधारकों को अप्रासंगिक पक्षों से बदलना, परिणाम के दायरे को संशोधित करना।

C. समीक्षा आर्किटेक्चर (Review Architectures)

तीन अलग-अलग LLM आर्किटेक्चर का मूल्यांकन किया गया:

1. जीरो-शॉट बेसलाइन (Zero-shot Baseline): एक एकल पास (GPT-OSS-20B) जो पूरे प्रस्ताव संदर्भ (~30k+ टोकन) को प्रोसेस करता है ताकि स्कोर और टिप्पणियाँ उत्पन्न की जा सकें।
2. सेक्शन-लेवल रिव्यू (Section-Level Review): प्रस्ताव को चार तार्किक समूहों (दृष्टि/दृष्टिकोण, टीम क्षमता, फंडिंग/संसाधन, नैतिकता) में विभाजित किया जाता है। मॉडल संज्ञानात्मक भार और संदर्भ के稀 化 (dilution) को कम करने के लिए प्रत्येक अनुभाग की स्वतंत्र रूप से समीक्षा करता है।
3. काउंसिल ऑफ पर्सोनाज़ (Council of Personas): एक विशेषज्ञ पैनल की नकल करने वाला एक एन्सेम्बल दृष्टिकोण। पाँच विशिष्ट व्यक्तित्व (लागत विश्लेषक, नैतिकता मूल्यांकनकर्ता, तकनीकी प्रचारक, पद्धतिगत संशयवादी, प्रभाव चैंपियन) स्वतंत्र समीक्षाएँ उत्पन्न करते हैं। एक "चेयर" व्यक्तित्व फिर अंतिम स्कोर और रैंकिंग के लिए इन्हें एक मेटा-रिव्यू के माध्यम से संश्लेषित करता है।

D. मूल्यांकन मेट्रिक्स

• परटर्बेशन डिटेक्शन: यह मापने के लिए कि क्या LLM ने पेश किए गए दोष की पहचान की (सही, आंशिक, या गलत), तीन "जज" मॉडलों (Qwen3.5, Nemotron, GLM-4.7) के पैनल का उपयोग किया गया।
• स्कोर डिग्रेडेशन (Score Degradation): मूल और परटर्ब किए गए प्रस्तावों के बीच स्कोर का अंतर ($\Delta S$)।
• विश्वसनीयता (Reliability): बार-बार किए गए रन में निरंतरता को मापने के लिए इंट्रा-क्लास कोरिलेशन (ICC)।
• फीडबैक एलाइनमेंट: मानव विशेषज्ञ समीक्षाओं के साथ ओवरलैप, विरोधाभास और अद्वितीय मूल्य को मापने के लिए दावा-आधारित विश्लेषण।

3. मुख्य योगदान (Key Contributions)

1. परटर्बेशन-आधारित ढांचा: डेटा-दुर्लभ, उच्च-संवेदनशीलता वाले डोमेन में LLMs के मूल्यांकन के लिए एक सिद्धांत-आधारित विधि, जो नियंत्रित दोष स्थितियों के एक मजबूत बेंचमार्क के रूप में वास्तविक प्रस्तावों के एक छोटे सेट को रूपांतरित करती है।
2. काउंसिल ऑफ पर्सोनाज़ आर्किटेक्चर: मानव विशेषज्ञ पैनलों के विविध दृष्टिकोणों की नकल करने के लिए डिज़ाइन किया गया एक नवीन बहु-चरणीय एन्सेम्बल विधि, हालांकि परिणामों ने दिखाया कि यह सरल तरीकों से बेहतर प्रदर्शन नहीं कर सका।
3. व्यापक गैप विश्लेषण: एक तुलनात्मक अध्ययन जो यह पहचानता है कि जबकि LLMs संरचनात्मक मिसअलाइनमेंट का पता लगाने में प्रभावी हैं, वे स्पष्टता के मुद्दों का पता लगाने में विफल रहते हैं और अक्सर समग्र मूल्यांकन के बजाय अनुपालन (compliance) को प्राथमिकता देते हैं।

4. मुख्य परिणाम (Key Results)

A. डिटेक्शन परफॉरमेंस

• कुल डिटेक्शन दर: कम। सभी सिस्टमों में केवल 21.2% परटर्बेशन सही ढंग से पहचाने गए।
• आर्किटेक्चर तुलना:
  • सेक्शन-लेवल दृष्टिकोण: अन्य की तुलना में काफी बेहतर प्रदर्शन किया (औसत डिटेक्शन $\mu = 0.29$)। यह अधिक आलोचनात्मक और सटीक था, जिसने परटर्ब किए गए प्रस्तावों को कम स्कोर दिए।
  • बेसलाइन और काउंसिल: दोनों समान रूप से खराब प्रदर्शन करते रहे ($\mu = 0.17$)। काउंसिल दृष्टिकोण, उच्च कम्प्यूटेशनल लागत के बावजूद, बेसलाइन की तुलना में कोई सांख्यिकीय लाभ नहीं दे सका।
• अक्ष के अनुसार संवेदनशीलता (Sensitivity by Axis):
  • उच्च संवेदनशीलता: एलाइनमेंट परटर्बेशन सबसे विश्वसनीय रूप से पकड़े गए ($\mu = 0.41$), संभवतः क्योंकि मॉडल्स ने फंडिंग अवसर दस्तावेजों पर प्री-ट्रेनिंग से पैटर्न को आत्मसात कर लिया है।
  • कम संवेदनशीलता: स्पष्टता (Clarity) के परटर्बेशन लगभग पूरी तरह से छूट गए ($\mu = 0.06$)। मॉडल अस्पष्टता को चिह्नित करने के बजाय अर्थ को "हैलुसिनेट" करने या अस्पष्टता को हल करने की प्रवृत्ति रखते हैं।

B. विश्वसनीयता (Reliability)

• इंट्रा-क्लास कोरिलेशन (ICC): सेक्शन-लेवल दृष्टिकोण ने उच्चतम विश्वसनीयता (ICC = 0.50) प्राप्त की, जो दर्शाता है कि स्कोर का विचलन शोर (noise) के बजाय वास्तविक प्रस्तावों के अंतर के कारण था।
• बेसलाइन/काउंसिल: कम विश्वसनीयता (ICC $\approx$ 0.11–0.14) दिखाई, जिसका अर्थ है कि एक ही प्रस्ताव के बार-बार मूल्यांकन से असंगत स्कोर प्राप्त हुए।

C. मनुष्यों के साथ फीडबैक एलाइनमेंट

• वैधता: LLM फीडबैक काफी हद तक वैध था और शायद ही कभी मानव समीक्षकों के साथ विरोधाभास करता था (विरोधाभास दर $\approx$ 2%)।
• पूर्वाग्रह (Bias): LLMs समग्र, रणनीतिक निर्णय के बजाय अनुपालन जाँचने (जैसे, डेटा गवर्नेंस, GDPR, विशिष्ट बजट मद) की ओर झुके हुए थे।
• वेलेंस (Valence): LLMs ने मानव समीक्षकों की तुलना में अधिक नकारात्मक दावे उत्पन्न किए, जो आलोचना के साथ व्यापक, पुष्टि करने वाले मूल्यांकन प्रदान करते हैं।
• अद्वितीय मूल्य: LLMs ने उन सूक्ष्म अनुपालन मुद्दों को उजागर किया (जैसे, विशिष्ट पर्यावरणीय स्थिरता अंतराल) जिन्हें मानव समीक्षक अक्सर अनदेखा कर देते हैं या अंतर्निहित रूप से स्वीकार कर लेते हैं, जो एक पूरक "अनुपालन फ़िल्टर" के रूप में भूमिका का सुझाव देता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• वर्तमान सीमाएँ: वर्तमान LLMs स्वायत्त अनुदान समीक्षा के लिए तैयार नहीं हैं। वे उच्च परिवर्तनशीलता प्रदर्शित करते हैं, स्पष्टता के महत्वपूर्ण दोषों को मिस करते हैं, और उच्च-दांव वाले फंडिंग निर्णयों के लिए आवश्यक समग्र निर्णय की कमी रखते हैं।
• अनुशंसित भूमिका: LLMs मानव पर्यवेक्षण के तहत पूरक उपकरण (supplementary tools) के रूप में आशाजनक हैं, विशेष रूप से:
  • अनुपालन और एलाइनमेंट पर संरचित फीडबैक के लिए।
  • बजट/टाइमलाइन एलाइनमेंट में तार्किक विसंगतियों का पता लगाने के लिए।
  • सूक्ष्म प्रशासनिक जाँचों के लिए "दूसरी जोड़ी आँखों" के रूप में कार्य करने के लिए।
• आर्किटेक्चरल अंतर्दृष्टि: लंबे-संदर्भ वाले दस्तावेजों को केंद्रित अनुभागों में विभाजित करना (सेक्शन-लेवल), संदर्भ विंडो बढ़ाने या जटिल एन्सेम्बल विधियों (काउंसिल) का उपयोग करने की तुलना में इस विशिष्ट कार्य के लिए अधिक प्रभावी है।
• भविष्य का कार्य: अध्ययन इस बात पर जोर देता है कि ऐसे मॉडल्स की आवश्यकता है जो अस्पष्टता को हल करने के बजाय उस पर सवाल उठाने के लिए प्रशिक्षित हों, और ऐसे बेंचमार्क विकसित करने की आवश्यकता है जो अनुदान वित्तपोषण की भावी प्रकृति को बेहतर ढंग से दर्शाते हों।

लेखक इस कम-अन्वेषित डोमेन में आगे के शोध को सुगम बनाने के लिए अपना कोड और गैर-संरक्षित डेटा जारी करते हैं।