Which Sections of a Research Paper Best Reveal Its Research Methods? Evidence from Library and Information Science

तकनीकी सारांश: शोध पत्र के कौन से खंड इसके अनुसंधान तरीकों को सबसे अच्छी तरह प्रकट करते हैं? लाइब्रेरी और सूचना विज्ञान से साक्ष्य

समस्या विवरण
अनुसंधान विधियों का स्वचालित वर्गीकरण ज्ञान सेवाओं के लिए एक महत्वपूर्ण कार्य है, जिसमें विधि पुनर्प्राप्ति (method retrieval), समीक्षा पीढ़ी (review generation), और अनुसंधान इंटेलिजेंस विश्लेषण शामिल हैं। जबकि मौजूदा अध्ययन अक्सर शीर्षक और सार (abstract) पर निर्भर रहते हैं, ये खंड अक्सर सीमित पद्धतिगत विवरण प्रदान करते हैं, जो जटिल विधियों के वर्गीकरण की सटीकता को बाधित करता है। इसके विपरीत, पूर्ण-पाठ सामग्री (full-text content) का उपयोग करने से अत्यधिक लंबाई, सूचना की पुनरावृत्ति, और मॉडल संदर्भ-विंडो (context-window) की सीमाओं से संबंधित चुनौतियाँ उत्पन्न होती हैं। इसके अलावा, तार्किक विभाजन (जैसे, "कार्यप्रणाली" खंडों की पहचान करना) पर निर्भर रहना विभिन्न जर्नल्स और विषयों के लेखन मानदंडों की विविधता के कारण कठिन है। यह अध्ययन पूर्ण-पाठ लेखों से पाठ खंडों को चुनने और संयोजित करने की एक कुशल रणनीति की आवश्यकता को संबोधित करता है जो मल्टी-लेबल अनुसंधान विधि वर्गीकरण के लिए सूचना लाभ (information gain) को अधिकतम करता है।

कार्यप्रणाली
यह अध्ययन तार्किक रूप से अलंकारिक (rhetorical) खंडों के बजाय लेखों के भीतर पाठ की भौतिक स्थिति (physical position) पर आधारित एक खंड संयोजन रणनीति का उपयोग करता है।

• डेटासेट: यह शोध तीन प्रतिनिधि लाइब्रेरी और सूचना विज्ञान (LIS) जर्नल्स: JASIST, LISR, और JDoc के 1,954 पूर्ण-पाठ लेखों के एनोटेटेड कॉर्पस का उपयोग करता है। लेखों को 16 विशिष्ट अनुसंधान विधि प्रकारों (जैसे, बिब्लियोमेट्रिक्स, विषय विश्लेषण, नृवंशविज्ञान) के साथ लेबल किया गया है।
• खंड रणनीति (Segmentation Strategy): हेडर को पार्स करने के बजाय, अध्ययन एक रैखिक भौतिक-स्थिति विभाजन दृष्टिकोण अपनाता है। प्रत्येक लेख के मुख्य पाठ को एक निरंतर वर्ण अनुक्रम (character sequence) में सामान्यीकृत किया जाता है और दस समान खंडों ($S_1$ से $S_{10}$ तक) में विभाजित किया जाता है, जिनमें से प्रत्येक सामग्री का लगभग 10% प्रतिनिधित्व करता है।
• प्रायोगिक योजनाएं: चार इनपुट संयोजन योजनाओं को डिजाइन और मूल्यांकित किया गया था:
  1. C1 (एकल-खंड): स्वतंत्र रूप से उपयोग किए जाने वाले व्यक्तिगत खंड।
  2. C2 (TA-संवर्धित एकल): ग्रंथ सूची मेटाडेटा (शीर्षक + सार) को एक एकल खंड के साथ जोड़ा गया।
  3. C3 (दोहरा-खंड): विभिन्न स्थितियों से खंडों के जोड़े जिन्हें आपस में जोड़ा गया।
  4. C4 (TA-संवर्धित दोहरा): ग्रंथ सूची मेटाडेटा को दो अलग-अलग स्थितिगत खंडों के साथ जोड़ा गया।
• लंबा-पाठ प्रबंधन (Long-Text Handling): टोकन सीमाओं (जैसे, BERT के लिए 512 टोकन) को संबोधित करने के लिए, यह अध्ययन "पद्धतिगत सारांश" (methodological summaries) पेश करता है। ये मूल खंडों के संक्षिप्त (~220 शब्द) निचोड़ हैं, जिन्हें DeepSeek-V3.2 का उपयोग करके उत्पन्न किया गया है, जो शोर (noise) को फ़िल्टर करते हुए मुख्य पद्धतिगत तत्वों (डिजाइन, डेटा स्रोत, प्रक्रियाएं) को निकालते हैं।
• मॉडल: अध्ययन तीन मॉडल श्रेणियों का मूल्यांकन करता है: लघु-संदर्भ एनकोडर (BERT, SciBERT), दीर्घ-संदर्भ एनकोडर (SciBERT-long, Bigbird), और लार्ज लैंग्वेज मॉडल्स (Llama-3-8B, DeepSeek-LLM-7B, Qwen2.5-7B)। इन सभी मॉडलों को पैरामीटर-कुशल फाइन-ट्यूनिंग (LoRA/QLoRA) का उपयोग करके फाइन-ट्यून किया गया था।
• मूल्यांकन: प्रदर्शन को माइक्रो-औसत प्रिसिजन (Precision), रिकॉल (Recall), और F1-स्कोर का उपयोग करके मापा गया। सांख्यिकीय महत्व का आकलन एक अनुमानित रैंडमाइजेशन टेस्ट (मोंटे कार्लो पेयर्ड परम्यूटेशन टेस्ट) के माध्यम से किया गया।

मुख्य परिणाम

• सूचना वितरण: पद्धतिगत जानकारी समान रूप से वितरित नहीं है। एकल-खंड इनपुट (C1) आम तौर पर Title+Abstract (TA) बेसलाइन से कम प्रदर्शन करते हैं। हालांकि, प्रदर्शन मध्य-से-अंतिम ($S_6$) और अंतिम ($S_{10}$) खंडों में चरम पर होता है, जो यह सुझाव देता है कि इन क्षेत्रों में महत्वपूर्ण कार्यान्वयन विवरण होते हैं।
• पूरकता (Complementarity): खंडों को संयोजित करना परिणामों में सुधार करता है। इष्टतम दोहरे-खंड संयोजन (C3) अक्सर "मध्य-से-अंतिम" को "अंतिम" के साथ, या "मध्य" को "मध्य-से-अंतिम" खंडों के साथ जोड़ते हैं।
• मेटाडेटा और सारांशीकरण का प्रभाव:
  • दोहरे-खंड इनपुट में Title+Abstract जोड़ने (C4) से लगातार उच्चतम प्रदर्शन मिलता है, जो अधिकांश मॉडलों के लिए TA बेसलाइन से बेहतर है।
  • लंबे-पाठ इनपुट के लिए, पद्धतिगत सारांश अत्यधिक प्रभावी सिद्ध हुए। विशेष रूप से, TA + $S_5$ + $S_6$ के सारांशित संस्करण ने SciBERT के लिए उच्चतम प्रदर्शन प्राप्त किया, जो कच्चे पाठ इनपुट की तुलना में बेहतर रहा।
• मॉडल प्रदर्शन: एनकोडर्स के बीच, SciBERT-long ने सर्वश्रेष्ठ बेसलाइन प्रदर्शन (Micro-F1: 0.7152) प्राप्त किया। हालांकि LLMs ने संभावना दिखाई, लेकिन वे इस विशिष्ट कार्य में विशिष्ट अनुकूलन के बिना सामान्यतः सर्वश्रेष्ठ डोमेन-विशिष्ट एनकोडर्स से आगे नहीं निकल पाए।
• सांख्यिकीय महत्व: इष्टतम C4 योजनाओं द्वारा TA बेसलाइन पर प्राप्त सुधार BERT, DeepSeek-LLM-7B, Llama-3-8B, और Qwen2.5-7B के लिए सांख्यिकीय रूप से महत्वपूर्ण थे।

महत्व और दावे
यह शोध पत्र दावा करता है कि भौतिक स्थिति पर आधारित एक सरल, एकीकृत और पुनरुत्पादक रणनीति, तार्किक खंड पहचान और पूर्ण-पाठ अतिरेक (redundancy) की चुनौतियों को प्रभावी ढंग से दूर कर सकती है। अध्ययन प्रदर्शित करता है कि:

1. क्रॉस-पोजीशनल पूरकता महत्वपूर्ण है: पद्धतिगत साक्ष्य बिखरे हुए हैं, और वैश्विक संदर्भ (शीर्षक/सार) को विशिष्ट बॉडी-टेक्स्ट अंतराल (विशेष रूप से मध्य-से-अंतिम और अंतिम खंडों) से स्थानीय परिचालन विवरणों के साथ संयोजित करने से बेहतर विभेदक शक्ति (discriminative power) प्राप्त होती है।
2. LLMs के माध्यम से सिमेंटिक संपीड़न (Semantic compression), शोर को प्रभावी ढंग से फ़िल्टर करते हुए महत्वपूर्ण पद्धतिगत विशेषताओं को संरक्षित करते हुए, लंबे दस्तावेज़ वर्गीकरण के लिए एक व्यवहार्य मार्ग है।
3. प्रस्तावित खंड संयोजन रणनीति जटिल तार्किक पार्सिंग के लिए एक मजबूत विकल्प प्रदान करती है, जिससे विविध जर्नल्स के लिए स्वचालित विधि वर्गीकरण अधिक व्यवहार्य हो जाता है, जिसके लिए अनुशासन-विशिष्ट संरचनात्मक नियमों की आवश्यकता नहीं होती है।

लेखक सीमाओं को नोट करते हैं, जिसमें LIS जर्नल्स तक सीमित होना (जिसके लिए अन्य विषयों में और सत्यापन की आवश्यकता है) और रैखिक भौतिक कट और तार्किक सिमेंटिक सीमाओं के बीच संभावित बेमेल होना शामिल है। भविष्य के कार्य के रूप में तर्क-आधारित (logic-based) खंडों को शामिल करने और सारांशीकरण तंत्र को और अधिक अनुकूलित करने का सुझाव दिया गया है।