Citation Intent Classification for Turkish Academic Literature with Prompt-Optimized LLMs and Language-Specific Encoders
यह शोध पत्र टर्कसाइट (TurkCite) प्रस्तुत करता है, जो तुर्की शैक्षणिक साहित्य में उद्धरण उद्देश्यों (citation intents) को वर्गीकृत करने के लिए एक फ्रेमवर्क और विशेषज्ञ-एनोटेटेड डेटासेट है, जो यह प्रदर्शित करता है कि भाषा-विशिष्ट ट्रांसफॉर्मर एनकोडर्स, अनुवाद-आधारित स्थानांतरण की तुलना में बेहतर प्रदर्शन करते हैं और गैर-अंग्रेजी बिब्लियोमेट्रिक विश्लेषण के लिए प्रभावी प्रशिक्षण-मुक्त विकल्पों के रूप में प्रॉम्प्ट-अनुकूलित लार्ज लैंग्वेज मॉडल्स की पेशकश करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अकादमिक अनुसंधान के विशाल परिदृश्य में, एक उद्धरण (citation) केवल एक पादलेख (footnote) या पूर्ववर्ती के प्रति एक विनम्र संकेत मात्र नहीं है। यह एक विशिष्ट संचार संबंधी कार्य है, एक छोटा सा संकेत जो एक शोध पत्र से दूसरे तक भेजा जाता है और यह प्रकट करता है कि नया कार्य पुराने कार्य का उपयोग ठीक किस प्रकार कर रहा है। कभी-कभी एक शोधकर्ता पिछले अध्ययन का उल्लेख इसलिए करता है क्योंकि वे सीधे उसकी पद्धति पर निर्माण कर रहे होते हैं; अन्य समय में, वे इसका उल्लेख यह दिखाने के लिए करते हैं कि उनके परिणाम उससे कैसे भिन्न या विरोधाभासी हैं, या केवल ऐतिहासिक संदर्भ प्रदान करने के लिए करते हैं। दशकों से, अकादमिक जगत ने शोध के मूल्य को मुख्य रूप से इन संकेतों को गिनकर, यानी किसी शोध पत्र का प्रभाव मापने के लिए इस बात की गणना करके कि उसका कितनी बार उल्लेख किया गया है, मापा है। हालाँकि, यह दृष्टिकोण प्रत्येक उल्लेख को समान मानता है, जिससे एक गहरे बौद्धिक ऋण और एक सामान्य संदर्भ के बीच के महत्वपूर्ण अंतर को समझने में चूक हो जाती है। वैज्ञानिक प्रभाव की वास्तविक प्रकृति को समझने के लिए, विद्वानों को न केवल यह जानने की आवश्यकता है कि एक शोध पत्र को कितनी बार उद्धृत किया गया है, बल्कि यह भी कि क्यों।
यह अंतर 'उद्धरण इरादा वर्गीकरण' (citation intent classification) का केंद्र है, जो एक ऐसा क्षेत्र है जो इन संदर्भों को कार्यात्मक श्रेणियों में वर्गीकृत करने का प्रयास करता है। जबकि शोधकर्ताओं ने अंग्रेजी भाषा के साहित्य के लिए इसमें महत्वपूर्ण प्रगति की है, जहाँ बड़े डेटासेट और उन्नत कंप्यूटर उपकरण उपलब्ध हैं, वही उपकरण अन्य भाषाओं के लिए काम करने में काफी हद तक विफल रहे हैं। तुर्की अकादमिक प्रकाशन एक विशाल और बढ़ता हुआ पारिस्थितिकी तंत्र है, जो हजारों जर्नल्स को अनुक्रमित करने वाले राष्ट्रीय डेटाबेस द्वारा समर्थित है, फिर भी इसके पास ऐसा तंत्र नहीं था जो यह समझने में सक्षम हो कि तुर्की विद्वान एक-दूसरे को उद्धृत करने के पीछे के विशिष्ट कारणों को क्या हैं। तुर्की की भाषाई संरचना अंग्रेजी से काफी भिन्न है, जिससे केवल अंग्रेजी उपकरणों का अनुवाद करना और उनके काम करने की अपेक्षा करना कठिन हो जाता है। एक मूल (native) प्रणाली के बिना, तुर्की जर्नल्स में होने वाली समृद्ध, सूक्ष्म चर्चाएँ स्वचालित विश्लेषण के लिए अदृश्य बनी रहीं, जो कच्चे आंकड़ों की दीवार के पीछे फंसी रहीं।
शोधकर्ताओं की एक टीम ने उस लुप्त प्रणाली को बनाने के उद्देश्य से काम शुरू किया, जिससे विशेष रूप से तुर्की अकादमिक साहित्य के लिए डिज़ाइन किया गया एक नया ढांचा तैयार किया गया। उन्होंने एक विशेष डेटासेट के निर्माण से शुरुआत की जिसे 'टर्कसाइट' (TurkCite) कहा जाता है, जिसमें तुर्की में प्रकाशित कंप्यूटर विज्ञान के शोध पत्रों से लगभग 2,800 उद्धरण उदाहरण शामिल हैं। ये उदाहरण केवल एकत्र नहीं किए गए थे; उन्हें मानव विशेषज्ञों द्वारा सावधानीपूर्वक समीक्षा और लेबल किया गया था जिन्होंने प्रत्येक संदर्भ के पीछे के विशिष्ट इरादे को निर्धारित किया, और उन्हें पाँच अलग-अलग श्रेणियों में विभाजित किया: पृष्ठभूमि संदर्भ (background context), पद्धतिगत आधार (methodological basis), सहायक निष्कर्ष (supportive findings), विरोधाभासी परिणाम (contrasting results), और आलोचनात्मक चर्चा (critical discussion)। यह मानव-एनोटेटेड आधार आवश्यक था क्योंकि टीम ने पहले यह परीक्षण किया कि क्या वे केवल तुर्की उद्धरणों को अंग्रेजी में अनुवाद कर सकते थे और मौजूदा अंग्रेजी उपकरणों का उपयोग करके उनका विश्लेषण कर सकते थे। परिणाम स्पष्ट थे: केवल अनुवाद पर्याप्त नहीं था। तुर्की में इरादे का संकेत देने वाले सूक्ष्म संकेत और विमर्श पैटर्न अनुवाद में खो गए थे, जिससे यह सिद्ध हुआ कि एक मूल समाधान आवश्यक था।
अपने नए डेटासेट के साथ, शोधकर्ताओं ने वर्गीकरण समस्या को हल करने के लिए दो अलग-अलग मार्गों का अन्वेषण किया। पहला मार्ग 'लार्ज लैंग्वेज मॉडल्स' (large language models) पर आधारित था, जो शक्तिशाली कृत्रिम बुद्धिमत्ता प्रणालियाँ हैं जो टेक्स्ट उत्पन्न कर सकती हैं और प्रश्नों के उत्तर दे सकती हैं। उन्होंने परीक्षण किया कि क्या ये मॉडल नए तुर्की डेटा पर स्पष्ट रूप से प्रशिक्षित हुए बिना, वर्गीकरण सीखने में सक्षम हैं, जिसे 'इन-कॉन्टेक्स्ट लर्निंग' (in-context learning) कहा जाता है। प्रॉम्प्ट के भीतर कुछ उदाहरण प्रदान करके और निर्देशों को सावधानीपूर्वक तैयार करके, उन्होंने पाया कि ये मॉडल उच्च स्तर की सटीकता प्राप्त कर सकते थे, जो सही इरादे की पहचान करने में लगभग 87 प्रतिशत तक पहुँच गई। यह दृष्टिकोण एक "कोल्ड-स्टार्ट" समाधान के रूप में मूल्यवान साबित हुआ, जो बिना किसी विशाल, पूर्व-लेबल वाले डेटासेट की आवश्यकता के तुरंत उद्धरणों का विश्लेषण करने का एक तरीका प्रदान करता है। हालाँकि, शोधकर्ताओं ने नोट किया कि इन मॉडल्स का प्रदर्शन इस बात के प्रति अत्यधिक संवेदनशील था कि निर्देश कैसे लिखे गए हैं, और उन्हें पिछले अध्ययन के साथ असहमति दर्शाने वाले दुर्लभ प्रकार के उद्धरणों को लगातार पहचानने में कठिनाई हुई।
दूसरे मार्ग में नए तुर्की डेटासेट का उपयोग करके शून्य से विशेष कंप्यूटर मॉडल को प्रशिक्षित करना शामिल था। टीम ने पाँच अलग-अलग प्रकार के न्यूरल नेटवर्क आर्किटेक्चर को 'फाइन-ट्यून' किया, और परीक्षण किया कि कौन से तुर्की भाषा के लिए सबसे अच्छा काम करते हैं। उन्होंने पाया कि विशेष रूप रूप से तुर्की टेक्स्ट पर पूर्व-प्रशिक्षित मॉडल, बहुभाषी या अंग्रेजी के लिए डिज़ाइन किए गए मॉडलों की तुलना में काफी बेहतर प्रदर्शन करते हैं। सबसे सफल प्रणाली, जिसने एक तुर्की-विशिष्ट मॉडल को एक समृद्ध इनपुट के साथ जोड़ा जिसमें पेपर का वह खंड शामिल था जहाँ उद्धरण दिखाई दिया और उसके आसपास के वाक्य भी शामिल थे, ने 90 प्रतिशत से अधिक की सटीकता प्राप्त की। इस 'सुपरवाइज्ड' दृष्टिकोण ने अकादमिक टेक्स्ट के बड़े वॉल्यूम को संसाधित करने के लिए एक स्थिर, विश्वसनीय और लागत प्रभावी तरीका प्रदान किया। फिर भी, इस उच्च सटीकता के साथ भी, प्रणाली को एक चुनौती का सामना करना पड़ा: स्वयं डेटा ही अत्यधिक विषम (skewed) था। अकादमिक लेखन में, अधिकांश उद्धरण सामान्य पृष्ठभूमि के लिए उपयोग किए जाते हैं, जो डेटासेट का लगभग 78 प्रतिशत हिस्सा बनाते हैं। इस असंतुलन का अर्थ था कि जबकि मॉडल सामान्य पृष्ठभूमि संदर्भों को पहचानने में उत्कृष्ट थे, वे असहमति या आलोचनात्मक चर्चा जैसे दुर्लभ, अधिक जटिल इरादों को पहचानने में कम विश्वसनीय रहे।
अध्ययन ने निष्कर्ष निकाला कि हालांकि नया सिस्टम तुर्की विद्वत्ता के विश्लेषण के लिए एक शक्तिशाली उपकरण प्रदान करता है, लेकिन कार्य की कठिनाई केवल तकनीक में नहीं बल्कि डेटा की प्रकृति में निहित है। शोधकर्ताओं ने पाया कि केवल अधिक संदर्भ जोड़ने या समस्या को छोटे चरणों में तोड़ने से दुर्लभ उद्धरण प्रकारों की पहचान करने की समस्या पूरी तरह से हल नहीं हुई। इसके बजाय, आगे का रास्ता इन अल्पप्रतिनिधित्व वाले इरादों के अधिक उदाहरणों को शामिल करने के लिए डेटासेट का विस्तार करना है। एक मजबूत ढांचा और उच्च गुणवत्ता वाला डेटासेट प्रदान करके, टीम ने तुर्की अकादमिक प्रभाव की सूक्ष्म समझ के लिए द्वार खोल दिया है, जिससे शोधकर्ता और संपादक सरल गणनाओं से आगे बढ़कर वैज्ञानिक संवाद की वास्तविक संरचना को देख सकते हैं। यह कार्य अन्य गैर-अंग्रेजी अकादमिक समुदायों के लिए एक ब्लूप्रिंट के रूप में कार्य करता है, जो यह दर्शाता है कि जबकि अनुवाद एक उपयोगी पहला कदम है, वास्तविक समझ के लिए उन उपकरणों की आवश्यकता होती है जो विशेष रूप से स्थानीय विद्वान जगत की भाषा और विमर्श के लिए निर्मित हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।