Enhancing Scientific Named Entity Recognition via Large Language Models: A Type-driven Multi-task Learning Approach
यह शोध पत्र TdSciNER प्रस्तुत करता है, जो एक प्रकार-संचालित मल्टी-टास्क लर्निंग फ्रेमवर्क है जो उम्मीदवार इकाई प्रकारों को फ़िल्टर करके, समृद्ध प्रतिनिधित्व के लिए एक सहायक टाइपिंग कार्य को शामिल करके, और विविध वैज्ञानिक डोमेन में लार्ज लैंग्वेज मॉडल के प्रदर्शन को अनुकूलित करने के लिए एक नवीन प्रदर्शन चयन रणनीति का उपयोग करके वैज्ञानिक नामित इकाई पहचान (Scientific Named Entity Recognition) को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विज्ञान की दुनिया की कल्पना एक विशाल, अनंत पुस्तकालय के रूप में करें जहाँ हर किताब एक शोध पत्र (research paper) है। इन किताबों के भीतर, वैज्ञानिक सूक्ष्म, महत्वपूर्ण सुराग छिपाते हैं जिन्हें "नेम्ड एंटिटीज़" (named entities) कहा जाता है—जैसे कि दवाओं के नाम, रासायनिक यौगिक, या कंप्यूटर एल्गोरिदम। इन सुरागों को खोजना और लेबल करना एक लाइब्रेरियन द्वारा किताबों के एक अस्त-व्यस्त ढेर को सही अलमारियों में छाँटने जैसा है। यदि लाइब्रेरियन से गलती हो जाती है, तो पूरा सिस्टम टूट जाता है, जिससे "इस बीमारी का इलाज क्या है?" या "यह नया AI कैसे काम करता है?" जैसे बड़े सवालों के जवाब ढूँढना कठिन हो जाता है।
लंबे समय तक, कंप्यूटर इस छँटाई के काम में संघर्ष करते रहे क्योंकि वैज्ञानिक शब्द पेचीदा होते हैं। एक शब्द जैसे "मेथड" (Method) जीव विज्ञान की लैब में एक विशिष्ट रेसिपी हो सकता है, लेकिन एक तकनीकी पेपर में यह पूरी तरह से अलग प्रकार का कंप्यूटर प्रोग्राम हो सकता है। हाल ही में, "लार्ज लैंग्वेज मॉडल्स" (LLMs) नामक सुपर-स्मार्ट कंप्यूटर दिमाग आए हैं। ये उन प्रतिभाशाली छात्रों की तरह हैं जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है और वे वाक्य में अगले शब्द का अनुमान लगा सकते हैं। वे सामान्य कार्यों के लिए बेहतरीन हैं, लेकिन जब आप उन्हें वैज्ञानिक किताबें छाँटने के लिए कहते हैं, तो वे कभी-कभी भ्रमित हो जाते हैं। क्यों? क्योंकि यदि आप उन्हें चुनने के लिए 50 संभावित श्रेणियों (shelves) की सूची देते हैं, तो वे गलत श्रेणी चुन सकते हैं क्योंकि वह सुनने में परिचित लगी थी, भले ही वह सामने रखी विशिष्ट किताब के लिए उपयुक्त न हो। उन्हें सही अलमारियों पर ध्यान केंद्रित करने के लिए थोड़ी मदद की आवश्यकता होती है।
यहीं पर शोध पत्र "Enhancing Scientific Named Entity Recognition via Large Language Models" आता है। शोधकर्ताओं ने, टोंग बाओ और सहयोगियों के नेतृत्व में, इन AI दिग्गजों को बेहतर वैज्ञानिक लाइब्रेरियन बनाने में मदद करने के लिए TdSciNER नामक एक नया सिस्टम बनाया है। इन AI दिग्गजों को एक विशाल, भ्रमित करने वाली सूची से अनुमान लगाने देने के बजाय, उन्होंने इसे चीज़ों को सीमित करने और तेज़ी से सीखने के लिए एक तीन-चरणीय रणनीति दी।
सबसे पहले, उन्होंने एक "टाइप फ़िल्टर" (Type Filter) जोड़ा। कल्पना कीजिए कि आप एक विशाल किराने की दुकान में एक विशिष्ट प्रकार के फल की तलाश कर रहे हैं। पूरे स्टोर के हर फल (सेब से लेकर ज़ुकिनी तक) की जाँच करने के लिए क्लर्क से पूछने के बजाय, आप पहले एक स्मार्ट सहायक से पूछते हैं कि "हे, आपको केवल बेरी और खट्टे फलों वाले सेक्शन की ही जाँच करनी है।" TdScinel सिस्टम बिल्कुल यही करता है: मुख्य AI द्वारा वाक्य को लेबल करने से पहले, एक छोटा सहायक मॉडल वाक्य को स्कैन करता है और उन एंटिटी प्रकारों को फ़िल्टर कर देता है जो वहाँ नहीं हैं। यदि वाक्य कंप्यूटर विज्ञान के बारे में है, तो फ़िल्टर चिकित्सा संबंधी शब्दों जैसे "बीमारी" या "दवा" को ब्लॉक कर देता है, ताकि मुख्य AI विचलित न हो।
दूसरा, उन्होंने "मल्टी-टास्क लर्निंग" (Multi-Task Learning) का उपयोग किया। इसे एक ऐसे छात्र की तरह समझें जो इतिहास की परीक्षा के लिए पढ़ाई कर रहा है। केवल तारीखें याद करने के बजाय, वे घटनाओं के संक्षिप्त सारांश भी लिखते हैं। इससे उन्हें संदर्भ (context) को बेहतर ढंग से समझने में मदद मिलती है। शोधकर्ताओं ने AI को एक साथ दो काम करने के लिए प्रशिक्षित किया: वैज्ञानिक शब्दों को खोजना (मुख्य काम) और साथ ही अभी मिले शब्द के प्रकार का अनुमान लगाना (अतिरिक्त काम)। दोनों को एक साथ अभ्यास करके, AI ने वाक्य के "मिजाज" (vibe) को बहुत बेहतर तरीके से समझना सीख लिया, जिससे समान लगने वाले शब्दों को आपस में मिलाने की संभावना कम हो गई।
तीसरा, उन्होंने AI को उदाहरणों से सीखने की प्रक्रिया में सुधार किया, जिसे "इन-कॉन्टेक्स्ट लर्निंग" (In-Context Learning) कहा जाता है। जब आप किसी स्मार्ट AI को कोई नया कार्य करने के लिए कहते हैं, तो आप आमतौर पर उसे पहले कुछ उदाहरण देते हैं, जैसे कि सही ढंग से लेबल की गई किताब का नमूना दिखाना। शोधकर्ताओं ने महसूस किया कि केवल रैंडम उदाहरण चुनना पर्याप्त नहीं था। उन्होंने सबसे बेहतरीन उदाहरण चुनने के लिए एक विशेष रणनीति बनाई। उन्होंने ऐसे उदाहरणों की तलाश की जो वर्तमान वाक्य के समान हों (ताकि AI एक परिचित पैटर्न देख सके) लेकिन साथ ही इतने विविध भी हों कि वे लिखने के विभिन्न तरीकों और विभिन्न प्रकार की एंटिटीज को दिखा सकें। यह एक छात्र को अध्ययन मार्गदर्शिका (study guide) देने जैसा है जिसमें केवल एक अध्याय के बजाय कई अलग-अलग अध्यायों के उदाहरण हों, ताकि वह किसी भी प्रश्न को हल कर सके।
टीम ने इस नए सिस्टम का परीक्षण तीन अलग-अलग वैज्ञानिक डेटासेट पर किया: एक कंप्यूटर विज्ञान के लिए, एक जीव विज्ञान के लिए, और एक चिकित्सा अनुसंधान के लिए। परिणाम प्रभावशाली थे। उन्होंने पाया कि TdSciNER उन पुराने, अत्यधिक विशिष्ट कंप्यूटर मॉडलों के समान या कभी-कभी उनसे भी बेहतर प्रदर्शन करता है जिन्हें वर्षों तक विशिष्ट विषयों पर प्रशिक्षित किया गया था। वास्तव में, कंप्यूटर विज्ञान डेटासेट पर, उनके सिस्टम ने 70.58% का F1 स्कोर प्राप्त किया, और मेडिकल डेटासेट पर, इसने 89.83% का स्कोर छुआ। ये संख्याएँ बताती हैं कि इन तीन स्मार्ट ट्रिक्स का उपयोग करके—विकल्पों को फ़िल्टर करना, एक साथ दो कार्य सीखना, और सर्वश्रेष्ठ उदाहरण चुनना—LLMs बिना भारी मानवीय मदद के वैज्ञानिक पाठ को समझने में अविश्वसनीय रूप से प्रभावी हो सकते हैं।
शोधकर्ताओं ने यह भी जाँच की कि इसमें कितनी "बौद्धिक शक्ति" (brain power) लगी। उन्होंने पाया कि हालांकि यह सिस्टम एक साधारण प्रश्न पूछने की तुलना में थोड़ा अधिक काम करता है, लेकिन यह चीज़ों को बहुत धीमा नहीं करता है। प्रकारों को फ़िल्टर करने या उदाहरण चुनने में लगने वाला अतिरिक्त समय कम था, लेकिन सटीकता में वृद्धि बहुत बड़ी थी। उदाहरण के लिए, कंप्यूटर विज्ञान डेटासेट पर, उनके तरीके ने बिना इन ट्रिक्स के एक मानक AI का उपयोग करने की तुलना में सटीकता में लगभग 30 प्रतिशत अंक का सुधार किया।
हालाँकि, लेखक सावधानीपूर्वक यह नोट करते हैं कि यह कोई जादुई छड़ी नहीं है जो सब कुछ तुरंत हल कर देती है। वे स्वीकार करते हैं कि उनका सिस्टम अभी भी हर एक डेटासेट पर, विशेष रूप से अत्यंत जटिल चिकित्सा शब्दों वाले डेटासेट पर, सबसे बेहतरीन विशिष्ट मॉडलों को मात नहीं दे पाता है। वे यह भी बताते हैं कि उनकी विधि इस बात पर निर्भर करती है कि AI को कैसे प्रॉम्प्ट (prompt) दिया गया है, और यदि प्रॉम्प्ट अच्छी तरह से डिज़ाइन नहीं किए गए हैं, तो परिणाम प्रभावित हो सकते हैं। लेकिन कुल मिलाकर, यह अध्ययन बताता है कि AI को थोड़ा ढांचा (structure) देना—शोर को फ़िल्टर करके और उसे सही जानकारी के प्रकारों पर ध्यान केंद्रित करना सिखाकर—उसे विज्ञान के बारे में स्मार्ट बनाने का एक शक्तिशाली तरीका है। यह इन विशाल, सामान्य-उद्देश्य वाले AI दिमागों को विशिष्ट उपकरणों में बदलने की दिशा में एक कदम है जो हमें लाखों वैज्ञानिक शोध पत्रों में छिपे रहस्यों को खोलने में मदद कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।