Automating Categorization of Scientific Texts with In-Context Learning and Prompt-Chaining in Large Language Models
यह अध्ययन पदानुक्रमित ORKG वर्गीकरण का उपयोग करके वैज्ञानिक ग्रंथों को वर्गीकृत करने में ऑफ-द-शेल्फ लार्ज लैंग्वेज मॉडल्स की प्रभावशीलता का मूल्यांकन करता है, जिसमें यह पाया गया कि प्रॉम्प्ट चेनिंग, इन-कॉन्टेक्स्ट लर्निंग और स्टेट-ऑफ-द-आर्ट मॉडल्स की तुलना में शीर्ष-स्तरीय श्रेणियों के लिए बेहतर प्रदर्शन करती है, लेकिन फिर भी तीसरे स्तर के गहरे विषय वर्गीकरण के साथ संघर्ष करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया के सबसे बड़े पुस्तकालय में कदम रख रहे हैं—इतना विशाल कि हर एक सेकंड में नई किताबें जोड़ी जा रही हैं। यह इतना बड़ा है कि सबसे बुद्धिमान पुस्तकालयाध्यक्ष (librarians) भी घबराए हुए हैं। वे यह तय करने के लिए हर नई किताब नहीं पढ़ सकते कि उसे किस शेल्फ पर रखा जाए। यदि वे ऐसा नहीं करते हैं, तो पुस्तकालय कागज का एक विशाल, अस्त-व्यस्त ढेर बन जाएगा जहाँ कुछ भी ढूँढना असंभव होगा।
यह लेख इस बात पर चर्चा करता है कि हम वैज्ञानिक शोध पत्रों (scientific papers) को स्वचालित रूप से पढ़ने और उन्हें सही स्थान पर रखने के लिए कैसे "डिजिटल लाइब्रेरियन" (जिन्हें 'लार्ज लैंग्वेज मॉडल्स' या LLMs कहा जाता है, जैसे ChatGPT के पीछे की तकनीक) का उपयोग कर सकते हैं।
समस्या: "अनंत बुकशेल्फ़"
वैज्ञानिक हर साल लाखों शोध पत्र प्रकाशित कर रहे हैं। ये शोध पत्र केवल "विज्ञान" नहीं हैं; वे बहुत अधिक विशिष्ट हैं। एक शोध पत्र जीव विज्ञान (Biology) के बारे में हो सकता है, लेकिन अधिक विशिष्ट रूप से, यह चिकित्सा (Medicine) के बारे में हो सकता है, और उससे भी अधिक विशिष्ट रूप से, यह वायरोलॉजी (Virology) के बारे में हो सकता है।
शोधकर्ताओं ने यह देखना चाहा कि क्या AI इस "नेस्टेड" पदानुक्रम (nested hierarchy) को संभाल सकता है—बड़े, व्यापक श्रेणियों से लेकर सूक्ष्म, विशिष्ट विवरणों तक जाने की प्रक्रिया को—बिना भ्रमित हुए।
रणनीति: AI को सिखाने के दो तरीके
शोधकर्ताओं ने इन डिजिटल लाइब्रेरियन को निर्देश देने के दो मुख्य तरीकों का परीक्षण किया:
- "वन-शॉट" विधि (इन-कॉन्टेक्स्ट लर्निंग): यह एक लाइब्रेरियन को एक किताब थमाने जैसा है और कहना, "इसे देखो? यह जीव विज्ञान की किताब है। अब, जाओ और देखो कि इन अन्य 1,000 किताबों को कहाँ रखना है।" आप उन्हें थोड़ा सा संदर्भ देते हैं और उम्मीद करते हैं कि वे इसे "समझ" जाएँ।
- "स्टेप-बाय-स्टेप" विधि (प्रॉम्प्ट चेनिंग): यह बहुत अधिक स्मार्ट तरीका है। AI से सीधे सटीक सूक्ष्म श्रेणी पहचानने के लिए कहने के बजाय, आप इसे "20 सवाल" के खेल में तोड़ देते हैं।
- चरण 1: "क्या यह शोध पत्र जीवन विज्ञान (Life Sciences) के बारे में है या भौतिक विज्ञान (Physical Sciences) के बारे में?"
- चरण 2: (एक बार जब वह जीवन विज्ञान उत्तर दे दे) "ठीक है, जीवन विज्ञान के भीतर, क्या यह जीव विज्ञान है या चिकित्सा?"
- चरण 3: (एक बार जब वह चिकित्सा उत्तर दे दे) "अंततः, क्या यह वायरोलॉजी है या कार्डियोलॉजी?"
परिणाम: "स्मार्ट लेकिन पूरी तरह से सटीक नहीं" वाला सहायक
यहाँ उन्हें क्या पता चला:
- स्टेप-बाय-स्टेप विधि जीतती है: "प्रॉम्प्ट चेनिंग" (20 सवालों वाला दृष्टिकोण) केवल AI को एक सूची देकर चुनने के लिए कहने की तुलना में बहुत बेहतर काम कर गया। इसने AI को केंद्रित रहने में मदद की।
- AI "बड़ी तस्वीर" (Big Picture) में माहिर है: AI व्यापक डोमेन (जैसे "इंजीनियरिंग" या "जीवन विज्ञान") की पहचान करने में अविश्वसनीय रूप से अच्छा था। यह एक ऐसे लाइब्रेरियन की तरह था जो आसानी से बता सकता है कि कुकबुक और भौतिकी की किताब में क्या अंतर है।
- AI "बारीकियों" में संघर्ष करता है: जब बात सबसे विशिष्ट, सूक्ष्म विषयों (तीसरे स्तर) की आई, तो AI की सटीकता गिरकर लगभग 50% हो गई। यह एक ऐसे लाइब्रेरियन की तरह है जो जानता है कि आप "कुकिंग" सेक्शन में हैं, लेकिन वह यह नहीं बता सकता कि रेसिपी 'सुफ्ले' (soufflé) के लिए है या 'सोरडो ब्रेड' (sourdough bread) के लिए।
- "रचनात्मकता" का कारक: उन्होंने पाया कि यदि AI बहुत अधिक "कठोर" (लो टेम्परेचर) था, तो वह उबाऊ था; यदि वह बहुत अधिक "अतरंगी" (हाई टेम्परेचर) था, तो वह अपनी ओर से चीजें बनाने लगा। एक "गोल्डिलॉक्स ज़ोन" (तापमान 0.8) था जहाँ इसने सर्वश्रेष्ठ प्रदर्शन किया।
निष्कर्ष
हमने ऐसे डिजिटल सहायक बनाए हैं जो विज्ञान के "पड़ोसों" को व्यवस्थित करने में उत्कृष्ट हैं, लेकिन उन्हें अभी भी गली के विशिष्ट "घरों" को छाँटने के लिए एक मानव विशेषज्ञ की सहायता की आवश्यकता है। जैसे-जैसे ये AI मॉडल अधिक स्मार्ट होते जाएंगे, वे अंततः मानव ज्ञान के इस पहाड़ को समझने के लिए परम उपकरण बन जाएंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।