Large Language Models for Biomedical Article Classification
यह शोध पत्र विभिन्न प्रॉम्पटिंग रणनीतियों और कॉन्फ़िगरेशन के माध्यम से बायोमेडिकल लेख वर्गीकरण के लिए विभिन्न लार्ज लैंग्वेज मॉडल्स की प्रभावशीलता का व्यवस्थित रूप से मूल्यांकन करता है, जो यह प्रदर्शित करता है कि उनका प्रदर्शन पारंपरिक क्लासिफायर और फाइन-ट्यून्ड मॉडल्स के करीब पहुँच जाता है और साथ ही इष्टतम सेटअप के लिए व्यावहारिक सिफारिशें भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लाइब्रेरियन हैं जो मेडिकल रिसर्च पेपर्स के एक विशाल, अस्त-व्यस्त ढेर को छाँटने की कोशिश कर रहे हैं। आपका काम यह तय करना है: "क्या यह पेपर हमारे विशिष्ट बुक क्लब के लिए उपयोगी है, या हमें इसे फेंक देना चाहिए?"
अतीत में, कंप्यूटर को यह सिखाने के लिए कि वह ऐसा कैसे करे, आपको उसे "अच्छे" और "बुरे" पेपर्स के हजारों उदाहरण दिखाने पड़ते। यह एक छात्र इंटर्न को प्रशिक्षित करने जैसा है जिसे आपको यह समझाने के लिए कि वह आपकी मदद कर सके, पहले 10,000 किताबें पढ़नी पड़ती हैं। लेकिन क्या होगा अगर आप एक सुपर-स्मार्ट, सुशिक्षित जीनियस (एक AI) से पूछ सकें कि वह एक पेपर को देखे और आपके लिए निर्णय ले ले, भले ही उसने पहले कभी आपके विशिष्ट बुक क्लब के बारे में न सुना हो?
यही वह शोध है जिसकी यह पेपर जांच करता है। लेखक, वारसॉ यूनिवर्सिटी ऑफ टेक्नोलॉजी के जकुब और पावेल ने परीक्षण किया कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—वही तरह के AI जो कविताएँ लिखते हैं और सवालों के जवाब देते हैं—मेडिकल लेखों के लिए इन "जीनियस लाइब्रेरियन" के रूप में कार्य कर सकते हैं।
यहाँ उनके प्रयोग का विवरण दिया गया है, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए।
1. चुनौती: "विशेषज्ञ" बनाम "इंटर्न"
आमतौर पर, इन पेपर्स को छाँटने के लिए, आप एक "क्लासिक" कंप्यूटर एल्गोरिदम (जैसे कि नैइव बेयस क्लासिफायर या रैंडम फॉरेस्ट) को प्रशिक्षित करते हैं। इन्हें समर्पित इंटर्न के रूप में सोचें। वे तेज़, सस्ते हैं और अपने काम में बहुत अच्छे हैं यदि आप उन्हें पहले अध्ययन करने के लिए लेबल किए गए उदाहरणों का एक बड़ा ढेर दें।
समस्या क्या है? मेडिकल पेपर्स को लेबल करना कठिन है। इसके लिए वास्तविक मानव विशेषज्ञों को यह तय करने के लिए घंटों समय लगता है कि कोई पेपर प्रासंगिक है या नहीं। आपके पास अक्सर उस विशाल प्रशिक्षण ढेर को बनाने के लिए समय या पैसा नहीं होता है।
यहाँ LLM आता है। एक LLM को एक ऐसे सुपर-जीनियस के रूप में सोचें जिसने पूरा इंटरनेट पढ़ लिया है। उन्हें आपको हजारों उदाहरण दिखाने की आवश्यकता नहीं है। आप बस उनसे पूछ सकते हैं, "क्या यह पेपर प्रासंगिक है?" और वे अपने विशाल आंतरिक ज्ञान का उपयोग करके अनुमान लगाते हैं। इसे ज़ीरो-शॉट (Zero-Shot) लर्निंग कहा जाता है (बिना किसी उदाहरण के पूछना)। या, आप उन्हें पहले केवल 3 या 4 उदाहरण दिखा सकते हैं। यह फ्यू-शॉट (Few-Shot) लर्निंग है।
2. प्रयोग: अलग-अलग "पूछने के तरीकों" का परीक्षण
शोधकर्ताओं ने केवल AI से एक साधारण सवाल नहीं पूछा। उन्होंने यह देखने के लिए कि कौन सी विधि सबसे अच्छा काम करती है, AI को "प्रॉम्प्टिंग" (पूछने) के विभिन्न तरीकों का परीक्षण किया।
प्रॉम्प्ट (प्रश्न):
- सरल: "क्या यह पेपर प्रासंगिक है? हाँ या नहीं।"
- जटिल: "आप एक चिकित्सा विशेषज्ञ हैं। यहाँ पेपर है। गुणवत्ता और प्रासंगिकता के बारे में चरण-दर-चरण सोचें। फिर मुझे हाँ या नहीं बताएं।"
- निष्कर्ष: आश्चर्यजनक रूप से, सवाल को अत्यधिक जटिल बनाने से बहुत अधिक मदद नहीं मिली। हालाँकि, एक सीधा प्रश्न पूछना ("क्या इसे शामिल किया जाना चाहिए?") केवल टेक्स्ट को डाल देने और "वर्गीकृत करें" कहने से बेहतर काम करता है।
आउटपुट (उत्तर):
- टेक्स्ट उत्तर: AI कहता है "हाँ।" (बाइनरी, बिना किसी सूक्ष्मता के)।
- स्कोर: AI एक संख्या देता है जैसे "10 में से 8।" (बेहतर)।
- सीक्रेट सॉस (टोकन प्रोबेबिलिटीज): यह इस पेपर की सबसे बड़ी खोज थी। AI से एक संख्या बोलने के लिए कहने के बजाय, शोधकर्ताओं ने AI की आंतरिक आत्मविश्वास (confidence) की जांच की।
- उपमा: कल्पना कीजिए कि AI एक मौसम विज्ञानी है।
- टेक्स्ट उत्तर: "बारिश होगी।" (बाइनरी, कोई बारीकी नहीं)।
- स्कोर: "मुझे लगता है कि 70% संभावना है।" (बेहतर)।
- टोकन प्रोबेबिलिटीज: AI वास्तव में बोलने से पहले ही "बारिश" बनाम "धूप" के अगले शब्द की गणितीय संभावनाओं की गणना करता है। शोधकर्ताओं ने पाया कि इन आंतरिक गणितीय संभावनाओं को देखने से सबसे सटीक "कॉन्फिडेंस स्कोर" मिले। यह केवल मौसम विज्ञानी से यह पूछने के बजाय बैरोमीटर चेक करने जैसा है कि क्या उन्हें लगता है कि बारिश होगी।
उदाहरण (द चीट शीट):
- उन्होंने AI को 0, 1, 2, 3, या 4 उदाहरण देने का प्रयास किया।
- निष्कर्ष: AI को केवल एक या दो उदाहरण देने से शून्य की तुलना में बहुत बड़ा अंतर आया। लेकिन 4 उदाहरण देने से 2 की तुलना में बहुत अधिक मदद नहीं मिली। यह एक छात्र को एक नमूना परीक्षा प्रश्न दिखाने जैसा है जो उन्हें पास होने में मदद करता है; चार दिखाना उन्हें जीनियस नहीं बनाता।
- चयन: उन्होंने AI को बेहतरीन उदाहरण दिखाने का भी प्रयास किया (सिमेंटिक सिमिलैरिटी का उपयोग करके—ऐसे उदाहरण ढूंढना जो वर्तमान पेपर के साथ वैचारिक रूप से समान हों)। यह केवल यादृच्छिक (random) उदाहरण चुनने की तुलना में बहुत बेहतर काम करता था।
3. "उन्नत" तकनीकें: क्या वे काम आईं?
शोधकर्ताओं ने कई फैंसी तकनीकों का परीक्षण किया जिनका उपयोग अक्सर AI अनुसंधान में किया जाता है:
- चेन ऑफ थॉट (Chain of Thought): AI को उत्तर देने से पहले "ज़ोर से सोचने" के लिए कहना।
- ट्री ऑफ थॉट्स (Tree of Thoughts): AI को कई संभावित उत्तर उत्पन्न करने, उन्हें स्कोर करने और सबसे अच्छा चुनने के लिए कहना।
- चंकिंग (Chunking): एक लंबे पेपर को छोटे टुकड़ों में तोड़ना, प्रत्येक टुकड़े को वर्गीकृत करना और परिणाम का औसत निकालना।
फैसला: ये फैंसी तकनीकें अखरोट तोड़ने के लिए हथौड़े का उपयोग करने जैसी थीं। इनके लिए बहुत अधिक कंप्यूटिंग शक्ति (और पैसा) की आवश्यकता थी लेकिन इन्होंने परिणामों में सुधार नहीं किया। सरल दृष्टिकोण—"एक सीधा प्रश्न पूछें + 3 समान उदाहरण दिखाएं + आंतरिक गणितीय संभावनाओं की जांच करें"—विजेता रहा।
4. अंतिम मुकाबला: AI बनाम क्लासिक्स
अंत में, उन्होंने अपने सर्वश्रेष्ठ AI सेटअप की तुलना पारंपरिक "इंटर्न" एल्गोरिदम (नैइव बेयस, रैंडम फॉरेस्ट) और फाइन-ट्यून किए गए मॉडल्स के साथ की।
- परिणाम: पारंपरिक एल्गोरिदम (इंटर्न) औसतन अभी भी थोड़े बेहतर थे। वे इस विशिष्ट कार्य के लिए बनाए गए विशेष उपकरण हैं।
- आश्चर्य: AI (सुपर-जीनियस) क्लासिक्स को हराने के बहुत करीब था, खासकर जब उसे केवल कुछ उदाहरण दिए गए थे। कुछ विशिष्ट चिकित्सा विषयों में, AI ने विशेषज्ञों के समान ही प्रदर्शन किया।
मुख्य निष्कर्ष: आपको क्या करना चाहिए?
यदि आप एक शोधकर्ता या डॉक्टर हैं जो लेबल किए गए डेटा के बड़े बजट के बिना मेडिकल पेपर्स को छाँटने की कोशिश कर रहे हैं:
- सवाल को बहुत जटिल न बनाएं। बस AI से सीधे पूछें कि क्या पेपर प्रासंगिक है।
- इसे कुछ उदाहरण दिखाएं। 3 या 4 सबसे अच्छा विकल्प है। ऐसे उदाहरण चुनें जो आपके द्वारा छाँटे जा रहे पेपर के समान हों।
- केवल "हाँ/नहीं" पर भरोसा न करें। यदि AI आपको एक प्रोबेबिलिटी स्कोर (इसके आंतरिक गणित के आधार पर) दे सकता है, तो उसका उपयोग करें! यह आपको यह तय करने की अनुमति देता है कि आप कितने सख्त होना चाहते हैं (जैसे, "केवल वे पेपर दिखाएं जहाँ AI 90% सुनिश्चित है")।
- फैंसी ट्रिक्स को छोड़ दें। आपको AI को निबंध लिखने या ट्री स्ट्रक्चर में सोचने की आवश्यकता नहीं है। समय और पैसा बचाने के लिए इसे सरल रखें।
संक्षेप में: लार्ज लैंग्वेज मॉडल्स मेडिकल रिसर्च के लिए उत्कृष्ट "प्रथम-पास" फिल्टर के रूप में कार्य करने के लिए पर्याप्त शक्तिशाली हो रहे हैं। वे अभी तक मानव विशेषज्ञों या पारंपरिक एल्गोरिदम के पूर्ण प्रतिस्थापन नहीं हैं, लेकिन वे एक बहुत ही मजबूत, लचीला और आश्चर्यजनक रूप से सटीक उपकरण हैं जब आपके पास लेबल किए गए डेटा का पहाड़ नहीं होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।