A Benchmark for End-to-End Zero-Shot Biomedical Relation Extraction with LLMs: Experiments with OpenAI Models
यह शोध पत्र OpenAI मॉडलों का उपयोग करके एंड-टू-एंड ज़ीरो-शॉट बायोमेडिकल संबंध निष्कर्षण (biomedical relation extraction) के मूल्यांकन के लिए एक बेंचमार्क प्रस्तुत करता है, जो यह दर्शाता है कि हालांकि ये बड़े भाषा मॉडल कुछ डेटासेट्स पर पर्यवेक्षित प्रदर्शन (supervised performance) के करीब पहुँचते हैं, फिर भी वे कई संबंधों वाले जटिल इनपुट के मामले में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि चिकित्सा अनुसंधान (medical research) की दुनिया एक विशाल, निरंतर बढ़ती हुई लाइब्रेरी की तरह है। हर दिन, अलमारियों में हजारों नई किताबें (वैज्ञानिक शोध पत्र) जोड़ी जाती हैं। इन किताबों के भीतर महत्वपूर्ण तथ्य छिपे होते हैं: कौन सी दवाएं मिलकर काम करती हैं, कौन से जीन बीमारियों का कारण बनते हैं, और कैसे रसायन प्रोटीनों के साथ परस्पर क्रिया करते हैं।
समस्या यह है कि यह लाइब्रेरी इतनी बड़ी है कि इंसान इसे मैन्युअल रूप से पढ़ और व्यवस्थित नहीं कर सकते। हमें एक ऐसे तरीके की आवश्यकता है जिससे इन तथ्यों को स्वचालित रूप से निकाला जा सके और उन्हें व्यवस्थित सूचियों (जैसे कि एक स्प्रेडशीट) में रखा जा सके ताकि कंप्यूटर इनका उपयोग कर सकें। इस प्रक्रिया को रिलेशन एक्सट्रैक्शन (Relation Extraction - RE) कहा जाता है।
पारंपरिक रूप से, कंप्यूटर को यह सिखाने के लिए कि यह कैसे किया जाए, हमें विशेषज्ञों को हजारों शोध पत्र पढ़ने, तथ्यों को हाइलाइट करने और उन्हें लेबल करने के लिए काम पर रखना पड़ता था। यह हर नए विषय के लिए एक छात्र को पढ़ाने के लिए ट्यूटर्स की एक टीम को काम पर रखने जैसा है। यह धीमा, महंगा और थका देने वाला है।
बड़ा सवाल: क्या हम ट्यूटर को छोड़ सकते हैं?
"लार्ज लैंग्वेज मॉडल्स" (LLMs)—सुपर-स्मार्ट AI चैटबॉट्स जैसे कि वे जिन्हें आपने शायद इस्तेमाल किया होगा—के उदय के साथ, शोधकर्ताओं ने पूछा: क्या हम AI को बिना पहले सिखाए ही यह काम करने के लिए कह सकते हैं? इसे जीरो-शॉट (Zero-Shot) लर्निंग कहा जाता है। उदाहरणों के साथ AI को प्रशिक्षित करने के बजाय, हम इसे बस एक प्रॉम्प्ट (एक निर्देश) देते हैं और देखते हैं कि क्या यह मौके पर ही इसे समझ सकता है।
यह शोध पत्र एक बेंचमार्क टेस्ट है। लेखकों ने सात अलग-अलग प्रकार की मेडिकल पहेलियों के साथ एक "जिम" तैयार किया है ताकि यह देखा जा सके कि क्या ये AI मॉडल बिना किसी पूर्व प्रशिक्षण के इन पहेलियों को हल कर सकते हैं।
प्रयोग: AI बनाम लाइब्रेरी
शोधकर्ताओं ने तीन अलग-अलग AI मॉडल्स (GPT-4, OpenAI का "o1", और एक ओपन-सोर्स मॉडल जिसे GPT-OSS कहा गया है) का सात अलग-अलग डेटासेट्स पर परीक्षण किया। इन डेटासेट्स को एक वीडियो गेम के विभिन्न कठिनाई स्तरों के रूप में समझें:
- आसान स्तर: कुछ पहेलियाँ सरल थीं। इनमें छोटे वाक्य शामिल थे जिनमें केवल एक या दो प्रकार के तथ्य खोजने थे (जैसे "दवा A से दुष्प्रभाव B होता है")।
- कठिन स्तर: अन्य पहेलियाँ अराजक थीं। इनमें लंबे पैराग्राफ, दर्जनों तथ्य, जटिल वैज्ञानिक नाम और कई अलग-अलग प्रकार के संबंधों का मिश्रण शामिल था।
AI का काम टेक्स्ट को पढ़ना और तथ्यों की एक संरचित सूची आउटपुट करना था, जैसे: {Drug: Aspirin, Effect: Reduces Pain}।
उन्हें क्या पता चला
परिणाम "बुरा नहीं है" और "सुधार की जरूरत है" का मिश्रण थे।
- सरल चीजें: जब टेक्स्ट छोटा था और तथ्य स्पष्ट थे, तो AI मॉडल्स ने आश्चर्यजनक रूप से अच्छा प्रदर्शन किया। वे लगभग उन पुराने, भारी-भरकम प्रशिक्षित सिस्टम के समान थे। यह ऐसा है जैसे AI फलों के कटोरे में एक लाल सेब को आसानी से पहचान सकता है।
- जटिल चीजें: जब टेक्स्ट लंबा और अव्यवस्थित हो गया, तो AI लड़खड़ाने लगा।
- गायब हिस्से: यदि एक पैराग्राफ में 10 तथ्य थे, तो AI अक्सर केवल 3 या 4 ही ढूंढ पाता था। यह एक लंबी कहानी पढ़ने और केवल शुरुआत और अंत को याद रखने जैसा है, बीच के हिस्से को भूल जाना।
- गलत सीमाएँ (Wrong Boundaries): कभी-कभी AI सही विचार तो पकड़ लेता था लेकिन गलत शब्दों का उपयोग करता था। यदि टेक्स्ट में "severe headache" (तेज सिरदर्द) लिखा था, तो AI केवल "headache" (सिरदर्द) निकाल सकता था। चिकित्सा विज्ञान में, यह सूक्ष्म अंतर बहुत मायने रखता है।
- भ्रम: सबसे कठिन डेटासेट्स पर (जहाँ 8 प्रकार के संबंध थे), AI बहुत भ्रमित हो गया, और अक्सर यह मिला देता था कि किस दवा ने किस बीमारी पर क्या प्रभाव डाला।
"गोल्ड स्टैंडर्ड" की समस्या
इस पेपर का एक सबसे दिलचस्प बिंदु यह है कि हम AI को कैसे ग्रेड करते हैं।
- सख्त ग्रेडर: यदि AI "hypertension" लिखता है लेकिन टेक्स्टबुक में "high blood pressure" लिखा है, तो एक सख्त कंप्यूटर इसे "गलत!" कहेगा, भले ही एक इंसान कहेगा कि "यह वही चीज है।"
- मानवीय वास्तविकता: लेखकों ने पाया कि कभी-कभी AI ने ऐसे तथ्य भी खोज लिए जिन्हें मूल टेक्स्टबुक में मौजूद मानव विशेषज्ञों ने भी मिस कर दिया था। यह सुझाव देता है कि इन परीक्षणों में "सही" उत्तर भी पूरी तरह से सटीक नहीं हो सकते हैं।
निष्कर्ष
यह पेपर निष्कर्ष निकालता है कि जीरो-शॉट AI उपयोगी होने के करीब तो पहुँच रहा है, लेकिन यह अभी मानव विशेषज्ञों की जगह लेने के लिए पूरी तरह तैयार नहीं है।
- सरल कार्यों के लिए: यह एक बेहतरीन उपकरण है। आप इसे छोटे वाक्यों से तथ्य निकालने के लिए कह सकते हैं, और इसके सही होने की संभावना अधिक है।
- जटिल कार्यों के लिए: यह अभी भी संघर्ष करता है। यह लंबे दस्तावेजों में तथ्यों को मिस कर देता है और जटिल वैज्ञानिक शब्दावली में उलझ जाता है।
लेखक यह भी चेतावनी देते हैं कि हमें ठीक से नहीं पता कि इन AI मॉडल्स को किस डेटा पर प्रशिक्षित किया गया है। यह संभव है कि उन्होंने कुछ उत्तरों को "याद" कर लिया हो क्योंकि ये शोध पत्र ऑनलाइन उपलब्ध हैं। हालांकि, चूंकि AI ने सबसे कठिन डेटासेट्स पर बहुत खराब प्रदर्शन किया, इसलिए इसकी संभावना कम है कि इसने केवल उत्तर रटे हैं; वास्तव में यह टेक्स्ट को समझने की कोशिश कर रहा है।
संक्षेप में
इन AI मॉडल्स को प्रतिभावान लेकिन अनुभवहीन इंटर्न के रूप में देखें।
- यदि आप उन्हें एक छोटा, स्पष्ट मेमो देते हैं, तो वे उसका सटीक सारांश बना सकते हैं।
- यदि आप उन्हें विरोधाभासी विवरणों वाली 50 पन्नों की जटिल रिपोर्ट देते हैं, तो वे सबसे महत्वपूर्ण बिंदुओं को मिस कर सकते हैं या विवरणों को थोड़ा गलत कर सकते हैं।
यह पेपर यह नहीं कहता कि हमें इन उपकरणों का उपयोग बंद कर देना चाहिए, बल्कि यह कहता है कि हमें सावधान रहने की आवश्यकता है। हम अभी इन पर पूरी तरह भरोसा करके अपना पूरा मेडिकल डेटाबेस नहीं छोड़ सकते; हमें अभी भी उनके काम की जांच करने की आवश्यकता है, विशेष रूप से जब जानकारी जटिल हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।