Curation and Extraction of Drug-Related Entities from Reddit Platform
यह शोध पत्र ReDose को प्रस्तुत करता है, जो विशेषज्ञ चिकित्सा इनपुट के साथ निर्मित नशीली दवाओं के उपयोग पर 6,435 एनोटेटेड रेडिट (Reddit) पोस्ट का एक डेटासेट है, और नैदानिक ज्ञान तथा वास्तविक दुनिया के उपयोगकर्ता अनुभवों के बीच के अंतर को पाटने के लिए ड्रग, डोज़ और प्रभाव संस्थाओं (entities) को निकालने में विभिन्न एआई (AI) मॉडलों के प्रदर्शन का मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ डॉक्टर ज्यादातर खतरनाक दवाओं के बारे में तब सीखते हैं जब वे आपातकालीन कक्ष (इमरजेंसी रूम) में मरीजों को देखने के बाद यह जान पाते हैं कि कुछ गलत हो गया है। वे परिणाम (ओवरडोज) तो जानते हैं, लेकिन वे अक्सर उस कहानी को चूक जाते हैं कि लोग वास्तव में वास्तविक दुनिया में इन पदार्थों का उपयोग कैसे कर रहे हैं: जैसे कि उनके स्लैंग (बोलचाल के) नाम, अजीब खुराक, और वे विशिष्ट भावनाएं जो लोग बताते हैं।
वहीं दूसरी ओर, सोशल मीडिया (विशेष रूप से रेडिट) पर हजारों लोग अपने कच्चे और अनफ़िल्टर्ड अनुभव साझा कर रहे हैं। वे इस बारे में बात कर रहे हैं कि उन्होंने क्या लिया, कितनी मात्रा ली, और इससे उन्हें कैसा महसूस हुआ। लेकिन यह जानकारी टेक्स्ट के एक अराजक समुद्र में दबी हुई है, जो मेडिकल टेक्स्टबुक के बजाय स्ट्रीट स्लैंग (सड़क छाप भाषा) में लिखी गई है।
यह पेपर एक प्रोजेक्ट पेश करता है जिसे REDOSE (REddit Drug DOSe and Effect) कहा जाता है, जो इस अंतर को पाटने के लिए बनाया गया है। इसे एक विशेष "शब्दकोश" और एक "अनुवादक" बनाने के रूप में समझें जो इंटरनेट की अव्यवस्थित बातचीत को उपयोगी चिकित्सा डेटा में बदल सके।
यहाँ बताया गया है कि उन्होंने क्या किया, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. खजाने की खोज (द डेटासेट)
शोधकर्ताओं ने रेडिट के सात विशिष्ट "पड़ोसों" (सबरेडिट्स) पर जाने का निर्णय लिया जो फेंटानिल (fentanyl), हेरोइन और माइक्रोडोजिंग जैसे ड्रग्स के लिए समर्पित थे। उन्होंने 6,435 पोस्ट एकत्र किए।
- एनोटेशन (लेबलिंग): इसे समझने के लिए, उन्होंने केवल कंप्यूटर का उपयोग नहीं किया। उन्होंने एक बोर्ड-प्रमाणित टॉक्सिकोलॉजिस्ट (ड्रग विशेषज्ञ) को काम पर रखा, जिसने पोस्ट को पढ़ा और तीन विशिष्ट चीजों को हाइलाइट किया, ठीक वैसे ही जैसे एक शिक्षक छात्र के होमवर्क को ग्रेड देता है:
- DRUG (ड्रग): किस पदार्थ का उल्लेख किया गया था? (जैसे, "fent," "black tar," "SEA #4")।
- DOSE (डोज़): कितनी मात्रा ली गई? (जैसे, "2 mg," "एक चुटकी")।
- EFFECT (प्रभाव): उस व्यक्ति को क्या हुआ? (जैसे, "यूफोरिया/परमानंद," "सांस नहीं ले पाना," "हाई महसूस करना")।
उन्होंने सटीकता सुनिश्चित करने के लिए दो मेडिकल छात्रों से भी काम की दोबारा जांच करवाई। परिणाम एक विशाल, स्वच्छ डेटासेट है जहाँ प्रत्येक ड्रग उल्लेख, डोज़ और प्रभाव को टैग किया गया है और कंप्यूटर के सीखने के लिए तैयार है।
2. दौड़: कौन सबसे अच्छा पढ़ सकता है? (द मॉडल्स)
टीम यह देखना चाहती थी कि क्या कंप्यूटर स्वचालित रूप से इन तीन चीजों (ड्रग, डोज़, प्रभाव) को ढूंढना सीख सकता है। उन्होंने दो प्रकार के AI "पाठकों" के बीच एक दौड़ आयोजित की:
- विशेषज्ञ (BERT मॉडल्स): ये विशेष पुस्तकालयाध्यक्षों (librarians) की तरह हैं। इन्हें विशेष रूप से मेडिकल और वैज्ञानिक ग्रंथों पर प्रशिक्षित किया गया है। शोधकर्ताओं ने कुछ संस्करणों का परीक्षण किया: BaseBERT, BioBERT, और BiomedBERT।
- सामान्य प्रतिभाशाली (LLMs): ये दिमाग वाले विश्वकोशों की तरह हैं (विशेष रूप से GPT-4 और Llama-3)। वे सब कुछ के बारे में थोड़ा-बहुत जानते हैं और स्वाभाविक रूप से चैट कर सकते हैं। शोधकर्ताओं ने उन्हें उपयोग करने के दो तरीके आजमाए:
- वन-शॉट (One-Shot): AI को एक उदाहरण देना और बाकी काम करने के लिए कहना।
- RAG (रिट्रीवल-ऑगमेंटेड जनरेशन): जवाब देने से पहले AI को प्रशिक्षण डेटा से समान उदाहरणों का एक "चीट शीट" (सहायक पर्चा) देना। यह एक छात्र को परीक्षा देने से पहले कुछ हल किए गए प्रश्नों को देखने देने जैसा है।
3. परिणाम: कौन जीता?
इस दौड़ में कुछ आश्चर्यजनक मोड़ आए:
- ड्रग का नाम ढूंढना: विशेषज्ञ (BERT मॉडल्स) यहाँ चैंपियन थे। BiomedBERT ड्रग के नाम पहचानने में सबसे अच्छा था, जिसने लगभग 84% बार सही पहचान की। दिलचस्प बात यह है कि "सामान्य प्रतिभाशाली" (LLMs) अच्छे थे, लेकिन इस विशिष्ट कार्य के लिए विशेष पुस्तकालयाध्यक्षों जितने तेज नहीं थे।
- प्रभाव ढूंढना: यह सबसे कठिन हिस्सा था। यह एक कविता में विशिष्ट भावना को खोजने जैसा है। यहाँ तक कि सर्वश्रेष्ठ AI भी संघर्ष कर रहे थे। GPT-4 "प्रभावों" को खोजने में सबसे अच्छा था, लेकिन फिर भी इसने आधे से अधिक को मिस कर दिया (रिकॉल 0.41)। विशेषज्ञ और भी खराब थे, वे अक्सर प्रभावों को पूरी तरह से मिस कर देते थे।
- "चीट शीट" (RAG): जब उन्होंने Llama-3 AI को समान उदाहरणों का एक "चीट शीट" (RAG) दिया, तो यह ड्रग के नाम खोजने में बहुत बेहतर हो गया, इसकी सफलता दर 44% से बढ़कर 80% से ऊपर हो गई। हालांकि, यह "प्रभावों" को खोजने में ज्यादा मददगार नहीं रहा।
4. यह इतना कठिन क्यों था?
पेपर बताता है कि AI को, विशेष रूप से "प्रभावों" के मामले में, कठिनाई क्यों हुई:
- स्लैंग बनाम विज्ञान: रेडिट पर लोग अजीब, रचनात्मक और असंगत भाषा का उपयोग करते हैं। एक व्यक्ति कह सकता है "मैं बहुत अच्छा महसूस कर रहा हूँ," दूसरा कह सकता है "मैं बादलों पर हूँ।" AI इन विविधताओं से भ्रमित हो जाता है।
- "सटीक मिलान" का नियम: शोधकर्ता बहुत सख्त थे। यदि AI ने सही भावना का अनुमान लगाया लेकिन एक शब्द भी छोड़ दिया (जैसे, "depress your respiration" के बजाय "depress" का अनुमान लगाना), तो इसे गलत उत्तर माना गया। इसने स्कोर को वास्तविक दुनिया के परिदृश्य की तुलना में कम दिखाया।
- संदर्भ (Context): कभी-कभी प्रभाव को इस तरह वर्णित किया जाता है जिसके लिए केवल ड्रग के पास वाले शब्दों को नहीं, बल्कि पूरे वाक्य को समझने की आवश्यकता होती है।
निचोड़ (The Bottom Line)
पेपर निष्कर्ष निकालता है कि REDOSE एक अनूठा और मूल्यवान उपकरण है क्योंकि यह ड्रग के उपयोग की उस "स्ट्रीट लैंग्वेज" को पकड़ता है जिसे डॉक्टर आमतौर पर मिस कर देते हैं।
जबकि "सामान्य प्रतिभाशाली" (LLMs) शक्तिशाली और उपयोग में आसान हैं, विशेषज्ञ पुस्तकालयाध्यक्ष (fine-tuned BERT मॉडल्स) ने इस अव्यवस्थित, स्लैंग-भरी दुनिया में ड्रग के नाम खोजने के विशिष्ट कार्य में वास्तव में बेहतर काम किया। हालांकि, ड्रग के "प्रभावों" को ढूंढना सभी कंप्यूटरों के लिए एक कठिन चुनौती बना हुआ है, जो यह सुझाव देता है कि हमें AI को मानवीय भावनाओं और विवरणों को समझने के लिए और भी स्मार्ट तरीके सिखाने की आवश्यकता है।
संक्षेप में: उन्होंने रेडिट की ड्रग कहानियों का एक विशाल, विशेषज्ञ-लेबल वाला पुस्तकालय बनाया और यह साबित किया कि हालांकि AI इसे पढ़ने में अच्छा हो रहा है, फिर भी इसे लोगों के अनुभवों के बारे में बात करने के अव्यवस्थित, भावनात्मक और स्लैंग-भरे तरीके को समझने के लिए मदद की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।