Consensus Measures for Unstructured Biomedical Text Annotations
यह शोधपत्र असंरचित बायोमेडिकल पाठ एनोटेशन में इंटर-रेटर विश्वसनीयता को मापने के तरीकों की जांच करता है, और यह प्रदर्शित करता है कि जबकि एम्बेडिंग्स और लार्ज लैंग्वेज मॉडल्स जैसे सिमेंटिक इक्विवेलेंस माप की विशिष्ट सीमाएं हैं, नेचुरल लैंग्वेज इन्फरेंस सहमति का आकलन करने के लिए एक आशाजनक समझौता प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो पुराने, हाथ से लिखे गए हजारों पत्रों को पढ़कर एक रहस्य सुलझाने की कोशिश कर रहे हैं। चिकित्सा की दुनिया में, वैज्ञानिक कुछ ऐसा ही करते हैं: वे बीमारियों, दवाओं और उपचारों के बारे में छिपे हुए सुराग खोजने के लिए लाखों शोध पत्रों को पढ़ते हैं। लेकिन यहाँ एक पेचीदा बात है। कभी-कभी, वे सुराग जिन्हें वे खोज रहे होते हैं, किसी चेकलिस्ट में सूचीबद्ध नहीं होते। इसके बजाय, वे मुक्त रूप से लिखे गए वाक्यों में छिपे होते हैं, जैसे कि एक डॉक्टर का यह लिखना कि "मरीज थका हुआ और कमजोर महसूस कर रहा था" बजाय इसके कि वह "थकान" वाले बॉक्स पर टिक लगा दे।
यह सुनिश्चित करने के लिए कि ये सुराग वास्तविक हैं और केवल एक इत्तेफाक नहीं हैं, वैज्ञानिक अक्सर दो या दो से अधिक लोगों को एक ही पत्र पढ़ने और जो वे पाते हैं उसे लिखने के लिए कहते हैं। इसे "एनोटेटिंग" (annotating) कहा जाता है। यदि दोनों लोग बिल्कुल एक ही शब्द लिखते हैं, तो यह कहना आसान है कि वे सहमत हैं। लेकिन क्या होगा अगर एक "थका हुआ" (exhausted) लिखता है और दूसरा "थकी हुई" (tired) लिखता है? क्या वे एक ही हैं? पुराने दिनों में, कंप्यूटर कहते कि "नहीं, वे अलग शब्द हैं," और सहमति का स्कोर कम हो जाता। यह पेपर कंप्यूटर को यह समझने में मदद करने के बारे में है कि वह इस सूक्ष्म अंतर को कैसे समझे, ताकि हम चिकित्सा साहित्य में पाए जाने वाले सुरागों पर भरोसा कर सकें।
पास्कल वुलशलेगर और उनकी टीम के नेतृत्व में शोधकर्ताओं ने एक विशिष्ट सिरदर्द को हल करने का लक्ष्य रखा: हम यह कैसे मापते हैं कि दो लोग एक सूची से चुनने के बजाय मुक्त रूप से लिखे गए नोट्स पर कितनी अच्छी तरह सहमत हैं? वे इसे "सॉफ्ट इंटर-रेटर रिलायबिलिटी" (soft inter-rater reliability) कहते हैं। इसे एक रचनात्मक लेखन असाइनमेंट को ग्रेड देने की तरह समझें। यदि आप दो शिक्षकों को एक निबंध ग्रेड करने के लिए कहते हैं, तो वे एक अच्छे बिंदु का वर्णन करने के लिए अलग-अलग शब्दों का उपयोग कर सकते हैं। एक "हार्ड" ग्रेडिंग सिस्टम उन्हें बिल्कुल समान शब्द उपयोग न करने के लिए फेल कर देगा। एक "सॉफ्ट" सिस्टम समझता है कि "शानदार" (brilliant) और "उत्कृष्ट" (excellent) सहमति गिनने के लिए पर्याप्त करीब हैं।
टीम ने केवल इसे ठीक करने का अनुमान नहीं लगाया; उन्होंने इसे टेस्ट करने के लिए एक विशाल डिजिटल खेल का मैदान बनाया। उन्होंने हजारों नकली चिकित्सा परिदृश्य बनाए जहाँ वे पहले से ही जानते थे कि "सही" उत्तर क्या है। फिर उन्होंने विभिन्न कंप्यूटर टूल्स को एक-दूसरे के खिलाफ उतारा यह देखने के लिए कि कौन सा टूल यह बेहतर बता सकता है कि दो अलग-अलग विवरणों का अर्थ एक ही है या नहीं। कुछ टूल्स स्पेल-चेकर की तरह थे, जो गिनते थे कि कितने अक्षर अलग हैं (एडिट डिस्टेंस)। अन्य स्मार्ट डिक्शनरी की तरह थे जो शब्दों के अर्थ को देखते थे (एम्बेडिंग्स)। और नवीनतम टूल्स विशाल, सुपर-स्मार्ट AI दिमाग (लार्ज लैंग्वेज मॉडल्स) की तरह थे जो एक वाक्य को पढ़ सकते थे और तय कर सकते थे कि क्या इसका मतलब दूसरे के समान है।
यहाँ उन्हें क्या मिला, और यह एक प्लॉट ट्विस्ट (मोड़) है। "स्पेल-चेकर" टूल्स साधारण चीजों के लिए ठीक थे लेकिन जब शब्द पेचीदा होते थे तो बुरी तरह विफल हो जाते थे। "स्मार्ट डिक्शनरी" वाले टूल्स तेज़ थे और सामान्य समानताओं को पहचानने में अच्छे थे, लेकिन उनकी एक कमजोरी थी: वे उन चीजों के बीच अंतर नहीं कर पाते थे जो समान तो थीं लेकिन एक जैसी नहीं थीं। उदाहरण के लिए, वे सोच सकते हैं कि "सिरदर्द" और "माइग्रेन" एक ही हैं क्योंकि शब्द एक जैसे दिखते हैं, भले ही माइग्रेन सिरदर्द का एक विशिष्ट, अधिक तीव्र प्रकार है। चिकित्सा के क्षेत्र में यह एक बड़ी समस्या है जहाँ सटीकता मायने रखती है।
विशाल AI दिमाग सबसे सटीक थे कि वास्तविक अर्थ को समझते हैं, लेकिन उनके पास एक अलग समस्या थी: उन्हें चलाने के लिए आवश्यक बड़ी संख्या में परीक्षणों को पूरा करने के लिए वे बहुत धीमे और महंगे थे। यह एक जीनियस जासूस को रखने जैसा है जो केस को पूरी तरह से सुलझाता है लेकिन उसे करने में एक महीना लेता है, जबकि आपको एक सेकंड में उत्तर चाहिए।
तो, विजेता कौन है? पेपर सुझाव देता है कि सबसे अच्छा समाधान "नेचुरल लैंग्वेज इन्फेरेंस" (NLI) पर आधारित एक मध्य-मार्ग वाला टूल है। NLI को एक लॉजिक पहेली सुलझाने वाले के रूप में समझें। केवल अक्षरों को गिनने या समानता का अनुमान लगाने के बजाय, यह पूछता है: "यदि यह वाक्य सत्य है, तो क्या वह वाक्य भी सत्य होना ही चाहिए?" यह पूछने जैसा है कि, "यदि मैं कहता हूँ 'मेरे पास एक लाल कार है,' तो क्या इसका मतलब है 'मेरे पास एक कार है'?" हाँ। लेकिन यदि मैं कहता हूँ "मेरे पास एक कार है," तो क्या इसका मतलब है "मेरे पास एक लाल कार है"? नहीं। यह तर्क-आधारित दृष्टिकोण उनके परीक्षणों में सबसे विश्वसनीय था। यह व्यावहारिक होने के लिए पर्याप्त तेज़ था और इतना स्मार्ट भी था कि अन्य टूल्स द्वारा की जाने वाली गलतियों से बच सके।
शोधकर्ताओं ने यह भी दिखाया कि यह तरीका केवल एकल शब्दों के लिए ही नहीं, बल्कि नोट्स की सूचियों के लिए भी काम करता है। कल्पना कीजिए कि एक डॉक्टर तीन लक्षणों की सूची लिखता है और दूसरा चार की। पेपर ने उन्हें आपस में पूरी तरह से मिलाने का तरीका निकाला, जैसे दो अलग-अलग ढेरों से मोजों की जोड़ी बनाना ताकि यह देखा जा सके कि कितने मेल खाते हैं, भले ही ढेर एक आकार के न हों।
अंत में, यह पेपर यह दावा नहीं करता है कि इसने चिकित्सा अनुसंधान की हर समस्या को हल कर दिया है। यह सुझाव देता है कि फिलहाल, इन लॉजिक-आधारित AI टूल्स का उपयोग करना मुक्त-टेक्स्ट मेडिकल नोट्स पर सहमति को मापने का सबसे स्मार्ट तरीका है। यह सुनिश्चित करने की दिशा में एक कदम है कि जब हम नए उपचार खोजने के लिए चिकित्सा साहित्य के पहाड़ को खोदते हैं, तो हम केवल शब्दों को नहीं गिन रहे होते, बल्कि उनके पीछे के अर्थ को वास्तव में समझ रहे होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।