A Granularity Blind Spot in the Evaluation of SNOMED CT Concept Normalization

आधुनिक चिकित्सा के विशाल परिदृश्य में, डॉक्टर और शोधकर्ता रोगी के शरीर के भीतर क्या हो रहा है, इसका वर्णन करने के लिए एक साझा भाषा पर भरोसा करते हैं। जब एक चिकित्सक मेडिकल रिकॉर्ड में "ब्लैडर वॉल थिकनिंग" (मूत्राशय की दीवार का मोटा होना) लिखता है, तो वह वाक्यांश एक विशिष्ट अवलोकन होता है, लेकिन यदि किसी कंप्यूटर को लाखों ऐसे रिकॉर्ड्स को व्यवस्थित, खोजने या विश्लेषण करने की आवश्यकता है, तो उसे इस मुक्त-प्रवाह वाले टेक्स्ट को एक सटीक, मानकीकृत कोड में बदलने की आवश्यकता होती है। यह प्रक्रिया 'कॉन्सेप्ट नॉर्मलाइजेशन' (अवधारणा सामान्यीकरण) कहलाती है। यह एक सार्वभौमिक अनुवादक के रूप में कार्य करती है, जो लक्षणों और स्थितियों का वर्णन करने के विविध और अव्यवस्थित मानवीय तरीकों को SNOMED CT नामक एक कठोर, संरचित शब्दकोश में मैप करती है। यह शब्दकोश केवल शब्दों की एक सपाट सूची नहीं है; यह ज्ञान का एक गहरा, शाखाओं वाला पेड़ है जहाँ प्रत्येक अवधारणा का एक विशिष्ट स्थान होता है, जैसे कि "रोग" जैसी व्यापक श्रेणियों से लेकर अत्यंत विशिष्ट विवरणों तक। लक्ष्य यह सुनिश्चित करना है कि जब कंप्यूटर एक नोट पढ़े, तो वह ठीक उसी स्तर के विवरण को समझ सके जिसे डॉक्टर ने लक्षित किया था, जिससे सटीक अनुसंधान और बेहतर रोगी देखभाल संभव हो सके।

हालाँकि, एक नया अध्ययन बताता है कि जिस तरह से वैज्ञानिक वर्तमान में यह जाँचते हैं कि ये कंप्यूटर अनुवादक सही ढंग से काम कर रहे हैं या नहीं, उसमें वे एक महत्वपूर्ण विवरण को छोड़ रहे हो सकते हैं। वर्षों से, शोधकर्ता इन प्रणालियों का मूल्यांकन इस सरल प्रश्न पूछकर करते आए हैं: क्या कंप्यूटर ने ठीक वही कोड चुना जो एक मानव विशेषज्ञ ने सौंपा था? यदि उत्तर 'हाँ' था, तो सिस्टम को एक अंक मिलता था; यदि 'नहीं', तो शून्य। यह पद्धति सभी गलतियों को समान मानती है। यह मान लेती है कि एक थोड़ा व्यापक शब्द चुनने में कंप्यूटर की गलती उतनी ही बड़ी है जितनी कि पूरी तरह से असंबंधित शब्द चुनने में। लेकिन चिकित्सा ज्ञान के एक पेड़ में, थोड़ा सा भटक जाना पूरी तरह से खो जाने से बहुत अलग होता है। स्पेनिश मेडिकल रिकॉर्ड के साथ काम करने वाले इस अध्ययन के पीछे के शोधकर्ताओं ने पाया कि यह सरल "सही या गलत" की जाँच एक महत्वपूर्ण अंध बिंदु (ब्लाइंड स्पॉट) को छिपा देती है। उन्होंने पाया कि कंप्यूटर सिस्टम तब सटीक कोड पाने में बहुत अधिक संघर्ष करते हैं, जब मानव विशेषज्ञ ने एक बहुत ही विशिष्ट, विस्तृत विवरण लिखा होता है जो वास्तव में उस कोड की तुलना में अधिक सूक्ष्म (fine-grained) होता है जिसे सिस्टम को खोजना चाहिए।

टीम ने स्पेनिश मेडिकल नोट्स के तीन बड़े संग्रहों का परीक्षण किया, जिनमें हजारों उदाहरण थे जहाँ मानव विशेषज्ञों ने टेक्स्ट को SNOMED CT कोड के साथ लेबल किया था। महत्वपूर्ण रूप से, इन विशेषज्ञों ने कुछ नोट्स को "NARROW" (संकीर्ण) के रूप में भी चिह्नित किया था, जिसका अर्थ था कि टेक्स्ट ने एक ऐसी स्थिति का वर्णन किया जो सौंपे गए कोड की तुलना में अधिक विशिष्ट थी। उदाहरण के लिए, एक नोट मूत्राशय की समस्या के एक विशिष्ट प्रकार का वर्णन कर सकता है, लेकिन सौंपा गया कोड मूत्राशय के विकारों की एक व्यापक श्रेणी हो सकती है। शोधकर्ताओं ने पारंपरिक टेक्स्ट-मैचिंग टूल्स से लेकर उन्नत आर्टिफिशियल इंटेलिजेंस मॉडल तक, पांच अलग-अलग कंप्यूटर प्रणालियों का परीक्षण किया ताकि यह देखा जा सके कि वे इन नोट्स पर कैसा प्रदर्शन करते हैं। उन्होंने एक सुसंगत पैटर्न पाया: जब मानव नोट को "NARROW" के रूप में चिह्नित किया गया था, तो कंप्यूटर सिस्टम सटीक सौंपे गए कोड को दोहराने में "परफेक्ट मैच" वाले नोट्स की तुलना में बहुत अधिक बार विफल रहे। वास्तव में, सभी सिस्टम और डेटासेट जिन्हें उन्होंने टेस्ट किया, उन विशिष्ट, संकीर्ण नोट्स के लिए त्रुटि दर अन्य की तुलना में लगभग दोगुनी थी।

यह निष्कर्ष इस क्षेत्र में सफलता को मापने के मानक तरीके को चुनौती देता है। अध्ययन ने दिखाया कि हालांकि कंप्यूटर अक्सर इन विशिष्ट नोट्स के लिए सटीक लक्ष्य तक पहुँचने में विफल रहते हैं, लेकिन वे अनिवार्य रूप से मेडिकल ट्री (चिकित्सा वृक्ष) में रास्ता नहीं भटक रहे होते हैं। जब वे लक्ष्य चूक जाते, तो वे अक्सर एक ऐसी अवधारणा पर पहुँच जाते जो तार्किक रूप से निकट थी, जैसे कि एक पैरेंट कैटेगरी (जनक श्रेणी) या एक संबंधित सिब्लिंग टर्म (सहोदर शब्द)। शोधकर्ताओं ने इस "क्रेडिट गैप" (क्रेडिट अंतराल) को मापने का एक तरीका पेश किया, जो त्रुटियों की आवृत्ति को इस बात से अलग करता है कि त्रुटि सही उत्तर के कितने करीब थी। उन्होंने पाया कि "सही या गलत" के सरल स्कोर और पेड़ की संरचना पर विचार करने वाले अधिक सूक्ष्म स्कोर के बीच का अंतर "NARROW" नोट्स के लिए बहुत अधिक था। इसका अर्थ है कि मानक मूल्यांकन पद्धति न केवल थोड़ी गलत है; यह सक्रिय रूप से यह छिपा रही है कि ये सिस्टम विशिष्ट बनाम सामान्य विवरणों को कैसे संभालते हैं। सिस्टम यादृच्छिक रूप से विफल नहीं हो रहे हैं; वे उच्चतम स्तर की सूक्ष्मता को मिलाने में व्यवस्थित रूप से संघर्ष कर रहे हैं जब मानवीय इनपुट असाधारण रूप से सटीक होता है।

यह सुनिश्चित करने के लिए कि यह पैटर्न केवल डेटा या लेबल की कोई खामी नहीं थी, शोधकर्ताओं ने नोट्स के एक नमूने का सावधानीपूर्वक ऑडिट किया। तीन स्वतंत्र चिकित्सा विशेषज्ञों ने मूल लेबल या कंप्यूटर के अनुमानों को देखे बिना नोट्स का पुन: एनोटेशन किया। विशेषज्ञ मूल लेबल के साथ 87 प्रतिशत बार सहमत थे, जिससे पुष्टि हुई कि "सटीक" और "संकीर्ण" नोट्स के बीच का अंतर वास्तविक और पुनरुत्पादक (reproducible) था। उन्होंने यह भी परीक्षण किया कि क्या कंप्यूटर केवल इसलिए विफल हो रहे थे क्योंकि विशिष्ट कोड प्रशिक्षण के दौरान दुर्लभ या अनदेखे थे। यहाँ तक कि जब उन्होंने इन कारकों के लिए समायोजन किया, तब भी पैटर्न बना रहा: सिस्टम विशिष्ट नोट्स पर सटीक कोड को मिस करने की बहुत अधिक संभावना रखते थे। अध्ययन ने यह भी देखा कि कंप्यूटर "नोवेल" (नवीन) मामलों को कैसे संभालते हैं—ऐसे कोड जिन्हें सिस्टम ने पहले कभी नहीं देखा था। उन्होंने पाया कि इनमें से कई नए कोड वास्तव में उन अवधारणाओं से जुड़े थे जिन्हें सिस्टम ने पहले देखा था, जो सुझाव देता है कि सिस्टम अक्सर पेड़ के माध्यम से नेविगेट कर सकते थे, भले ही सटीक गंतव्य नया क्यों न हो।

इन चिकित्सा अनुवाद उपकरणों को बनाने या उपयोग करने वाले किसी भी व्यक्ति के लिए इस कार्य के निहितार्थ स्पष्ट हैं। अध्ययन का तर्क है कि केवल समग्र सटीकता प्रतिशत रिपोर्ट करना अब पर्याप्त नहीं है। यदि किसी सिस्टम का मूल्यांकन किया जा रहा है, तो परिणामों को इस आधार पर विभाजित किया जाना चाहिए कि वह सामान्य नोट्स बनाम अत्यधिक विशिष्ट नोट्स पर कैसा प्रदर्शन करता है। शोधकर्ता सुझाव देते हैं कि जिन बेंचमार्क में ये ग्रैनुलैरिटी (सूक्ष्मता) लेबल शामिल हैं, उनमें सबसे पहले रिपोर्ट की जाने वाली चीज़ इस विवरण स्तर द्वारा अलग की गई त्रुटि दर होनी चाहिए। केवल तभी अधिक जटिल स्कोर जोड़े जाने चाहिए जो यह मापते हैं कि गलत उत्तर सही उत्तर के कितने करीब था। यह दृष्टिकोण एक स्पष्ट तस्वीर देगा कि एक सिस्टम कहाँ मजबूत है और कहाँ कमजोर है। यह प्रकट करता है कि वर्तमान "एक-लिए-सभी" (one-size-fits-all) स्कोर ऐसा है जैसे किसी मानचित्र पाठक को केवल इस आधार पर आंकना कि क्या वह सटीक सड़क के पते तक पहुँचा, यह नजरअंदाज करते हुए कि वह हर बार सही मोहल्ले में तो पहुँच गया था, भले ही वह सबसे विस्तृत अनुरोधों पर विशिष्ट घर का नंबर चूक गया हो। इस ब्लाइंड स्पॉट को पहचानकर, यह क्षेत्र बेहतर मूल्यांकन विधियों की ओर बढ़ सकता है जो वास्तव में मानव भाषा की जटिलता और मानव स्वास्थ्य के सूक्ष्म विवरणों को समझने में कंप्यूटरों के सामने आने वाली विशिष्ट चुनौतियों को प्रतिबिंबित करती हैं।