When Experts Disagree: Characterizing Annotator Variability for Vessel Segmentation in DSA Images
यह शोध पत्र भविष्य के एनोटेशन को निर्देशित करने और अनिश्चितता-जागरूक स्वचालित विभाजन विधियों को विकसित करने के लक्ष्य के साथ, 2D DSA छवियों में कपाल रक्त वाहिकाओं को विभाजित करने वाले कई विशेषज्ञ एनोटेटरों के बीच परिवर्तनशीलता का विश्लेषण और परिमाणीकरण करता है ताकि विभाजन अनिश्चितता को स्पष्ट किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मानव मस्तिष्क के भीतर बसी एक छोटी, घुमावदार शहर का नक्शा बनाने की कोशिश कर रहे हैं, लेकिन आप इसे केवल एक धुंधली खिड़की के माध्यम से देख सकते हैं। यह मेडिकल इमेजिंग की दुनिया है, विशेष रूप से 'डिजिटल सबट्रैक्शन एंजियोग्राफी' (DSA) नामक एक तकनीक। डॉक्टर मस्तिष्क की रक्त वाहिकाओं (ब्लड वेसल्स) के चित्र लेने के लिए DSA का उपयोग करते हैं, जो सड़कों के एक जटिल जाल की तरह दिखती हैं। कंप्यूटर को इन नक्शों को स्वचालित रूप से पढ़ना सिखाने के लिए, इंसानों को पहले सड़कों की रेखाओं को खींचना पड़ता है। इसे "सेगमेंटेशन" कहा जाता है। आमतौर पर, हम यह मान लेते हैं कि यदि किसी विशेषज्ञ ने रेखा खींची है, तो वह ड्राइंग एक सटीक "सत्य" (ट्रुथ) है। लेकिन क्या होगा अगर दो विशेषज्ञ एक ही धुंधली खिड़की को देखें और अलग-अलग रेखाएं खींचें? क्या होगा अगर एक को एक छोटी गली दिखाई दे जो दूसरे से छूट गई हो? यह शोध पत्र उसी रहस्य की गहराई में जाता है। यह एक सरल लेकिन पेचीदा सवाल पूछता है: यदि विशेषज्ञ भी इस बात पर सहमत नहीं हो पा रहे हैं कि रक्त वाहिकाएं कहाँ हैं, तो हम कंप्यूटर को इसे सही ढंग से करना कैसे सिखा सकते हैं? इसका उत्तर केवल बेहतर ड्राइंग के बारे में नहीं है; यह समझने के बारे में है कि "सत्य" थोड़ा धुंधला हो सकता है, और यह ठीक है।
इस अध्ययन के पीछे के शोधकर्ताओं ने इन मस्तिष्क वाहिकाओं को खींचने के एक ही सटीक तरीके का ढोंग करना बंद करने का निर्णय लिया। उन्होंने मरीजों के मस्तिष्क की रक्त वाहिकाओं की 66 वास्तविक छवियां एकत्र कीं और दो विशेषज्ञों से हाथ से वाहिकाओं को ट्रेस करने के लिए कहा। एक विशेषज्ञ रक्त वाहिका प्रक्रियाओं में विशेषज्ञता प्राप्त करने वाला एक प्रशिक्षु डॉक्टर था, और दूसरा एक वैज्ञानिक था जो कंप्यूटर को देखना सिखाने में माहिर है। जैसा कि अपेक्षित था, दोनों विशेषज्ञों ने बिल्कुल एक जैसी रेखाएं नहीं खींचीं। कभी-कभी वे पूरी तरह से सहमत थे, लेकिन अक्सर वे असहमत थे, विशेष रूपकर उन सबसे छोटी, पतली वाहिकाओं पर जो 1 या 2 पिक्सेल से भी कम चौड़ी थीं। यह पता लगाने के लिए कि कौन "सही" था, टीम ने केवल एक विजेता चुनने के बजाय, 11 अन्य जजों (डॉक्टरों और वैज्ञानिकों) का एक पैनल बुलाया, जिन्होंने छवियों के 100 छोटे टुकड़ों को देखा और वोट दिया कि क्या वहां कोई वाहिका मौजूद थी या नहीं।
परिणाम दिलचस्प और थोड़े आश्चर्यजनक थे। जब दोनों मूल विशेषज्ञ सहमत थे कि वहां एक वाहिका है, तो नए जज 90% बार उनके साथ सहमत हुए। लेकिन जब विशेषज्ञ असहमत थे, तो जज विभाजित थे। यदि विशेषज्ञ A ने कहा "वाहिका है" और विशेषज्ञ B ने कहा "कोई वाहिका नहीं है," तो जज 76% बार विशेषज्ञ A के पक्ष में थे। हालांकि, यदि भूमिकाएं उलट दी जातीं, तो वे केवल 16% बार विशेषज्ञ A के पक्ष में थे। इससे पता चला कि "ग्राउंड ट्रुथ" (वास्तविक सत्य) एक एकल, ठोस रेखा नहीं है; यह संभावनाओं के एक बादल की तरह है। टीम ने "clDice" नामक एक विशेष गणितीय उपकरण का उपयोग करके यह भी मापा कि विशेषज्ञों के रेखाचित्रों में कितना ओवरलैप था, जो यह जांचता है कि खींची गई रेखाओं का केंद्र आपस में मेल खाता है या नहीं। उन्होंने पाया कि हालांकि विशेषज्ञ ज्यादातर तालमेल में थे, फिर भी एक स्पष्ट अंतर था, विशेष रूपकर सबसे पतली वाहिकाओं के मामले में।
इन छोटी, धुंधली रेखाओं को मापने की समस्या को ठीक करने के लिए, शोधकर्ताओं ने स्कोर की गणना करने का एक नया तरीका विकसित किया। पुराना तरीका बहुत सख्त था; यदि एक विशेषज्ञ की रेखा दूसरे से थोड़ी सी भी अलग होती, तो स्कोर गिर जाता, भले ही वे दोनों एक ही पतली वाहिका को देख रहे हों। टीम ने एक "संशोधित clDice" बनाया जो एक सुरक्षा जाल (सेफ्टी नेट) की तरह काम करता है। यह मांग करने के बजाय कि रेखाएं पिक्सेल-दर-पिक्सेल मेल खाएं, यह पूछता है, "क्या रेखा पर्याप्त रूप से पास है?" उन्होंने इसे विभिन्न "दूरी थ्रेशोल्ड" (डिस्टेंस थ्रेशोल्ड) के साथ परखा, जैसे कि रेखा के चारों ओर 2.5 पिक्सेल की एक धुंधली सीमा। इस नई पद्धति ने दिखाया कि विशेषज्ञ वास्तव में पुराने, सख्त गणित की तुलना में बहुत बेहतर सहमति में थे।
तो, इसका क्या अर्थ है? यह शोध पत्र इस समस्या को हल करने का दावा नहीं करता है कि पूर्ण वाहिका ड्राइंग कैसे की जाए। इसके बजाय, यह सुझाव देता है कि हमें कंप्यूटर को सिखाने के तरीके को बदलने की आवश्यकता है। हमें उन्हें केवल एक व्यक्ति का रेखाचित्र खिलाकर यह नहीं कहना चाहिए कि, "यह सत्य है।" इसके बजाय, हमें उन्हें अनिश्चितता को समझना सिखाना चाहिए। विशेषज्ञों के बीच के मतभेद को एक सुराग के रूप में उपयोग करके, हम कंप्यूटर को बता सकते हैं, "हे, यह क्षेत्र कठिन है; शायद हमें इस पर अधिक आंखों की आवश्यकता है," या हम ऐसे AI मॉडल बना सकते हैं जो जानते हों कि कब सावधान रहना है। टीम ने अपना काम दुनिया के साथ साझा किया: लगभग 2,000 इमेज पैच का एक डेटाबेस जिसमें ये सभी अलग-अलग ड्राइंग शामिल हैं, और अनिश्चितता को मापने के लिए उपयोग किया जाने वाला उनका ओपन-सोर्स सॉफ्टवेयर। संक्षेप में, उन्होंने साबित किया कि मेडिकल इमेजिंग की इस उलझी हुई दुनिया में, विशेषज्ञों के असहमत होने को स्वीकार करना वास्तव में स्मार्ट और अधिक विश्वसनीय उपकरण बनाने की दिशा में पहला कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।