Beyond Uncertainty: Generalizable Failure Monitoring for Surgical Segmentation under Acquisition Degradation

ऑपरेशन थिएटर में, एक सर्जन एक स्थिर हाथ और तेज़ आँखों पर भरोसा करता है, लेकिन तेजी से, वे उस सॉफ़्टवेयर पर भी निर्भर होते हैं जो शरीर के अंदर देख सकता है। आधुनिक कंप्यूटर सिस्टम मरीज के अंदर लगे कैमरे से लाइव वीडियो फीड देख सकते हैं और सर्जिकल उपकरणों और अंगों के चारों ओर स्वचालित रूप से रूपरेखा (आउटलाइन) खींच सकते हैं, जिससे सर्जन को उनकी स्थिति ट्रैक करने या उनके कौशल का आकलन करने में मदद मिलती है। इन सिस्टम्स को हजारों घंटों के स्पष्ट, उच्च-गुणवत्ता वाले वीडियो पर प्रशिक्षित किया जाता है। हालाँकि, वास्तविक सर्जरी अस्त-व्यस्त होती है। ऊतकों को जलाने (कौटरी करने) से निकलने वाला धुआं, प्रकाश में अचानक बदलाव, धुंधली गति, या वीडियो सिग्नल का संपीड़न (कंप्रेशन) भी छवि की गुणवत्ता को खराब कर सकता है। जब ऐसा होता है, तो कंप्यूटर बहुत आत्मविश्वास के साथ एक आदर्श दिखने वाली आउटलाइन बना सकता है, भले ही वह छवि जिसे वह देख रहा है, सटीक होने के लिए बहुत विकृत हो। यह एक 'साइलेंट फेलियर' (मौन विफलता) है: सिस्टम गलत है, लेकिन वह इसे नहीं जानता, और वह स्क्रीन पर देखने वाले इंसान को कोई चेतावनी भी नहीं देता।

वियतनाम के हनोई में विनयूनिवर्सिटी (VinUniversity) के शोधकर्ताओं की एक टीम ने इन मौन गलतियों को पकड़ने का एक नया तरीका विकसित किया है। उन्होंने TCSR-Monitor नामक एक सिस्टम बनाया है, जो सर्जिकल वीडियो के लिए एक स्वतंत्र 'वॉचडॉग' (चौकीदार) के रूप में कार्य करता है। कंप्यूटर विज़न मॉडल को ठीक करने या उसे फिर से प्रशिक्षित करने के बजाय, यह नया सिस्टम बस मॉडल द्वारा उत्पन्न परिणाम को देखता है और परिणाम की जांच सामान्य समझ के नियमों के आधार पर करता है। यह खींची गई आउटलाइन के आकार, एक वीडियो फ्रेम से दूसरे फ्रेम में इसके सुचारू रूप से चलने के तरीके और स्वयं छवि की गुणवत्ता को देखता है। इन अवलोकनों को मॉडल के अपने आत्मविश्वास स्कोर (confidence score) के साथ जोड़कर, यह मॉनिटर यह पहचान सकता है कि उपकरण की गलत पहचान की जा रही है, भले ही मूल कंप्यूटर प्रोग्राम यह दावा कर रहा हो कि वह अपना काम पूरी तरह से कर रहा है। शोधकर्ताओं ने इसका परीक्षण सर्जिकल वीडियो के एक बड़े डेटासेट पर किया था, जिन्हें वास्तविक दुनिया की समस्याओं जैसे धुंधलेपन (ब्लर) और शोर (नॉइज़) की नकल करने के लिए कृत्रिम रूप से खराब किया गया था। उन्होंने पाया कि उनका नया सिस्टम केवल कंप्यूटर के आत्मविश्वास पर निर्भर रहने की तुलना में इन विफलताओं को बहुत बेहतर तरीके से पकड़ सकता है, जो यह सिद्ध करता है कि परिणाम के आकार और गति को देखना उतना ही महत्वपूर्ण है जितना कि कंप्यूटर की आंतरिक आवाज़ को सुनना।

मुख्य समस्या जिसका शोधकर्ताओं ने समाधान किया, वह यह है कि डीप लर्निंग मॉडल, जो इन सर्जिकल टूल्स को संचालित करते हैं, अक्सर अत्यधिक आत्मविश्वासी होते हैं। जब कोई छवि धुंधली या अंधेरी होती है, तो एक मानक मॉडल अभी भी एक सर्जिकल उपकरण की स्पष्ट और तीखी आउटलाइन दिखा सकता है, यह विश्वास करते हुए कि वह सही है। वास्तविक दुनिया में यह खतरनाक है क्योंकि एक सर्जन गलत आउटलाइन पर भरोसा कर सकता है और गलती कर सकता है। पिछले तरीकों ने अनिश्चितता (uncertainty) को मापकर इसे हल करने की कोशिश की, जिसका अर्थ था कंप्यूटर से पूछना, "आप कितने निश्चित हैं?" यदि कंप्यूटर अनिश्चित था, तो वह अलार्म बजा देता था। लेकिन शोधकर्ताओं ने पाया कि छवि के कुछ प्रकारों के क्षरण के तहत, कंप्यूटर तब भी दृढ़ता से आश्वस्त रहता है जब वह पूरी तरह से गलत होता है। नया दृष्टिकोण, TCSR-Monitor, इस बात को स्वीकार करता है कि कंप्यूटर आत्मविश्वासी लेकिन गलत हो सकता है, इसलिए यह केवल कंप्यूटर के आत्मविश्वास को सुनना बंद कर देता है और वीडियो में मौजूद साक्ष्यों को देखना शुरू कर देता है।

इस वॉचडॉग को बनाने के लिए, शोधकर्ताओं ने एक ऐसा सिस्टम डिज़ाइन किया है जिसे यह जानने की आवश्यकता नहीं है कि सर्जिकल कंप्यूटर अंदर से कैसे काम करता है। यह एक "पोस्ट-हॉक" (post-hoc) मॉनिटर है, जिसका अर्थ है कि यह मौजूदा मॉडल के ऊपर स्थित है बिना उसके वेट्स (weights) को बदले या उसके आंतरिक कोड तक पहुँच प्राप्त किए। अस्पतालों के लिए यह महत्वपूर्ण है, जहाँ सर्जरी में चलने वाला सॉफ़्टवेयर एक "ब्लैक बॉक्स" हो सकता है जिसे संशोधित या पुन: प्रशिक्षित नहीं किया जा सकता। यह सिस्टम वीडियो को फ्रेम-दर-फ्रेम देखता है। प्रत्येक छवि के लिए, यह बाईस अलग-अलग सुराग निकालता है। इनमें से कुछ सुराग मॉडल के आत्मविश्वास से आते हैं, जैसे कि मॉडल विभिन्न संभावनाओं के बीच कितना डगमगाता है। अन्य सुराग आउटलाइन के आकार से आते हैं: एक सर्जिकल उपकरण को एक ठोस वस्तु की तरह दिखना चाहिए, न कि पिक्सेल के बिखरे हुए संग्रह की तरह। सिस्टम यह भी जाँचता है कि उपकरण कैसे चलता है; एक वास्तविक वीडियो में, एक उपकरण सुचारू रूप से चलता है, इसलिए यदि आउटलाइन एक फ्रेम से दूसरे फ्रेम में अनियमित रूप से कूदती है, तो यह परेशानी का संकेत है। अंत में, यह छवि की गुणवत्ता को मापता है, जिसमें ब्लर (धुंधलापन), चमक और कंट्रास्ट की जाँच की जाती है।

शोधकर्ताओं ने अपने सिस्टम का परीक्षण EndoVis 2017 नामक एक डेटासेट का उपयोग करके किया, जिसमें रोबोटिक सर्जरी की रिकॉर्डिंग शामिल है। उन्होंने इन वीडियो को छह अलग-अलग प्रकार की समस्याओं के साथ जानबूझकर दूषित किया, जिसमें गॉसियन ब्लर (Gaussian blur), मोशन ब्लर और जेपेग (JPEG) कंप्रेशन शामिल थे, जो गंभीरता के पांच अलग-अलग स्तरों पर थे। फिर उन्होंने अपने मॉनिटर से उन फ्रेमों की भविष्यवाणी करने के लिए कहा जिनमें विफलता थी, जिसे एक ऐसे क्षण के रूप में परिभाषित किया गया था जब कंप्यूटर की आउटलाइन वास्तविक उपकरण से पर्याप्त रूप से मेल नहीं खाती थी। यह सुनिश्चित करने के लिए कि सिस्टम वास्तव में विफलताओं को पहचान रहा है और केवल उन विशिष्ट खराब छवियों को याद नहीं कर रहा है जिन पर इसे प्रशिक्षित किया गया था, उन्होंने एक कठोर परीक्षण पद्धति का उपयोग किया। उन्होंने मॉनिटर को पांच प्रकार के इमेज करप्शन पर प्रशिक्षित किया और फिर इसे छठे प्रकार पर टेस्ट किया जिसे इसने पहले कभी नहीं देखा था। यह एक छात्र को एक फटे टायर, एक टूटी हुई विंडशील्ड और एक डेंट वाले दरवाजे को देखकर एक खराब कार को पहचानने के लिए सिखाने जैसा है, और फिर उससे एक ऐसी कार को पहचानने के लिए कहना जिसका पहिया गायब है। मॉनिटर सफल रहा, जिससे पता चला कि इसने विशिष्ट दोषों को याद करने के बजाय विफलता की सामान्य अवधारणा को सीख लिया था।

परिणामों ने दिखाया कि केवल कंप्यूटर के आत्मविश्वास पर भरोसा करना पर्याप्त नहीं था। जबकि अनिश्चितता पर आधारित मानक तरीके कुछ त्रुटियों को पकड़ सकते थे, वे उन आत्मविश्वासी विफलताओं को मिस कर गए जो सबसे खतरनाक होती हैं। नया TCSR-Monitor, आत्मविश्वास को आकार, गति और छवि गुणवत्ता के साथ जोड़कर, इन पुराने तरीकों से काफी बेहतर प्रदर्शन करता है। उन परीक्षणों में जहाँ सिस्टम को उन छवियों में विफलताओं की पहचान करनी थी जिन्हें उसने प्रशिक्षण के दौरान नहीं देखा था, इसने अनिश्चितता-आधारित बेसलाइनों की तुलना में बहुत अधिक बार समस्याओं को सही ढंग से पहचाना। शोधकर्ताओं ने एक विशिष्ट जाँच भी की ताकि यह सुनिश्चित हो सके कि सिस्टम केवल किसी भी धुंधली छवि को विफलता के रूप में चिह्नित नहीं कर रहा है। उन्होंने दिखाया कि मॉनिटर एक ऐसी धुंधली छवि और एक ऐसी धुंधली छवि के बीच अंतर कर सकता है जहाँ कंप्यूटर अभी भी सही है और एक ऐसी धुंधली छवि के बीच जहाँ कंप्यूटर ने गलती की है। यह एक महत्वपूर्ण अंतर है; एक ऐसा सिस्टम जो केवल चिल्लाकर कहता है कि "छवि खराब है" वह उपयोगी नहीं है यदि वह यह नहीं बता सकता कि कंप्यूटर वास्तव में गलत है या नहीं।

हालाँकि, शोधकर्ताओं ने सावधानीपूर्वक नोट किया कि यह सिस्टम तत्काल नैदानिक उपयोग के लिए अभी पूर्ण नहीं है। जबकि इसने विफलताओं की सफलतापूर्वक पहचान की, इसने गलत अलार्म (false alarms) भी दिए। कुछ मामलों में, जब छवि मध्यम रूप से दूषित थी, तो सिस्टम ने लगभग चालीस प्रतिशत सही खींची गई आउटलाइनों को विफलताओं के रूप में चिह्नित किया। इसका मतलब है कि यदि आज कोई सर्जन इस अलार्म स्ट्रीम पर भरोसा करता, तो उसे तब भी व्यवधान होता जब कंप्यूटर अपना काम सही ढंग से कर रहा होता। इसे संबोधित करने के लिए, टीम ने मोंड्रियन कॉन्फॉर्मल कैलिब्रेशन (Mondrian conformal calibration) नामक एक सांख्यिकीय तकनीक का उपयोग किया। यह विधि छवि के विभिन्न स्तरों के क्षरण के लिए अलार्म की संवेदनशीलता को समायोजित करती है, यह सुनिश्चित करती है कि छूटी हुई विफलताओं की दर सभी प्रकार की समस्याओं में सुसंगत बनी रहे। हालांकि इससे सुरक्षा तो बढ़ी, लेकिन इसने गलत अलार्मों को पूरी तरह से समाप्त नहीं किया, जो कि हर गलती को पकड़ने और निरंतर व्यवधानों से बचने के बीच के समझौते को दर्शाता है।

अध्ययन ने यह भी पता लगाया कि क्या यह निगरानी प्रणाली विभिन्न प्रकार के सर्जिकल कंप्यूटरों के साथ काम कर सकती है। उन्होंने इसका परीक्षण SAM2 नामक एक नए, अधिक शक्तिशाली मॉडल पर किया, जो एक सामान्य-उद्देश्य वाला विजन मॉडल है। दिलचस्प बात यह है कि इस विशिष्ट मॉडल के लिए, अनिश्चितता का सरल माप वास्तव में नए जटिल मॉनिटर से बेहतर था। यह सुझाव देता है कि नया सिस्टम हर स्थिति में काम करने वाला कोई जादुई समाधान नहीं है, बल्कि एक विशेष उपकरण है जो तब चमकता है जब अंतर्निहित कंप्यूटर मॉडल गलत होने के बावजूद दृढ़ता से आत्मविश्वासी होता है। शोधकर्ताओं ने पाया कि उनके सिस्टम द्वारा सीखे गए फीचर्स—आकार और गति को देखना—को नए मॉडल पर स्थानांतरित किया जा सकता था, लेकिन इस विशिष्ट मामले में वे सरल विधि से बेहतर प्रदर्शन नहीं कर सके। यह सूक्ष्मता महत्वपूर्ण है: नए दृष्टिकोण का मूल्य इसकी क्षमता में निहित है कि यह अनदेखी समस्याओं के प्रति सामान्य (generalize) हो सकता है और जब कंप्यूटर आत्मविश्वासी रूप से गलत होता है तो मजबूत रहता है, न कि अन्य सभी विधियों को बदलने की क्षमता में।

अंततः, यह कार्य सर्जिकल AI को सुरक्षित बनाने के लिए एक विश्वसनीय ढांचा प्रदान करता है। यह प्रदर्शित करता है कि आउटपुट के आकार, गति और गुणवत्ता की जाँच करने वाले बाहरी अवलोकन का एक स्तर जोड़कर, हम उन त्रुटियों को पकड़ सकते हैं जिन्हें कंप्यूटर स्वयं नहीं देख पाता है। शोधकर्ताओं ने अपना कोड और प्रशिक्षित कॉन्फ़िगरेशन सार्वजनिक रूप से उपलब्ध करा दिया है, जिससे अन्य वैज्ञानिकों को इस आधार पर आगे बढ़ने की अनुमति मिलती है। हालांकि लाइव ऑपरेटिंग रूम में उपयोग करने से पहले गलत अलार्म को कम करने के लिए सिस्टम को अभी भी सुधार की आवश्यकता है, यह एक स्पष्ट मार्ग प्रदान करता है। यह उम्मीद करने से हटकर कि कंप्यूटर को पता होगा कि वह कब गलत है, एक ऐसा सिस्टम बनाने की ओर बढ़ता है जो यह बता सके कि कंप्यूटर गलत है, भले ही कंप्यूटर खुद को सही मान रहा हो। यह सुनिश्चित करने की दिशा में एक महत्वपूर्ण कदम है कि ऑपरेटिंग रूम में डिजिटल सहायक उच्च-जोखिम वाले वातावरण में विश्वसनीय साथी बने रहें।