← नवीनतम पेपर
💻 computer science

SAFViT: Spatial Attention Fusion Gating for Vision Transformer-Based Nucleus Segmentation and Classification

यह शोध पत्र SAFViT प्रस्तुत करता है, जो न्यूक्लियस सेगमेंटेशन और क्लासिफिकेशन के लिए एक विजन ट्रांसफॉर्मर-आधारित मॉडल है, जो मानक स्किप कनेक्शंस को एक नवीन स्पेशियल अटेंशन फ्यूजन गेटिंग मॉड्यूल से बदल देता है ताकि एनकोडर और डिकोडर फीचर्स को डायनामिक रूप से वेट किया जा सके, जिससे PanNuke और MoNuSeg डेटासेट्स पर मल्टी-क्लास पैनऑप्टिक क्वालिटी और माइनॉरिटी क्लास डिटेक्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Harshit Mittal, Arash Rabbani

प्रकाशित 2026-07-31
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Harshit Mittal, Arash Rabbani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ डॉक्टर माइक्रोस्कोप के नीचे ऊतक (tissue) के एक छोटे से टुकड़े को देखकर तुरंत न केवल हर एक कोशिका का आकार देख सकते हैं, बल्कि यह भी जान सकते हैं कि वह किस प्रकार की कोशिका है और वह स्वस्थ है या बीमार। यही डिजिटल पैथोलॉजी का सपना है। दशकों से, वैज्ञानिक आर्टिफिशियल इंटेलिजेंस (AI) नामक शक्तिशाली कंप्यूटर प्रोग्राम का उपयोग करके इसे स्वचालित रूप से करने की कोशिश कर रहे हैं। ये प्रोग्राम 'सुपर-ऑब्जर्वर' की तरह काम करते हैं, जो उन सुरागों को खोजने के लिए हजारों छवियों को स्कैन करते हैं जिन्हें मानवीय आँखें शायद चूक सकती हैं। लेकिन इसमें एक पेंच है: ये AI प्रोग्राम उन छात्रों की तरह हैं जो बड़े चित्र (big picture) को याद रखने में तो माहिर हैं, लेकिन कभी-कभी अपने सामने मौजूद सूक्ष्म और जटिल विवरणों को देखने में संघर्ष करते हैं। वे दुर्लभ या असामान्य कोशिकाओं को पहचानने में अक्सर भ्रमित हो जाते हैं, जैसे कि "मृत" (dead) कोशिकाएं, जो कैंसर के निदान के लिए महत्वपूर्ण हैं लेकिन उन्हें ढूंढना कठिन है क्योंकि वे अक्सर दिखाई नहीं देतीं।

इसे ठीक करने के लिए, शोधकर्ताओं ने ऐसे AI मॉडल बनाए हैं जो एक रिले रेस (relay race) की तरह काम करते हैं। मॉडल का एक हिस्सा (एन्कोडर) पूरे पड़ोस को देखने के लिए ज़ूम आउट करता है, जबकि दूसरा हिस्सा (डिकोडर) विशिष्ट घरों को देखने के लिए ज़ूम इन करता है। वे अपने दृश्यों को मिलाने के लिए "स्किप कनेक्शन" के माध्यम से नोट्स का आदान-प्रदान करते हैं। हालाँकि, नोट्स पास करने का पुराना तरीका थोड़ा अनाड़ी था; यह ज़ूम-आउट किए गए दृश्य से ज़ूम-इन किए गए दृश्य तक हर एक विवरण चिल्लाकर बताने जैसा था, यहाँ तक कि उन हिस्सों को भी जो उबाऊ या भ्रमित करने वाले थे। यह शोध एक स्मार्ट तरीके से नोट्स पास करने का परिचय देता है, यह सुनिश्चित करते हुए कि AI को पता हो कि उसे कब बड़े चित्र पर भरोसा करना है और कब बारीक विवरणों पर।

SAFViT की कहानी: सेल डिटेक्टिव्स के लिए "ट्रस्ट मैप"

मिलिए SAFViT से, एक नया AI मॉडल जिसे ऊतक के नमूनों में कोशिका नाभिक (cell nuclei) को खोजने और वर्गीकृत करने के लिए एक बेहतर जासूस के रूप में डिज़ाइन किया गया है। शोधकर्ता हर्षित मित्तल और अराश रब्बानी ने इस मॉडल को 'सेलविट' (CellViT) नामक एक मौजूदा फ्रेमवर्क पर बनाया है, लेकिन उन्होंने मॉडल के विभिन्न हिस्सों के बीच बातचीत करने के तरीके को अपग्रेड करने का निर्णय लिया।

AI मॉडल को एक केस पर काम करने वाली दो जासूसों की टीम के रूप में सोचें। डिटेक्टिव A (एन्कोडर) "लोकल एक्सपर्ट" है। वह अपराध स्थल के बिल्कुल पास खड़ा है, फुटपाथ की छोटी दरारों और पैरों के निशानों के विशिष्ट आकारों को देख रहा है। उसके पास बेहतरीन विवरण हैं लेकिन वह बड़े संदर्भ (context) को मिस कर सकता है। डिटेक्टिव B (डिकोडर) "ग्लोबल एक्सपर्ट" है। वह हेलीकॉप्टर से शहर के नक्शे को देख रहा है। वह पड़ोस के लेआउट और सामान्य पैटर्न को जानता है, लेकिन वह जमीन पर मौजूद छोटे पदचिह्नों को नहीं देख सकता।

पुराने AI मॉडलों में, ये दो जासूस बस हर समय एक-दूसरे को जो भी देखते थे, चिल्लाकर बताते थे। कभी-कभी, डिटेक्टिव A एक ऐसे कंकड़ के बारे में चिल्लाता था जो मायने नहीं रखता था, और डिटेक्टिव B एक ऐसी सड़क के बारे में चिल्लाता था जो बहुत दूर थी। इस "शोर" (noise) ने अंतिम निर्णय को भ्रमित कर दिया।

SAFViT एक नया गैजेट पेश करता है जिसे स्पेशियल अटेंशन फ्यूजन (SAF) गेटिंग कहा जाता है। इस गैजेट को एक जादुई "ट्रस्ट मैप" या "हीटमैप ऑफ ट्रस्ट" के रूप में कल्पना करें जिसे जासूस हर एक पिक्सेल के लिए मिलकर बनाते हैं। केवल चिल्लाने के बजाय, वे रुकते हैं और पूछते हैं: "इस विशिष्ट स्थान के लिए, हमें किसकी बात पर अधिक भरोसा करना चाहिए?"

  • यदि वह स्थान एक कोशिका का एक अस्त-व्यस्त, जटिल किनारा है (जैसे एक टेढ़ा-मेढ़ा बॉर्डर), तो ट्रस्ट मैप लाल रंग में चमकता है, जो सिस्टम को बताता है: "डिटेक्टिव A (लोकल एक्सपर्ट) पर भरोसा करें!" क्योंकि बारीक विवरण वहीं मौजूद हैं।
  • यदि वह स्थान ऊतक का एक चिकना, खाली क्षेत्र है, तो ट्रस्ट मैप नीला चमकता है, जो सिस्टम को बताता है: "डेक्टिव B (ग्लोबल एक्सपर्ट) पर भरोसा करें!" क्योंकि बड़े चित्र की विश्वसनीयता वहां अधिक है।

यह मैप केवल एक साधारण "ऑन/ऑफ" स्विच नहीं है। यह एक सहज मिश्रण है। सिस्टम दोनों जासूसों की राय को पूरी तरह से मिलाने के लिए सीखता है, जिससे उस स्थान के लिए सबसे उपयुक्त व्यक्ति को अधिक महत्व मिलता है। यह AI को उन दुर्लभ, कठिन कोशिकाओं को अनदेखा करने से रोकता है जो आमतौर पर शोर में खो जाती हैं।

उन्होंने क्या पाया: "डेड" सेल ब्रेकथ्रू

शोधकर्ताओं ने अपने नए SAFViT मॉडल का परीक्षण छह अन्य तरीकों के विरुद्ध किया, जिसमें मूल सेलविट और कई अन्य लोकप्रिय "गेटिंग" विधियां शामिल थीं। उन्होंने पैनन्यूक (PanNuke) नामक एक विशाल डेटासेट का उपयोग किया, जिसमें 19 विभिन्न प्रकार के कैंसर की कोशिकाओं की छवियां हैं।

परिणाम स्पष्ट थे: SAFViT दुर्लभ और सबसे कठिन कोशिकाओं को खोजने में सर्वश्रेष्ठ बन गया।

इन कोशिकाओं की दुनिया में पांच मुख्य प्रकार हैं: नियोप्लास्टिक (कैंसरयुक्त), इन्फ्लेमेटरी (सूजन संबंधी), कनेक्टिव (संयोजी), एपिथेलियल (उपकला), और डेड (मृत)। "डेड" कोशिकाएं समस्या पैदा करने वाली होती हैं; वे बहुत दुर्लभ हैं (डेटा का 2% से भी कम हिस्सा बनाती हैं) और अक्सर अस्त-व्यस्त दिखती हैं, जिससे उन्हें AI के लिए पहचानना कठिन हो जाता है।

  • बड़ी जीत: मूल सेलविट मॉडल ने "डेड" कोशिकाओं को 0.373 के स्कोर के साथ खोजा (एक ऐसे पैमाने पर जहाँ 1.0 पूर्ण है)। नया SAFViT मॉडल इस स्कोर को आसमान छूते हुए 0.518 तक ले गया। यह एक विशाल 14.5-पॉइंट का सुधार है।
  • कुल स्कोर: जब आप सेगमेंटेशन की समग्र गुणवत्ता (जिसे mPQ कहा जाता है) को देखते हैं, तो SAFViT ने 0.471 का स्कोर प्राप्त किया, जो परीक्षण किए गए सभी मॉडलों में सबसे अधिक था।
  • दूसरों की विफलता: दिलचस्प बात यह है कि दो अन्य लोकप्रिय विधियों (जिन्हें AG और AFF कहा जाता है) ने कोई भी "डेड" कोशिका नहीं खोजी, उनका स्कोर 0.000 रहा। वे आसान हिस्सों पर इतने केंद्रित थे कि उन्होंने दुर्लभ कोशिकाओं को पूरी तरह से मिस कर दिया।

शोधकर्ताओं ने दिखाया कि SAFViT केवल भाग्यशाली नहीं था। उन्होंने "ट्रस्ट मैप" को विज़ुअलाइज़ किया और देखा कि इसने "डेड" कोशिकाओं के किनारों को सही ढंग से रोशन किया, जिससे यह साबित हुआ कि मॉडल वास्तव में वहीं बारीक विवरणों पर भरोसा करना सीख रहा था जहाँ उनकी सबसे अधिक आवश्यकता थी।

क्या यह हर जगह काम करता है? और क्या यह तेज़ है?

यह सुनिश्चित करने के लिए कि SAFViT केवल प्रशिक्षण डेटा को याद नहीं कर रहा है, शोधकर्ताओं ने एक पूरी तरह से अलग डेटासेट जिसे मोनुसेग (MoNuSeg) कहा जाता है, पर इसका परीक्षण किया, जिसमें विभिन्न प्रकार के ऊतक थे और कोई "डेड" सेल लेबल नहीं था। परिणाम ठोस थे: SAFViT अन्य शीर्ष मॉडलों के समान ही अच्छा प्रदर्शन करता है, जो दर्शाता है कि इसकी "ट्रस्ट मैप" रणनीति अनदेखे ऊतक प्रकारों पर भी काम करती है।

वास्तविक दुनिया के उपयोग के लिए सबसे महत्वपूर्ण बात यह है कि SAFViT ने किसी भी चीज़ को धीमा नहीं किया। इसने एक छवि को लगभग 5.7 मिलीसेकंड में प्रोसेस किया, जो मूल मॉडल (5.8 ms) के लगभग समान है। इसका मतलब है कि डॉक्टर अपने परिणामों के लिए प्रतीक्षा किए बिना इस स्मार्ट AI का उपयोग कर सकते हैं।

निष्कर्ष

यह पेपर सुझाव देता है कि बेहतर मेडिकल AI का रहस्य हमेशा एक बड़ा या अधिक जटिल मस्तिष्क बनाना नहीं है। कभी-कभी, यह मस्तिष्क को यह सिखाने के बारे में होता है कि किसे कब सुनना है। AI को एक "ट्रस्ट मैप" देकर जो हर पिक्सेल पर यह तय करता है कि सूक्ष्म विवरणों पर ध्यान केंद्रित करना है या बड़े चित्र पर, SAFViT उन दुर्लभ, महत्वपूर्ण "डेड" कोशिकाओं को खोजने में बहुत बेहतर हो गया जिन्हें अन्य मॉडल मिस कर देते हैं। हालांकि दुर्लभ कोशिकाओं पर सुधार बहुत बड़ा था, मॉडल सामान्य कोशिकाओं को खोजने में भी उतना ही अच्छा बना रहा, जो यह साबित करता है कि सूचना को मिलाने का यह नया तरीका कैंसर निदान के भविष्य के लिए एक शक्तिशाली उपकरण है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →