💻 computer science

ASMIL: Attention-Stabilized Multiple Instance Learning for Whole Slide Imaging

यह शोध पत्र ASMIL को प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो होल स्लाइड इमेजिंग के लिए अटेंशन-आधारित मल्टीपल इंस्टेंस लर्निंग में एक एंकर मॉडल को नॉर्मलाइज्ड सिग्मॉइड फंक्शन और टोकन रैंडम ड्रॉपिंग के माध्यम से नियोजित करके अस्थिर अटेंशन डायनेमिक्स, ओवरफिटिंग और अत्यधिक केंद्रित अटेंशन की समस्याओं का समाधान करता है, जिसके परिणामस्वरूप अत्याधुनिक विधियों की तुलना में महत्वपूर्ण प्रदर्शन सुधार प्राप्त होता है।

मूल लेखक: Linfeng Ye, Shayan Mohajer Hamidi, Zhixiang Chi, Guang Li, Mert Pilanci, Takahiro Ogawa, Miki Haseyama, Konstantinos N. Plataniotis

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Linfeng Ye, Shayan Mohajer Hamidi, Zhixiang Chi, Guang Li, Mert Pilanci, Takahiro Ogawa, Miki Haseyama, Konstantinos N. Plataniotis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर डिटेक्टिव हैं जो एक बड़े अपराध स्थल को सुलझाने की कोशिश कर रहे हैं। वह अपराध स्थल एक Whole Slide Image (WSI) है—एक ऊतक के नमूने (tissue sample) की डिजिटल फोटो जो इतनी विशाल है कि इसमें लाखों छोटे-छोटे पिक्सेल शामिल हैं। यदि आप हर एक पिक्सेल को देखने की कोशिश करेंगे, तो आपका दिमाग फट जाएगा।

इसलिए, आप जूनियर डिटेक्टिव्स (ये इमेज के "instances" या छोटे टाइल्स हैं) की एक टीम काम पर रखते हैं। आप उन्हें कहते हैं: "अपने सौंपे गए छोटे से हिस्से को ध्यान से देखो और मुझे बताओ कि क्या वह संदिग्ध लग रहा है।"

समस्या यह है कि आपके पास पूरे अपराध स्थल के लिए केवल एक अंतिम उत्तर है: "दोषी" (कैंसर) या "निर्दोष" (स्वस्थ)। आपको यह नहीं पता कि किस विशिष्ट जूनियर डिटेक्टिव ने वह निर्णायक सबूत (smoking gun) ढूँढा है। इसे Weak Supervision कहा जाता है।

वर्षों तक, इसे हल करने का सबसे अच्छा तरीका एक चीफ डिटेक्टिव (एक अटेंशन मैकेनिज्म) का उपयोग करना था जो सभी जूनियर्स की बात सुनता है और तय करता है कि किसे भरोसा करना है। यदि कोई जूनियर कहता है, "मुझे ट्यूमर मिला है!" तो चीफ उन्हें एक उच्च "अटेंशन स्कोर" देता है।

समस्या: अस्थिर चीफ (The Unstable Chief)

लेखकों ने पाया कि इस तरह के चीफ डिटेक्टिव कैसे काम करते हैं, इसमें एक अजीब गड़बड़ी है।

द ऑसिलेटिंग चीफ (The Oscillating Chief): कभी-कभी, चीफ जूनियर A पर बहुत आश्वस्त होता है। अगले दिन, वे अचानक बदल जाते हैं और पूरी तरह से जूनियर B पर भरोसा करने लगते हैं, फिर अगले दिन, वे वापस जूनियर A पर चले जाते हैं। वे कभी भी किसी निर्णय पर स्थिर नहीं हो पाते। यह एक फुटबॉल रेफरी की तरह है जो हर बार सीटी बजने पर यह बदल देता है कि किसने फाउल किया है। यह टीम को भ्रमित करता है और अंतिम फैसला अविश्वसनीय बना देता है।
द ऑब्सेस्ड चीफ (The Obsessed Chief): कभी-कभी, चीफ एक ही छोटे से बिंदु के प्रति इतना जुनूनी हो जाता है कि वह बाकी सब कुछ अनदेखा कर देता है। वे एक एकल लाल पिक्सेल पर ध्यान केंद्रित कर सकते हैं और बाकी ट्यूमर को नजरअंदाज कर सकते हैं। यह बुरा है क्योंकि वास्तविक ट्यूमर अक्सर फैले हुए होते हैं।
द ओवर-प्रिपेयर्ड चीफ (The Over-Prepared Chief): चूंकि अध्ययन करने के लिए बहुत कम अपराध स्थल (डेटासेट) उपलब्ध हैं, इसलिए चीफ देखे गए विशिष्ट मामलों को रट लेता है बजाय सामान्य नियम सीखने के। जब वे कोई नया मामला देखते हैं, तो वे विफल हो जाते हैं। इसे Overfitting कहा जाता है।

समाधान: ASMIL (एक "स्थिर" प्रणाली)

लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे ASMIL कहा जाता है। यहाँ उन्होंने इन तीन समस्याओं को कुछ चतुर तरीकों से ठीक किया है:

1. "घोस्ट मेंटर" (The Ghost Mentor - द एंकर मॉडल)

चीफ को बार-बार बदलने से रोकने के लिए, वे एक घोस्ट मेंटर पेश करते हैं।

यह कैसे काम करता है: घोस्ट मेंटर चीफ की एक सटीक प्रतिलिपि है, लेकिन यह हर दिन शून्य से नहीं सीखती है। इसके बजाय, यह धीरे-धीरे सीखती है, जैसे कि एक बुद्धिमान पुराने प्रोफेसर की तरह जो समय के साथ चीफ के दैनिक निर्णयों का औसत लेता है।
उपमा: कल्पना कीजिए कि चीफ एक परीक्षा देने वाला छात्र है। घोस्ट मेंटर शिक्षक की उत्तर कुंजी (answer key) है, जो छात्र की प्रगति के आधार पर धीरे-धीरे अपडेट होती है। छात्र को बताया जाता है, "सिर्फ बेतरतीब ढंग से अनुमान न लगाएं; शिक्षक की स्थिर उत्तर कुंजी के साथ तालमेल बिठाने की कोशिश करें।"
परिणाम: चीफ का उतार-चढ़ाव (oscillating) बंद हो जाता है। वे स्थिर हो जाते हैं क्योंकि वे लगातार शांत, स्थिर घोस्ट मेंटर के साथ तालमेल बिठाने की कोशिश कर रहे होते हैं।

2. "फेयरनेस फिल्टर" (The Fairness Filter - नॉर्मलाइज्ड सिग्मॉइड)

चीफ को केवल एक ही जगह पर जुनूनी होने से रोकने के लिए, वे उस गणित को बदलते हैं जिसका उपयोग चीफ यह तय करने के लिए करता है कि किसे भरोसा करना है।

पुराना तरीका (Softmax): यह एक "विजेता-ही-सब-कुछ-ले-जाएगा" (winner-takes-all) खेल की तरह है। यदि एक जूनियर थोड़ा बेहतर है, तो वे 99% भरोसा प्राप्त कर लेते हैं, और बाकी सबको 1% मिलता है।
नया तरीका (Normalized Sigmoid): यह एक "निष्पक्ष साझाकरण" प्रणाली की तरह है। यह कहता है, "ठीक है, जूनियर A बहुत अच्छा है, लेकिन जूनियर B और C भी काफी अच्छे हैं। आइए हम उन सभी को स्पॉटलाइट का एक उचित हिस्सा दें।"
उपमा: केवल एक व्यक्ति को "एम्प्लॉई ऑफ द मंथ" का पुरस्कार देकर बाकी सबको अनदेखा करने के बजाय, नया सिस्टम उन सभी को "हाई परफॉर्मर" का बैज देता है जिन्होंने अच्छा काम किया है। यह सुनिश्चित करता है कि चीफ पूरे ट्यूमर को देखे, न कि केवल एक पिक्सेल को।

3. "रैंडम ब्रेक" (The Random Break - टोकन ड्रॉपिंग)

चीफ को विशिष्ट अपराध स्थलों को रटने (Overfitting) से रोकने के लिए, वे टीम को कुछ डिटेक्टिव्स के बिना अभ्यास करने के लिए मजबूर करते हैं।

यह कैसे काम करता है: ट्रेनिंग के दौरान, सिस्टम बेतरतीब ढंग से कुछ जूनियर डिटेक्टिव्स को बताता है, "आज आप ब्रेक पर हैं, मत बोलिए।"
उपमा: यह एक कोच की तरह है जो बास्केटबॉल टीम को कहता है, "हम अभ्यास करेंगे, लेकिन मैं आधे ड्रिल्स के लिए स्टार खिलाड़ी को बेंच पर बैठा दूंगा।" यह अन्य खिलाड़ियों को स्टार पर निर्भर हुए बिना एक साथ काम करना सीखने के लिए मजबूर करता है। यह टीम को मजबूत बनाता है। जब असली खेल (inference) शुरू होता है, तो सभी वापस कोर्ट पर होते हैं, और टीम पहले से कहीं अधिक मजबूत होती है।

परिणाम

जब लेखकों ने इस नए सिस्टम का परीक्षण किया:

यह अधिक सटीक था: इसने पिछले किसी भी तरीके की तुलना में कैंसर को बेहतर ढंग से खोजा (स्कोर में 6.5% से 10% तक सुधार)।
यह अधिक विश्वसनीय था: चीफ का उतार-चढ़ाव बंद हो गया और उन्होंने सुसंगत उत्तर दिए।
यह अधिक निष्पक्ष था: इसने न केवल एक छोटे से बिंदु को, बल्कि पूरे ट्यूमर क्षेत्र को हाइलाइट किया, जिससे वास्तविक डॉक्टरों के लिए AI के निदान पर भरोसा करना आसान हो गया।

संक्षेप में

ASMIL एक अराजक, आसानी से विचलित होने वाले और अत्यधिक आत्मविश्वासी डिटेक्टिव टीम को एक शांत, स्थिर मेंटर, एक निष्पक्षता नियम पुस्तिका और एक कठोर प्रशिक्षण व्यवस्था देने जैसा है। परिणाम यह है कि वे कैंसर निदान के रहस्य को अधिक तेज़ी से, अधिक सटीकता से और बहुत अधिक आत्मविश्वास के साथ सुलझाते हैं।

यहाँ शोध पत्र "ASMIL: Attention-Stabilized Multiple Instance Learning for Whole Slide Imaging" का विस्तृत तकनीकी सारांश दिया गया है, जिसे ICLR 2026 के एक कॉन्फ्रेंस पेपर के रूप में प्रकाशित किया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र होल स्लाइड इमेजिंग (WSI) विश्लेषण के लिए अटेंशन-आधारित मल्टीपल इंस्टेंस लर्निंग (ABMIL) की महत्वपूर्ण सीमाओं को संबोधित करता है। जबकि ABMIL, WSI निदान (जहाँ केवल स्लाइड-स्तरीय लेबल उपलब्ध होते हैं) के लिए एक मानक बन चुका है, लेखकों ने तीन विशिष्ट विफलता मोड (failure modes) की पहचान की है जो प्रदर्शन और व्याख्यात्मकता (interpretability) को कम करते हैं:

अस्थिर अटेंशन डायनेमिक्स (Unstable Attention Dynamics - PI): एक नव-पहचाना गया घटनाक्रम जहाँ अटेंशन डिस्ट्रीब्यूशन प्रशिक्षण के विभिन्न इपोक (epochs) के दौरान एक सुसंगत पैटर्न में अभिसरित (converge) होने के बजाय काफी अधिक दोलन (oscillate) करता है। यह अस्थिरता मॉडल को उन विशिष्ट ऊतक क्षेत्रों (tissue regions) की विश्वसनीय पहचान करने से रोकती है जो निर्णयों को संचालित करते हैं, जिससे पूर्वानुमान क्षमता और नैदानिक व्याख्यात्मकता दोनों बाधित होती हैं।
अत्यधिक केंद्रित अटेंशन (Over-Concentrated Attention - PII): मौजूदा विधियाँ अक्सर बहुत कम संख्या में टाइल्स (instances) को अत्यधिक भार (weight) दे देती हैं, जिससे अन्य प्रासंगिक क्षेत्रों की अनदेखी हो जाती है। इसका कारण मानक सॉफ्टमैक्स (softmax) फंक्शन की घातीय संवेदनशीलता (exponential sensitivity) है, जो सामान्यीकरण (generalization) को नुकसान पहुँचाती है।
ओवरफिटिंग (Overfitting - PIII): प्रशिक्षण स्लाइड्स की सीमित संख्या और WSI टाइल्स में उच्च अतिरेक (redundancy) के कारण, उच्च-क्षमता वाले MIL मॉडल स्प्यूरियस पैटर्न (spurious patterns) को याद करने लगते हैं, जिससे आउट-ऑफ-डिस्ट्रीब्यूशन प्रदर्शन खराब हो जाता है।

2. कार्यप्रणाली: ASMIL फ्रेमवर्क (Methodology: ASMIL Framework)

लेखक ASMIL (Attention-Stabilized Multiple Instance Learning) का प्रस्ताव करते हैं, जो एक एकीकृत फ्रेमवर्क है जिसे उपरोक्त तीन सीमाओं को एक साथ संबोधित करने के लिए डिज़ाइन किया गया है। इसके मुख्य घटक हैं:

A. स्थिरीकरण के लिए एंकर मॉडल (Anchor Model for Stabilization)

अस्थिर अटेंशन डायनेमिक्स से निपटने के लिए, ASMIL एक एंकर मॉडल पेश करता है जो ऑनलाइन (प्रशिक्षण योग्य) मॉडल के अटेंशन मॉड्यूल की नकल करता है।

तंत्र (Mechanism): एंकर को ऑनलाइन मॉडल के समान इनपुट प्राप्त होता है, लेकिन इसे बैकप्रोपैगेशन के बजाय ऑनलाइन मॉडल के मापदंडों के एक्सपोनेंशियल मूविंग एवरेज (EMA) के माध्यम से अपडेट किया जाता है।
भूमिका: यह एक स्थिर, टेम्पोरली स्मूथ (temporally smoothed) संदर्भ के रूप में कार्य करता है। ऑनलाइन मॉडल को उनके बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करके एंकर के अटेंशन डिस्ट्रीब्यूशन की नकल करने के लिए प्रोत्साहित किया जाता है।
लाभ: यह कार्यात्मक नियमितीकरण (functional regularization) अटेंशन डायनेमिक्स को स्थिर करता है और सुनिश्चित करता है कि अटेंशन डिस्ट्रीब्यूशन बिना किसी अतिरिक्त गणना लागत के सुसंगत पैटर्न में अभिसरित हों (अनुमान/inference के दौरान एंकर को हटा दिया जाता है)।

B. नॉर्मलाइज्ड सिग्मॉइड फंक्शन (Normalized Sigmoid Function - NSF)

अत्यधिक एकाग्रता को रोकने के लिए, लेखक एंकर मॉडल में मानक सॉफ्टमैक्स फंक्शन के स्थान पर नॉर्मलाइज्ड सिग्मॉइड फंक्शन (NSF) का उपयोग करते हैं।

गणितीय अंतर्दृष्टि: लेखक सैद्धांतिक रूप से सिद्ध करते हैं (प्रमेय 1) कि सॉफ्टमैक्स एक एकल तापमान पैरामीटर के साथ "सेलेक्टिव फ्लैटनिंग" (उच्च-स्कोरिंग सूचनात्मक टोकन को समान बनाना) और "सप्रेशन" (कम-स्कोरिंग टोकन को दबाना) दोनों एक साथ प्राप्त नहीं कर सकता है।
NSF की परिभाषा: $\alpha_i^{nsf} = \frac{\sigma(z_i)}{\sum_j \sigma(z_j)}$ , जहाँ $\sigma$ सिग्मॉइड फंक्शन है।
एंकर में क्यों? ऑनलाइन मॉडल पर सीधे NSF लागू करने से सिग्मॉइड संतृप्ति (saturation) के कारण ग्रेडिएंट गायब (vanishing gradients) हो सकते हैं। इसे केवल एंकर पर लागू करके, मॉडल ग्रेडिएंट फ्लो को अस्थिर किए बिना एक कम स्पार्स (less sparse) और अधिक व्याख्या योग्य डिस्ट्रीब्यूशन की ओर निर्देशित करता है।

C. टोकन रैंडम ड्रॉपिंग (Token Random Dropping)

ओवरफिटिंग को कम करने के लिए, ASMIL एक टोकन ड्रॉपआउट रणनीति का उपयोग करता है।

तंत्र: प्रशिक्षण के दौरान, प्रशिक्षण योग्य "FEAT" टोकन (एकत्रीकरण के लिए उपयोग किए जाने वाले सीखने योग्य एम्बेडिंग्स) के एक अंश को बेतरतीब ढंग से गिरा दिया जाता है।
प्रभाव: यह टोकन के बीच सह-अनुकूलन (co-adaptation) को रोकता है और मॉडल को विशिष्ट टोकन उपसमुच्चयों के बजाय मजबूत विशेषताओं (robust features) पर निर्भर रहने के लिए मजबूर करता है। सामान्य इंस्टेंस ड्रॉपआउट के विपरीत, यह FEAT टोकन के लिए विशेष है ताकि एंकर अलाइनमेंट के लिए आवश्यक वन-टू-वन मैपिंग बनी रहे।

D. समग्र उद्देश्य (Overall Objective)

प्रशिक्षण उद्देश्य मानक क्रॉस-एन्ट्रॉपी लॉस ( $L_{CE}$ ) को अटेंशन स्टेबिलाइज़ेशन लॉस ( $L_{AS}$ ) के साथ जोड़ता है:
$L = L_{CE} + \beta L_{AS}$
जहाँ $L_{AS} = KL(\alpha^{nsf} \parallel \alpha)$ , $\alpha^{nsf}$ एंकर का अटेंशन (NSF) है, और $\alpha$ ऑनलाइन मॉडल का अटेंशन (Softmax) है।

3. मुख्य योगदान (Key Contributions)

अस्थिर डायनेमिक्स की खोज: यह शोध पत्र पहली बार व्यवस्थित रूप से WSI-MIL में अटेंशन डिस्ट्रीब्यूशन के दोलन को पहचानने और मापने का काम करता है, यह दिखाते हुए कि मौजूदा विधियाँ स्थिर रूप से अभिसरित होने में विफल रहती हैं।
नया फ्रेमवर्क (ASMIL): अस्थिरता, अत्यधिक एकाग्रता और ओवरफिटिंग को एक साथ हल करने के लिए EMA-आधारित एंकर, NSF और टोकन ड्रॉपआउट को संयोजित करने वाला एक एकीकृत फ्रेमवर्क।
सैद्धांतिक औचित्य: गणितीय प्रमाण जो दर्शाता है कि NSF 'सेलेक्टिव फ्लैटनिंग' गुणों को प्राप्त करता है जिसे सॉफ्टमैक्स दोहरा नहीं सकता, जो वास्तुशिल्प परिवर्तन के लिए एक सैद्धांतिक आधार प्रदान करता है।
प्लग-एंड-प्ले क्षमता: एंकर और NSF घटकों को मौजूदा अटेंशन-आधारित MIL विधियों (जैसे TransMIL, CLAM) में प्रदर्शन को लगातार बढ़ाने के लिए एकीकृत किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन सार्वजनिक WSI डेटासेट: CAMELYON-16, CAMELYON-17, और BRACS पर ASMIL का मूल्यांकन किया।

सबटाइपिंग प्रदर्शन (Subtyping Performance):
- ASMIL ने ViT-SSL बैकबोन के साथ सभी डेटासेट पर स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्राप्त किया।
- CAMELYON-16 पर, इसने सबसे मजबूत बेसलाइन की तुलना में F1 स्कोर में 3.3% और AUC में 1.6% का सुधार किया।
- CAMELYON-17 पर, इसने 6.49% F1 स्कोर में सुधार हासिल किया।
- BRACS पर, इसने 0.781 का F1 स्कोर और 0.914 का AUC प्राप्त किया, जो पिछले सर्वश्रेष्ठ परिणामों से काफी आगे है।
बेसलाइन्स के साथ एकीकरण: मौजूदा विधियों (जैसे ABMIL और TransMIL) में एंकर और NSF को एकीकृत करने से निरंतर लाभ हुआ, जिसमें F1 स्कोर में 10.73% तक का सुधार देखा गया।
लोकलाइजेशन (Localization): ASML ने अधिक विश्वसनीय अटेंशन मैप्स तैयार किए, जो केवल एक उपसमुच्चय पर ध्यान केंद्रित करने के बजाय लगातार सभी कैंसरयुक्त क्षेत्रों को उजागर करते हैं। इसने CAMELYON-16 पर सर्वश्रेष्ठ FROC (फ्री-रिस्पॉन्स ROC) और Dice स्कोर प्राप्त किया।
एब्लेशन अध्ययन (Ablation Studies): किसी भी घटक (Anchor, NSF, या Dropout) को हटाने से प्रदर्शन में गिरावट आई, जिससे प्रत्येक की आवश्यकता की पुष्टि हुई। एंकर का स्थिरता पर सबसे बड़ा प्रभाव था।
सामान्यीकरण (Generalization): इस पद्धति ने गैर-WSI MIL बेंचमार्क (MUSK, TIGER, आदि) और सर्वाइवल प्रेडिक्शन कार्यों (TCGA डेटासेट) पर भी प्रदर्शन में सुधार किया।

5. महत्व (Significance)

नैदानिक प्रभाव (Clinical Impact): अटेंशन डायनेमिक्स को स्थिर करके, ASML यह सुनिश्चित करता है कि मॉडल द्वारा उत्पन्न "हीटमैप" सुसंगत और विश्वसनीय हैं। यह नैदानिक अपनाने के लिए महत्वपूर्ण है, क्योंकि पैथोलॉजिस्टों को इस पर भरोसा करने की आवश्यकता है कि मॉडल विभिन्न प्रशिक्षण रन और रोगी मामलों में सही ऊतक क्षेत्रों पर ध्यान केंद्रित कर रहा है।
दक्षता (Efficiency): प्रशिक्षण के दौरान एक सहायक एंकर मॉडल का उपयोग करने के बावजूद, ASML में अनुमान (inference) के दौरान कोई अतिरिक्त गणना लागत नहीं होती है (एंकर को हटा दिया जाता है), जिससे यह तैनाती के लिए व्यावहारिक बनता है।
प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र MIL अनुसंधान के फोकस को केवल फीचर एकत्रीकरण से बदलकर अटेंशन मैकेनिज्म की स्थिरता और व्याख्यात्मकता सुनिश्चित करने की ओर ले जाता है, जो कमजोर रूप से पर्यवेक्षित शिक्षण (weakly supervised learning) में एक पहले से अनदेखे विफलता मोड को संबोधित करता है।

निष्कर्षतः, ASML वर्तमान WSI विश्लेषण मॉडलों को प्रभावित करने वाली अस्थिरता और अत्यधिक एकाग्रता की समस्याओं के लिए एक मजबूत, सैद्धांतिक रूप से आधारित समाधान प्रदान करता है, जो सटीकता और व्याख्यात्मकता के लिए एक नया बेंचमार्क स्थापित करता है।