⚡ electrical engineering

OTLesMix: Wasserstein Barycenter and Optimal Transport Map for Synthetic Lesion Generation with Diverse Shapes and Locations

यह शोध पत्र OTLesMix को प्रस्तुत करता है, जो एक नवीन डेटा ऑग्मेंटेशन विधि है जो विविध आकृतियों और स्थानों वाले यथार्थवादी सिंथेटिक ब्रेन लीजन्स (मस्तिष्क के घाव) उत्पन्न करने के लिए वासरस्टीन बैरीसेंटर्स (Wasserstein barycenters) और ऑप्टिमल ट्रांसपोर्ट मैप्स का लाभ उठाता है, जो मौजूदा मिक्स-आधारित दृष्टिकोणों की तुलना में सेगमेंटेशन मॉडल के प्रदर्शन में महत्वपूर्ण सुधार करता है।

मूल लेखक: Robin Trombetta, Carole Lartizien

प्रकाशित 2026-08-07

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Robin Trombetta, Carole Lartizien

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को आकाश में एक विशिष्ट प्रकार के बादल को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे सफेद, फूले हुए क्यूमुलस बादलों की एक हज़ार तस्वीरें दिखाते हैं, और वह इसमें काफी अच्छा हो जाता है। लेकिन फिर आप उसे एक ऐसी तस्वीर दिखाते हैं जो एक ड्रैगन जैसी दिखती है, या एक ऐसी तस्वीर जो चायदानी (teapot) के आकार की है, तो रोबट भ्रमित हो जाता है। उसने ये आकार पहले नहीं देखे हैं। यह समस्या मेडिकल इमेजिंग की दुनिया में बहुत आम है, जहाँ कंप्यूटरों को मस्तिष्क के स्कैन में ट्यूमर या स्ट्रोक जैसी बीमारियों को पहचानने की आवश्यकता होती है। समस्या यह है कि वास्तविक मेडिकल डेटा प्राप्त करना कठिन है; एक मानव विशेषज्ञ को एक एकल 3D ब्रेन स्कैन में बीमारी का सटीक स्थान बताने के लिए एक नक्शा तैयार करने में घंटों लग जाते हैं। पर्याप्त उदाहरणों की कमी के कारण, कंप्यूटर अक्सर केवल उन्हीं "मानक" आकारों और स्थानों को पहचानना सीख पाता है जिन्हें उसने पहले देखा है।

इसे ठीक करने के लिए, वैज्ञानिक "डेटा ऑग्मेंटेशन" (data augmentation) नामक एक तरकीब का उपयोग करते हैं। इसे ऐसे समझें जैसे एक शेफ एक छात्र को बेकिंग सिखाने की कोशिश कर रहा हो। यदि छात्र केवल एक ही रेसिपी देखता है, तो वह थोड़ा सा बदलाव होने पर असफल हो सकता है। इसलिए, शेफ उसे कुछ अतिरिक्त अभ्यास बैच देता है। कंप्यूटर विज्ञान में, इसका अर्थ है मौजूदा छवियों को थोड़ा बदलना—उन्हें घुमाना, उनकी चमक बदलना, या यहाँ तक कि एक छवि का एक टुकड़ा काटकर दूसरी पर चिपका देना। लक्ष्य "नकली" लेकिन वास्तविक दिखने वाले उदाहरणों का एक विशाल पुस्तकालय बनाना है ताकि कंप्यूटर किसी भी आकार या स्थान में होने वाली बीमारी को संभालने के लिए तैयार हो सके। हालाँकि, पुराने तरीके अक्सर अजीब, धुंधली या असंभव दिखने वाली छवियां बनाते हैं जो कंप्यूटर को नए आकारों के बारे में बहुत कुछ नहीं सिखा पातीं।

यहीं पर OTLesMix नामक एक नई विधि आती है, जिसे शोधकर्ता रॉबिन ट्रोम्बेटा और कैरोल लारटिज़िएन द्वारा प्रस्तावित किया गया है। वे चिकित्सा छवियों को मिलाने का एक स्मार्ट तरीका बनाना चाहते थे जो केवल पुराने आकारों को इधर-उधर करने के बजाय, बिल्कुल नए और वास्तविक दिखने वाले बीमारी के आकार और स्थान बना सके।

"परफेक्ट ब्लेंड" का जादू

शोधकर्ताओं का बड़ा विचार ऑप्टिमल ट्रांसपोर्ट (Optimal Transport) नामक गणित की एक शाखा पर आधारित है। इसे समझने के लिए, कल्पना कीजिए कि आपके पास रेत के दो ढेर हैं। एक ढेर का आकार तारे जैसा है, और दूसरे का वृत्त (circle) जैसा। आप दोनों ढेरों से रेत लेकर एक नया ढेर बनाना चाहते हैं जो दोनों का एक आदर्श मिश्रण हो—शायद एक 'स्टार-सर्कल हाइब्रिड'। "ऑप्टिमल ट्रांसपोर्ट" की समस्या यह पूछती है: प्रत्येक कण को इस तरह से कैसे ले जाया जाए कि सबसे कम ऊर्जा खर्च हो?

मेडिकल इमेजिंग की दुनिया में, "रेत" वे पिक्सेल हैं जो एक ट्यूमर या घाव (lesion) बनाते हैं। शोधकर्ता ऑप्टिमल ट्रांसपोर्ट का एक विशिष्ट प्रकार उपयोग करते हैं जिसे वॉसरस्टीन बैरिएसेंटर (Wasserstein barycenter) कहा जाता है। यदि आप ट्यूमर वाले दो ब्रेन स्कैन को दो अलग-अलग "नक्शों" के रूप में देखते हैं, तो यह गणितीय उपकरण एक "मध्यम मार्ग" वाला नक्शा खोजता है। यह केवल चित्रों का औसत नहीं निकालता (जिससे एक धुंधला कचरा बन जाएगा); इसके बजाय, यह दो मूल आकारों के बीच एक नया, अद्वितीय आकार निकालता है। यह एक बिल्ली की फोटो और एक कुत्ते की फोटो लेने और गणितीय रूप से एक नया जानवर बनाने जैसा है जिसके कान बिल्ली के हों और पूंछ कुत्ते की, लेकिन वह एक वास्तविक, जीवित प्राणी की तरह दिखे।

OTLesMix कैसे काम करता है

यह प्रक्रिया दो मुख्य चरणों में होती है, जैसे कि खाना पकाने की दो-चरणीय विधि:

आकार बनाना (Cooking the Shape): सबसे पहले, कंप्यूटर दो वास्तविक ब्रेन स्कैन चुनता जिनमें घाव (lesions) हों। यह एक नया घाव का आकार और स्थान बनाने के लिए "वॉसरस्टीन बैरिएसेंटर" गणित का उपयोग करता है। यह नया आकार मूल दोनों आकारों के बीच एक सुचारू और वास्तविक संक्रमण (interpolation) है। यह एक ऐसा ट्यूमर हो सकता है जो मूल सेट में मौजूद किसी भी चीज़ की तुलना में थोड़ा बड़ा, थोड़ा स्थानांतरित या अलग आकार का हो।
चित्र बनाना (Painting the Picture): एक बार जब नया आकार तय हो जाता है, तो कंप्यूटर को यह तय करना होता है कि इस नए घाव के अंदर क्या होना चाहिए। यह यह पता लगाने के लिए कि मूल छवियों से किन पिक्सेल को इस नए आकार को भरने के लिए ले जाया जाना चाहिए, एक "ऑप्टिमल ट्रांसपोर्ट प्लान" का उपयोग करता है। यह मूल ट्यूमर के टेक्सचर और रंग को लेने और उन्हें इस नए आकार में सावधानीपूर्वक "इनपेंटिंग" (inpainting) करने जैसा है। अंत में, इस कृत्रिम घाव को एक स्वस्थ ब्रेन स्कैन (या मूल में से किसी एक) पर चिपका दिया जाता है ताकि एक पूरी तरह से नया प्रशिक्षण उदाहरण बनाया जा सके।

क्या यह वास्तव में काम करता है?

शोधकर्ताओं ने मस्तिष्क की विभिन्न समस्याओं से संबंधित तीन अलग-अलग ब्रेन इमेजिंग डेटासेट पर इस पद्धति का परीक्षण किया: ग्लोब्लास्टोमा (एक प्रकार का ब्रेन कैंसर), स्ट्रोक, और इस्केमिक स्ट्रोक लीजन। उन्होंने अपनी नई विधि की तुलना MixUp (जो छवियों को रैखिक रूप से मिलाता है) और CutMix (जो आयत काटता है और चिपकाता है) जैसी पुरानी, लोकप्रिय मिक्सिंग तकनीकों से की।

परिणाम काफी उत्साहजनक थे। जब उन्होंने एक कंप्यूटर मॉडल को इन ब्रेन लीजन को सेगमेंट (पहचानने) के लिए प्रशिक्षित किया, तो OTLesMix सिंथेटिक डेटा का उपयोग करने वाले मॉडल ने बिना सिंथेटिक डेटा वाले मॉडलों की तुलना में काफी बेहतर प्रदर्शन किया।

ब्रेन कैंसर डेटासेट (BraTS 2020) पर, मॉडल की सटीकता Dice स्कोर नामक एक मानक स्कोरिंग मीट्रिक पर बिना सिंथेटिक डेटा वाले मॉडल की तुलना में 2.9 से 6.6 अंक सुधरी।
इसने तीनों डेटासेट पर अन्य मिक्सिंग विधियों (MixUp, CutMix, और CarveMix) को भी पछाड़ दिया। उदाहरण के लिए, BraTS डेटासेट पर, OTLesMix ने पूरे ट्यूमर के लिए 83.3% का स्कोर प्राप्त किया, जबकि अगला सबसे अच्छा तरीका (CarveMix) 82.5% स्कोर कर सका।

लेखकों का कहना है कि यह अंतर केवल एक मामूली संयोग नहीं था; सांख्यिकीय परीक्षणों ने दिखाया कि OTLesMix लगातार दूसरों से बेहतर था। दृश्य रूप से भी, नई विधि ने अधिक विविध आकार और स्थान वाले घाव उत्पन्न किए, जबकि पुरानी विधियाँ मूल आकारों के बहुत समान दिखने वाले या अजीब तरह से कटे-पिटे आकार बनाती थीं।

कमी (The Catch)

हालाँकि यह विधि एक सफलता है, लेखक इसकी वर्तमान सीमाओं के बारे में ईमानदार हैं। इन नए चित्रों को बनाने में समय लगता है। मस्तिष्क के एक 2D स्लाइस के लिए, इसमें लगभग 1 सेकंड लगता है। लेकिन पूर्ण 3D ब्रेन स्कैन के लिए, इसमें प्रति इमेज 1 से 3 मिनट तक का समय लग सकता है। यह केवल काटने और चिपकाने की तुलना में बहुत धीमा है।

साथ ही, यह विधि पिक्सेल रंगों के सरल रैखिक इंटरपोलेशन (linear interpolation) पर निर्भर करती है। यदि दो मूल ब्रेन स्कैन बहुत अलग मशीनों से आए थे या उनमें लाइटिंग की स्थितियाँ बहुत अलग थीं, तो नया "मिश्रित" घाव थोड़ा अवास्तविक लग सकता है, जैसे कि खराब तरीके से एडिट की गई फोटो। लेखक सुझाव देते हैं कि भविष्य में, वे टेक्सचर की इन समस्याओं को ठीक करने के लिए इस आकार-निर्माण गणित को शक्तिशाली AI इमेज जनरेटर के साथ जोड़ सकते हैं।

संक्षेप में, OTLesMix एक स्मार्ट नया उपकरण है जो उन्नत गणित का उपयोग करके वास्तविक और विविध उदाहरणों का आविष्कार करता है। ऐसा करके, यह मेडिकल AI को उन आकारों और स्थानों में बीमारियों को पहचानने में मदद करता है जिन्हें उसने पहले कभी नहीं देखा है, जिससे भविष्य में बेहतर निदान उपकरणों की संभावना बढ़ जाती है।

OTLesMix का तकनीकी सारांश: सिंथेटिक लीजन जनरेशन के लिए वासरस्टीन बैरीसेंटर और ऑप्टिमल ट्रांसपोर्ट मैप

समस्या विवरण
डीप लर्निंग ने मेडिकल इमेज सेगमेंटेशन में क्रांति ला दी है, फिर भी सुपरवाइज्ड ट्रेनिंग विशेषज्ञ एनोटेशन की उच्च लागत और समय, विशेष रूप से सघन 3D सेगमेंटेशन कार्यों के लिए, एक बाधा बनी हुई है। जबकि डेटा ऑग्मेंटेशन मॉडल ट्रेनिंग को बेहतर बनाने के लिए एक मानक तकनीक है, पारंपरिक तरीके (स्थानिक/तीव्रता रूपांतरण) और उन्नत जनरेटिव मॉडल (GANs, डिफ्यूजन मॉडल्स) विशिष्ट सीमाएं प्रस्तुत करते हैं। जनरेटिव मॉडल्स को अपने स्वयं के प्रशिक्षण के लिए बड़े, विविध डेटासेट की आवश्यकता होती है, जो मेडिकल संदर्भों में उपलब्ध नहीं हो सकते हैं। इसके विपरीत, मौजूदा "मिक्स-आधारित" ऑग्मेंटेशन रणनीतियां (जैसे MixUp, CutMix, CarveMix, LesionMix) लीजन के आकार और स्थान में पर्याप्त विविधता उत्पन्न करने में विफल रहती हैं। वे आमतौर पर मौजूदा मास्क के सरल रैंडम सैंपलिंग या कठोर ज्यामितीय रूपांतरणों पर निर्भर करती हैं, जिसके परिणामस्वरूप सिंथेटिक नमूने बनते हैं जिनमें सेगमेंटेशन मॉडल को मजबूती से प्रशिक्षित करने के लिए आवश्यक विविधता की कमी होती है।

कार्यप्रणाली: OTLesMix
लेखक OTLesMix प्रस्तावित करते हैं, जो एक नवीन इमेज सिंथेसिस विधि है जो वास्तविक और विविध सिंथेटिक लीजन उत्पन्न करने के लिए ऑप्टिमल ट्रांसपोर्ट (OT) सिद्धांत का लाभ उठाती है। यह विधि एक बेस डेटासेट $D = \{(X_i, Y_i)\}$ से एक नया नमूना $(\tilde{X}, \tilde{Y})$ बनाने के लिए दो प्राथमिक चरणों में कार्य करती है:

वासरस्टीन बैरीसेंटर के माध्यम से लीजन मास्क जनरेशन:
- दो बेस सैंपल $(X_i, Y_i)$ और $(X_j, Y_j)$ को यादृच्छिक रूप से चुना जाता है।
- ग्राउंड ट्रुथ मास्क $Y_i$ और $Y_j$ में गैर-शून्य पिक्सेल के निर्देशांकों को संभाव्यता वितरण (probabilistic distributions) के रूप में माना जाता है।
- एक नया लीजन मास्क $\tilde{Y}_{les}$ इन दो वितरणों के वासरस्टीन बैरीसेंटर (Wasserstein barycenter) की गणना करके बनाया जाता है। इसमें नए मास्क बिंदुओं के निर्देशांकों को अनुकूलित करना शामिल है ताकि स्रोत मास्क के परिवहन लागत (transport costs) के भारित योग को कम किया जा सके:
  $B(\lambda, \alpha_i, \alpha_j, \beta) = \lambda OT(\alpha_i, \beta) + (1-\lambda)OT(\alpha_j, \beta)$
  जहाँ $\lambda \sim U(0,1)$ एक रैंडम वेटिंग पैरामीटर है।
- यह प्रक्रिया मूल मास्क के स्थानों और आकारों के बीच इंटरपोलेशन करती है, जिससे नया लीजन मूल स्थानों के बीच कहीं भी अस्तित्व में रह सकता है और उसका आकार मूलों का एक स्मूथ इंटरपोलेशन होता है।
- कंप्यूटेशनल दक्षता सुनिश्चित करने के लिए, लेखक डी-बायस्ड सिंकहॉर्न डायवर्जेंस (de-biased Sinkhorn divergence) और सिंकहॉर्न एल्गोरिदम का उपयोग करते हैं, जिससे आधुनिक GPU पर सेकंडों में $10^6$ बिंदुओं को प्रोसेस करना संभव हो जाता है।
ऑप्टिमल ट्रांसपोर्ट मैप के माध्यम से इमेज और लेबल जनरेशन:
- एक बार जब नया मास्क $\tilde{Y}_{les}$ परिभाषित हो जाता है, तो सिंथेटिक लीजन के पिक्सेल इंटेंसिटी और लेबल्स निर्धारित किए जाने चाहिए।
- एक ऑप्टिमल ट्रांसपोर्ट प्लान को उत्पन्न मास्क $\tilde{Y}_{les}$ और एक स्रोत मास्क (जैसे $Y_j$ ) के बीच कंप्यूट किया जाता है।
- प्रत्येक पिक्सेल के लिए, ट्रांसपोर्ट मैप $T$ उसके संगत स्थान को स्रोत इमेज $X_j$ में निर्धारित करता है।
- इंटेंसिटी सिंथेसिस: सिंथेटिक पिक्सेल की इंटेंसिटी को मैप किए गए स्थान पर स्रोत इमेज की इंटेंसिटी के लीनियर इंटरपोलेशन के माध्यम से प्राप्त किया जाता है।
- लेबल सिंथेसिस: मल्टी-क्लास कार्यों के लिए, ग्राउंड ट्रुथ लेबल को स्रोत लेबल मैप के नियरस्ट-नेबर इंटरपोलेशन के माध्यम से सौंपा जाता है।
- सिंथेसाइज्ड लीजन को फिर एक बेस इमेज (या तो $X_i$ , $X_j$ , या डेटासेट से तीसरी इमेज) पर इनपेंट किया जाता है। पोस्ट-प्रोसेसिंग स्टेप्स मौजूदा लीजन या अवास्तविक शारीरिक स्थानों (जैसे खोपड़ी, CSF) के साथ इंटरसेक्शन को हटा देते हैं।

मुख्य योगदान

नवीन सिंथेसिस फ्रेमवर्क: OTLesMix का परिचय, जो अनूठे रूप से आकार/स्थान इंटरपोलेशन के लिए वासरस्टीन बैरीसेंटर और इंटेंसिटी/लेबल ट्रांसफर के लिए ऑप्टिमल ट्रांसपोर्ट मैप्स को जोड़ता है।
उन्नत विविधता: यह विधि मौजूदा मिक्स-आधारित तरीकों की सीमाओं को स्पष्ट रूप से संबोधित करती है, जो केवल मौजूदा डेटा की कॉपी या सरल रोटेशन के बजाय विविध आकार और स्थान वाले लीजन उत्पन्न करती है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह विधि मानक मिक्स-आधारित ऑग्मेंटेशन तकनीकों की तुलना में डाउनस्ट्रीम सेगमेंटेशन कार्यों में बेहतर प्रदर्शन प्रदर्शित करती है।

प्रायोगिक परिणाम
लेखकों ने nnUNet बैकबोन का उपयोग करके तीन ब्रेन लीजन सेगमेंटेशन डेटासेट पर OTLesMix का मूल्यांकन किया:

BraTS 2020: ग्लियोब्लास्टोमा और लो-ग्रेड ग्लियोमा सेगमेंटेशन (2D स्लाइस)।
ATLAS v2.0: स्ट्रोक न्यूरोइमेजिंग (3D वॉल्यूम)।
ISLES 2022: इस्केमिक स्ट्रोक लीजन सेगमेंटेशन (3D वॉल्यूम)।

मात्रात्मक निष्कर्ष:

OTLesMix ने सभी डेटासेट्स पर स्टेट-ऑफ-द-आर्ट मिक्स-आधारित तरीकों (MixUp, CutMix, CarveMix) और बेसलाइन (केवल पारंपरिक डेटा ऑग्मेंटेशन के साथ nnUNet) को पछाड़ दिया।
बेसलाइन से सुधार: सिंथेटिक डेटा के बिना प्रशिक्षित मॉडलों की तुलना में डाइस सिमिलरिटी कोएफिशिएंट (DSC) में 2.9 से 6.6 अंक का सुधार हुआ।
प्रतिद्वंद्वियों से सुधार: OTLesMix ने दूसरे सबसे अच्छे तरीके की तुलना में DSC में 0.8 से 1.8 अंक की वृद्धि हासिल की।
सांख्यिकीय महत्व: अन्य जनरेटिव तरीकों की तुलना में सुधार सांख्यिकीय रूप से महत्वपूर्ण ( $p \le 0.05$ ) थे, जिसमें सबसे बड़ा p-वैल्यू 0.012 (ATLAS पर CarveMix के मुकाबले) था।

गुणात्मक निष्कर्ष:
विजुअल निरीक्षण ने पुष्टि की कि OTLesMix अन्य तरीकों की तुलना में आकार और स्थान में अधिक विविधता वाले लीजन उत्पन्न करता है। विधि ने मल्टी-क्लास सेगमेंटेशन (BraTS) और कई कनेक्टेड कंपोनेंट्स वाले लीजन (ATLAS, ISLES) को सफलतापूर्वक संभाला, इंटरपोलेटेड आकारों में निरंतरता बनाए रखी।

महत्व और सीमाएं
पेपर का दावा है कि OTLesMix मेडिकल इमेजिंग में डेटा की कमी वाले मामलों में डेटा ऑग्मेंटेशन के लिए एक मजबूत समाधान प्रदान करता है, जो मिक्सिंग विधियों की सरलता और पूर्ण जनरेटिव मॉडल को प्रशिक्षित करने की जटिलता के बीच एक मध्य मार्ग है। ऑप्टिमल ट्रांसपोर्ट का लाभ उठाकर, यह सुनिश्चित करता है कि सिंथेटिक नमूने अंडरलाइंग डेटा डिस्ट्रीब्यूशन के साथ ज्यामितीय और इंटेंसिटी-वार सुसंगत हैं।

हालाँकि, लेखक विशिष्ट सीमाओं को स्वीकार करते हैं:

कंप्यूटेशनल लागत: एक सिंगल सैंपल जनरेट करने में 2D इमेज के लिए लगभग 1 सेकंड और रेजोल्यूशन के आधार पर 3D वॉल्यूम के लिए 1-3 मिनट का समय लगता है।
यथार्थता संबंधी बाधाएं: यह विधि पिक्सेल इंटेंसिटी के लीनियर इंटरपोलेशन पर निर्भर करती है। यदि मिक्स करने के लिए उपयोग किए जाने वाले दो स्रोत इमेज के बीच महत्वपूर्ण डोमेन गैप (जैसे अलग-अलग स्कैनर या एक्विजिशन प्रोटोकॉल) है, तो यह अवास्तविक इनपेंटेड लीजन की ओर ले जा सकता है।
भविष्य की दिशा: लेखक सुझाव देते हैं कि भविष्य के कार्य सिंथेसाइज्ड इंटेंसिटी की यथार्थता को और बेहतर बनाने के लिए OTLesMix मास्क जनरेशन प्रक्रिया को मास्क-कंडीशन्ड डीप लर्निंग जनरेशन मॉडल्स के साथ जोड़ सकते हैं।

"परफेक्ट ब्लेंड" का जादू

OTLesMix कैसे काम करता है

क्या यह वास्तव में काम करता है?

कमी (The Catch)

OTLesMix का तकनीकी सारांश: सिंथेटिक लीजन जनरेशन के लिए वासरस्टीन बैरीसेंटर और ऑप्टिमल ट्रांसपोर्ट मैप

इसी तरह के और पेपर