DualDiT: A Conditional Dual-Output Diffusion Transformer for Joint OCT Image and Segmentation Mask Generation

कल्पना कीजिए कि आप एक रोबोट को स्ट्रॉबेरी जैसे किसी विशिष्ट फल को पहचानना सिखाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल स्ट्रॉबेरी की तीन तस्वीरें हैं और सेबों की हजारों तस्वीरें हैं। रोबोट भ्रमित हो जाएगा, यह सोचकर कि हर लाल फल एक सेब है। यह चिकित्सा विज्ञान में एक बहुत बड़ी समस्या है, जहाँ डॉक्टरों को बीमारियों को पहचानने के लिए कंप्यूटर को प्रशिक्षित करने के लिए हजारों लेबल वाली छवियों की आवश्यकता होती है, लेकिन उन छवियों को प्राप्त करना कठिन, महंगा और कभी-कभी असंभव होता है क्योंकि मरीज़ दुर्लभ होते हैं या डेटा निजी होता है। इसे ठीक करने के लिए, वैज्ञानिक "जेनरेटिव एआई" (generative AI) का उपयोग करते हैं, जो एक प्रकार का कंप्यूटर प्रोग्राम है जो एक अत्यंत रचनात्मक कलाकार की तरह कार्य करता है। मौजूदा चित्रों की नकल करने के बजाय, यह चीजों के दिखने के नियमों को सीखता है और फिर बिल्कुल नए, नकली चित्र बनाता है जो इतने वास्तविक दिखते हैं कि वे एक इंसान को भी धोखा दे सकते हैं। लेकिन यहाँ पेचीदा हिस्सा यह है कि यदि एआई एक नकली स्ट्रॉबेरी बनाता है, तो उसे बीजों के स्थान को दर्शाने वाला एक सटीक मानचित्र भी बनाना होगा। यदि मानचित्र फल से मेल नहीं खाता है, तो उससे सीखने वाला रोबोट और भी अधिक भ्रमित हो जाएगा।

यह ठीक वही चुनौती है जिसका सामना शोधकर्ताओं ने ओसीटी (OCT - Optical Coherence Tomography) नामक एक विशेष प्रकार के नेत्र स्कैन के साथ किया था। ये स्कैन रेटिना के अत्यंत विस्तृत क्रॉस-सेक्शन की तरह होते हैं, जो आँख के पिछले हिस्से की प्रकाश-संवेदनशील परत है। डॉक्टर बीमारियों का पता लगाने के लिए इनका उपयोग करते हैं, लेकिन इन स्कैन के भीतर की सूक्ष्म परतों को हाथ से लेबल करने में विशेषज्ञों को घंटों का काम लगता है, जिससे उनके पास कंप्यूटर को सिखाने के लिए बहुत कम उदाहरण बचते हैं। आप जिस शोध पत्र को पढ़ने जा रहे हैं वह DualDiT नामक एक नए, चतुर एआई कलाकार से परिचित कराता है। DualDiT को केवल एक चित्रकार के रूप में नहीं, बल्कि एक "दोहरी तलवार चलाने वाले" (dual-wielding) जादूगर के रूप में सोचें, जिसके एक हाथ में चित्र के लिए ब्रश है और दूसरे हाथ में मानचित्र के लिए एक स्टेंसिल है। पुराने एआई मॉडल जो चित्र और मानचित्र को अलग-अलग बनाने की कोशिश करते थे (जिसके परिणामस्वरूप अक्सर गड़बड़ी और बेमेल परिणाम मिलते थे), उनके विपरीत DualDiT दोनों को एक ही समय में बनाना सीखता है, यह सुनिश्चित करता है कि नकली नेत्र स्कैन में परतें नकली मानचित्र के साथ पूरी तरह से संरेखित हों। शोधकर्ताओं ने इसका परीक्षण चूहों की आँखों के छोटे, संरक्षित नमूनों पर किया, जो मानव नेत्र रोगों के अध्ययन के लिए महत्वपूर्ण हैं लेकिन स्कैन करने और लेबल करने में अत्यंत कठिन होते हैं।

दोहरी आउटपुट देने वाले कलाकार का जादू

इस अध्ययन के पीछे की टीम, जिसका नेतृत्व फर्नांडो गार्सिया-टोरेस और सहयोगियों ने किया, चुहों के नेत्र स्कैन के लिए "डेटा की कमी" की समस्या को हल करना चाहती थी। उन्होंने DualDiT (कंडीशनल डुअल-आउटपुट डिफ्यूजन ट्रांसफॉर्मर) नामक एक नया एआई मॉडल बनाया। यह समझने के लिए कि यह क्यों विशेष है, कल्पना करें कि आप एक बच्चे को घर बनाना सिखा रहे हैं। यदि आप उन्हें एक घर का चित्र और छत का एक अलग चित्र दिखाते हैं, तो वे शायद एक ऐसा घर बनाएंगे जिसकी छत हवा में तैर रही हो। पुराने एआई मॉडल कुछ हद तक वैसे ही काम करते थे, जो चित्र और "मास्क" (महत्वपूर्ण हिस्सों की रूपरेखा) को अलग-अलग या अनाड़ी तरीके से बनाने की कोशिश करते थे।

हालाँकि, DualDiT एक ऐसे बच्चे की तरह है जो घर और छत दोनों को एक साथ बनाना सीखता है, यह समझते हुए कि छत को दीवारों पर ही बैठना चाहिए। शोधकर्ताओं ने इस एआई को चूहों के रेटिना के एक डेटासेट पर प्रशिक्षित किया था जिसे दो अलग-अलग तरीकों से संरक्षित किया गया था: एक समूह को तरल (फिजियोलॉजिकल) माध्यम में रखा गया था, और दूसरे को कठोर राल (रेसिन) में समाहित किया गया था। ये दो विधियाँ थोड़ी अलग दिखती हैं, जैसे पानी में मछली की फोटो लेना बनाम प्लेट पर मछली की फोटो लेना। एआई को इन अंतरों को पहचानने और विशिष्ट शैली (तरल या राल) के अनुरूप नए, नकली स्कैन बनाने के लिए सिखाया गया था।

परिणाम: विशेषज्ञों को चकमा देना

टीम ने अपने नए एआई का परीक्षण दो पुराने, अधिक पारंपरिक तरीकों के विरुद्ध किया: एक जो सीधे कच्चे पिक्सेल पर काम करता था (जिसे DDPM कहा जाता है) और दूसरा जो एक संकुचित "लेटेंट" स्पेस में काम करता था (जिसे LDM कहा जाता है)। उन्होंने FID (फ्रैचेट इनसेप्शन डिस्टेंस) नामक एक स्कोर का उपयोग करके यह मापा कि नकली चित्र कितने वास्तविक थे, जहाँ कम संख्या का अर्थ है कि नकली चित्र वास्तविक चित्रों के अधिक समान हैं।

परिणाम स्पष्ट थे: DualDiT विजेता था।

• DualDiT ने 56.14 का FID स्कोर और 114.35 का स्थानिक FID (sFID) प्राप्त किया।
• पुराने DDPM मॉडल का स्कोर 164.55 (FID) और 254.52 (sFID) था।
• LDM मॉडल का स्कोर 102.21 (FID) और 150.66 (sFID) था।

सरल शब्दों में, DualDiT के नकली चित्र अन्य मॉडलों की तुलना में वास्तविक चीज़ों के बहुत करीब थे। पुराने मॉडल अक्सर गलतियाँ करते थे, जैसे धुंधली परतें बनाना या ऐसी "भ्रम की स्थिति" (hallucinations) पैदा करना जहाँ रेटिना एक ऐसे आकार जैसा दिखता था जो उसे नहीं होना चाहिए था। हालाँकि, DualDiT ने तीक्ष्ण, विस्तृत चित्र बनाए जो बिल्कुल असली चूहे की आँखों की तरह दिखे, जिसमें वे सूक्ष्म कण और बनावट भी शामिल थे जो उन्हें प्रामाणिक बनाते हैं।

लेकिन असली परीक्षण केवल यह नहीं था कि चित्र कितने सुंदर थे; बल्कि यह था कि क्या वे वास्तव में एक कंप्यूटर को बेहतर ढंग से सीखने में मदद कर सकते हैं। शोधकर्ताओं ने रेटिनल परतों को सेगमेंट (रेखांकित) करने के लिए एक नया कंप्यूटर प्रोग्राम प्रशिक्षित करने हेतु DualDiT द्वारा उत्पन्न नकली छवियों का उपयोग किया।

• जब उन्होंने केवल वास्तविक डेटा का उपयोग किया, तो कंप्यूटर का स्कोर 0.908 (डाइस स्कोर) था।
• जब उन्होंने प्रशिक्षण में नकली DualDiT छवियों को जोड़ा, तो स्कोर बढ़कर 0.927 हो गया।
• पुराने मॉडलों ने वास्तव में चीज़ों को बिगाड़ दिया या बहुत कम मदद की; उदाहरण के लिए, DDPM मॉडल ने राल-युक्त (resin-embedded) नमूनों के मामले में कंप्यूटर के प्रदर्शन को गिरा दिया।

मानवीय परीक्षण: क्या आप नकली को पहचान सकते हैं?

यह देखने के लिए कि नकली चित्र वास्तव में कितने विश्वसनीय थे, शोधकर्ताओं ने उन्हें तीन मानव विशेषज्ञों को दिखाया। विशेषज्ञों को वास्तविक और नकली छवियों के मिश्रण को देखने और यह अनुमान लगाने के लिए कहा गया कि कौन सी कौन सी है। परिणाम आश्चर्यजनक थे: विशेषज्ञों ने नकली छवियों को वास्तविक बताने में 46% बार गलती की। उन्होंने वास्तविक छवियों को नकली के रूप में भी 42% बार गलत पहचाना। इससे पता चलता है कि DualDiT ने इतने वास्तविक चित्र बनाए कि प्रशिक्षित आँखें भी अंतर करने में सक्षम नहीं थीं।

इसका क्या अर्थ है (और क्या नहीं है)

शोध पत्र सुझाव देता है कि DualDiT चिकित्सा एआई के लिए एक शक्तिशाली नया उपकरण है, जो तब उपयोगी होता है जब वास्तविक डेटा की कमी होती है। यह सिद्ध करता है कि एक ट्रांसफॉर्मर-आधारित आर्किटेक्चर (एआई का एक प्रकार जो लंबी दूरी के संबंधों को समझने के लिए जाना जाता है) का उपयोग करना, चित्र और मानचित्र दोनों को एक साथ उत्पन्न करने के इस विशिष्ट कार्य के लिए पुराने U-Net आधारित तरीकों की तुलना में बेहतर है।

हालाँकि, लेखक सावधानी बरतते हुए कहते हुए कि यह अभी तक कोई जादुई समाधान नहीं है। यह अध्ययन एक अपेक्षाकृत छोटे डेटासेट (10 चूहों के लगभग 340 स्कैन किए गए स्लाइस) पर किया गया था, और चित्र एक विशिष्ट रिज़ॉल्यूशन (512 × 256 पिक्सेल) के थे। हालाँकि परिणाम आशाजनक हैं, लेखक कहते हैं कि यह सुनिश्चित करने के लिए कि यह सभी प्रकार के नेत्र स्कैन के लिए काम करता है, बड़े डेटासेट पर अधिक परीक्षण की आवश्यकता है। वे यह भी उल्लेख करते हैं कि वर्तमान सेटअप के लिए महत्वपूर्ण कंप्यूटिंग शक्ति की आवश्यकता होती है, जो कुछ क्लीनिकों के लिए एक बाधा हो सकती है।

संक्षेप में, DualDiT एक अत्यधिक कुशल "दोहरी तलवार चलाने वाला" कलाकार है जो नकली चूहे की आँखों के स्कैन और उनके मिलान वाले मानचित्र इतने अच्छे से बना सकता है कि वे विशेषज्ञों को भी चकमा दे देते हैं और कंप्यूटर को तेज़ी से सीखने में मदद करते हैं। यह सुझाव देता है कि एआई को चित्र और उनके लेबल एक साथ बनाना सिखाकर, हम चिकित्सा एआई की सबसे बड़ी बाधा को पार कर सकते है: लेबल किए गए डेटा की कमी। लेकिन किसी भी नए उपकरण की तरह, इसे वास्तविक रोगियों का निदान करने के लिए भरोसेमंद बनने से पहले और अधिक अभ्यास और बड़े परीक्षणों की आवश्यकता है।