RadJEPA: Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture
RadJEPA एक स्व-पर्यवेक्षित (self-supervised) फ्रेमवर्क है जो भाषा पर्यवेक्षण के बिना मास्क किए गए इमेज क्षेत्रों के लेटेंट रिप्रेजेंटेशन्स (latent representations) की भविष्यवाणी करके चेस्ट एक्स-रे के लिए मजबूत रेडियोलॉजी एनकोडर्स सीखता है, जिससे कई डाउनस्ट्रीम मेडिकल कार्यों में अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को चेस्ट एक्स-रे (छाती के एक्स-रे) समझना सिखाने की कोशिश कर रहे हैं। आमतौर पर, कंप्यूटर को चित्र सिखाने का सबसे अच्छा तरीका यह होता है कि उसे एक तस्वीर दिखाई जाए और फिर डॉक्टर की रिपोर्ट ज़ोर से पढ़ी जाए, जैसे, "यह निमोनिया है," या "यह हृदय बड़ा है।" यह एक बच्चे को कुत्ते की तस्वीर दिखाकर उसे "कुत्ता" बताने जैसा है।
हालाँकि, इस शोध पत्र के लेखक, RadJEPA, तर्क देते हैं कि इस तरीके में एक दोष है। डॉक्टरों की रिपोर्ट इंसानों द्वारा त्वरित निर्णय लेने के लिए लिखी जाती है; वे अक्सर सूक्ष्म विवरणों या सूक्ष्म बदलावों को छोड़ देते हैं क्योंकि वे तत्काल निदान के लिए प्रासंगिक नहीं होते हैं। यदि आप कंप्यूटर को केवल वही सिखाते हैं जो डॉक्टर कहते हैं, तो कंप्यूटर उन सूक्ष्म दृश्य संकेतों को मिस कर सकता है जो वास्तव में वहां मौजूद हैं।
इसलिए, टीम ने पूछा: क्या हम डॉक्टर की एक भी शब्द की रिपोर्ट पढ़े बिना कंप्यूटर को एक्स-रे समझना सिखा सकते हैं?
नया दृष्टिकोण: "खाली स्थान भरें" वाला खेल
टेक्स्ट (पाठ) का उपयोग करने के बजाय, RadJEPA एक विधि का उपयोग करता है जिसे जॉइंट एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA) कहा जाता है। इसे एक उच्च-दांव वाले "खाली स्थान भरें" (Fill-in-the-Blank) या पहेली के खेल के रूप में सोचें, लेकिन यह कागज के बजाय कंप्यूटर के "दिमाग" में खेला जाता है।
- सेटअप: कंप्यूटर एक चेस्ट एक्स-रे देखता है।
- मास्क (छिपाना): कंप्यूटर इमेज के एक यादृच्छिक हिस्से को छिपा देता है (मास्क कर देता है), जैसे कि एक्स-रे के किसी हिस्से पर टेप लगा देना।
- अनुमान: कंप्यूटर दिखाई देने वाले हिस्सों (स्वस्थ फेफड़े, पसलियां, हृदय) को देखता है और अनुमान लगाने की कोशिश करता है कि छिपा हुआ हिस्सा कैसा दिखता होगा।
- ट्विस्ट: यह चित्र को पिक्सेल-दर-पिक्सेल फिर से बनाने की कोशिश नहीं करता (एक फोटोकॉपी मशीन की तरह)। इसके बजाय, यह उस छिपे हुए हिस्से के "सार" या "अर्थ" का अनुमान लगाने की कोशिश करता है। यह पूछता है, "बाकी शरीर के आधार पर, इस छिपे हुए स्थान में क्या होना चाहिए?"
यदि कंप्यूटर सही ढंग से "सार" का अनुमान लगा लेता है, तो वह सीखता है। यदि वह गलत अनुमान लगाता है, तो वह अपनी आंतरिक समझ को समायोजित करता है। समय के साथ, हजारों एक्स-रे पर लाखों बार यह खेल खेलकर, कंप्यूटर शरीर रचना विज्ञान (anatomy) और बीमारी की एक गहरी, सहज समझ विकसित करता है, बिना यह जाने कि उसने क्या देखा है।
यह पुराने तरीकों से बेहतर क्यों है
यह शोध पत्र RadJEPA की तुलना दो अन्य लोकप्रिय तरीकों से करता है जिनसे कंप्यूटर को सिखाया जाता है:
- "टेक्स्ट-टीचर" (विज़न-लैंग्वेज मॉडल्स): ये डॉक्टरों की रिपोर्टों पर निर्भर करते हैं। जैसा कि उल्लेख किया गया है, रिपोर्ट पक्षपाती या अधूरी हो सकती हैं। RadJEPA टेक्स्ट को पूरी तरह से अनदेखा करता है, जिससे कंप्यूटर को स्वयं इमेज से सीखने के लिए मजबूर किया जाता है।
- "मिरर-टीचर" (सेल्फ-डिस्टिलेशन/DINO): ये विधियाँ कंप्यूटर को एक ही इमेज को अलग-अलग तरीकों से (क्रॉप करके, पलटकर, ब्राइटनेस बदलकर) दिखाती हैं और बताती हैं कि "ये सभी एक ही चित्र हैं।" कंप्यूटर इन बदलावों को अनदेखा करना सीख जाता है। लेखक तर्क देते हैं कि यह कंप्यूटर को इमेज के 'लुक' पर ध्यान केंद्रित करने के बजाय उसके 'अर्थ' पर ध्यान केंद्रित करने से रोकता है। RadJEPA, छिपे हुए हिस्सों की भविष्यवाणी करके, कंप्यूटर को शरीर के अंगों के बीच 'संरचना' और 'संबंधों' को समझने के लिए मजबूर करता है।
परिणाम: एक स्मार्ट, छोटा मॉडल
टीम ने अपने नए "खाली स्थान भरें" वाले शिक्षक (RadJEPA) का परीक्षण तीन कठिन कार्यों पर किया:
- रोगों का निदान: क्या यह बता सकता है कि मरीज को निमोनिया है या हृदय बड़ा है?
- सीमाएं खींचना: क्या यह फेफड़े या पसली के चारों ओर एक रेखा खींच सकता है ताकि उसे बाकी शरीर से अलग किया जा सके?
- रिपोर्ट लिखना: क्या यह इमेज के आधार पर मेडिकल रिपोर्ट लिखने में भाषा मॉडल (language model) की मदद कर सकता है?
चौंकाने वाला निष्कर्ष: RadJEका मौजूदा "चैंपियंस" (मौजूदा सर्वोत्तम मॉडल) को इन सभी कार्यों में हरा दिया।
इससे भी अधिक प्रभावशाली बात यह है कि RadJEPA ने यह सब अपने प्रतिस्पर्धियों की तुलना में बहुत छोटे आकार में हासिल किया। कल्पना कीजिए कि एक छोटा, अत्यधिक प्रशिक्षित जासूस एक बड़े, धीमे चलने वाले नौकरशाही तंत्र से बेहतर मामला सुलझा रहा है। जहाँ अन्य मॉडलों को सीखने के लिए भारी मात्रा में कंप्यूटिंग पावर और डेटा की आवश्यकता थी, वहीं RadJEPA ने अधिक कुशलता से सीखा क्योंकि इसके "खाली स्थान भरें" वाले तरीके ने इसे सिखाया कि किन चीजों को देखना सही है।
मुख्य निष्कर्ष
यह शोध पत्र दावा करता है कि मेडिकल AI बनाने के लिए आपको एक्स-रे को टेक्स्ट के साथ जोड़ने की आवश्यकता नहीं है। केवल AI को इमेज के गायब हिस्सों की भविष्यवाणी करने के लिए कहकर, आप एक ऐसा "रेडियोलॉजी एनकोडर" बना सकते हैं जो मानव शरीर की दृश्य भाषा को टेक्स्ट पर प्रशिक्षित मॉडलों की तुलना में बेहतर समझता है। लेखकों ने अपने कोड और प्रशिक्षित मॉडल को दूसरों के उपयोग और सत्यापन के लिए उपलब्ध करा दिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।