Self-supervision drives representational convergence in medical foundation models more than clinical supervision
यह अध्ययन प्रकट करता है कि मेडिकल फाउंडेशन मॉडल्स में रिप्रजेंटेशनल कन्वर्जेंस (प्रतिनिधित्व अभिसरण) मुख्य रूप से क्लिनिकल सुपरविजन या मॉडल स्केल के बजाय सेल्फ-सुपरवाइज्ड प्रीट्रेनिंग ऑब्जेक्टिव्स द्वारा संचालित होता है, जिसके परिणामस्वरूप मामूली अलाइनमेंट प्राप्त होता है जो क्रॉस-एनकोडर ट्रांसफर लर्निंग का समर्थन तो करता है लेकिन क्लिनिकल जजमेंट या सिमेंटिक सिमिलरिटी को पूरी तरह से पकड़ने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप बहुत अलग-अलग तरह के रोबोट्स को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। आप उन सभी को एक ही काम देते हैं: मेडिकल स्कैन की तस्वीरें देखें और जो वे देखते हैं उसका वर्णन करें। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक लोकप्रिय विचार है जिसे "प्लेटोनिक रिप्रेजेंटेशन हाइपोथीसिस" (Platonic Representation Hypothesis) कहा जाता है। इसे इस तरह समझें: यदि आप पर्याप्त डेटा पर पर्याप्त रोबोट्स को प्रशिक्षित करते हैं, तो वे सभी अंततः बिल्कुल एक ही तरह से सोचना शुरू कर देने चाहिए। उन्हें वास्तविकता का एक समान आंतरिक मानचित्र बनाना चाहिए, जहाँ रोबोट A के लिए एक "टूटी हुई हड्डी" वैसी ही दिखे जैसी रोबोट B के लिए दिखती है, चाहे उन्हें किसने बनाया हो या उन्होंने विशेष रूप से क्या सबक सीखे हों। यह विचार रोमांचक है क्योंकि यदि सभी मेडिकल AI मॉडल इस एकल, पूर्ण मानचित्र पर अभिसरित (converge) हो गए, तो डॉक्टर अपने उपकरणों को खराब किए बिना उन्हें बैटरी की तरह बदल सकेंगे। लेकिन क्या वास्तव में ऐसा हो रहा है? क्या ये डिजिटल मस्तिष्क वास्तव में इस बात पर सहमत हैं कि एक बीमारी कैसी दिखती है, या वे केवल एक ही भाषा की अलग-अलग बोलियाँ बोल रहे हैं?
शोधकर्ताओं की एक टीम ने इस विचार का परीक्षण करने का निर्णय लिया। उन्होंने एक विशाल, नियंत्रित प्रयोग किया। उन्होंने विभिन्न लैब और कंपनियों से 18 अलग-अलग "इमेज एनकोडर्स" (AI के वे हिस्से जो तस्वीरों को देखते हैं) और 7 "टेक्स्ट एनकोडर्स" (रिपोर्ट पढ़ने वाले हिस्से) एकत्र किए। ये मॉडल 7 मिलियन पैरामीटर्स वाले छोटे मॉडलों से लेकर 27 बिलियन पैरामीटर्स वाले दिग्गजों तक फैले हुए थे। शोधकर्ताओं ने केवल उनकी तुलना नहीं की; उन्होंने उनका विच्छेदन (dissect) भी किया। उन्होंने नए मॉडल प्रशिक्षित किए जो हर तरह से समान थे, सिवाय एक चीज़ के: वह लक्ष्य जिसे वे प्राप्त करने की कोशिश कर रहे थे। कुछ को "सेल्फ-सुपरविजन" (केवल छवियों से पैटर्न सीखना) के साथ प्रशिक्षित किया गया था, कुछ को "क्लिनिकल सुपरविजन" (डॉक्टरों के लेबल से सीखना) के साथ, और कुछ को "इमेज-टेक्स्ट" पेयरिंग (तस्वीरों को रिपोर्ट के साथ मिलाना) के साथ।
यहाँ मोड़ यह है: शोधकर्ताओं ने पाया कि एक सार्वभौमिक, साझा मानचित्र का विचार काफी हद तक एक मिथक है, लेकिन इसके बजाय एक बहुत ही विशिष्ट प्रकार की वास्तविकता मौजूद है। उन्होंने पाया कि सेल्फ-सुपरवाइज्ड लर्निंग (छवियों से स्वयं सीखना) वह असली गोंद है जो इन मॉडलों को एक-दूसरे के साथ सहमत बनाती है। वास्तव में, प्रशिक्षण में डॉक्टर के लेबल को जोड़ने से मॉडल अपने साथियों के प्रति कम समान हो गए, अधिक नहीं। वे मॉडल जिन्हें बिना किसी विशिष्ट लेबल के केवल "देखने और सीखने" के लिए प्रशिक्षित किया गया था, वे विशिष्ट मेडिकल लेबल के साथ प्रशिक्षित मॉडलों (केवल लगभग 21%) की तुलना में बहुत बेहतर ढंग से संरेखित (align) हुए (चेस्ट एक्स-रे में लगभग 40% समानता)।
हालाँकि, यह सहमति मामूली है और इसकी सख्त सीमाएँ हैं। यह केवल तभी होता है जब चित्रों का प्रकार एक जैसा हो (एक्स-रे, एक्स-रे के साथ सहमत होते हैं, लेकिन त्वचा की तस्वीरों के साथ नहीं)। यह केवल इसलिए बेहतर नहीं होता क्योंकि मॉडल बड़ा या स्मार्ट हो जाता है; एक विशाल 27-बिलियन-पैरामीटर वाला मॉडल छोटे मॉडल की तुलना में अधिक संरेखित (aligned) नहीं होता है। सबसे आश्चर्यजनक बात यह है कि ये इमेज मॉडल और मेडिकल रिपोर्ट पढ़ने वाले टेक्स्ट मॉडल आपस में कोई साझा मानचित्र नहीं रखते हैं। उनकी आंतरिक भाषाएँ पूरी तरह से अलग हैं, और जैसे-जैसे आप उन्हें अधिक डेटा खिलाते हैं, वे वास्तव में एक-दूसरे से और दूर होते जाते हैं।
इन सीमाओं के बावजूद, एक उम्मीद की किरण भी है। भले ही मॉडल एक पूर्ण, साझा ज्यामिति (geometry) पर सहमत नहीं हैं, फिर भी वे व्यावहारिक कार्यों के लिए "काफी अच्छे" हैं। शोधकर्ताओं ने दिखाया कि एक मॉडल पर प्रशिक्षित नैदानिक उपकरण (diagnostic tool) को पूरी तरह से अलग मॉडल पर स्थानांतरित किया जा सकता है और वह अभी भी अपनी मूल सटीकता के लगभग 85% के साथ काम कर सकता है। यह एक शहर के दो अलग-अलग मानचित्रों के समान है जो बिल्कुल एक जैसे नहीं दिखते, लेकिन यदि आप लैंडमार्क को पहचानना जानते हैं, तो आप बिना रास्ता भटके बिंदु A से बिंदु B तक जा सकते हैं। अध्ययन निष्कर्ष निकालता है कि हमें केवल आकार के माध्यम से AI मॉडलों के जादुई रूप से एक पूर्ण मस्तिष्क में अभिसरित होने का इंतजार नहीं करना चाहिए; इसके बजाय, हमें उन्हें सही प्रशिक्षण लक्ष्यों के साथ डिजाइन करने की आवश्यकता है ताकि वे कम से कम तब एक-दूसरे से बात कर सकें जब इसकी सबसे अधिक आवश्यकता हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।