Retrieval-Augmented Visual Prompting: Guiding Foundation Models in Two-Photon Imaging
यह शोध पत्र रिट्रीवल-ऑगमेंटेड विजुअल प्रॉम्प्टिंग (RAVP) को प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो SAM 3 जैसे फाउंडेशन मॉडल्स में रिट्रीव किए गए एनोटेटेड एग्ज़ेम्पलर्स को विजुअल प्रॉम्प्ट्स के रूप में इंजेक्ट करके टू-फोटॉन कैल्शियम इमेजिंग में ज़ीरो-शॉट न्यूरॉन डिटेक्शन और इंस्टेंस सेगमेंटेशन को बेहतर बनाता है, जो पारंपरिक फाइन-ट्यूनिंग के प्रभावी इन्फरेंस-टाइम विकल्प के रूप में कार्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक जीवित मस्तिष्क के भीतर की शांत, अंधेरी दुनिया में, वैज्ञानिक न्यूरॉन्स के सक्रिय होने को देखने के लिए एक शक्तिशाली सूक्ष्मदर्शी का उपयोग करते हैं। दो-फोटॉन कैल्शियम इमेजिंग (two-photon calcium imaging) के रूप में जानी जाने वाली यह तकनीक, अंधेरे बैकग्राउंड के बीच चमकीले, चमकते धब्बों के रूप में व्यक्तिगत मस्तिष्क कोशिकाओं की विद्युत गतिविधि को कैप्चर करती है। यह आधुनिक तंत्रिका विज्ञान (neuroscience) का एक आधार स्तंभ है, जो शोधकर्ताओं को यह देखने की अनुमति देता है कि कोशिकाओं के समूह मिलकर विचार और गति कैसे उत्पन्न करते हैं। हालाँकि, इन चमकते हुए वीडियो को उपयोगी डेटा में बदलना अविश्वसनीय रूप से कठिन है; छवियां अव्यवस्थित होती हैं; कुछ कोशिकाएं बहुत चमकती हैं जबकि अन्य धुंधली होती हैं, और कोशिकाओं का स्वरूप उस जानवर, मस्तिष्क की गहराई जहाँ से फिल्मिंग की जा रही है, या उपयोग किए गए विशिष्ट उपकरण के आधार पर नाटकीय रूप से बदल जाता है। इन कोशिकाओं का अध्ययन करने के लिए, वैज्ञानिकों को पहले प्रत्येक कोशिका के चारों ओर एक सटीक रूपरेखा खींचनी होती है, जो एक धीमा, महंगा और मानवीय त्रुटियों से भरा कार्य है। वर्षों से, यह आशा रही है कि कृत्रिम बुद्धिमत्ता (artificial intelligence) इसे स्वचालित रूप से करना सीख लेगी, लेकिन कोशिकाओं के दिखने के तरीके की अत्यधिक विविधता ने कंप्यूटर प्रोग्रामों के लिए एक प्रयोग से दूसरे प्रयोग में सामान्यीकरण (generalize) करना कठिन बना दिया है।
हाल ही में, कृत्रिम बुद्धिमत्ता के मॉडलों की एक नई पीढ़ी उभरी है जो बहुत कम निर्देश के साथ छवियों को समझ सकती है। इन्हें फाउंडेशन मॉडल (foundation models) कहा जाता है, और इन्हें रोजमर्रा की तस्वीरों के विशाल संग्रह पर प्रशिक्षित किया जाता है, जिससे वे हर एक विवरण सीखने की आवश्यकता के बिना आकृतियों और वस्तुओं को पहचानना सीख जाते हैं। एक ऐसा मॉडल, जिसे किसी भी छवि में किसी भी चीज़ को खंडित (segment) करने के लिए डिज़ाइन किया गया है, मेडिकल इमेजिंग में आशाजनक रहा है। फिर भी, जब शोधकर्ताओं ने इस शक्तिशाली उपकरण को सीधे मस्तिष्क कोशिकाओं के जटिल, बदलते संसार पर लागू करने की कोशिश की, तो यह संघर्ष करने लगा। बिल्लियों, कारों और पेड़ों पर प्रशिक्षित यह मॉडल, न्यूरॉन के सूक्ष्म, चमकते हुए धब्बों को स्वाभाविक रूप से नहीं समझ सका। इसे मदद की आवश्यकता थी, लेकिन कृत्रिम बुद्धिमत्ता की मदद करने का पारंपरिक तरीका इसे पुन: प्रशिक्षित (retrain) करना है, यानी इसे हजारों नए उदाहरण खिलाना जब तक कि यह नए नियम न सीख ले। यह प्रक्रिया धीमी है, इसके लिए लेबल किए गए डेटा की विशाल मात्रा की आवश्यकता होती है, और अक्सर यह मॉडल को दुनिया को देखने के एक विशिष्ट तरीके में बांध देती है, जिससे भविष्य के प्रयोगों के लिए इसकी लचीलापन कम हो जाता है।
इटली के कैटेनिया विश्वविद्यालय के शोधकर्ताओं ने एक अलग सवाल पूछा। कृत्रिम बुद्धिमत्ता के 'मस्तिष्क' को बदलने के बजाय, उन्होंने सोचा कि क्या वे उन 'आंखों' को बदल सकते हैं जिनसे वह देखती है। उन्होंने 'रिट्रीवल-ऑगमेंटेड विजुअल प्रॉम्प्टिंग' (Retrieval-Augmented Visual Prompting) नामक एक विधि प्रस्तावित की। कल्पना कीजिए कि आप अपने एक मित्र को एक विशिष्ट प्रकार के बादल के बारे में समझाने की कोशिश कर रहे हैं जिसने उसे पहले कभी नहीं देखा है। आप आकार और रंग को शब्दों के साथ समझाने की कोशिश कर सकते हैं, या आप बस उन्हें उस बादल की एक तस्वीर दिखा सकते हैं। शोधकर्ताओं ने महसूस किया कि कृत्रिम बुद्धिमत्ता को निर्देशित करने का सबसे अच्छा तरीका उसे एक तस्वीर दिखाना है। उन्होंने एक ऐसी प्रणाली बनाई जहाँ, मॉडल द्वारा एक नई मस्तिष्क छवि को देखने से पहले, उसे पहले से एनोटेट (annotated) की गई छवियों के पुस्तकालय से एक छोटा, सावधानीपूर्वक चुना गया न्यूरॉन का उदाहरण दिखाया जाता है। यह उदाहरण नई छवि के ठीक बगल में रखा जाता है, जो एक दृश्य संकेत (visual hint) के रूप में कार्य करता है। मॉडल को फिर उस उदाहरण में दिखने वाले अन्य सभी न्यूरॉन्स को खोजने के लिए कहा जाता है।
शोधकर्ताओं ने चूहों के मस्तिष्क रिकॉर्डिंग के एक विशाल सार्वजनिक डेटासेट पर इस विचार का परीक्षण किया। उन्होंने पाया कि केवल मॉडल को एक एकल, अच्छी तरह से चुना गया उदाहरण दिखाने से उसकी न्यूरॉन्स को खोजने और रूपरेखा बनाने की क्षमता में नाटकीय सुधार हुआ, भले ही मॉडल ने उस विशिष्ट प्रकार की मस्तिष्क रिकॉर्डिंग को पहले कभी न देखा हो। कुंजी केवल कोई भी उदाहरण दिखाना नहीं था, बल्कि सही उदाहरण दिखाना था। उन्होंने अपने पुस्तकालय से सबसे अच्छे उदाहरण को चुनने के लिए एक स्मार्ट तरीका विकसित किया, जिसमें उदाहरण की चमक और बनावट (texture) को विश्लेषण किए जा रहे विशिष्ट चित्र से मिलाया गया। जब उन्होंने इस पद्धति का उपयोग किया, तो मॉडल का प्रदर्शन काफी बढ़ गया, जिससे एक बिल्कुल नए, अप्रशिक्षित मॉडल और व्यापक रूप से पुन: प्रशिक्षित मॉडल के बीच का अंतर कम हो गया। वास्तव में, एक एकल, सटीक रूप से मेल खाने वाला उदाहरण दिखाना, एक साथ कई अलग-अलग उदाहरण दिखाने की तुलना में अधिक प्रभावी था। अध्ययन बताता है कि मस्तिष्क स्कैन जैसे विशिष्ट कार्यों के लिए, आगे बढ़ने का सबसे कुशल मार्ग कृत्रिम बुद्धिमत्ता को शून्य से फिर से बनाना नहीं है, बल्कि निर्णय लेने के समय में उसे सही दृश्य संदर्भ (visual context) देना है।
परिणाम विभिन्न प्रकार के मस्तिष्क रिकॉर्डिंग में स्पष्ट और सुसंगत थे। जब मॉडल को खुद अनुमान लगाने के लिए छोड़ दिया जाता था, तो वह अक्सर धुंधली कोशिकाओं को मिस कर देता था या अव्यवस्थित रूपरेखा बनाता था। लेकिन जब शोधकर्ताओं ने उसे अपने पुस्तकालय से एक प्रासंगिक उदाहरण प्रदान किया, तो मॉडल अचानक समझ गया कि उसे क्या खोजना है। वह उन धुंधली, मंद कोशिकाओं को खोजने में बहुत बेहतर हो गया जो आमतौर पर अनसुनी रह जाती हैं और आपस में जुड़ी हुई कोशिकाओं को अलग करने में भी सक्षम हुआ। शोधकर्ताओं ने यह भी खोजा कि उदाहरण चुनने का विशिष्ट तरीका मायने रखता था। एक रैंडम उदाहरण ने मदद की, लेकिन एक ऐसा उदाहरण जो नए चित्र की विशिष्ट स्थितियों से मेल खाने के लिए चुना गया था, उसने और भी अधिक मदद की। उन्होंने एक छोटा, हल्का कंप्यूटर प्रोग्राम प्रशिक्षित किया जो एक 'सेलेक्टर' (selector) के रूप में कार्य करता है, जो यह अनुमान लगाने में सीखता कि दिए गए चित्र के लिए कौन सा उदाहरण सबसे उपयोगी होगा। इस सेलेक्टर ने मुख्य कृत्रिम बुद्धिमत्ता मॉडल की मूल सेटिंग्स को बदले बिना, तुरंत नई स्थितियों के अनुकूल होने की अनुमति दी।
यह दृष्टिकोण कृत्रिम बुद्धिमत्ता को पुन: प्रशिक्षित करने की मानक पद्धति के मुकाबले एक सम्मोहक विकल्प प्रदान करता है। पुन: प्रशिक्षण के लिए महत्वपूर्ण कंप्यूटिंग शक्ति और समय की आवश्यकता होती है, और यह अक्सर एक ऐसा मॉडल बनाता है जो एक विशिष्ट कार्य के लिए तो उत्कृष्ट होता है लेकिन अन्य कार्यों को करने की क्षमता खो देता है। नई विधि मूल मॉडल को अपरिवर्तित और स्थिर (frozen) रखती है, जिससे उसके सामान्य ज्ञान को सुरक्षित रखते हुए सरल दृश्य संकेतों के माध्यम से उसे नए, कठिन कार्यों के अनुकूल बनाया जा सकता है। शोधकर्ताओं ने पाया कि इस पद्धति ने पूर्ण पुन: प्रशिक्षण से प्राप्त होने वाले प्रदर्शन लाभों का एक बड़ा हिस्सा हासिल कर लिया, लेकिन बहुत कम लागत पर। यह सुझाव देता है कि जिन क्षेत्रों में डेटा दुर्लभ है और स्थितियाँ बहुत भिन्न होती हैं, वहां कृत्रिम बुद्धिमत्ता का भविष्य मशीन को नए तथ्य सिखाने में कम, बल्कि उसे सही लेंस के माध्यम से दुनिया को देखना सिखाने में अधिक हो सकता है। इनपुट में सीधे 'विजुअल मेमोरी' को इंजेक्ट करके, शोधकर्ताओं ने दिखाया है कि एक फाउंडेशन मॉडल को पैरामीटर अनुकूलन (parameter adaptation) के भारी बोझ के बिना विशेषज्ञ-स्तरीय बायोमेडिकल इमेजिंग कार्यों को करने के लिए निर्देशित किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।