Visual Instruction Pretraining for Domain-Specific Foundation Models
यह शोध पत्र विज़ुअल इंस्ट्रक्शन प्रीट्रेनिंग (ViTP) को प्रस्तुत करता है, जो एक नया प्रतिमान (पैराडाइम) है जो एक विज़न-लैंग्वेज मॉडल के भीतर विज़न ट्रांसफार्मर के एंड-टू-एंड प्रीट्रेनिंग के माध्यम से लो-लेवल पर्सेप्चुअल फीचर्स को बेहतर बनाने के लिए हाई-लेवल रीजनिंग का लाभ उठाता है, जिससे विविध रिमोट सेंसिंग और मेडिकल इमेजिंग बेंचमार्क में अत्याधुनिक (स्टेट-ऑफ-द-आर्ट) प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बच्चे को एक बिखरे हुए कमरे में वस्तुओं को पहचानना सिखा रहे हैं।
पुराना तरीका (बॉटम-अप/नीचे से ऊपर की ओर):
पारंपरिक रूप से, कंप्यूटर विजन मॉडल एक ऐसे रोबोट की तरह सीखते हैं जो केवल फर्श को देखता है। वह एक लाल आकार देखता है, फिर एक नीला आकार, फिर एक हरा आकार। वह धीरे-धीरे इन छोटे-छोटे टुकड़ों की जानकारी को एक साथ जोड़ता है, इस उम्मीद में कि अंततः उसे समझ आएगा, "ओह, वह लाल आकार एक फायर ट्रक है।" यह एक धीमी, बॉटम-अप प्रक्रिया है: विवरण देखें अर्थ का अनुमान लगाएं।
नया तरीका (टॉप-डाउन/ऊपर से नीचे की ओर):
यह पेपर, ViTP, सुझाव देता है कि मानव दृष्टि अलग तरह से काम करती है। जब आप उसी बिखरे हुए कमरे को देखते हैं, तो आपका मस्तिष्क केवल आकारों को घूरता नहीं है। आपका मस्तिष्क आपकी समझ का उपयोग करके आपकी आँखों को निर्देशित करता है। यदि कोई आपसे पूछे, "फायर ट्रक कहाँ है?", तो आपका मस्तिष्क तुरंत जानता है कि एक फायर ट्रक कैसा दिखता है, इसलिए वह लाल खिलौना कार को अनदेखा कर देता है और पहियों वाले उस बड़े लाल ऑब्जेक्ट पर ध्यान केंद्रित करता है। यह एक टॉप-डाउन प्रक्रिया है: लक्ष्य को समझें आँखों को निर्देशित करें।
मुख्य विचार: "प्रश्नों के साथ सिखाना"
लेखकों ने महसूस किया कि जबकि AI "रोबोट" शैली के सीखने में बहुत अच्छा है, लेकिन यह "मानव" शैली में बहुत खराब है जहाँ समझ, धारणा (perception) में मदद करती है।
उन्होंने विजुअल इंस्ट्रक्शन प्रीट्रेनिंग (ViTP) नामक एक नई प्रशिक्षण विधि बनाई। इसे इस तरह सोचें:
सिर्फ AI को एक तस्वीर दिखाकर यह कहने के बजाय कि "यह एक तस्वीर है," वे उसे एक तस्वीर दिखाते हैं और एक विशिष्ट प्रश्न पूछते हैं, जैसे: "लाल हवाई जहाज और सबसे बड़े हवाई जहाज के बगल वाली कार को खोजें।"
AI को छवि को देखना होगा, प्रश्न को समझना होगा, और सही स्थानों की ओर इशारा करना होगा। उत्तर सही पाने के लिए, AI की "आँखों" (विज़न ट्रांसफार्मर) को यह सीखने के लिए मजबूर किया जाता है कि उस विशिष्ट प्रश्न के लिए कौन से विवरण महत्वपूर्ण हैं। यह एक शिक्षक की तरह है जो छात्र का ध्यान निर्देशित कर रहा है: "यहाँ देखो, वहाँ नहीं।"
गुप्त मंत्र: "आँखों पर पट्टी वाला खेल"
पेपर एक चतुर तकनीक पेश करता है जिसे विजुअल रोबस्टनेस लर्निंग (VRL) कहा जाता है।
कल्पना कीजिए कि आप एक खराब फोन कनेक्शन पर अपने दोस्त को एक पेंटिंग का वर्णन करने की कोशिश कर रहे हैं जहाँ सिग्नल बार-बार टूट रहा है। आप उन्हें छवि के केवल 25% पिक्सेल ही भेज सकते हैं।
- चुनौती: आपको केवल उन कुछ बिखरे हुए पिक्सेल का उपयोग करके पूरे दृश्य का वर्णन करना होगा।
- परिणाम: आप मजबूर हैं कि आप जो भी थोड़े बहुत पिक्सेल भेजते हैं, उनमें से हर एक को सार्थक बनाएं। आपको प्रत्येक छोटे डेटा टुकड़े में अधिक से अधिक अर्थ भरने की आवश्यकता है।
पेपर में, AI के उत्तर देने से पहले वे रैंडम तरीके से छवि के 75% डेटा को "ड्रॉप" (हटा) देते हैं। यह AI को कंप्रेशन और कॉन्टेक्स्ट (संदर्भ) का उस्ताद बनने के लिए मजबूर करता है। यह बहुत कम जानकारी से छवि की एक अत्यंत मजबूत, सुदृढ़ समझ बनाने में माहिर हो जाता है। यह AI को धुंधली, शोर वाली या अजीब छवियों (जैसे मेडिकल स्कैन या सैटेलाइट फोटो) को संभालने में अविश्वसनीय रूप से सक्षम बनाता है।
यह क्यों मायने रखता है?
लेखकों ने इसका परीक्षण दो बहुत कठिन क्षेत्रों में किया:
- रिमोट सेंसिंग (सैटेलाइट फोटोग्राफी): अंतरिक्ष से समुद्र में छोटे जहाजों को खोजना या पार्किंग लॉट में कारों की गिनती करना।
- मेडिकल इमेजिंग (एक्स-रे और एमआरआई): एक जटिल शरीर के स्कैन में एक छोटे ट्यूमर या विशिष्ट अंग का पता लगाना।
दोनों ही मामलों में, पुराने "रोबोट" तरीके संघर्ष करते रहे क्योंकि उनकी छवियां अजीब, शोर भरी और सूक्ष्म विवरणों से भरी होती हैं। लेकिन ViTP विधि, जो सीखने के लिए "प्रश्नों" का उपयोग करती है और इसे मजबूत बनाने के लिए "आँखों पर पट्टी वाले खेल" का उपयोग करती है, ने प्रतियोगिता को पछाड़ दिया।
उपमा सारांश (Analogy Summary)
- पुराना AI: एक जासूस जो फर्श पर धूल के हर एक कण को देखता है, इस उम्मीद में कि कोई सुराग मिल जाए, बिना यह जाने कि अपराध क्या हुआ था।
- ViTP AI: एक जासूस जिसे बताया गया है, "चुराया हुआ हीरा खोजो," और वह तुरंत जानता है कि उसे क्या खोजना है, वह धूल को अनदेखा करता है और उन सुरागों पर ध्यान केंद्रित करता है जो मायने रखते हैं।
- आँखों पर पट्टी (VRL): जासूस को केवल आधे सबूतों के साथ मामला सुलझाने के लिए मजबूर किया जाता है, जो उन्हें अविश्वसनीय रूप से तेज और कुशल बनाता है।
निष्कर्ष
यह पेपर साबित करता है कि यदि आप चाहते हैं कि एक AI इंसान की तरह दुनिया को देखे, तो आपको केवल उसे तस्वीरें खिलानी नहीं चाहिए। आपको उससे बात करनी चाहिए। उससे प्रश्न पूछकर और उत्तर खोजने के लिए मजबूर करके, आप उसकी "आँखों" को मानवीय समझ के साथ दुनिया को देखना सिखाते हैं। और सबसे अच्छी बात? उन्होंने यह पिछले तरीकों की तुलना में तेजी से और कम खर्च में किया, जिससे चिकित्सा और अंतरिक्ष अन्वेषण में AI की दिशा में एक बड़ा कदम उठाया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।