Modern Computer Vision from CNNs to Foundation Models: A Unified Framework for Representation Learning

कल्पना कीजिए कि आप एक रोबोट को दुनिया देखना सिखाने की कोशिश कर रहे हैं। लंबे समय तक, इसे करने का सबसे अच्छा तरीका रोबोट को बहुत विशिष्ट, कठोर नियमों का एक सेट देना था, जैसे कि एक शेफ स्टेप-बाय-स्टेप रेसिपी का पालन करता है। लेकिन दुनिया अव्यवस्थित, रंगीन और आश्चर्यों से भरी है। हाल ही में, वैज्ञानिकों ने "फाउंडेशन मॉडल्स" बनाने की कोशिश की है—विशाल, सुपर-स्मार्ट दिमाग जो केवल एक रेसिपी का पालन नहीं करते बल्कि लाखों तस्वीरों का अध्ययन करके यह सीखते हैं कि चीजें कैसी दिखती हैं, ठीक वैसे ही जैसे एक बच्चा आसपास देखकर सीखता है। ये मॉडल अब इतने शक्तिशाली हो गए हैं कि वे न केवल एक फोटो में बिल्ली की पहचान कर सकते हैं, बल्कि उसका वर्णन भी कर सकते हैं, उसे शून्य से बना (ड्रॉ) सकते हैं, या यहाँ तक कि यह भी समझ सकते हैं कि उसकी आवाज़ कैसी है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या ये सभी अलग-अलग प्रकार के स्मार्ट रोबोट वास्तव में एक ही चीज़ के विभिन्न संस्करण हैं? क्या वे सभी दुनिया का एक ही तरह का आंतरिक "मानचित्र" (मैप) बनाने की कोशिश कर रहे हैं, बस वहां तक पहुँचने के लिए अलग-अलग उपकरणों का उपयोग कर रहे हैं?

यह शोध पत्र, जिसे शोधकर्ताओं की एक टीम ने लिखा है, कंप्यूटर विज़न के इस तेजी से बदलते परिदृश्य के लिए एक भव्य टूर गाइड की तरह कार्य करता है। विभिन्न प्रकार के AI को अलग-अलग जनजातियों के रूप में देखने के बजाय, लेखक एक "एकीकृत ढांचे" (यूनिफाइड फ्रेमवर्क) का प्रस्ताव देते हैं। वे सुझाव देते हैं कि चाहे कोई मॉडल पुराने जमाने के कनवल्शनल लेयर्स (जो छवि के छोटे हिस्सों को देखते हैं) का उपयोग करता हो, आधुनिक "ट्रांसफॉर्मर्स" (जो पूरी तस्वीर को एक साथ देखते हैं) का, या जेनेरेटिव मॉडल्स (जो नई छवियां बनाते हैं), वे सभी मौलिक रूप से एक ही काम कर रहे हैं: दुनिया के एक छिपे हुए "लेटेंट रिप्रेजेंटेशन" (latent representation) का निर्माण और हेरफेर करना। इस रिप्रेजेंटेशन को एक गुप्त, संकुचित भाषा के रूप में सोचें जिसका उपयोग AI वास्तविकता को समझने के लिए करता है। पेपर का तर्क है कि चीजों को पहचानने वाले मॉडल्स, उनके बारे में बात करने वाले मॉडल्स, और उन्हें बनाने वाले मॉडल्स के बीच की सीमाएं धुंधली होती जा रही हैं। वे सभी एक एकल, अधिक सामान्य-उद्देश्य वाली बुद्धिमत्ता की ओर बढ़ रहे हैं जो धारणा (perception), तर्क (reasoning) और सृजन (creation) को एक साथ संभाल सकती है।

रोबोट की आँखों का विकास

हम कहाँ हैं यह समझने के लिए, हमें यह देखना होगा कि रोबोट की "आँखें" कैसे बदली हैं। एक दशक से अधिक समय तक, प्रमुख उपकरण कनवल्शनल न्यूरल नेटवर्क (CNN) था। आप एक CNN को एक छोटे, स्थानीय जासूस की तरह समझ सकते हैं। इसके पास एक छोटा आवर्धक लेंस (फिल्टर) होता है जिसे यह एक छवि पर घुमाता है, जिससे यह किनारों या कोनों जैसे सरल पैटर्न की तलाश करता है। यह इस स्थानीय कार्य के लिए बहुत अच्छा है और कम डेटा से सीखने में माहिर है क्योंकि इसमें दुनिया के काम करने के तरीके के बारे में अंतर्निहित नियम (इंडक्टिव बायस) होते हैं, जैसे कि "वस्तुओं के हिस्से आमतौर पर पास में होते हैं।" हालाँकि, इस जासूस की एक कमी है: इसे छवि में दूर स्थित चीजों के बीच संबंध जोड़ने में कठिनाई होती है। यह कुत्ते के कान और कुत्ते की पूंछ को देख सकता है लेकिन यदि वे फोटो के विपरीत दिशाओं में हैं, तो यह समझने में विफल हो सकता है कि वे एक ही कुत्ते के अंग हैं।

फिर विज़न ट्रांसफार्मर (ViT) आया। यदि CNN एक स्थानीय जासूस है, तो ViT एक वैश्विक गॉसिप (global gossip) है। इमेज को छोटे टुकड़ों (पैचेस) में तोड़ने के बजाय, यह हर टुकड़े को एक ही समय में दूसरे टुकड़े से बात करने देता है। यह "सेल्फ-अैटेंशन" नामक तंत्र के माध्यम से किया जाता है। अचानक, रोबोट एक बार में पूरी तस्वीर देख सकता है। यह कान और पूंछ को तुरंत जोड़ सकता है, चाहे वे कितनी भी दूर क्यों न हों। इसने AI को अविश्वसनीय रूप से शक्तिशाली बना दिया, लेकिन इसकी एक कीमत भी थी: ये "गॉसिप" मॉडल बहुत भूखे होते हैं। उन्हें सीखने के लिए भारी मात्रा में डेटा की आवश्यकता होती है क्योंकि उनके पास CNNs की तरह अंतर्निहित नियम नहीं होते; उन्हें दुनिया के नियमों को शुरुआत से समझना पड़ता है।

महान अभिसरण: उपकरणों का मिश्रण

पेपर एक दिलचस्प प्रवृत्ति को उजागर करता है: दोनों दृष्टिकोण आपस में मिलने लगे हैं। शोधकर्ताओं ने महसूस किया कि स्थानीय जासूस और वैश्विक गॉसिप दोनों के पास ऐसी ताकतें हैं जो दूसरे में नहीं हैं। इसलिए, उन्होंने हाइब्रिड आर्किटेक्चर बनाना शुरू कर दिया। कल्पना कीजिए कि एक टीम है जहाँ स्थानीय जासूस शुरुआती स्कैनिंग करके किनारों को ढूंढता है, और फिर वैश्विक गॉसिप पूरे दृश्य को समझने के लिए कार्यभार संभाल लेता है। CoAtNet और MaxViT जैसे मॉडल बिल्कुल यही करते हैं। वे विवरणों को कुशलतापूर्वक प्राप्त करने के लिए कनवल्शनल लेयर्स का उपयोग करते हैं और फिर बड़े दृश्य को समझने के लिए अटेंशन मैकेनिज्म पर स्विच करते हैं। पेपर का सुझाव है कि यह केवल एक यादृच्छिक मिश्रण नहीं है; यह दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त करने के लिए एक आवश्यक विकास है: CNNs की डेटा दक्षता और ट्रांसफॉर्मर्स की शक्तिशाली तर्क क्षमता।

"फाउंडेशन" मस्तिष्क का उदय

पेपर में वर्णित अगली बड़ी छलांग फाउंडेशन मॉडल्स की ओर बढ़ना है। ये AI की दुनिया के "सुपर-ब्रेन" हैं। केवल बिल्ली को पहचानने के लिए रोबोट को प्रशिक्षित करने के बजाय, वैज्ञानिकों ने उन्हें बिना किसी लेबल के अरबों छवियों पर प्रशिक्षित करना शुरू कर दिया (सेल्फ-सुपरवाइज्ड लर्निंग)। DINO और DINOv2 इसके उदाहरण हैं। वे केवल चित्रों को देखकर दुनिया की संरचना को समझना सीखते हैं। यदि आप उन्हें सामने से और फिर बगल से बिल्ली की तस्वीर दिखाते हैं, तो वे सीख जाते हैं कि ये एक ही वस्तु हैं, भले ही कोई उन्हें यह न बताए कि "वह एक बिल्ली है।"

पेपर बताता है कि ये मॉडल विजुअल रिप्रेजेंटेशन को समझने में इतने अच्छे हो रहे हैं कि इनका उपयोग लगभग किसी भी चीज़ के लिए किया जा सकता है। उदाहरण के लिए, DINOv3, एक छवि का इतना विस्तृत मानचित्र बनाता है कि आप इसका उपयोग किसी वस्तु के विशिष्ट भागों को खोजने या विभिन्न फोटो में समान वस्तुओं का मिलान करने के लिए कर सकते हैं, और इसके लिए किसी विशिष्ट प्रशिक्षण की आवश्यकता नहीं होती है। यह ऐसा है जैसे रोबोट ने दृष्टि की "व्याकरण" सीख ली है, ताकि वह किसी भी "बोली" (कार्य) को बोल सके जिसे आप उससे कहें।

बोलना और बनाना: मल्टीमॉडल और जेनेरेटिव मॉडल्स

कहानी और भी रोमांचक हो जाती है जब ये विजुअल मस्तिष्क बोलना और बनाना शुरू करते हैं। CLIP और ImageBind जैसे मल्टीमॉडल मॉडल्स दृश्य दुनिया को शब्दों और ध्वनियों की दुनिया से जोड़ते हैं। CLIP छवियों को टेक्स्ट विवरणों के साथ मिलाने के लिए सीखता है। यह रोबोट को यह सिखाने जैसा है कि "सूर्यास्त" की तस्वीर और शब्द "सूर्यास्त" एक ही चीज़ हैं। ImageBind इसे और आगे ले जाता है, छवियों को ऑडियो, डेप्थ और यहाँ तक कि मोशन सेंसर से जोड़ता है, जिससे एक साझा स्थान बनता है जहाँ ये सभी अलग-अलग इंद्रियाँ एक साथ रहती हैं।

फिर जेनेरेटिव मॉडल्स आते हैं, विशेष रूप से डिफ्यूजन मॉडल्स। ये कलाकार हैं। वे केवल एक तस्वीर को पहचानते नहीं हैं; वे एक रचना करते हैं। वे रैंडम स्टैटिक (शोर/नॉइज़) से भरे कैनवास के साथ शुरू करते हैं और धीरे-धीरे, स्टेप-बाय-स्टेप, शोर को हटाकर एक स्पष्ट छवि प्रकट करते हैं। पेपर नोट करता है कि ये मॉडल अब उन्हीं "ट्रांसफॉर्मर" दिमागों का उपयोग कर रहे हैं जिनका उपयोग पहचान के लिए किया जाता था। डिफ्यूजन ट्रांसफॉर्मर्स (DiT) पुराने कनवल्शनल कलाकारों को नए ग्लोबल गॉसिप दिमागों से बदल देते हैं, जिससे आर्ट जनरेशन तेज़ और अधिक सुसंगत हो जाता है। रेक्टिफाइड फ्लो (Rectified Flow) जैसी नई विधियाँ इस प्रक्रिया को और भी अधिक सीधा बनाने की कोशिश कर रही हैं, जो धीमी, शोर भरी यात्रा को एक सीधी, सुचारू रेखा में बदल देती है।

बड़ी तस्वीर: एक एकीकृत भाषा

इस पेपर का मुख्य निष्कर्ष यह है कि ये सभी अलग-अलग दृष्टिकोण—CNNs, ट्रांसफॉर्मर्स, सेल्फ-सुपरवाइज्ड लर्निंग, मल्टीमॉडल सिस्टम और जेनेरेटिव आर्ट—अलग-अलग द्वीप नहीं हैं। वे सभी दृष्टि के बारे में सोचने के एक एकल, एकीकृत तरीके की ओर बढ़ रहे हैं। लेखक तर्क देते हैं कि हमें उन्हें अलग-अलग उपकरणों के रूप में देखना बंद कर देना चाहिए और उन्हें एक लेटेंट रिप्रेजेंटेशन बनाने और उपयोग करने के विभिन्न तरीकों के रूप में देखना शुरू करना चाहिए।

इस लेटेंट रिप्रेजेंटेशन को एक गुप्त, संकुचित भाषा के रूप में सोचें जिसका उपयोग AI दुनिया का वर्णन करने के लिए करता है।

• CNNs इस भाषा को स्थानीय नियमों का उपयोग करके बनाते हैं।
• Transformers इसे तब बनाते हैं जब सब कुछ एक-दूसरे से बात करता है।
• Foundation Models इस भाषा को इंटरनेट के पूरे पुस्तकालय को पढ़कर सीखते हैं।
• Generative Models इस भाषा का उपयोग नई कहानियाँ (छवियाँ) लिखने के लिए करते हैं।

पेपर का सुझाव है कि कंप्यूटर विज़न का भविष्य किसी एक विजेता को चुनने के बारे में नहीं है। इसके बजाय, यह सामान्य-उद्देश्य वाली विजुअल इंटेलिजेंस (General-Purpose Visual Intelligence) बनाने के बारे में है। ये भविष्य के सिस्टम एक ही ढांचे के भीतर देख सकेंगे, समझ सकेंगे, बात कर सकेंगे और निर्माण कर सकेंगे। वे एक फोटो को देख पाएंगे, समझा पाएंगे कि क्या हो रहा है, उसके बारे में सवालों के जवाब दे पाएंगे, और यहाँ तक कि उसका एक नया संस्करण भी बना पाएंगे, क्योंकि वे दुनिया को समझने के लिए एक ही अंतर्निहित "मस्तिष्क" साझा करते हैं।

आगे का रास्ता: चुनौतियाँ और सपने

हालांकि पेपर इस अभिसरण को लेकर आशावादी है, लेकिन यह यह भी बताता है कि हम अभी वहां नहीं पहुंचे हैं। अभी भी कुछ बड़ी बाधाएं हैं।

• दक्षता (Efficiency): ये विशाल मॉडल कंप्यूटिंग पावर के भूखे हैं। इन्हें छोटे उपकरणों (जैसे फोन या रोबोट) पर चलाना अभी भी एक चुनौती है।
• विश्वास और सुरक्षा: चूंकि ये मॉडल इतने जटिल हैं, इसलिए यह जानना कठिन है कि वे कुछ निर्णय क्यों लेते हैं। यदि कोई मेडिकल AI कहता है कि किसी मरीज को बीमारी है, तो हमें यह जानने की जरूरत है कि क्या वह सही है या वह केवल अनुमान लगा रहा है। पेपर "विश्वसनीय तैनाती" (trustworthy deployment) की आवश्यकता पर जोर देता है, जिसका अर्थ है ऐसे मॉडल जो विश्वसनीय हों और स्वयं को स्पष्ट कर सकें।
• डेटा: इन मॉडल्स को बहुत बड़ी मात्रा में उच्च-गुणवत्ता वाले डेटा की आवश्यकता होती है। इंटरनेट से सब कुछ कॉपी किए बिना पर्याप्त अच्छा डेटा खोजना एक बढ़ती हुई समस्या है।

निष्कर्षतः, यह पेपर एक ऐसे क्षेत्र की तस्वीर पेश करता है जो परिपक्व हो रहा है। हम एकल कार्यों (जैसे केवल कारों को गिनना) के लिए विशिष्ट रोबोट बनाने से हटकर सार्वभौमिक विजुअल असिस्टेंट बनाने की ओर बढ़ रहे हैं जो सीख सकते हैं, तर्क दे सकते हैं और निर्माण कर सकते हैं। उपकरण बदल रहे हैं, लेकिन लक्ष्य स्पष्ट होता जा रहा है: ऐसी मशीनें बनाना जो दुनिया को केवल पिक्सेल के संग्रह के रूप में नहीं, बल्कि एक समृद्ध, परस्पर जुड़ी वास्तविकता के रूप में देखती हैं जिसे वे समझ और जिसके साथ वे बातचीत कर सकती हैं।