Meta-Representational Predictive Coding: Neuroscience-Informed Self-Supervised Learning
यह शोध पत्र मेटा-रिप्रजेंटेशनल प्रेडिक्टिव कोडिंग (MPC) प्रस्तुत करता है, जो एक तंत्रिका विज्ञान-प्रेरित स्व-पर्यवेक्षित शिक्षण ढांचा है जो बैकप्रोपैगेशन या कच्चे इनपुट जेनेरेटिव मॉडलिंग पर निर्भर हुए बिना, सक्रिय अनुमान और समानांतर स्ट्रीम प्रतिनिधित्व भविष्यवाणी का लाभ उठाकर जैविक रूप से प्रशंसनीय, एनकोडर-ओनली लर्निंग प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: पढ़ने के बजाय एक नज़र देख कर सीखना
कल्पना कीजिए कि आप यह सीखने की कोशिश कर रहे हैं कि बिल्ली कैसी दिखती है।
- पुराना तरीका (पारंपरिक AI): आप एक बिल्ली की विशाल, हाई-रेज़ोल्यूशन फोटो को देखते रहते हैं, और एक साथ हर एक पिक्सेल (फर, मूंछें, बैकग्राउंड) को याद करने की कोशिश करते हैं। सीखने के लिए, कंप्यूटर को यह अनुमान लगाना पड़ता है कि पूरी तस्वीर कैसी दिखती है, उसमें गलती करता है, और फिर अपनी गलतियों को सुधारने के लिए एक जटिल, गणितीय रूप से भारी "बैकट्रैकिंग" विधि का उपयोग करता है। यह एक भाषा को शब्दकोश को उल्टा पढ़कर सीखने की कोशिश करने जैसा है।
- नया तरीका (इस पेपर का MPC): इसके बजाय कल्पना करें कि आपके पास ऐसी आँखें हैं जो केवल आपकी दृष्टि के केंद्र में एक छोटा, स्पष्ट घेरा (एक स्पॉटलाइट की तरह) देख सकती हैं, जबकि बाकी का दृश्य धुंधला है। आप एक बार में पूरी बिल्ली नहीं देख सकते। इसलिए, आप अपने कान, फिर पूंछ, फिर पंजों को देखने के लिए अपनी आँखों को तेजी से घुमाते हैं (सैकेड्स/saccades)। आप पिक्सेल को याद करने की कोशिश नहीं करते; बल्कि आप अनुमान लगाने की कोशिश करते हैं: "अगर मैं कानों को देख रहा हूँ, तो धुंधला बैकग्राउंड कैसा होना चाहिए? अगर मैं पूंछ को देख रहा हूँ, तो कान कैसे दिखने चाहिए?"
यह पेपर मेटा-रिप्रेजेंटेशनल प्रेडिक्टिव कोडिंग (MPC) नामक एक नई शिक्षण प्रणाली पेश करता है। इसे कंप्यूटर को यह सिखाने के लिए डिज़ाइन किया गया है कि वे जैविक मस्तिष्क की तरह कैसे सीखें: दुनिया की त्वरित "झलकियां" (glimpses) लेकर और यह अनुमान लगाकर कि उन झलकियों के विभिन्न हिस्से एक-दूसरे से कैसे संबंधित हैं, बिना किसी शिक्षक की आवश्यकता के।
मूल समस्या: वर्तमान AI "अप्राकृतिक" क्यों है
लेखक बताते हैं कि अधिकांश आधुनिक AI कैसे सीखते हैं, इसमें दो मुख्य समस्याएं हैं:
- इसे एक शिक्षक की आवश्यकता होती है: अधिकांश AI को डेटा को लेबल करने के लिए मनुष्यों की आवश्यकता होती है (जैसे, "यह एक बिल्ली है," "यह एक कुत्ता है")।
- यह "जादुई" गणित का उपयोग करता है: सीखने के लिए, यह "बैकप्रोपैगेशन" नामक एक विधि का उपयोग करता है, जिसके लिए नेटवर्क के माध्यम से त्रुटि संकेतों (error signals) को वापस भेजना आवश्यक होता है। जैविक रूप से, मानव मस्तिष्क के न्यूरॉन्स के पास इस तरह पीछे की ओर संकेत भेजने का कोई तरीका नहीं होता है। यह एक छात्र की तरह है जो कमरे के पीछे से उत्तर कुंजी देखकर अपने गणित के टेस्ट को ठीक करने की कोशिश कर रहा है, जो वास्तव में असंभव है।
समाधान: "फ्लैशलाइट" मस्तिष्क
लेखक एक ऐसी प्रणाली का प्रस्ताव करते हैं जो इस बात से प्रेरित है कि हमारी आँखें और मस्तिष्क वास्तव में कैसे काम करते हैं।
1. दृष्टि के तीन "स्ट्रीम" (Streams)
हमारी आँखों में एक हाई-रेज़ोल्यूशन केंद्र (फोविया) और एक धुंधला परिधि (periphery) होता है। MPC मॉडल इसे अपने "मस्तिष्क" को तीन समानांतर स्ट्रीम में विभाजित करके दोहराता है:
- फोवियल स्ट्रीम (Foveal Stream): छोटे, स्पष्ट, उच्च-विवरण वाले पैच को देखती है (जैसे बिल्ली की आँख का क्लोज-अप)।
- पैराफोवियल स्ट्रीम (Parafoveal Stream): मध्यम आकार के, थोड़े धुंधले पैच को देखती है।
- पेरिफेरल स्ट्रीम (Peripheral Stream): बड़े, बहुत धुंधले, कम-विवरण वाले पैच को देखती है (जैसे वह पूरा कमरा जिसमें बिल्ली है)।
2. "अनुमान लगाने का खेल" (मेटा-रिप्रेजेंटेशन)
पूरी छवि को फिर से बनाने (reconstruct) की कोशिश करने के बजाय (जो कठिन और गणनात्मक रूप से महंगा है), ये तीन स्ट्रीम एक-दूसरे के साथ अनुमान लगाने का खेल खेलती हैं।
- उपमा: कल्पना कीजिए कि तीन जासूस एक ही अपराध स्थल को अलग-अलग कोणों से देख रहे हैं। जासूस A (फोविया) एक स्पष्ट सुराग देखता है। जासूस B (पेरिफेरल) कमरे की धुंधली रूपरेखा देखता है।
- सीखना: जासूस A अपने सुराग के आधार पर यह अनुमान लगाने की कोशिश करता है कि जासूस B क्या देख रहा है। जासूस B यह अनुमान लगाने की कोशिश करता है कि जासूस A उसे क्या देख रहा है।
- परिणाम: उन्हें यह जानने की ज़रूरत नहीं है कि "अपराध" (लेबल) क्या है। उन्हें बस यह ज़रूरत है कि उनके आंतरिक अनुमान आपस में मेल खाएं। यदि उनके अनुमान गलत होते हैं, तो वे स्थानीय स्तर पर अपने "सिनैप्स" (कनेक्शन) को समायोजित करते हैं। इसी तरह वे बिना किसी शिक्षक के पैटर्न पहचानना सीखते हैं।
3. "सक्रिय खोजकर्ता" (Saccades)
यह मॉडल केवल एक स्थिर छवि को घूरता नहीं है। इसके पास एक "आँख" है जो चलती है।
- उपमा: एक भूलभुलैया (maze) में घूमने वाले चूहे के बारे में सोचें। वह एक साथ पूरी भूलभुलैया नहीं देख पाता। वह कुछ कदम चलता है, एक कोने को सूंघता है, और फिर अगले स्थान पर दौड़ जाता है।
- तंत्र: मॉडल यह तय करने के लिए कि आगे कहाँ देखना है, एक "सैकेड प्लानर" (एक रिफ्लेक्स सिस्टम) का उपयोग करता है। यह उन क्षेत्रों को देखता है जो भ्रमित करने वाले हैं या जिनमें उच्च "आश्चर्य" (उच्च त्रुटि) है। यदि इसे एक धुंधला पैच दिखता है जिसे यह समझा नहीं सकता, तो यह उस विशिष्ट स्थान पर स्पष्ट नज़र पाने के लिए अपनी "आँख" को वहां ले जाता है। इसे सक्रिय धारणा (active perception) कहा जाता है।
व्यवहार में यह कैसे काम करता है
शोधकर्ताओं ने इस प्रणाली का परीक्षण हस्तलिखित संख्याओं (MNIST), जापानी पात्रों (K-MNIST), और 3D खिलौना वस्तुओं (NORB) की छवियों पर किया।
- प्रक्रिया: मॉडल एक छवि की झलकियों (जैसे 15 से 60 त्वरित नज़र) को लेता है।
- सीखना: हर झलक के साथ, विभिन्न स्ट्रीम (स्पष्ट बनाम धुंधली) एक-दूसरे के आंतरिक अनुमानों को अपडेट करती हैं।
- परिणाम: छवि को देखने के बाद, मॉडल जो उसने देखा उसका एक एकल "समरी कोड" (लेटेंट रिप्रेजेंटेशन) बनाता है।
- परीक्षण: इसके बाद उन्होंने एक साधारण क्लासिफायर से उस समरी कोड को देखने और वस्तु का अनुमान लगाने के लिए कहा।
परिणाम
- यह काम करता है: मॉडल ने वस्तुओं को पहचानने में बहुत अच्छा प्रदर्शन किया, और लगभग उतना ही प्रदर्शन किया जितना कि शीर्ष-स्तरीय AI जो मानव लेबल और "अप्राकृतिक" गणित का उपयोग करते हैं।
- यह कुशल है: इसने बहुत कम उदाहरणों के साथ भी अच्छी तरह से सीखा (सैंपल एफिशिएंसी)।
- यह सामान्यीकरण (Generalizes) करता है: यदि मॉडल ने जापानी पात्रों पर सीखा है, तो वह बिना पुन: प्रशिक्षित हुए अंग्रेजी नंबरों को पहचान सकता है। इसने केवल विशिष्ट पात्रों को ही नहीं, बल्कि स्ट्रोक के आकार को सीखा है।
- "नकारात्मक" उदाहरणों की आवश्यकता नहीं: कई आधुनिक AI विधियों के विपरीत जिन्हें सीखने के लिए "अच्छे" उदाहरणों की तुलना "बुरे" उदाहरणों से करने की आवश्यकता होती है, यह प्रणाली केवल अपने स्वयं के आंतरिक स्ट्रीम की आपस में तुलना करती है।
सारांश
यह पेपर AI के सीखने के एक नए तरीके को प्रस्तुत करता है जो जैविक मस्तिष्क के बहुत करीब है। हर पिक्सेल को याद करने या शिक्षक द्वारा सुधार किए जाने पर निर्भर रहने के बजाय, यह प्रणाली एक "फ्लैशलाइट" दृष्टिकोण का उपयोग करती है: यह एक छवि के विभिन्न हिस्सों पर त्वरित, सक्रिय नज़र डालती है और अपनी हाई-रेज़ॉल्यूशन और लो-रेज़ॉल्यूशन विजन स्ट्रीम के बीच "एक दूसरा हिस्सा कैसा दिख रहा होगा" का अनुमान लगाने का खेल खेलती है। यह इसे केवल स्व-पर्यवेक्षित शिक्षण (self-supervised learning) का उपयोग करके, बिना किसी मानव लेबल या जैविक रूप से असंभव गणित के, दुनिया की समझ विकसित करने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।