Emergent Hierarchical Monosemantic Neurons from the Group-Contrastive Forward-Forward Algorithm

AI मस्तिष्क की गुप्त भाषा

कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट बनाया है, लेकिन वह शुद्ध गणित की भाषा में बोलता है। आप उससे एक बिल्ली को पहचानने के लिए कह सकते हैं, और वह इसे पूरी तरह से करता है, लेकिन यदि आप उससे पूछते हैं कि वह कैसे जानता है कि यह एक बिल्ली है, तो वह संख्याओं की एक दीवार के साथ बस आपको घूरता रह जाता है। यह आधुनिक आर्टिफिशियल इंटेलिजेंस का केंद्रीय रहस्य है: हमारे पास शक्तिशाली मॉडल हैं, लेकिन हम वास्तव में उनके अंदर चल रहे "विचारों" को नहीं समझते हैं। लंबे समय तक, वैज्ञानिकों ने AI के मस्तिष्क को एक विशाल, अव्यव्यस्त शब्दकोश की तरह मानकर इस कोड को तोड़ने की कोशिश की। उन्होंने माना कि AI द्वारा जाना जाने वाला हर विचार उस शब्दकोश में केवल एक अकेली पंक्ति है, और यदि वे बस सही पंक्तियों को खोज सकें, तो वे AI के मन को पढ़ सकते हैं।

हालाँकि, उस शब्दकोश वाले विचार के साथ एक समस्या है। वास्तविक मस्तिष्क—जैसे आपके सिर में या एक कुत्ते का—अव्यवस्थित, स्तरित (layered) होते हैं और ऐसे कनेक्शनों से भरे होते हैं जो सीधी, साफ रेखाओं में फिट नहीं होते। जैविक मस्तिष्क में एक एकल न्यूरॉन "मेरी माँ" के लिए सक्रिय हो सकता है, लेकिन यह "एक गर्म आलिंगन" या "कुकीज़ की खुशबू" के लिए भी सक्रिय हो सकता है। ये विचार जटिल, गैर-रेखीय (non-linear) तरीकों से आपस में मिले हुए हैं। यदि हम AI को केवल सीधी रेखाओं में बोलने के लिए मजबूर करते हैं, तो हम उसके सोचने के सबसे दिलचस्प हिस्सों को चूक सकते हैं। इसलिए, एक नया प्रश्न उभरा है: क्या हम ऐसे AI लर्निंग मेथड्स बना सकते हैं जो एक वास्तविक मस्तिष्क की तरह काम करें, जहाँ न्यूरॉन्स स्वाभाविक रूप से विचारों के एक पदानुक्रम (hierarchy) में खुद को व्यवस्थित करते हैं, सरल आकृतियों से लेकर जटिल अवधारणाओं तक, बिना हमें उन्हें सरल होने के लिए मजबूर किए?

पेपर का बड़ा विचार: AI को सिखाने का एक नया तरीका

यह पेपर ग्रुप-कॉन्ट्रास्टिव फॉरवर्ड-फॉरवर्ड (GCFF) नामक एक नई विधि पेश करता है। इसे एक नए तरीके के रूप में सोचें जिससे AI को प्रशिक्षित किया जाता है जो पुराने "शब्दकोश" दृष्टिकोण को छोड़ देता है और इसके बजाय इस बात की नकल करने की कोशिश करता है कि जैविक मस्तिष्क कैसे सीखते हैं। लेखक सुझाव देते हैं कि AI को 'स्पार्स' (sparse) बनाने के लिए मजबूर करने के बजाय (यानी, अधिकांश न्यूरॉन्स को शांत रहने के लिए कहना ताकि केवल कुछ ही बोलें), हमें AI की संरचना को भारी काम करने देना चाहिए। वे एक ऐसी प्रणाली का प्रस्ताव करते हैं जहाँ न्यूरॉन्स को विशिष्ट "समूहों" (groups) में व्यवस्थित किया जाता है, प्रत्येक को एक व्यापक श्रेणी सौंपी जाती है, जैसे कि "जानवर" या "वाहन"।

व्यावहार में यह कैसे काम करता है: कल्पना कीजिए कि आपके पास छात्रों (न्यूरॉन्स) की एक कक्षा है। पुराने तरीके में, आप हर छात्र को सब कुछ सुनने के लिए कहेंगे और फिर बाद में महत्वपूर्ण हिस्सों को चुनने की कोशिश करेंगे। इस नए GCFF तरीके में, आप प्रत्येक छात्र को एक विशिष्ट क्लब में असाइन करते हैं। एक क्लब केवल कुत्तों के बारे में बात करता है, दूसरा केवल कारों के बारे में। जब शिक्षक एक गोल्डन रिट्रीवर की तस्वीर दिखाता है, तो केवल "डॉग क्लब" ही बोलने का अवसर पाता है। लेकिन यहाँ एक मोड़ है: डॉग क्लब के छात्रों को केवल यह नहीं बताया जाता कि "वह एक कुत्ता है।" उन्हें दो अलग-अलग कुत्ते दिखाए जाते हैं और कहा जाता है, "इन दोनों में क्या समान है, यह खोजो!" फिर उन्हें एक कुत्ता और एक कार दिखाई जाती है और कहा जाता है, "इन्हें एक दूसरे से भ्रमित न करें।" न्यूरॉन्स को केवल अपने विशिष्ट समूह के भीतर की चीजों पर ध्यान केंद्रित करने और अपने समूह के भीतर चीजों की तुलना करने के लिए मजबूर करके, वे स्वाभाविक रूप से सूक्ष्म अंतरों को सीखना शुरू कर देते हैं।

सबसे रोमांचक खोज यह है कि यह विधि एक प्राकृतिक पदानुक्रम (natural hierarchy) बनाती है। जैसे-जैसे आप इस नए AI मॉड्यूल की परतों में गहराई तक जाते हैं, न्यूरॉन्स अधिक अमूर्त (abstract) चीजों के बारे में बात करना शुरू कर देते हैं। पहली परत विशिष्ट वस्तुओं को पहचानना सीख सकती है, जैसे कि "कप" या "जूता"। अगली परत ऊपर उन चीजों को कार्यात्मक विचारों में समूहित कर सकती है, जैसे कि "चीजें जिन्हें आप पकड़ते हैं" या "फास्टनिंग डिवाइस"। शीर्ष परत पृष्ठभूमि के वातावरण के बारे में भी सीख सकती है, जैसे कि "पानी की सतहें" या "बाहरी दृश्य", चाहे फोरग्राउंड में कोई भी वस्तु हो। लेखकों ने पाया कि यह सब अपने आप हुआ, बिना किसी के AI को यह बताए कि, "हे, लेयर 3 बैकग्राउंड के बारे में होनी चाहिए।" पदानुक्रम बस इस बात से उभर आया कि न्यूरॉन्स को कैसे व्यवस्थित और प्रशिक्षित किया गया था।

पेपर ने यह भी परीक्षण किया कि क्या इस "जैविक" शैली के सीखने से वास्तव में कार्यों को करने में मदद मिलती है। उन्होंने मानक इमेज टेस्ट जैसे कि हस्तलिखित नंबरों (MNIST) को पहचानने और विभिन्न प्रकार की कारों और जानवरों (CIFAR-10, STL-10) को पहचानने के लिए GCFF एल्गोरिदम को शुरुआत से प्रशिक्षित किया। परिणामों ने दिखाया कि GCFF ने न केवल AI के मस्तिष्क को बेहतर ढंग से समझा, बल्कि इसने अन्य समान "फॉरवर्ड-फॉरवर्ड" विधियों की तुलना में बेहतर प्रदर्शन किया, और इन बेंचमार्क पर शीर्ष स्कोर प्राप्त किया।

यह भविष्य के लिए क्या मायने रखता है

लेखक सावधानीपूर्वक यह स्पष्ट करते हैं कि यह कोई जादुई छड़ी नहीं है जो सब कुछ हल कर देगी, लेकिन यह एक आशाजनक नई दिशा का सुझाव देता है। उनका तर्क है कि "स्पार्स डिक्शनरी लर्निंग" (शब्दकोश दृष्टिकोण) का उपयोग करने वाला पुराना तरीका कुछ अंतर्निहित खामियों से ग्रस्त है। यह मानता है कि प्रत्येक अवधारणा उच्च-आयामी स्थान में केवल एक सीधी रेखा है, जो जटिल, घुमावदार विचारों के लिए सच नहीं हो सकता है। GCFF का उपयोग करके, वे दिखाते हैं कि हम "मोनोसेमेंटिक" (monosemantic) न्यूरॉन्स—ऐसे न्यूरॉन जिनका एक स्पष्ट अर्थ होता है—प्राप्त कर सकते हैं, बिना उन्हें स्पार्स होने के लिए मजबूर किए। इसके बजाय, अर्थ स्वयं आर्किटेक्चर से आता है।

अपने प्रयोगों में, उन्होंने एक प्री-ट्रेंड विजन-लैंग्वेज मॉडल (एक स्मार्ट AI जो देखता और पढ़ता है) लिया और उसके साथ अपना GCFF मॉड्यूल जोड़ा। उन्होंने पाया कि एक एकल मॉड्यूल अवधारणाओं की एक स्वच्छ, क्रमबद्ध सूची निकाल सकता है। उन्हें AI को यह बताने की आवश्यकता नहीं थी कि कितने स्तरों की अमूर्तता (abstraction) बनानी है; नेटवर्क की गहराई ने यह काम उनके लिए कर दिया। नीचे के न्यूरॉन्स ठोस थे, और ऊपर के न्यूरॉन्स अमूर्त थे, बिल्कुल एक जैविक दृश्य प्रणाली (visual system) की परतों की तरह।

पेपर निष्कर्ष निकालता है कि यह दृष्टिकोण एक "जैविक रूप से प्रशंसनीय" (biologically plausible) मार्ग प्रदान करता है। यह सुझाव देता है कि यदि हम AI को कठोर, रैखिक बक्सों में फिट होने के लिए मजबूर करना बंद कर दें और इसके बजाय इसे स्थानीय, समूह-आधारित तुलनाओं के माध्यम से सीखने दें, तो हमें ऐसा AI मिल सकता है जो न केवल कार्यों में बेहतर प्रदर्शन करता है, बल्कि अपने ज्ञान को उस तरह से व्यवस्थित भी करता है जैसा कि जीवित चीजें सोचती हैं। यह ऐसी मशीनें बनाने की दिशा में एक कदम है जो केवल गणना नहीं करतीं, बल्कि शायद, एक बहुत छोटे स्तर पर, दुनिया को परतों में समझना शुरू करती हैं।