Hyperbolic Multimodal Continual Learning
यह शोध पत्र क्रॉस-मोडल अपरिवर्तनीयता (cross-modal invariance) के माध्यम से विस्मृति को रोकने के लिए एक सैद्धांतिक आधार स्थापित करके और एक ऐसे सिद्धांतबद्ध ढांचे का प्रस्ताव देकर हाइपरबोलिक मल्टीमॉडल स्पेस में निरंतर सीखने (continual learning) की अल्प-अन्वेषित चुनौतियों को संबोधित करता है जो रिलेशनल संरचना और पदानुक्रमित ज्यामिति (hierarchical geometry) दोनों को संरक्षित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। अभी, अधिकांश रोबोट चित्रों को देखकर और शब्दों को पढ़कर सीखते हैं, और फिर उन्हें आपस में मिलाने की कोशिश करते हैं। वे आमतौर पर इसे एक "सपाट" मानसिक स्थान में करते हैं, जैसे कि ग्राफ पेपर की एक विशाल, अनंत चादर। इस सपाट कागज पर, सब कुछ सिर्फ एक बिंदु है, और दो बिंदुओं के बीच की दूरी रोबोट को बताती है कि वे एक-दूसरे के कितने समान हैं। लेकिन वास्तविक दुनिया सपाट नहीं है; यह परतों से भरी है। एक "कुत्ता" एक विशेष प्रकार का "जानवर" है, जो कि एक प्रकार का "जीवित प्राणी" है। इस तरह का पदानुक्रम (hierarchy)—जहाँ बड़े, सामान्य विचार शीर्ष पर स्थित होते हैं और छोटे, विशिष्ट विवरण नीचे की ओर शाखाओं की तरह निकलते हैं—इसे सपाट कागज पर बिना सब कुछ कुचले या अस्त-व्यस्त किए बनाना कठिन है।
इस समस्या को ठीक करने के लिए, वैज्ञानिकों ने "हाइपरबोलिक स्पेस" (hyperbolic space) नामक एक अलग प्रकार की ज्यामिति का उपयोग करना शुरू कर दिया है। इसे एक सपाट चादर के रूप में नहीं, बल्कि एक विशाल, फैलते हुए कोरल रीफ (coral reef) या एक फनल (funnel) के रूप में सोचें जो दूर जाने पर चौड़ा होता जाता है। इस आकार में, आप भारी मात्रा में जटिल, स्तरित जानकारी को बिना भीड़भाड़ के फिट कर सकते हैं। यह विचारों को व्यवस्थित करने के लिए एकदम सही है: सबसे सामान्य (जैसे "जानवर" केंद्र के पास) से लेकर सबसे विशिष्ट (जैसे "थका हुआ गोल्डन रिट्रीवर" बिल्कुल किनारे पर) तक। लेकिन पेचीदा बात यह है कि जब रोबोट समय के साथ नई चीजें सीखता है तो क्या होता है? यदि आप इस कोरल रीफ में नए सबक जोड़ते रहते हैं, तो पूरा आकार मुड़ और बिगड़ सकता है, जिससे रोबोट कल सीखी हुई हर चीज़ को भूल सकता है। इसे "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) कहा जाता है, और यह एक स्मार्ट, निरंतर सीखने वाले AI बनाने के लिए एक बहुत बड़ी समस्या है।
यह शोध पत्र ठीक इसी समस्या को संबोधित करता है। शोधकर्ता, जियाहोंग लियू और उनकी टीम ने पूछा: "हम इस घुमावदार, कोरल जैसे संसार में आकार को बिगाड़े बिना और पुरानी यादों को खोए बिना रोबोट को नई चीजें कैसे सिखा सकते हैं?" उन्होंने खोजा कि रोबोट को नई चीजें सिखाने के लिए, आप उसके मस्तिष्क को अपनी मर्जी से अपडेट नहीं कर सकते। इसके बजाय, आपको उसके ज्ञान को बहुत विशिष्ट, कठोर तरीकों से स्थानांतरित करना होगा जो कोरल रीफ के आकार को बरकरार रखते हैं। उन्होंने HMCL (Hyperbolic Multimodal Continual Learning) नामक एक नई विधि बनाई है जो एक सख्त वास्तुकार (architect) की तरह काम करती है, यह सुनिश्चित करती है कि प्रत्येक नया सबक मौजूदा संरचना में बिना किसी विकृति के पूरी तरह से फिट हो जाए। उनके प्रयोगों से पता चलता है कि यह विधि पुराने तरीकों की तुलना में बहुत बेहतर काम करती है, जिससे रोबोट की भूलने की क्षमता में भारी कमी आती है—कुछ मामलों में 88% तक कम भूलना—जबकि यह उसे प्रभावी ढंग से नए कार्य सीखने भी देती है।
घुमावदार मस्तिष्क की कहानी
सेटअप: एक फनल में सीखता हुआ रोबोट
कल्पना कीजिए कि आप एक रोबोट के लिए एक पुस्तकालय बना रहे हैं। अधिकांश पुस्तकालय सपाट फर्शों पर बने होते हैं, जहाँ किताबें बस पंक्तियों में रखी जाती हैं। लेकिन हमारे रोबोट का पुस्तकालय एक विशाल, जादुई फनल (वही हाइपरबोलिक स्पेस) के अंदर बना है। इस फनल में, सबसे महत्वपूर्ण, सामान्य पुस्तकें (जैसे "विज्ञान" या "कला") संकीर्ण शीर्ष के पास स्थित होती हैं, और जैसे-जैसे आप नीचे और बाहर की ओर जाते हैं, अलमारियाँ लाखों विशिष्ट पुस्तकों (जैसे "क्वांटम फिजिक्स" या "इंप्रेशनिस्ट पेंटिंग") को रखने के लिए फैलती जाती हैं। यह आकार अद्भुत है क्योंकि यह रोबोट को देखने देता है कि सब कुछ कैसे जुड़ता है: एक विशिष्ट पुस्तक हमेशा अपनी सामान्य श्रेणी के "नीचे" होती है।
रोबोट चित्रों को देखकर और पाठ को पढ़कर सीखता है, और इस फनल में उन्हें आपस में मिलाने की कोशिश करता है। लेकिन जीवन रुकता नहीं है। हर दिन नई किताबें आती हैं। रोबोट को उन्हें एक-एक करके सीखना होता है, बिना पुरानी किताबों को दोबारा देखे। यह "निरंतर सीखना" (continual learning) है।
समस्या: फनल का मुड़ना
यहाँ वह आपदा आती है जो आमतौर पर होती है। जब रोबोट एक नई किताब सीखने की कोशिश करता है, तो वह जगह बनाने के लिए अलमारियों को धकेलता है। एक सामान्य, सपाट पुस्तकालय में, यह ठीक है। लेकिन हमारे जादुई फनल में, अलमारियों को धकेलने से पूरे भवन का आकार बदल जाता है। "विज्ञान" वाला हिस्सा दब सकता है, या "कला" वाला हिस्सा बहुत अधिक खिंच सकता है।
चूंकि रोबोट की स्मृति पूरी तरह से यह जानने के लिए फनल के आकार पर निर्भर करती है कि चीजें क्या हैं, इसलिए जब आकार बदलता है, तो रोबोट भ्रमित हो जाता है। वह कुत्ते की तस्वीर देख सकता है और अचानक उसे बिल्ली समझ सकता है, या भूल सकता है कि "पूडल" एक प्रकार का "कुत्ता" है। पुराना ज्ञान केवल धुंधला नहीं होता; वह विकृत और टूट जाता है। शोधकर्ता इसे "कैटास्ट्रोफिक फॉरगेटिंग" कहते हैं, और यह ऐसा है जैसे रोबोट हर बार कुछ नया सीखने पर एम्नेसिया (स्मृति लोप) के साथ जागता है।
खोज: गति का स्वर्णिम नियम
टीम को एहसास हुआ कि फनल के टूटने का कारण यह था कि रोबोट गलत दिशाओं में अपने ज्ञान को हिला रहा था। उन्होंने एक गहरा सवाल पूछा: "किस प्रकार की गति फनल के आकार को एकदम सही बनाए रखती है?"
उन्हें एक आश्चर्यजनक उत्तर मिला। आकार को सुरक्षित रखने के लिए, रोबोट को अपने ज्ञान को बेतरतीब ढंग से इधर-उधर नहीं हिलाना चाहिए। इसके बजाय, हर बार जब वह कुछ नया सीखता है, तो उसे अपने पूरे स्मृति ढांचे को एक बहुत ही विशिष्ट, समन्वित तरीके से घुमाना (rotate) पड़ता है। कल्पना कीजिए कि आप एक घूमते हुए ग्लोब को पकड़े हुए हैं। यदि आप मानचित्र को फटे बिना उसमें एक नया स्टिकर लगाना चाहते हैं, तो आपको पूरे ग्लोब को इस तरह घुमाना होगा कि स्टिकर मौजूदा ग्रिड में पूरी तरह फिट हो जाए। आप केवल रबर को खींच नहीं सकते।
पेपर यह सिद्ध करता है कि रोबोट के लिए सब कुछ याद रखने के लिए, उसे अपनी सभी स्मृतियों पर एक "साझा रोटेशन" (shared rotation) लागू करना चाहिए। इसका अर्थ है कि एक चित्र और उसके विवरण (जैसे कुत्ता और शब्द "कुत्ता") के बीच की दूरी बिल्कुल समान रहनी चाहिए, और पदानुक्रम (जानवर के नीचे कुत्ता) की गहराई भी बिल्कुल समान रहनी चाहिए। यदि रोबोट किसी अन्य तरीके से सीखने की कोशिश करता है, तो फनल टूट जाता है।
समाधान: HMCL
इस खोज के आधार पर, टीम ने HMCL नामक एक नई प्रशिक्षण विधि बनाई। HMCL को रोबोट के मस्तिष्क के एक सख्त बाउंसर के रूप में सोचें। हर बार जब रोबोट कोई नया कार्य सीखने की कोशिश करता है, तो HMCL प्रस्तावित परिवर्तनों की जाँच करता है।
- "हे, तुम 'कुत्ता' श्रेणी को खींचने की कोशिश कर रहे हो? नहीं, इससे फनल टूट जाएगा!"
- "तुम पूरी चीज़ को सही ढंग से घुमाने की कोशिश कर रहे हो? ठीक है, यह मान्य है।"
HMCL रोबोट को केवल ऐसे अपडेट करने के लिए मजबूर करता है जो इन सटीक रोटेशन की तरह कार्य करते हैं। यह केवल अनुमान नहीं लगाता; यह गणित का उपयोग करके उस सटीक दिशा की गणना करता है जहाँ रोबोट आकार को तोड़े बिना सीख सकता है। यह रोबोट को ऐसे प्रशिक्षण पहिए देने जैसा है जो उसे केवल उन दिशाओं में चलने देते हैं जो फनल की ज्यामिति को सुरक्षित रखते हैं।
परिणाम: कम विस्मृति, अधिक सीखना
टीम ने वास्तविक दुनिया के कार्यों जैसे जानवरों की पहचान करने या छवियों को वाक्यों से मिलाने के लिए विभिन्न प्रकार के रोबroid ब्रेन्स (जिन्हें बैकबोन कहा जाता है) पर इसका परीक्षण किया। उन्होंने अपनी नई HMCL विधि की तुलना पुराने तरीकों से की जिन्हें फनल के आकार का ज्ञान नहीं था।
परिणाम स्पष्ट थे। पुराने तरीके याद रखने में बहुत खराब थे। वे लगभग वह सब कुछ भूल गए जो उन्होंने पहले सीखा था, जिनका "भूलने का स्कोर" (forgetting score) बहुत नकारात्मक था (जैसे कि 0 के पूर्ण पैमाने पर -6.46)। लेकिन HMCL के साथ, भूलने की दर नाटकीय रूप से गिर गई। एक परीक्षण में, भूलने का स्कोर -6.46 से सुधरकर केवल -0.74 हो गया। यह भूलने में 88.5% की कमी है!
रोबोट ने न केवल बेहतर याद रखा; बल्कि उसने नई चीजों को तेजी से भी सीखा। क्योंकि फनल का आकार स्थिर रहा, रोबोट पूरे पुस्तकालय को ढहे बिना नई किताबें जोड़ना जारी रख सका। शोधकर्ताओं ने दिखाया कि यह विभिन्न प्रकार के रोबोटों और विभिन्न प्रकार के कार्यों के लिए भी काम करता है, जिससे सिद्ध होता है कि ज्यामिति को सही रखना ही एक स्मार्ट, निरंतर सीखने वाले AI का रहस्य है।
यह क्यों महत्वपूर्ण है
यह शोध पत्र केवल यह नहीं कहता कि "यह काम करता है।" यह बताता है कि यह क्यों काम करता है। यह हमें बताता है कि यदि हम चाहते हैं कि AI बिना अपना मानसिक संतुलन खोए हमेशा सीखता रहे, तो हम केवल उस पर डेटा नहीं फेंक सकते। हमें उसके ज्ञान के आकार का सम्मान करना होगा। रोबोट के मस्तिष्क को एक सपाट चादर के बजाय एक घुमावदार, फैलते हुए संसार के रूप में मानकर, और उसे उन दिशाओं में चलने के लिए मजबूर करके जो उस वक्र (curve) का सम्मान करती हैं, हम ऐसी मशीनें बना सकते हैं जो वास्तव में समय के साथ स्मार्ट होती जाती हैं, अपने अतीत को याद रखते हुए अपने भविष्य को अपनाती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।