Your Probabilistic JEPA Is Secretly a Hidden Markov Model: A State-Space Interpretation of Joint-Embedding Predictive Learning
यह शोध पत्र यह स्थापित करता है कि प्रोबेबिलिस्टिक जॉइंट-एम्बेडिंग प्रेडिक्टिव मॉडल्स (JEPA) अंतर्निहित रूप से हिडन मार्कोव मॉडल्स के समान हैं, जो अनुमान (inference), प्रसार (propagation) और उत्सर्जन (emission) की उनकी साझा कम्प्यूटेशनल संरचना को प्रदर्शित करके, और एक सिद्धांतपूर्ण स्टेट-स्पेस व्याख्या के साथ सटीक मल्टी-होराइजन निरंतरता प्रदान करने के लिए मार्कोव-चेन JEPA वेरिएंट को प्रस्तुत करके यह सिद्ध करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। आप केवल उसे तस्वीरें रटाना नहीं चाहते; आप चाहते हैं कि वह सीखे कि दुनिया कैसे बदलती है। आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, एक लोकप्रिय विचार है जिसे "जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर" (या JEPAs) कहा जाता है। इन्हें एक रोबोट के अगले कदम का अनुमान लगाने के तरीके के रूप में सोचें। एक धुंधली फोटो को पूरी तरह से फिर से बनाने की कोशिश करने के बजाय (जो कठिन है और अक्सर मानसिक शक्ति बर्बाद करता है), रोबोट अगली फोटो के विचार का अनुमान लगाता है। यह भविष्य का एक संकुचित "मानसिक मानचित्र" (mental map) सीखता है।
लेकिन बड़ा सवाल यह है कि जब वह रोबोट ये अनुमान लगाता है, तो उसके दिमाग के अंदर वास्तव में क्या हो रहा होता है? लंबे समय तक, वैज्ञानिकों ने इन "मानसिक मानचित्रों" को रहस्यमय 'ब्लैक बॉक्स' की तरह माना। हालाँकि, एक पुराना, बहुत प्रसिद्ध गणितीय उपकरण है जिसे "हिडन मार्कोव मॉडल" (HMM) कहा जाता है। आप एक HMM को एक क्लासिक जासूसी कहानी के रूप में देख सकते हैं: वहाँ छिपे हुए सुराग ( "hidden states") होते हैं जिन्हें आप सीधे नहीं देख सकते, लेकिन आप साक्ष्यों ( "observations") को देखकर और यह जानकर कि वे सुराग समय के साथ कैसे बदलते हैं, उनका अनुमान लगा सकते हैं। बड़ा रहस्य यह था: क्या ये आधुनिक, उच्च-तकनीकी AI रोबोट गुप्त रूप से इसी पुराने स्कूल के जासूसी तर्क का उपयोग कर रहे हैं, या वे कुछ पूरी तरह से नया हैं?
यह शोध पत्र, जिसका शीर्षक है "आपका प्रोबेबिलिस्टिक JEPA गुप्त रूप से एक हिडन मार्कोв मॉडल है," सीधे इसी रहस्य की गहराई में उतरता है। लेखक, योंगचाओ हुआंग के नेतृत्व में, तर्क देते हैं कि जब आप एक विशिष्ट प्रकार का AI जिसे "प्रिडिक्टिव इंफॉर्मेशन बॉटलनेक JEPA" (PIB-VJEPA) कहा जाता है, बनाते हैं, तो आप वास्तव में एक छिपा हुआ हिडन मार्कोव मॉडल बना रहे होते हैं। वे दिखाते हैं कि AI के तीन मुख्य चरण—अतीत को देखकर वर्तमान का अनुमान लगाना, भविष्य के बदलने का अनुमान लगाना, और फिर कल्पना करना कि वह भविष्य कैसा दिखेगा—एक क्लासिक HMM के तीन चरणों से पूरी तरह मेल खाते हैं।
इस बात को सिद्ध करने के लिए कि यह केवल एक अस्पष्ट समानता नहीं है, लेखक ने इस AI का एक नया, सरल संस्करण बनाया जिसे "मार्कोव-चेन JEPA" (MCJEPA) कहा गया। भविष्य का अनुमान लगाने के लिए एक जटिल न्यूरल नेटवर्क का उपयोग करने के बजाय, यह नया AI एक सरल "ट्रांजिशन मैट्रिक्स" का उपयोग करता है—इसे एक विशाल, सीखने योग्य फ्लोचार्ट या बोर्ड गेम के नियम पुस्तिका के रूप में सोचें जो कहता है, "यदि आप स्थिति A में हैं, तो आपके स्थिति B में जाने की 70% संभावना है।" उन्होंने इसका परीक्षण कृत्रिम, मानव-निर्मित दुनिया पर किया जहाँ उन्हें सटीक नियम पता थे। परिणाम आश्चर्यजनक थे: AI ने न केवल अच्छी भविष्यवाणी की; बल्कि उसने खेल के सटीक नियमों को वास्तव में सीख लिया, छिपी हुई स्थितियों का पता लगा लिया, और यहाँ तक कि उन गणितीय नियमों का भी पालन किया जो समय के माध्यम से संभावनाओं को संचालित करते हैं।
यह पत्र यह भी पता लगाता है कि यह AI वास्तव में कितना "स्मार्ट" है। पता चलता है कि यदि आप AI को अपनी याददाश्त को बहुत अधिक कंप्रेस (संकुचित) करने के लिए मजबूर करते हैं, तो यह महत्वपूर्ण विवरण भूल सकता है और गलतियाँ करना शुरू कर सकता है। लेकिन यदि आप इसे पर्याप्त रूप से कंप्रेस करने देते हैं, तो यह बेकार के शोर (noise) को हटा देता है और केवल वही "आवश्यक" जानकारी रखता है जो भविष्य की भविष्यवाणी करने के लिए आवश्यक है। इस प्रक्रिया को "मार्कोवइजेशन" कहा जाता है, और यह ऐसा है जैसे AI एक आदर्श जासूस बनने के लिए सीख रहा है जो ध्यान भटकाने वाली चीजों को अनदेखा करता है और केवल उन्हीं सुरागों पर ध्यान केंद्रित करता है जो काम के हैं।
शायद सबसे आश्चर्यजनक खोज यह है कि इन AI मॉडलों को कैसे प्रशिक्षित किया जाता है। लेखक दिखाते हैं कि आप एक ही रोबोट आर्किटेक्चर को दो बहुत ही अलग तरीकों से प्रशिक्षित कर सकते हैं। आप इसे एक मानक JEPA की तरह प्रशिक्षित कर सकते हैं (बस अगले मानसिक मानचित्र का अनुमान लगाना), या आप इसे एक क्लासिक HMM की तरह प्रशिक्षित कर सकते हैं (वास्तविक घटनाओं के क्रम की भविष्यवाणी करने की कोशिश करना)। जब उन्होंने इन दो प्रशिक्षण शैलियों को मिलाया, तो रोबोट दुनिया के छिपे हुए नियमों को समझने में और भी बेहतर हो गया। यह सुझाव देता है कि "आधुनिक AI" और "क्लासिक प्रोबेबिलिटी मॉडल" के बीच की रेखा एक दीवार नहीं, बल्कि एक स्लाइडिंग स्केल है। आप रोबोट को कैसे सिखाते हैं, इसके आधार पर, यह एक साधारण अनुमान लगाने वाला, एक परिष्कृत जासूस, या दोनों का एक बेहतरीन मिश्रण बन सकता है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि ये उन्नत AI सिस्टम जादू नहीं हैं। वे, मूल रूप से, बहुत संरचित, तार्किक मशीनें हैं जो उन्हीं नियमों का पालन करती हैं जो दशकों से हमारे पास मौजूद क्लासिक हिडन मार्कोव मॉडल के हैं। अंतर यह है कि आधुनिक AI इतना लचीला है कि वह इन नियमों को खुद सीख सकता है, यहाँ तक कि अव्यवस्थित, वास्तविक दुनिया के डेटा से भी, और इसे एक अनुमान लगाने वाले, एक जासूस, या दोनों के रूप में प्रशिक्षित किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।