The JEPA Predictor: A Transferable Operator for Occluded Feature Completion
यह शोध पत्र प्रदर्शित करता है कि जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPAs) के प्रेडिक्टर घटक को फ्रीज किया जा सकता है और एक सरल लीनियर प्रोजेक्शन के माध्यम से नॉन-JEPA एनकोडर्स में ट्रांसफर किया जा सकता है, जो अंतर्निहित मॉडलों को पुन: प्रशिक्षित किए बिना लापता फीचर्स को प्रभावी ढंग से पूरा करके, बाधित इनपुट्स पर उनके प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक भीड़ भरे कमरे में अपने एक दोस्त को पहचानने की कोशिश कर रहे हैं, लेकिन किसी ने उनके चेहरे के आधे हिस्से पर एक विशाल, अपारदर्शी डिब्बा रख दिया है। आपका मस्तिष्क खाली जगहों को भरने में अद्भुत है; यह दिखाई देने वाले कान, बालों और कमरे के संदर्भ का उपयोग करके यह अनुमान लगाता है कि छिपा हुआ चेहरा कैसा दिखता होगा। आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर चीजें पहचानने में अविश्वसनीय रूप से कुशल हो गए हैं जब वे पूरी तस्वीर देख पाते हैं। हालांकि, जब छवि के कुछ हिस्से गायब होते हैं—जैसे पेड़ के पीछे आंशिक रूप से छिपी हुई कार या धातु के इम्प्लांट द्वारा कटी हुई मेडिकल स्कैन—तो ये स्मार्ट कंप्यूटर अक्सर भ्रमित हो जाते हैं और गलतियाँ करते हैं।
वर्षों से, वैज्ञानिकों ने इस समस्या को हल करने के लिए दो मुख्य प्रकार की "स्मार्ट आँखें" (AI मॉडल) बनाई हैं। एक प्रकार पहेली के गायब हिस्सों का अनुमान लगाने (वर्तमान के आधार पर भविष्य की भविष्यवाणी करने) की कोशिश करके सीखता है, जबकि दूसरा प्रकार समानताओं को खोजने के लिए अलग-अलग चित्रों की तुलना करके सीखता है। आमतौर पर, जब ये मॉडल प्रशिक्षण के बाद तैयार होते हैं, तो "अनुमान लगाने" वाला हिस्सा हटा दिया जाता है क्योंकि इसकी आवश्यकता केवल सीखने के चरण के दौरान होती है। अंतिम उत्पाद केवल वह "आँख" होती है जो तस्वीर को देखती है। लेकिन क्या होगा अगर वह हटाया गया "अनुमान लगाने वाली मशीन" वास्तव में एक सुपरपावर थी जिसे हम उपयोग करना भूल गए थे? यह शोध पत्र एक सरल, चंचल प्रश्न पूछता है: क्या हम एक प्रकार के AI से एक "अनुमान लगाने वाली मशीन" ले सकते हैं और उसे दूसरे प्रकार के AI पर फिट कर सकते हैं ताकि उसे गायब जानकारी के धुंध के पार देखने में मदद मिल सके?
शोधकर्ताओं, एइटोमैटिक इंक (Aitomatic, Inc.) के विलियम और क्रिस्टोफर नगुयेन ने पाया कि इसका उत्तर एक जोरदार "हाँ" है। उन्होंने पाया कि एक विशिष्ट AI आर्किटेक्चर जिसे JEPA (जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर) कहा जाता है, उसका "प्रेडिक्टर" (भविष्यवाणी करने वाला) हिस्सा गायब जानकारी के लिए एक सार्वभौमिक अनुवादक के रूप में कार्य करता है। भले ही यह प्रेडिक्टर एक विशिष्ट प्रकार के AI पर प्रशिक्षित किया गया था, उन्होंने दिखाया कि इसे एक सरल गणितीय पुल का उपयोग करके चार पूरी तरह से अलग, लोकप्रिय AI मॉडलों (जैसे CLIP, DINOv3, DINOv2, और MAE) में "प्लग इन" किया जा सकता है।
यहाँ उनका प्रयोग कैसे काम करता है, यह बताया गया है: कल्पना कीजिए कि आपके पास एक कुत्ते की फोटो है, लेकिन उसका 77% हिस्सा एक काले आयत द्वारा ढका हुआ है। एक मानक AI मॉडल, कुत्ते के केवल उस छोटे से हिस्से को देखते हुए जो दिखाई दे रहा है, अनुमान लगा सकता है कि यह एक बिल्ली या चट्टान है। शोधकर्ताओं ने एक JEPA मॉडल से एक "फ्रोजन" (अपरिवर्तित) प्रेडिक्टर लिया और उसे अन्य AI मॉडलों से जोड़ा। जब AI कुत्ते के दृश्य भाग को देखता है, तो वह उस जानकारी को एक सरल लीनियर ब्रिज के माध्यम से JEPA प्रेडिक्टर को भेजता है। प्रेडिक्टर अपने प्रशिक्षण का उपयोग यह अनुमान लगाने के लिए करता है कि कुत्ते के छिपे हुए 77% हिस्से के लक्षण (features) कैसे दिखने चाहिए। अंत में, सिस्टम वास्तविक दृश्य भागों को अनुमानित छिपे हुए भागों के साथ जोड़कर अंतिम अनुमान लगाता है।
परिणाम चौंकाने वाले थे, विशेष रूप से तब जब छवियां बहुत अधिक बाधित थीं। कुत्तों की नस्लों के एक डेटासेट पर, एक मानक AI मॉडल (CLIP) की सटीकता केवल 15.9% तक गिर गई जब छवि का 77% हिस्सा छिपा हुआ था। लेकिन एक बार जब उन्होंने JEPA प्रेडिक्टर को जोड़ा, तो इसकी सटीकता तेजी से बढ़कर 52.1% हो गई। यह 36 प्रतिशत अंकों की एक बड़ी छलांग है। श्रेणियों के कम सेट वाले एक अन्य डेटासेट पर, मॉडल ने गायब हिस्सों के कारण खोई हुई लगभग पूरी सटीकता को वापस पा लिया।
यह शोध पत्र बताता है कि यह एक "लागत-लाभ" (cost-benefit) संतुलन के कारण काम करता है। दोनों मॉडलों को जोड़ने वाला सरल पुल पूर्ण नहीं है; यह छवि के उन हिस्सों की जानकारी को थोड़ा विकृत करता है जो दिखाई दे रहे हैं (लागत)। हालाँकि, प्रेडिक्टर गायब हिस्सों का अनुमान लगाने में अविश्वसनीय रूप से अच्छा है (लाभ)। जब एक छवि काफी हद तक दिखाई देती है, तो विकृति की लागत बहुत अधिक होती है, और सिस्टम ज्यादा मदद नहीं करता है। लेकिन जब छवि बहुत अधिक बाधित होती है (जैसे 77% छिपी हुई), तो गायब हिस्सों के लिए एक अच्छा अनुमान प्राप्त करने का लाभ, विकृति की छोटी लागत को पूरी तरह से मात दे देता है। प्र्रेडिक्टर अनिवार्य रूप से एक पोर्टेबल "फीचर कम्प्लीशन" टूल बन जाता है जो बिना मुख्य मॉडलों को फिर से प्रशिक्षित किए विभिन्न AI परिवारों में काम करता है।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या होता है यदि गायब हिस्से टीवी स्क्रीन पर स्टैटिक की तरह बेतरतीब ढंग से बिखरे हुए हों, न कि एक ठोस ब्लॉक के रूप में। उस स्थिति में, प्रेडिक्टर ने ज्यादा मदद नहीं की, जिससे पता चलता है कि यह विशेष रूप से बड़े, निरंतर गायब हिस्सों को संभालने के लिए डिज़ाइन किया गया है, जैसे कि कार को रोकने वाला पेड़, या फोटो में कटा हुआ हिस्सा। उन्होंने यह भी साबित किया कि यह केवल AI द्वारा धुंधले किनारों को "स्मूथ" करना या पिक्सेल भरना नहीं था; यह वास्तव में उच्च-स्तरीय विशेषताओं का पुनर्निर्माण कर रहा था जिसने कंप्यूटर को वस्तु की पहचान करने में सक्षम बनाया।
संक्षेप में, यह शोध पत्र दिखाता है कि हमें गायब डेटा को संभालने के लिए हमेशा शुरू से एक नया, विशाल AI बनाने की आवश्यकता नहीं होती है। हम एक विशेष "अनुमान लगाने वाले इंजन" को ले सकते हैं जो एक काम के लिए बनाया गया था और, एक सरल गणितीय एडेप्टर के साथ, अन्य AI मॉडलों को सुपरचार्ज कर सकते हैं, जिससे उन्हें तब भी स्पष्ट रूप से देखने में मदद मिलती है जब तस्वीर टूटी हुई हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।