AV-JEPA: Extending LeJEPA to Audio-Visual Self-Supervised Learning
यह शोध पत्र AV-JEPA को प्रस्तुत करता है, जो एक सुव्यवस्थित ऑडियो-विजुअल सेल्फ-सुपरवाइज्ड लर्निंग फ्रेमवर्क है, जो डिकोडर्स, EMA टीचर्स या कॉन्ट्रास्टिव नेगेटिव्स पर निर्भर हुए बिना प्रतिस्पर्धी प्रदर्शन और ज़ीरो-शॉट रिट्रीवल क्षमताओं को प्राप्त करने के लिए अर्ली-फ्यूजन विज़न ट्रांसफॉर्मर और मोडैलिटी ड्रॉपआउट का उपयोग करके LeJEPA का विस्तार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर उन उत्सुक, कोरी स्लेट वाले छात्रों की तरह हैं जो सब कुछ सीखना चाहते हैं, लेकिन वे बिना किसी शिक्षक और बिना किसी पाठ्यपुस्तक के एक कक्षा में फंसे हुए हैं। यह सेल्फ-सुपरवाइज्ड लर्निंग (स्व-पर्यवेक्षित शिक्षण) का क्षेत्र है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ मशीनें बिना लेबल वाले डेटा के पहाड़ों में पैटर्न खोजकर खुद को सिखाने की कोशिश करती हैं। आमतौर पर, बिल्ली या कार को पहचानना सीखने के लिए, एक कंप्यूटर को एक इंसान की जरूरत होती है जो तस्वीर की ओर इशारा करके कहे, "यह एक बिल्ली है।" लेकिन क्या होगा अगर कंप्यूटर केवल तस्वीर को देखकर और यह अनुमान लगाकर सीख सके कि क्या गायब है? यही मास्क्ड लर्निंग (मुखौटा शिक्षण) का जादू है: आप एक छवि या ध्वनि के किसी हिस्से को ढक देते हैं, और कंप्यूटर को खाली जगहों को भरना होता है। लंबे समय तक, इसे करने का सबसे अच्छा तरीका कंप्यूटर को गायब हुए हिस्सों को पिक्सेल-दर-पिक्सेल फिर से बनाने के लिए मजबूर करना था, जैसे कि एक पहेली सुलझाने वाला व्यक्ति टूटे हुए फूलदान को फिर से बनाने की कोशिश कर रहा हो। लेकिन एक नया, अधिक अमूर्त विचार है जिसे JEPA (जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर) कहा जाता है। टूटे हुए फूलदान को फिर से बनाने के बजाय, JEPA कंप्यूटर से गायब हिस्से के सार या उसके "वाइब" (भाव) का अनुमान लगाने के लिए कहता है। यह सूप के हर एक घटक को चखने के बजाय, भाप को सूंघकर सूप के स्वाद का अंदाजा लगाने जैसा है। यह शोध पत्र एक बड़ा सवाल पूछता है: क्या यह "वाइब का अनुमान लगाने" वाला तरीका काम कर सकता है जब कंप्यूटर एक साथ दो अलग-अलग इंद्रियों—दृष्टि और ध्वनि—को समझने की कोशिश कर रहा हो?
इस शोध पत्र के लेखक, फिनलैंड की एक टीम, कहती है "हाँ!" और एक नया मॉडल पेश करती है जिसे AV-JEPA कहा जाता है। AV-JEPA को एक सुपर-स्मार्ट जासूस के रूप में समझें जो वीडियो देखकर और आवाज सुनकर अपराध स्थल को समझना सीखता है, लेकिन एक ट्विस्ट के साथ। गायब हिस्सों को फिर से बनाने (जो कि पूरी अपराध दृश्य को याददाश्त से फिर से चित्रित करने जैसा है) के बजाय, यह जासूस यह सीखता है कि जब एक इंद्रिय गायब हो, तो उस दृश्य के एहसास की भविष्यवाणी कैसे की जाए।
उन्होंने इसे कैसे किया। कल्पना कीजिए कि आप एक गिटार वादक का वीडियो देख रहे हैं। आमतौर पर, एक कंप्यूटर वीडियो और ऑडियो को एक साथ देखता है। हालाँकि, AV-JEPA, इंद्रियों के साथ "लुका-छिपी" का खेल खेलता है। यह एक क्लिप लेता है और इसके दो संस्करण बनाता है: एक जहाँ वीडियो को पूरी तरह से काला कर दिया गया है (ताकि कंप्यूटर केवल गिटार सुन सके), और दूसरा जहाँ ऑडियो को शांत कर दिया गया है (ताकि कंप्यूटर केवल गिटार देख सके)। मॉडल का काम "केवल-ऑडियो" वाले संस्करण को देखना और यह अनुमान लगाना है कि "केवल-वीडियो" वाला संस्करण कैसा महसूस होगा, और इसके विपरीत। यह बिना किसी इंसान द्वारा यह बताए कि क्या हो रहा है, और बिना किसी हिस्से को फिर से बनाने की कोशिश किए, यह करता है। यह बस एक साझा मानसिक स्थान में ध्वनि की "आत्मा" को छवि की "आत्मा" के साथ संरेखित करना सीख जाता है।
इसके परिणाम उस विधि के लिए काफी प्रभावशाली हैं जो छवियों को फिर से बनाने की भारी मेहनत को छोड़ देती है। जब उन्होंने इस मॉडल का परीक्षण VGGSound नामक एक डेटासेट (जिसमें ध्वनियों के वीडियो होते हैं) पर किया, तो मॉडल ने वीडियो में क्या हो रहा है, इसकी पहचान करने में 57.1% सटीकता दर हासिल की। एक अन्य विशाल डेटासेट AudioSet पर, इसने 32.7 mAP (एक माप कि यह ध्वनियों को कितनी अच्छी तरह पहचानता है) स्कोर किया। जबकि ये संख्याएँ वर्तमान शीर्ष मॉडलों की तुलना में थोड़ी कम हैं जो पुराने "पहेली फिर से बनाने" वाले तरीके का उपयोग करते हैं (जो VGGSound पर 67% तक पहुँच सकते हैं), लेखक बताते हैं कि AV-JEPA बहुत सरल है। इसे छवियों को फिर से बनाने के लिए जटिल अतिरिक्त हिस्सों की आवश्यकता नहीं है, न ही इसे मार्गदर्शन के लिए किसी "शिक्षक" मॉडल की आवश्यकता है। यह बस अपने आप सीखता है।
शोध पत्र की सबसे शानदार बातों में से एक यह है कि मॉडल ने अपने आप सही चीजों पर ध्यान देना सीख लिया। जब उन्होंने देखा कि ध्वनि सुनते समय मॉडल कहाँ "देख" रहा था, तो वह स्वाभाविक रूप से शोर के स्रोत पर केंद्रित हो गया। यदि उसने पक्षी के चहकने की आवाज सुनी, तो उसने पक्षी को देखा। यदि उसने बांसुरी सुनी, तो उसने संगीतकार के मुंह को देखा। उसने यह बिना किसी के सिखाए कि उसे ध्वनि के स्रोत को कैसे ढूंढना है, किया; उसने बस यह समझ लिया कि ध्वनि और दृश्य स्रोत एक दूसरे से जुड़े हुए हैं क्योंकि उसे एक से दूसरे की भविष्यवाणी करनी थी।
शोध पत्र ने यह भी दिखाया कि यह मॉडल "जीरो-शॉट" रिट्रीवल (शून्य-शॉट पुनर्प्राप्ति) कर सकता है, जो एक फैंसी तरीका है यह कहने का कि यह केवल एक ध्वनि के माध्यम से वीडियो खोज सकता है, या केवल एक वीडियो के माध्यम से ध्वनि खोज सकता है, बिना कभी भी उस विशिष्ट खोज कार्य के लिए विशेष रूप से प्रशिक्षित हुए। यह एक ऐसे पुस्तकालय की तरह है जहाँ आप इसमें बजने वाली एक धुन सुनकर किताब ढूंढ सकते हैं।
हालाँकि, लेखक उनकी सीमाओं के बारे में ईमानदार हैं। उन्होंने पाया कि मॉडल ऑडियो (ध्वनि) की ओर अत्यधिक झुका हुआ है। जब उन्होंने इसका परीक्षण किया, तो मॉडल के निर्णय मुख्य रूप से जो उसने सुना उससे संचालित थे, न कि जो उसने देखा उससे। यह ऐसा है जैसे जासूस सुराग सुनने में जीनियस है लेकिन दृश्य साक्ष्यों से थोड़ा विचलित है। शोध पत्र सुझाव देता है कि हालांकि यह एक "साफ" और सरल आर्किटेक्चर के लिए एक बड़ा कदम है, लेकिन इसे देखने में उतना ही सक्षम बनाने के लिए अभी भी काम किया जाना बाकी है जितना कि यह सुनने में है, विशेष रूप से उन अधिक जटिल मॉडलों की तुलना में जो छवियों को फिर से बनाने में वर्षों बिताते हैं। लेकिन एक ऐसे तरीके के लिए जो पुनर्गठन की पहेली को त्याग देता है और केवल इंद्रियों के बीच के संबंध पर ध्यान केंद्रित करता है, AV-JEPA कंप्यूटरों के लिए दुनिया कैसे सुनाई देती है और कैसी दिखती है, यह सीखने का एक बहुत ही आशाजनक नया तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।