The JEPA Paradox in Language: The Geometry of Linguistic Alternatives
यह शोध पत्र तर्क देता है कि नियतवादी (deterministic) जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA) भाषा के लिए विफल हो जाते हैं क्योंकि पाठ की अंतर्निहित बहुविधता (multimodality) उस सशर्त एकाग्रता (conditional concentration) का उल्लंघन करती है जो वर्ग-त्रुटि (squared-error) लेटेंट भविष्यवाणी के लिए आवश्यक है, जिससे कई संभावित पूर्णताओं को संरक्षित करने के लिए उद्देश्यों को पुनर्गठित किए बिना प्रतिनिधित्व पतन (representational collapse) और खराब डाउनस्ट्रीम प्रदर्शन होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, वैज्ञानिक अक्सर "सेल्फ-सुपरवाइज्ड लर्निंग" नामक एक तरकीब का उपयोग करते हैं, जहाँ कंप्यूटर उस पहेली के छूटे हुए हिस्सों का अनुमान लगाकर सीखता है जिसे वह पहले ही देख चुका है। चित्रों और वीडियो की दुनिया में, यह जादू की तरह काम करता है। यदि आप बिल्ली की एक तस्वीर के एक छोटे से हिस्से को ढक देते हैं, तो कंप्यूटर आसानी से अनुमान लगा सकता है कि उसके नीचे क्या है क्योंकि फर, कान और पृष्ठभूमि सभी सुचारू, पूर्वानुमेय पैटर्न द्वारा जुड़े हुए हैं। यदि आप जानते हैं कि बिल्ली का सिर कैसा दिखता है, तो आप जानते हैं कि उसके बगल वाला कान कैसा दिखना चाहिए। यह विधि, जिसे JEPA (जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर) कहा जाता है, छवियों, वीडियो और ऑडियो के लिए एक सुपरस्टार बन गई है क्योंकि "छूटे हुए हिस्सों" का आमतौर पर केवल एक ही सही उत्तर होता है।
हालाँकि, जब वैज्ञानिकों ने भाषा के लिए इसी तरह की "छूटे हुए हिस्से का अनुमान लगाने" वाली तरकीब का उपयोग करने की कोशिश की, तो चीजें अजीब हो गईं। भाषा चित्रों की तरह नहीं है; यह एक "चूज़-योर-ओन-एडवेंचर" (अपनी पसंद का रोमांच चुनें) पुस्तक की तरह है। यदि आप "बिल्ली चटाई पर ___" जैसे वाक्य में एक शब्द को ढक देते हैं, तो गायब शब्द "बैठी," "लेटी," "सोई," या यहाँ तक कि "खेली" भी हो सकता है। ये सभी अर्थपूर्ण हैं, लेकिन वे एक-दूसरे से बहुत अलग हैं। यह शोध पत्र मुख्य सवाल का समाधान करता है: "अनुमान लगाने वाला यह तरीका" चित्रों के लिए इतना अच्छा क्यों काम करता है लेकिन टेक्स्ट (पाठ) के लिए बुरी तरह विफल क्यों हो जाता है? लेखकों ने इस विफलता के पीछे के ज्यामितीय कारण को खोजने की कोशिश की, जो अनिवार्य रूप से यह पूछ रहा था कि क्या पिक्सेल से शब्दों पर स्विच करने पर खेल के नियम बदल जाते हैं।
"द जेपा पैराडॉक्स इन लैंग्वेज" नामक यह शोध पत्र तर्क देता है कि समस्या यह नहीं है कि कंप्यूटर पर्याप्त स्मार्ट नहीं है, बल्कि खेल ही उसके खिलाफ है। लेखकों ने इमेज प्रेडिक्टर का एक टेक्स्ट-वर्जन बनाया (जिसे वे T-JEPA कहते हैं) और उसे वास्तविक समय में संघर्ष करते हुए देखा। उन्होंने पाया कि जब आप एक कंप्यूटर को एक एकल "औसत" उत्तर का अनुमान लगाकर गायब शब्द की भविष्यवाणी करने के लिए कहते हैं, तो वह भ्रमित हो जाता है। क्योंकि वाक्य को पूरा करने के कई वैध तरीके हैं, कंप्यूटर एक मध्य मार्ग खोजने की कोशिश करता है। यह एक "घोस्ट वर्ड" (भूतिया शब्द) की भविष्यवाणी करता है जो "बैठी," "लेटी," और "सोई" का एक अस्त-व्यस्त मिश्रण है—एक ऐसा शब्द जिसका वास्तव में कोई अस्तित्व नहीं है और जिसका कोई अर्थ नहीं है।
शोधकर्ताओं ने विफलता के एक विशिष्ट क्रम की खोज की। पहले, कंप्यूटर यह महसूस करता है कि वह उच्च आत्मविश्वास के साथ शब्द की भविष्यवाणी नहीं कर सकता क्योंकि विकल्प बहुत अधिक हैं। फिर, इस अनिश्चितता को संभालने के बजाय, यह एक ही उबाऊ बिंदु में सभी अलग-अलग अर्थों को समेटकर "चीटिंग" करने की कोशिश करता है। इसे "सेंट्रॉइड डिजनरेसी" (केंद्रक क्षय) कहा जाता है। कल्पना कीजिए कि एक इंद्रधनुष का वर्णन करने के लिए बीच में एक ग्रे धब्बे की ओर इशारा करना; आप सारा रंग और अर्थ खो देते हैं। पेपर दिखाता है कि यह पतन (collapse) होने से पहले ही हो जाता है जब कंप्यूटर को पता चलता है कि वह विफल हो रहा है। कंप्यूटर का आंतरिक मानचित्र सिकुड़ जाता है जब तक कि वह भाषा के अंतर को नहीं पहचान पाता, जिससे रीडिंग कॉम्प्रिशन या सर्च जैसे कार्यों पर भयानक प्रदर्शन होता है।
अध्ययन स्पष्ट रूप से इस विचार को खारिज करता है कि कंप्यूटर को बस अधिक प्रशिक्षण समय या बड़े मस्तिष्क की आवश्यकता है। विफलता इसलिए होती है क्योंकि चित्रों के लिए उपयोग किया जाने वाला गणित (स्क्वेर्ड-एरर प्रेडिक्शन) एक एकल, सटीक उत्तर की मांग करता है, जबकि भाषा स्वाभाविक रूप से कई संभावित उत्तरों का एक बादल पेश करती है। लेखक सुझाव देते हैं कि कंप्यूटरों को इस तरह भाषा सीखने के लिए, उन्हें उन सभी संभावनाओं को एक बिंदु में कुचलने के बजाय उन संभावनाओं के "बादल" का सम्मान करना सीखना होगा। हालाँकि यह पेपर यह दावा नहीं करता है कि इसने AI को भाषा सिखाने की समस्या को हल कर लिया है, लेकिन यह एक स्पष्ट मानचित्र प्रदान करता है कि क्यों वर्तमान "चित्र-शैली" वाला दृष्टिकोण टेक्स्ट के साथ एक दीवार से टकरा जाता है, जो उन नए तरीकों की ओर संकेत करता है जो मानव भाषण की सुंदर, अव्यवस्थित अस्पष्टता को संभाल सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।