XCOMPS: A Multilingual Benchmark of Conceptual Minimal Pairs
यह शोध पत्र 17 भाषाओं में वैचारिक न्यूनतम युग्मों (conceptual minimal pairs) के एक बहुभाषी बेंचमार्क, XCOMPS को प्रस्तुत करता है, जो यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स कम-संसाधन और रूपात्मक रूप से जटिल भाषाओं के साथ संघर्ष करते हैं, इंस्ट्रक्शन ट्यूनिंग से सीमित आंतरिक क्षमता लाभ दिखाते हैं, और सूक्ष्म वैचारिक तर्क के लिए गहरे परतों की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को दुनिया को समझना सिखा रहे हैं। आप नहीं चाहते कि वह केवल शब्दकोश की तरह शब्दों को रटे; आप चाहते हैं कि वह उन शब्दों के पीछे के विचारों को समझे। यदि आप रोबोट को बताते हैं कि एक "टोस्टर" ब्रेड को गर्म करता है, तो आप चाहते हैं कि वह उस अवधारणा (concept) को समझे, न कि केवल विशिष्ट अंग्रेजी शब्दों को। लेकिन यहाँ पेचीदा बात यह है कि इंसान अंग्रेजी, स्पेनिश या वियतनामी में एक टोस्टर के बारे में सोच सकते हैं बिना अर्थ खोए। हम टीवी चैनल बदलने की तरह भाषाएं बदल सकते हैं, और टोस्टर की तस्वीर वैसी ही रहती है।
बड़ा सवाल यह है कि क्या वैज्ञानिक यह पूछ रहे हैं: क्या इन विशाल एआई रोबोटों (जिन्हें लार्ज लैंग्वेज मॉडल्स कहा जाता है) के पास भी यही सुपरपावर है? या वे केवल देखे गए अंग्रेजी पैटर्न के आधार पर अगले शब्द का अनुमान लगाने में बहुत अच्छे हैं, और जब भाषा अजीब या दुर्लभ हो जाती है, तो विफल हो जाते हैं? यह पता लगाने के लिए, शोधकर्ताओं को एक विशेष प्रकार के परीक्षण की आवश्यकता है। वे रोबोट से केवल यह नहीं पूछ सकते कि, "क्या तुम जानते हो कि टोस्टर क्या है?" क्योंकि रोबोट केवल अपने प्रशिक्षण डेटा में सुनी गई बातों को दोहरा सकता है। इसके बजाय, उन्हें यह देखना होगा कि क्या रोबोट एक सच्चे तथ्य और एक बहुत मिलते-जुलते, लेकिन गलत तथ्य के बीच अंतर पहचान सकता है। यह पूछने जैसा है कि, "क्या टोस्टर का उपयोग भोजन गर्म करने के लिए किया जाता है?" बनाम "क्या कॉफी मेकर का उपयोग भोजन गर्म करने के लिए किया जाता है?" एक स्मार्ट दिमाग जानता है कि दूसरा वाला गलत है, भले ही दोनों मशीनें समान दिखती हों।
यहीं पर XCOMPS नामक एक नया अध्ययन आता है। XCOMPS को एक विशाल, बहुभाषी "अंतर पहचानो" (spot the difference) खेल के रूप में समझें, जिसे यह परीक्षण करने के लिए बनाया गया है कि क्या एआई वास्तव में अवधारणाओं को समझता है या यह केवल दिखावा कर रहा है। शोधकर्ताओं ने 17 विभिन्न भाषाओं के साथ एक डेटासेट बनाया, जिसमें सरल से लेकर बहुत जटिल भाषाएं शामिल थीं जिनमें बहुत सारे शब्द-अंत (word endings) होते हैं। उन्होंने तीन अलग-अलग तरीकों से एआई का परीक्षण किया: सीधे पूछकर (एक क्विज़ की तरह), यह जाँचकर कि वह अपने उत्तरों के बारे में कितना आश्वस्त महसूस करता है (एक अंतर्ज्ञान की तरह), और उसके मस्तिष्क के अंदर झाँककर यह देखकर कि उसके सोचने के दौरान कौन से हिस्से सक्रिय होते हैं।
यहाँ उन्हें क्या मिला, और यह थोड़ा आश्चर्यजनक है। पहला, एआई अंग्रेजी में बहुत अच्छा है। वह टोस्टर और कॉफी मेकर के बीच आसानी से अंतर कर सकता है। लेकिन जब उन्होंने उन भाषाओं में स्विच किया जो उसके प्रशिक्षण डेटा में कम आम थीं (लो-रिसोर्स भाषाएं), तो एआई लड़खड़ाने लगा। यह केवल थोड़ा सा खराब नहीं हुआ; कभी-कभी यह काफी भ्रमित हो जाता था। ऐसा लगता है जैसे रोबोट का "कॉन्सेप्ट ब्रेन" अंग्रेजी में बहुत मजबूत है लेकिन अन्य भाषाओं में बोलने पर धुंधला और अविश्वसनीय हो जाता है।
दूसरा, एआई स्पष्ट अंतर पहचानने में माहिर है लेकिन सूक्ष्म अंतरों के लिए एक बुरा जासूस है। यदि आप इसकी तुलना एक टोस्टर से एक पक्षी (जैसे व्रेन) से करते हैं, तो यह हर बार सही होता है क्योंकि वे पूरी तरह से अलग हैं। लेकिन यदि आप इसकी तुलना एक कॉफी मेकर से करते हैं (जो दोनों रसोई के उपकरण हैं जो चीजें गर्म करते हैं), तो एआई अक्सर भ्रमित हो जाता है। यह सुझाव देता है कि रोबोट वास्तव में शब्दों के गहरे अर्थ के बारे में "सोच" नहीं रहा है; वह केवल बड़े, स्पष्ट संकेतों को देख रहा है। जब संकेत सूक्ष्म होते हैं, तो वह लड़खड़ा जाता है।
अंत में, अध्ययन ने पाया कि भाषा जितनी जटिल होती है, एआई के लिए उतना ही कठिन होता है। ऐसी भाषाएं जो शब्दों को कई छोटे टुकड़ों को जोड़कर (जैसे लेगो ब्रिक्स) बनाती हैं या जिनमें शब्द के अंत बहुत बदलते हैं, उनके कारण एआई के स्कोर में गिरावट आई। शोधकर्ता सुझाव देते हैं कि जैसे-जैसे भाषा अधिक जटिल होती जाती है, एआई को अर्थ समझने के लिए अपने स्वयं के "मस्तिष्क" की गहरी परतों में खुदाई करनी पड़ती है, और वह अक्सर इसे लगातार करने में विफल रहता है।
संक्षेप में, जबकि ये एआई मॉडल अविश्वसनीय रूप से प्रभावशाली हैं और कई भाषाएं बोल सकते हैं, उनमें अवधारणाओं की सार्वभौमिक, भाषा-स्वतंत्र समझ नहीं दिखती है। वे अभी भी उन विशिष्ट भाषाओं से गहराई से जुड़े हुए हैं जिनसे उन्होंने सीखा है, और वे संघर्ष करते हैं जब भाषा के नियम जटिल हो जाते हैं या डेटा कम होता है। यह अध्ययन बताता है कि हमने अभी तक ऐसा एआई नहीं बनाया है जो वास्तव में दुनिया को उसी लचीले, बहु-भाषी तरीके से समझ सके जैसे इंसान समझते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।