Vision-Language Models are Fragile Multilingual Associators
यह शोध पत्र MBIND बेंचमार्क प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि विजन-लैंग्वेज मॉडल भंगुर, भाषा-निर्भर कॉन्सेप्ट बाइंडिंग प्रदर्शित करते हैं जो क्रॉस-फैमिली और क्रॉस-स्क्रिप्ट बहुभाषी सेटिंग्स में काफी हद तक ढह जाती है, जो विविध भाषाओं में सुसंगत प्रदर्शन की धारणा को चुनौती देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हलचल भरे अंतरराष्ट्रीय बाजार में टहल रहे हैं। आप एक चमकीला लाल सेब देखते हैं। आपके मन में, "लाल" शब्द और उस सेब की छवि एक एकल, अटूट विचार में विलीन हो जाती है। इससे कोई फर्क नहीं पड़ता कि कोई विक्रेता उसे rouge, hong, या ahmar कहता है; आपका मस्तिष्क तुरंत जानता है कि ये सभी उसी चमकदार फल की ओर संकेत करते हैं। यह जो हम देखते हैं उसे जो हम सुनते हैं से जोड़ने की क्षमता, जो भाषा बोली जा रही हो, चाहे वह कुछ भी हो, एक ऐसी सुपरपावर है जो मनुष्यों के पास जन्म से रही है।
अब, एक रोबोट को ऐसा ही करने के लिए प्रशिक्षित करने की कल्पना करें। हमने शक्तिशाली "विज़न-लैंग्वेज मॉडल्स" (VLMs) बनाए हैं—ऐसे AI सिस्टम जो एक तस्वीर देख सकते हैं और उसके बारे में सवालों के जवाब दे सकते हैं। हम यह मान लेते हैं कि यदि ये रोबोट एक शंकु (cone) की तस्वीर को अंग्रेजी में "yellow" शब्द से जोड़ना सीख लेते हैं, तो वे अपने आप जान जाएंगे कि "jaune" (फ्रेंच) या "huang" (मंदारिन) का मतलब वही है। यह स्पष्ट लगता है, है ना? लेकिन आर्टिफिशियल इंटेलिजेंस की दुनिया में, "स्पष्ट" होना अक्सर वहीं होता है जहाँ चीजें गलत हो जाती हैं। यह शोधपत्र एक सरल लेकिन भयानक प्रश्न पूछता है: यदि हम एक AI को एक दृश्य वस्तु को एक विवरण से जोड़ने के लिए सिखाते हैं, तो क्या वह लिंक तब भी जीवित रहता है जब हम एक अलग भाषा में स्विच करते हैं? या क्या वह संबंध टूट जाता है, जिससे रोबोट भ्रमित हो जाता है भले ही वह सही उत्तर दे रहा हो?
द ग्रेट लैंग्वेज स्विच-इरू (The Great Language Switch-eroo)
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व रिताब्रता चक्रवर्ती और सहयोगियों ने किया, इस धारणा को परखने का निर्णय लिया। उन्होंने एक नया खेल बनाया जिसे M2BIND कहा गया। इसे एक जादू के खेल की तरह समझें जहाँ वे एक AI को दो 3D आकृतियों—एक शंकु (cone) और एक घन (cube) की तस्वीर दिखाते हैं। फिर वे AI को एक अलग भाषा में एक "गुप्त नियम" (Context) देते हैं और पूरी तरह से एक अलग भाषा में एक प्रश्न (Query) पूछते हैं।
यह जादू इस प्रकार काम करता है:
- दृश्य (The Scene): AI एक सियान (cyan) रंग का घन और एक पीला शंकु देखता है।
- नियम (The Rule/Context): फ्रेंच में, AI को बताया जाता है, "The cyan object contains item P. The yellow object contains item I." (सियान वस्तु में आइटम P है। पीली वस्तु में आइटम I है।)
- प्रश्न (The Question/Query): अंग्रेजी में, AI से पूछा जाता है, "Which item does the cone contain?" (शंकु में कौन सा आइटम है?)
सही उत्तर पाने के लिए, AI को एक मानसिक व्यायाम करना होगा: उसे शंकु को देखना होगा, यह समझना होगा कि वह पीला है, यह याद रखना होगा कि फ्रेंच नियम कहता है कि "पीला = I," और फिर "I" उत्तर देना होगा। यदि AI ऐसा कर सकता है, तो यह साबित करता है कि उसने सफलतापूर्वक दृश्य आकार को रंग से, और रंग को वस्तु से "बाउंड" (bind) कर लिया है, वह भी दो अलग-अलग भाषाओं के बीच।
बड़ी खोज: "साइलेंट क्रैश" (The Big Discovery: The "Silent Crash")
परिणाम काफी चौंकाने वाले थे। शोधपत्र बताता है कि ये AI मॉडल नाजुक बहुभाषी संयोजक (fragile multilingual associators) हैं। हालांकि वे अभी भी अधिकांश समय सही उत्तर दे सकते हैं, लेकिन उनके वहां तक पहुँचने का तरीका बिखर जाता है जब भाषाएं बहुत अलग होती हैं।
शोधकर्ताओं ने इसे फैक्टरइजेशन मार्जिन (Factorization Margin - FM) नामक मीट्रिक का उपयोग करके मापा। आप इसे एक "कॉन्फिडेंस स्कोर" के रूप में सोच सकते हैं कि AI ने अवधारणाओं को कितनी मजबूती से जोड़ा है।
- जब AI नियम और प्रश्न दोनों के लिए एक ही भाषा बोलता है (जैसे अंग्रेजी से अंग्रेजी), तो गोंद बहुत मजबूत होता है। स्कोर स्वस्थ 5.45 था।
- लेकिन जब उन्होंने अलग-अलग परिवारों की भाषाओं को मिलाया—जैसे कि एक नियम मंदारिन में और प्रश्न अरबी में उपयोग करना—तो गोंद धूल बन गया। स्कोर गिरकर 2.80 रह गया।
यह एक "बाइंडिंग कोलैप्स" (binding collapse) है। इसका अर्थ है कि भले ही AI सही उत्तर का अनुमान लगा ले, लेकिन यह वास्तव में उन बिंदुओं को उस तरह से नहीं जोड़ रहा है जैसे एक इंसान करता है। यह उस छात्र की तरह है जिसने उत्तर कुंजी (answer key) रट ली है लेकिन गणित को नहीं समझा है। शोधपत्र सुझाव देता है कि बहुत अलग भाषाओं के लिए (क्रॉस-फैमिली या लैटिन बनाम अरबी जैसे अलग लिपियों का उपयोग करने वाली), AI अपनी जुड़ाव बनाए रखने की क्षमता खो देता है।
यह क्यों होता है? "टोकन" की बाधा (The "Token" Bottotleneck)
लेखकों ने यह पता लगाने के लिए गहराई से जांच की कि क्यों ऐसा होता है। उन्होंने दो मुख्य दोषियों को पाया:
- टोकनाइज़र की समस्या (The Tokenizer Problem): कल्पना कीजिए कि AI टेक्स्ट को एक व्यक्ति द्वारा किताब पढ़ने की तरह पढ़ता है, लेकिन शब्दों के बजाय, वह "टोकन" (अक्षरों के टुकड़े) देखता है। कुछ भाषाएँ "लालची" खाने वाली होती हैं। शोधपत्र ने पाया कि अरबी में उसी वाक्य को लिखने के लिए अंग्रेजी की तुलना में 27.6% अधिक टोकन की आवश्यकता होती है। यह AI की मेमोरी को फुला देता है, जिससे उसे वाक्य के हिस्सों को काटने (truncation) या बस अभिभूत होने के लिए मजबूर होना पड़ता है। यह एक छोटे कार में एक विशाल हाथी को फिट करने की कोशिश करने जैसा है; फिट बहुत तंग है, और चीजें दब जाती हैं।
- "लेट नाइट" मस्तिष्क (The "Late Night" Brain): शोधकर्ताओं ने AI के मस्तिष्क की परतों के अंदर झाँकने के लिए एक विशेष तकनीक "कॉज़ल इंटरवेंशन" (causal intervention) का उपयोग किया। उन्होंने पाया कि जब भाषाएं समान होती हैं, तो AI अपनी सोच की प्रक्रिया के बीच में कनेक्शन का पता लगा लेता है। लेकिन जब भाषाएं अलग होती हैं, तो AI को अपना काम बिल्कुल अंत तक धकेलना पड़ता है, जैसे कि परीक्षा के लिए अंतिम समय में रटने वाला छात्र। यह "लेट-लेयर" गणना कमजोर और कम विश्वसनीय होती है।
अच्छी खबर: कजिन्स (रिश्तेदार) आपस में मिल जाते हैं
एक अच्छी खबर भी है! शोधपत्र ने पाया कि यदि भाषाएं "कजिन" (करीबी रिश्तेदार) हैं, तो AI बहुत बेहतर प्रदर्शन करता है।
- जर्मनिक परिवार (Germanic Family): अंग्रेजी, डच और जर्मन करीबी रिश्तेदार हैं। जब AI इन दोनों के बीच स्विच करता है, तो कनेक्शन मजबूत रहता है (स्कोर लगभग 5.00–5.30)।
- रोमांस परिवार (Romance Family): फ्रेंच, इतालवी और स्पेनिश भी अच्छा प्रदर्शन करते हैं।
- अजनबी (The Strangers): लेकिन जब AI ने अंग्रेजी को मंदारिन के साथ, या फ्रेंच को अरबी के साथ मिलाने की कोशिश की, तो प्रदर्शन काफी गिर गया।
यह सुझाव देता है कि AI का आंतरिक "शब्दकोश" इस आधार पर व्यवस्थित है कि भाषाएं कितनी समान हैं। यदि भाषाएं एक ही परिवार के पेड़ से जुड़ी हैं, तो AI अवधारणा को आसानी से अनुवादित कर सकता है। यदि वे अजनबी हैं, तो AI उस अंतर को पाटने के लिए संघर्ष करता है।
भविष्य के लिए इसका क्या अर्थ है
शोधपत्र निष्कर्ष निकालता है कि हम इन AI मॉडल्स को वास्तव में "बहुभाषी" नहीं मान सकते क्योंकि वे एक भाषा में परीक्षण पास कर लेते हैं। यदि आप एक वैश्विक सेटिंग में, जहाँ भाषाओं का मिश्रण हो, एक AI तैनात करते हैं, तो आपको ऐसे उत्तर मिल सकते हैं जो सही दिखते हैं लेकिन कमजोर, टूटे हुए कनेक्शनों पर आधारित होते हैं।
लेखक चेतावनी देते हैं कि केवल "सटीकता" (क्या उसने सही उत्तर दिया?) पर भरोसा करना खतरनाक है। एक मॉडल 90% बार सही उत्तर दे सकता है जबकि उसका आंतरिक तर्क पूरी तरह से बिखर रहा हो। वे सुझाव देते हैं कि इन मॉडल्स को दुनिया भर में वास्तव में विश्वसनीय बनाने के लिए, हमें यह ठीक करने की आवश्यकता है कि वे विभिन्न लिपियों और भाषाओं को कैसे संभालते हैं, न कि केवल इस उम्मीद पर निर्भर रहना कि वे खुद ही इसे सुलझा लेंगे। फिलहाल, एक ऐसे AI का सपना जो हर मानवीय भाषा में दृष्टि और भाषा को सहजता से जोड़ सके, केवल एक सपना ही बना हुआ है—जिसकी नींव में कुछ दरारें हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।