Do Multilingual VLMs Reason Equally? A Cross-Lingual Visual Reasoning Audit for Indian Languages
यह शोध पत्र छह भारतीय भाषाओं के लिए प्रथम क्रॉस-लिंगुअल विजुअल रीजनिंग ऑडिट प्रस्तुत करता है, जो यह प्रकट करता है कि बहुभाषी विजन-लैंग्वेज मॉडल गैर-अंग्रेजी संदर्भों में, विशेष रूप से द्रविड़ भाषाओं के लिए, सटीकता में महत्वपूर्ण गिरावट और क्षयकारी चेन-ऑफ-थॉट प्रदर्शन प्रदर्शित करते हैं, जो यह दर्शाता है कि वर्तमान बहुभाषी प्रीट्रेनिंग भाषाई और लिपि सीमाओं के पार विजुअल रीजनिंग क्षमताओं को स्थानांतरित करने में विफल रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास "विज़नरी" (Visionary) नाम का एक शानदार, अत्यंत बुद्धिमान रोबोट ट्यूटर है। यह रोबोट गणित की समस्याओं, विज्ञान के रेखाचित्रों और ज्यामिति की पहेलियों को देखने और उन्हें हल करने में अद्भुत है। वास्तव में, यदि आप इसे अंग्रेजी में कोई प्रश्न पूछते हैं, तो यह लगभग 60-65% उत्तर सही देता है। यह एक मेधावी छात्र की तरह है।
लेकिन यहाँ एक पेच है: भारत में करोड़ों छात्र हैं जो हिंदी, तमिल, तेलुगु, बंगाली, कन्नड़ और मराठी जैसी भाषाओं में सीखते हैं। मुख्य सवाल जो यह शोध पत्र पूछता है, वह यह है: "यदि हम विज़नरी से इन्हीं समस्याओं को उनकी मातृभाषाओं में हल करने के लिए कहें, तो क्या वह एक सितारा बना रहेगा, या वह अचानक भ्रमित हो जाएगा?"
लेखक, स्वस्तिक आर (Swastik R) ने यह पता लगाने के लिए कि क्या होता है, इसे एक विशाल "क्रॉस-लिंगुअल ऑडिट" देकर तय करने का फैसला किया। यहाँ क्या हुआ, इसे सरल भाषा में समझाया गया है।
1. अनुवाद परीक्षण (The Translation Test)
शोधकर्ता ने 980 कठिन दृश्य प्रश्न (जैसे "इस आकृति का क्षेत्रफल क्या है?" या "आकाश नीला क्यों है?") लिए और उन्हें अंग्रेजी से छह प्रमुख भारतीय भाषाओं में अनुवादित किया। चित्र बिल्कुल वही रहे; केवल शब्द बदले गए।
फिर, उन्होंने आठ अलग-अलग संस्करणों वाले रोबोट (ओपन-सोर्स मॉडल से लेकर GPT-4o जैसे सबसे उन्नत मॉडलों तक) से उन्हें हल करने के लिए कहा।
2. प्रदर्शन में बड़ी गिरावट (The Big Drop in Performance)
परिणाम चौंकाने वाले थे। जब रोबोट ने अंग्रेजी से भारतीय भाषा में स्विच किया, तो इसके प्रदर्शन में भारी गिरावट आई।
- "अंग्रेजी का लाभ" (The English Advantage): बेहतरीन मॉडल भी सटीकता में 10 से 25 प्रतिशत अंक तक गिर गए।
- "द्रविड़ अंतर" (The Dravian Gap): इंडो-आर्यन परिवार (हिंदी, बंगाली, मराठी) की तुलना में द्रविड़ परिवार (तमिल, तेलुगु, कन्नड़) की भाषाओं के लिए यह गिरावट और भी अधिक खराब थी।
- उपमा: कल्पना कीजिए कि एक धावक है जो एक चिकने ट्रैक (अंग्रेजी) पर बहुत अच्छा दौड़ता है। जब आप उसे एक ऊबड़-खाबड़ मैदान (इंडो-आर्यन भाषाएं) में डालते हैं, तो वह थोड़ा धीमा हो जाता है। लेकिन जब आप उसे गहरे दलदल (द्रविड़ भाषाएं) में डाल देते हैं, तो वह हिलने-डुलने के लिए भी संघर्ष करता है।
3. "चेन ऑफ थॉट" का जाल (The "Chain of Thought" Trap)
आपने शायद सुना होगा कि AI को "चरण-दर-चरण सोचने" (Chain-of-Thought) के लिए कहने से यह कठिन समस्याओं को हल करने में मदद करता है। शोधकर्ता ने भारतीय भाषाओं में भी ऐसा ही किया।
- परिणाम: यह उल्टा पड़ गया! मदद करने के बजाय, बंगाली या कन्नड़ में रोबोट को "चरण-दर-चरण सोचने" के लिए कहना वास्तव में इसे और भी बदतर बना देता है।
- उपमा: कल्पना कीजिए कि किसी ऐसे व्यक्ति से, जो किसी विदेशी भाषा में बहुत कम सक्षम है, अपनी तर्क प्रक्रिया समझाने के लिए एक विस्तृत निबंध लिखने को कहा जाए। वे वाक्य बनाने में इतने फंस जाते हैं कि वे वास्तविक गणित की समस्या ही भूल जाते हैं। रोबोट की "सोचने की प्रक्रिया" अंग्रेजी में लॉक है, इसलिए दूसरी भाषा में सोचने के लिए मजबूर करना बस एक उलझा हुआ कचरा पैदा करता है।
4. "छिपी हुई अंग्रेजी" का रहस्य (The "Hidden English" Secret)
शोधकर्ता ने यह देखने के लिए कि रोबोट कैसे सोच रहे थे, उनके काम करने के तरीके की गहराई से जांच की।
- कुछ मॉडलों (जैसे Llama-4-Maverick) ने गुप्त रूप से अपना सारा चिंतन अंग्रेजी में किया, भले ही प्रश्न तमिल में था। वे अंत में अंतिम उत्तर को बस तमिल में अनुवाद कर देते थे।
- उपमा: यह एक ऐसे छात्र की तरह है जो फ्रेंच में परीक्षा दे रहा है लेकिन अपने दिमाग में सारा गणित अंग्रेजी में कर रहा है। वे सही उत्तर पा सकते हैं, लेकिन यदि आप उनसे फ्रेंच में स्पष्टीकरण मांगेंगे, तो वे विफल हो जाएंगे। शिक्षा के लिए यह खतरनाक है क्योंकि एक वास्तविक ट्यूटर को छात्र की भाषा में अवधारणाओं को धाराप्रवाह समझाना चाहिए।
5. आकार सब कुछ ठीक नहीं करता (Size Doesn't Fix Everything)
आमतौर पर, रोबोट को "बड़ा" बनाने (उसे अधिक मस्तिष्क शक्ति देने) से वह अधिक स्मार्ट बनता है।
- शोधकर्ता ने एक छोटे रोबोट (7B पैरामीटर्स) की तुलना एक विशाल रोबोट (32B पैरामीटर्स) से की।
- परिणाम: बड़ा रोबोट थोड़ा बेहतर प्रदर्शन करता है, लेकिन अंग्रेजी और भारतीय भाषाओं के बीच का अंतर बहुत कम हुआ।
- उपमा: किसी व्यक्ति को एक बड़ी डिक्शनरी देने से उसे अधिक शब्द पता चल सकते हैं, लेकिन यह उसे उस भाषा में धाराप्रवाह बोलना या तर्क की पहेलियाँ सुलझाना नहीं सिखाता। आपको केवल अधिक डेटा नहीं, बल्कि विशिष्ट प्रशिक्षण की आवश्यकता होती है।
6. "विज्ञान चित्र" का अपवाद (The "Science Picture" Exception)
एक दिलचस्प मोड़ भी आया। कुछ विज्ञान संबंधी प्रश्नों के लिए जो रेखाचित्रों (जैसे कोशिका या मशीन का चित्र) पर बहुत अधिक निर्भर करते हैं, एक विशिष्ट मॉडल (Gemma 3-27B) ने वास्तव में भारतीय भाषाओं में अंग्रेजी की तुलना में बेहतर प्रदर्शन किया!
- उपमा: कभी-कभी, एक चित्र शब्दों से अधिक प्रभावशाली होता है। यदि चित्र स्पष्ट है, तो रोबोट को उत्तर का अनुमान लगाने के लिए शब्दों को पूरी तरह से पढ़ने की आवश्यकता नहीं होती है। लेकिन गणित के शब्द-समस्याओं (word problems) के लिए, जहाँ भाषा ही कुंजी है, रोबोट बुरी तरह संघर्ष करता है।
निष्कर्ष (The Bottom Line)
यह शोध पत्र भारत में एडटेक (EdTech) कंपनियों और स्कूलों के लिए एक चेतावनी है।
- समस्या: यदि आप आज क्षेत्रीय स्कूलों में इन AI ट्यूटर्स को तैनात करते हैं, तो गैर-अंग्रेजी बोलने वाले छात्रों को अंग्रेजी बोलने वाले छात्रों की तुलना में काफी खराब सहायता मिलेगी।
- कारण: रोबोट अपनी तर्क क्षमता (reasoning) में बहुभाषी नहीं हैं; वे केवल अपनी शब्दावली (vocabulary) में बहुभाषी हैं। उन्होंने इन भाषाओं में सोचना नहीं सीखा है।
- समाधान: हम केवल प्रश्नों का अनुवाद नहीं कर सकते। हमें इन रोबोटों को विशेष रूप से भारतीय भाषाओं में तर्क करने के लिए प्रशिक्षित करने की आवश्यकता है, न कि केवल उन्हें पढ़ने के लिए।
संक्षेप में: रोबोट अंग्रेजी में धाराप्रवाह है, लेकिन तमिल, तेलुगु और कन्नड़ में वह अभी भी एक बच्चा है। जब तक हम उसे उन भाषाओं में "सोचना" नहीं सिखाते, तब तक वह भारत के लाखों क्षेत्रीय-माध्यम के छात्रों के लिए एक शिक्षक बनने के लिए तैयार नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।