Beyond 'One Language, One Script': Quantifying Orthographic Bias in Multilingual VLMs with PuMVR
यह शोध पत्र PuMVR प्रस्तुत करता है, जो बहुभाषी विजन-लैंग्वेज मॉडल्स में महत्वपूर्ण ऑर्थोग्राफिक पूर्वाग्रह को मापने वाला पहला बेंचमार्क है, यह प्रदर्शित करते हुए कि ये सिस्टम पंजाबी की तीन सक्रिय लिपियों (गुरमुखी, शाहमुखी और रोमन) के बीच प्रदर्शन में भारी अंतर और असंगत तर्क प्रदर्शित करते हैं, जिससे इस धारणा को चुनौती मिलती है कि एक भाषा का अर्थ एक एकल लेखन प्रणाली है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, बहुभाषी रोबोट सहायक है। आप उससे कहते हैं, "मैं पंजाबी बोलता हूँ," और वह गर्व से कहता है, "बहुत अच्छा! मैं आपकी पंजाबी में मदद कर सकता हूँ।" लेकिन यहाँ एक पेंच है: पंजाबी केवल एक तरीके से नहीं लिखी जाती। यह एक ऐसी भाषा की तरह है जो तीन अलग-अलग मुखौटे पहनती है:
- गुरमुखी: भारत में उपयोग की जाने वाली लिपि (एक ब्लॉक जैसी, संरचित फ़ॉन्ट की तरह)।
- शाहमुखी: पाकिस्तान में उपयोग की जाने वाली लिपि (एक बहती हुई, घुमावदार शैली की तरह)।
- रोमन: मानक अंग्रेजी अक्षरों के साथ लिखी गई भाषा (जैसे "नमस्ते" के बजाय "Hello" टाइप करना)।
यह शोध पत्र तर्क देता है कि वर्तमान AI मॉडल एक चाल चल रहे हैं। वे मान लेते हैं कि "एक भाषा = एक लिपि।" उन्हें लगता है कि यदि किसी मॉडल को गुरमुखी में पंजाबी का ज्ञान है, तो वह अपने आप शाहमुखी और रोमन में भी उसे जान जाएगा। यह गलत है।
लेखकों ने एक परीक्षण बनाया जिसे PuMVR (इसे एक "स्क्रिप्ट-स्विचिंग बाधा दौड़" समझें) कहा जाता है ताकि यह साबित किया जा सके। उन्होंने 375 पहेलियाँ लीं—जिनमें ढोल जैसे सांस्कृतिक वस्तुओं की पहचान करने से लेकर दृश्य पहेलियों को हल करने तक सब कुछ शामिल था—और उन्होंने एक ही प्रकार की पहेली को तीनों लिपियों में AI मॉडलों के सामने प्रस्तुत किया।
उन्होंने क्या पाया, इसे सरल उपमाओं का उपयोग करके यहाँ दिया गया है:
1. "स्क्रिप्ट गैप" (अंध बिंदु/ब्लाइंड स्पॉट)
जब AI ने गुरमुखी में एक पहेली को हल किया, तो हो सकता है कि उसने इसे 90% बार सही ढंग से किया हो। लेकिन जब आपने उसे ठीक वही पहेली शाहमुखी में दी, तो उसका प्रदर्शन गिरकर 60% हो सकता था।
- उपमा: कल्पना कीजिए कि एक शेफ है जो उस व्यंजन को पूरी तरह से बना सकता है जब रेसिपी अंग्रेजी में लिखी हो, लेकिन यदि आप उसे वही रेसिपी फ्रेंच में लिखकर दें, तो वह अचानक उबलता पानी बनाना भी भूल जाता है। सामग्री (दृश्य चित्र) और लक्ष्य (उत्तर) समान हैं, लेकिन निर्देश लिखने का तरीका उनके दिमाग को तोड़ देता है।
2. "विजुअल बूस्ट" समस्या को ठीक नहीं करता
आप सोच सकते हैं, "खैर, AI चित्र देख तो सकता है! इससे मदद मिलनी चाहिए।"
शोध पत्र ने AI को चित्र साथ में टेक्स्ट देकर इसका परीक्षण किया।
- उपमा: यह एक व्यक्ति को मानचित्र (चित्र) देने जैसा है, जबकि वह एक ऐसे संकेत को पढ़ने की कोशिश कर रहा है जिसे वह नहीं जानता। मानचित्र उनकी थोड़ी मदद करता है, लेकिन वह उन्हें संकेत पढ़ना नहीं सिखाता। AI अभी भी शाहमुखी लिपि के साथ संघर्ष कर रहा था, भले ही वह चित्र देख सकता था। पूर्वाग्रह ठीक नहीं हुआ; इसे बस एक छोटा सा बढ़ावा मिला।
3. "रीज़निंग स्प्लिट" (पहचान का संकट)
शोधकर्ताओं ने AI से "ज़ोर से सोचने" (चेन-ऑफ-थॉट) के लिए कहा ताकि यह देखा जा सके कि वह समस्याओं को कैसे हल करता है।
- उपमा: जब AI ने गुरमुखी में पहेली पढ़ी, तो उसने सोचा, "यह एक सिख सांस्कृतिक प्रतीक है, इसलिए मैं धार्मिक सुरागों की तलाश करूँगा।" लेकिन जब उसने ठीक वही पहेली शाहमुखी में पढ़ी, तो अचानक उसने सोचा, "यह एक इस्लामी सांस्कृतिक प्रतीक है, इसलिए मैं अलग सुरागों की तलाश करूँगा।" AI चित्र के बारे में तर्क नहीं कर रहा था; वह अक्षरों के आकार पर प्रतिक्रिया दे रहा था। लिपि स्वयं एक स्विच की तरह काम कर रही थी जिसने AI के पूरे व्यक्तित्व और रणनीति को बदल दिया।
4. "कंसिस्टेंसी स्कोर" (असली परीक्षण)
यह शोध पत्र एक नया स्कोर पेश करता है जिसे SCR (स्क्रिप्ट कंसिस्टेंसी रेट) कहा जाता है।
- उपमा: कल्पना कीजिए कि एक छात्र गणित की परीक्षा दे रहा है। यदि वे 'टाइम्स न्यू रोमन' में लिखी गई परीक्षा में 90% अंक प्राप्त करते हैं, लेकिन 'कोमिक सान्स' में लिखी गई परीक्षा में केवल 60% प्राप्त करते हैं, तो क्या वे वास्तव में गणित में अच्छे हैं? नहीं। वे केवल 'टाइम्स न्यू रोमन' पढ़ने में अच्छे हैं। शोध पत्र ने पाया कि कई शीर्ष-स्तरीय AI मॉडलों के लिए, उनका "कंसिस्टेंसी स्कोर" चौंकाने वाला रूप से कम था (कभी-कभी 25% जितना कम)। इसका मतलब है कि वे वास्तव में "बहुभाषी" होने में विफल हो रहे हैं क्योंकि वे अलग-अलग लेखन शैलियों में भाषा को नहीं संभाल सकते।
निचोड़
शोध पत्र निष्कर्ष निकालता है कि हम खुद को यह कहकर मूर्ख बना रहे हैं कि AI "बहुभाषी" है। यह वास्तव में बहुत सीमित तरीके से "बहु-लिपि" (multi-script) है। यदि आप ऐसी भाषा बोलते हैं जो कई लिपियों का उपयोग करती है (जैसे पंजाबी, सर्बियाई या कुर्दिश), तो आपका AI सहायक एक लिपि में आपके लिए विश्वसनीय हो सकता है लेकिन दूसरी लिपि में पूरी तरह से अविश्वसनीय हो सकता है।
लेखक यह नहीं कह रहे हैं कि AI बेकार है; वे कह रहे हैं कि यह उन अरबों लोगों के लिए अविश्वसनीय है जो लिपियों के बीच स्विच करते हैं। AI को वास्तव में निष्पक्ष बनाने के लिए, हमें केवल किसी भाषा के एक संस्करण पर इसका परीक्षण करना बंद करना होगा और उन सभी तरीकों पर परीक्षण करना शुरू करना होगा जिनमें लोग वास्तव में इसे लिखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।