Evaluating Cross-lingual Knowledge Consistency in Code-Mixed vis-a-vis Indian Languages using IndicKLAR
यह शोध पत्र IndicKLAR को प्रस्तुत करता है, जो 18 भारतीय भाषाओं और उनके कोड-मिक्स्ड (code-mixed) वेरिएंट्स के लिए एक बेंचमार्क है, जो यह दर्शाता है कि कोड-मिक्स्ड इनपुट अंग्रेजी और मूल भाषाओं के बीच क्रॉस-लिंगुअल नॉलेज कंसिस्टेंसी गैप को महत्वपूर्ण रूप से कम करते हैं, और अक्सर मॉडल हस्तक्षेप के बिना अंग्रेजी के प्रदर्शन के बराबर पहुँच जाते हैं।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।
बड़ी समस्या: "भाषा की दीवार" (The Language Wall)
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल) है जिसे दुनिया के बारे में सब कुछ पता है। यदि आप इस लाइब्रेरियन से अंग्रेजी में कोई सवाल पूछते हैं, तो वह बिल्कुल सही जवाब देता है। लेकिन यदि आप वही सवाल किसी स्थानीय भारतीय भाषा (जैसे हिंदी, तमिल या बंगाली) में पूछते हैं, तो वह अक्सर गलत जवाब देता है या मनगढ़ंत बातें बनाने लगता है।
यह एक "ज्ञान का अंतर" (knowledge gap) है। लाइब्रेरियन को तथ्य तो पता हैं, लेकिन भाषा की बाधा उसे उस ज्ञान तक पहुँचने से रोक देती है जब आप उसकी मातृभाषा में बात करते हैं।
खोज: "कोड-मिक्सड" शॉर्टकट (The "Code-Mixed" Shortcut)
शोधकर्ताओं ने गौर किया कि भारत में लोग वास्तव में कैसे बात करते हैं। वे अक्सर भारतीय वाक्यों में अंग्रेजी शब्दों को मिला देते हैं। इसे कोडिंग-मिक्सिंग (Code-Mixing) कहा जाता है।
- उदाहरण: शुद्ध हिंदी में "What is the capital of India?" कहने के बजाय, कोई व्यक्ति कह सकता है, "India की capital क्या है?" (हिंदी वाक्य में अंग्रेजी शब्द "capital" को मिला देना)।
शोध में पाया गया कि जब आप AI से इस "मिश्रित" (mixed) रूप में सवाल पूछते हैं, तो वह अचानक बहुत स्मार्ट हो जाता है। ऐसा लगता है जैसे अंग्रेजी शब्द एक चाबी की तरह काम करते हैं जो लाइब्रेरियन के ज्ञान के दरवाजे खोल देते हैं, भले ही बाकी वाक्य स्थानीय भाषा में हो।
नया टूल: INDIKLAR
इसका अध्ययन करने के लिए, टीम ने INDIKLAR नामक एक नया परीक्षण क्षेत्र बनाया।
- उपमा (Analogy): कल्पना कीजिए कि एक जिम है जिसमें तीन अलग-अलग ट्रैक हैं:
- नेटिव ट्रैक (Native Track): शुद्ध स्थानीय भाषाओं में सवाल।
- इंग्लिश ट्रैक (English Track): शुद्ध अंग्रेजी में सवाल।
- मिक्सड ट्रैक (Mixed Track): सवाल जिनमें स्थानीय वाक्यों में अंग्रेजी शब्दों का मिश्रण है।
- उन्होंने यह टेस्ट 18 अलग-अलग भारतीय भाषाओं के लिए बनाया और यह सुनिश्चित करने के लिए कि सवाल स्वाभाविक हों, वास्तविक स्थानीय वक्ताओं (native speakers) से उनकी जाँच करवाई।
परिणाम: "फ्लिप पॉइंट" (The "Flip Point")
जब उन्होंने टेस्ट किए, तो उन्हें एक स्पष्ट पैटर्न मिला जिसे वे "फ्लिप पॉइंट" कहते हैं।
- नेटिव भाषा: AI अक्सर विफल हो जाता है (जैसे कोई छात्र जिसने अपनी पाठ्यपुस्तक भूल दी हो)।
- कोड-मिक्सड: AI अचानक सही जवाब देने लगता है (जैसे छात्र को एक परिचित अंग्रेजी शब्द देखकर अपनी पाठ्यपुस्तक याद आ गई हो)।
- अंग्रेजी: AI सही जवाब देता है (पाठ्यपुस्तक पूरी तरह खुली हुई है)।
"फ्लिप पॉइंट" वह क्षण है जब AI "गलत" से "सही" की ओर बदल जाता है। शोध दिखाता है कि यह बदलाव नेटिव और कोड-मिक्सड सेटिंग्स के बीच होता है। एक बार जब आप वे अंग्रेजी कीवर्ड जोड़ देते हैं, तो AI का प्रदर्शन उछलकर लगभग अंग्रेजी के प्रदर्शन के बराबर हो जाता है।
समाधान: "थिंकिंग इन थॉट" (TinT)
शोधकर्ता यह देखना चाहते थे कि क्या वे AI को यह "मिक्सिंग" वाला ट्रिक करने के लिए प्रेरित कर सकते हैं, बिना आपसे खुद मिश्रित शब्द टाइप करवाए। उन्होंने ट्रांसलेट-इन-थॉट (Translate-in-Thought - TinT) नामक एक रणनीति बनाई।
- उपमा: कल्पना कीजिए कि आप लाइब्रेरियन से कह रहे हैं, "मुझे उत्तर बताओ, लेकिन पहले इसके बारे में अंग्रेजी में सोचो, फिर बस मुझे हिंदी में अंतिम उत्तर दे दो।"
- यह कैसे काम करता है: आपको अंग्रेजी अनुवाद दिखाई नहीं देता। AI अपने "दिमाग" के अंदर (आंतरिक रूप से) अनुवाद करता है और केवल अंतिम उत्तर बाहर निकालता है।
- परिणाम: यह काम कर गया! AI को आंतरिक रूप से अंग्रेजी या मिश्रित प्रारूप में "सोचने" के लिए कहने मात्र से वह स्थानीय भाषाओं में उत्तर देने में बहुत बेहतर हो गया। यह सवाल को पहले जोर से अनुवाद करके पूछने की तुलना में तेज़ भी था।
मुख्य निष्कर्ष (Key Takeaways)
- अंतर वास्तविक है: AI शुद्ध भारतीय भाषाओं में सवाल पूछने में अंग्रेजी की तुलना में बहुत खराब है।
- शॉर्टकट काम करता है: भारतीय वाक्यों में अंग्रेजी शब्दों को मिलाना (Code-Mixing) अधिकांश समस्या को तुरंत ठीक कर देता है।
- जादुई ट्रिक: आप समान परिणाम प्राप्त कर सकते हैं यदि आप AI को आंतरिक रूप से अंग्रेजी में "सोचने" के लिए कहें (TinT), बिना अपने द्वारा टाइप किए गए सवाल को बदले।
- आकार मायने रखता है: बड़े AI मॉडल इस "आंतरिक सोच" वाली ट्रिक में बेहतर होते हैं, लेकिन छोटे मॉडल भी इससे लाभान्वित हो सकते हैं।
यह पेपर क्या नहीं कहता:
- यह दावा नहीं करता कि यह चिकित्सा सलाह या कानूनी निर्णयों के लिए काम करेगा।
- यह नहीं कहता कि यह भारत में सभी AI समस्याओं को हमेशा के लिए ठीक कर देगा।
- यह पूरी तरह से तथ्यों को याद रखने की AI की क्षमता पर केंद्रित है, न कि रचनात्मक लेखन या जटिल तर्क कार्यों पर।
संक्षेप में: यदि आप चाहते हैं कि कोई AI भारत के बारे में तथ्य जाने, तो उससे अंग्रेजी और स्थानीय शब्दों के मिश्रण में बात करना (या उसे इस तरह "सोचने" के लिए कहना) सही उत्तर पाने का गुप्त मंत्र है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।