Cross-Lingual Information Access in the LLM Era: Architectures, Alignment Strategies, and Open Challenges for Low-Resource Languages

कल्पना कीजिए कि आप एक विशाल, वैश्विक पुस्तकालय में खड़े हैं जहाँ हर किताब एक अलग भाषा में लिखी गई है। यदि आप एक लाइब्रेरियन से "ड्रैगन" के बारे में कहानी मांगते हैं, तो वे आपको अंग्रेजी में "ड्रैगन" के बारे में एक किताब दे सकते हैं, लेकिन यदि आप ऐसी भाषा में पूछते हैं जिसे वे नहीं जानते, तो वे शायद केवल कंधे उचका देंगे या गलत अनुमान लगाकर आपको "टोस्टर" के बारे में एक किताब थमा देंगे। दशकों तक, कंप्यूटरों ने इसे एक सुपर-फास्ट अनुवादक की तरह काम करके हल करने की कोशिश की: वे आपके सवाल का अंग्रेजी में अनुवाद करेंगे, उत्तर ढूंढेंगे, और फिर उसे वापस अनुवाद करेंगे। लेकिन यह हजारों लोगों के साथ "टेलीफोन" गेम खेलने जैसा है; जब तक संदेश वापस आप तक पहुँचता है, तब तक वह अक्सर बिगड़ चुका होता है, या कंप्यूटर भ्रमित होकर मनगढ़ंत बातें बनाने लगता है।

हाल ही में, वैज्ञानिकों ने "सुपर-ब्रेन" (लार्ज लैंग्वेज मॉडल्स) बनाए हैं जो एक साथ कई भाषाएं पढ़ सकते हैं, इस उम्मीद में कि वे भाषा की परवाह किए बिना "ड्रैगन" के विचार को समझ पाएंगे। लेकिन यहाँ एक पेंच है: इन सुपर-ब्रेन को ज्यादातर बड़ी, समृद्ध भाषाओं (जैसे अंग्रेजी, चीनी और फ्रेंच) की किताबें खिलाई गई हैं और छोटी, कम प्रचलित भाषाओं की बहुत कम किताबें। यह शोध पत्र एक महत्वपूर्ण प्रश्न पूछता है: क्या ये नए सुपर-ब्रेन वास्तव में सभी को जानकारी खोजने में मदद कर रहे हैं, या वे अनजाने में कुछ लोगों को अंधेरे में छोड़ रहे हैं? इसका उत्तर देने के लिए, लेखक देखते हैं कि ये सिस्टम "लो-रिसोर्स" भाषाओं (वे भाषाएं जिनके डिजिटल रूप में कम किताबें हैं) को कैसे संभालते हैं और क्या ये सिस्टम निष्पक्ष, सटीक हैं, या बस कहानियाँ बना रहे हैं।

---

द ग्रेट लाइब्रेरी हाइस्ट: जब एआई अनुवाद में खो जाता है

यह शोध पत्र एक वैश्विक पुस्तकालय में हुई चोरी की जांच करने वाली एक जासूसी कहानी की तरह है। संदिग्ध वे नए, फैंसी एआई सिस्टम हैं जिन्हें विभिन्न भाषाओं में हमें जानकारी खोजने में मदद करने के लिए डिज़ाइन किया गया है। शोधकर्ताओं की एक टीम, सॉफ्टवारिका कॉलेज के शोधकर्ताओं ने, इन सिस्टम्स को एक कठोर स्ट्रेस टेस्ट से गुजरने के लिए मजबूर करने का निर्णय लिया ताकि यह देखा जा सके कि वे वास्तव में "स्मार्ट" हैं या केवल उन भाषाओं के साथ "भाग्यशाली" हैं जिन्हें वे अच्छी तरह जानते हैं।

पुराना तरीका बनाम नया तरीका

इन नए एआई दिग्गजों के आने से पहले, योजना एक "यूनिवर्सल ट्रांसलेटर" बनाने की थी जो किसी भी वाक्य को एक पूर्ण, तटस्थ अर्थ (एक गुप्त कोड की तरह) में बदल सके और फिर उस कोड को किसी भी भाषा में वापस बदल सके। इसे एक रेसिपी को सार्वभौमिक "फ्लेवर कोड" में बदलने जैसा समझें ताकि आप इसे किसी भी रसोई में पका सकें। हालाँकि, इसे पूरी तरह से करना अविश्वर्धनीय रूप से कठिन था।

फिर एक नया दृष्टिकोण आया: विशाल न्यूरल नेटवर्क। ये उन छात्रों की तरह हैं जिन्होंने 100 अलग-अलग भाषाओं में लाखों किताबें पढ़ी हैं। अनुवाद करने के बजाय, वे सीधे शब्दों के "वाइब" या "अर्थ" को सीखने की कोशिश करते हैं। उम्मीद यह थी कि यदि आप स्वाहिली में पूछेंगे, तो एआई अंग्रेजी में अनुवाद किए बिना ही स्वाहिली में उत्तर ढूंढ लेगा। लेकिन लेखकों को संदेह था कि ये छात्र केवल समृद्ध देशों की किताबें ही वास्तव में पढ़ पाए होंगे और बाकी मामलों में वे केवल अनुमान लगा रहे होंगे।

तीन बड़ी खोजें

शोधकर्ताओं ने 18 अलग-अलग भाषाओं को कवर करने वाले तीन अलग-अलग "परीक्षा प्रश्नों" (डेटासेट्स) का उपयोग करके इन एआई सिस्टम का परीक्षण किया। यहाँ उन्होंने क्या पाया, और यह वह सुखद अंत नहीं है जिसकी आप उम्मीद कर सकते हैं।

1. "नेट-हार्मफुल" ट्रैप (हानिकारक जाल)
सबसे चौंकाने वाली खोज यह है कि कुछ भाषाओं के लिए, ये एआई सिस्टम केवल खराब ही नहीं हैं; वे सक्रिय रूप से खतरनाक हैं। शोधकर्ताओं ने एक नया स्कोर बनाया जिसे कंबाइंड फेलियर स्कोर (CFS) कहा जाता है। यह स्कोर दो प्रकार की गलतियों को जोड़ता है:

• हलुसिनेशन (Hallucinations): जब एआई वास्तविक उत्तर न मिल पाने के कारण मनगढ़ंत उत्तर बनाता है।
• त्रुटियां (Errors): जब एआई वास्तविक उत्तर को मिस कर देता है जबकि वह वहीं मौजूद था।

यदि कोई सिस्टम सही उत्तरों की तुलना में अधिक गलतियाँ करता है, तो उसका स्कोर 1.0 से ऊपर चला जाता है। शोध में पाया गया कि योरूबा (Yoruba), स्वाहिली (Swahili) और तेलुगु (Telugu) जैसी भाषाओं के लिए, सिस्टम इतनी बुरी तरह विफल रहे कि उनके स्कोर क्रमशः 1.63, 1.23 और 1.17 थे।

• इसका अर्थ है: योरूबा में सवाल पूछने वाले उपयोगकर्ता के लिए, एआई सही उत्तर देने के बजाय झूठ बोलने या गलत होने की अधिक संभावना रखता है। लेखक तर्क देते हैं कि जब तक कोई सिस्टम इस स्कोर को 1.0 से नीचे नहीं ला सकता, तब तक इसका उपयोग उन भाषाओं के लिए बिल्कुल नहीं किया जाना चाहिए। यह एक ऐसे डॉक्टर की तरह है जो सही दवा देने के बजाय गलत दवा अधिक बार देता है; आप बस उसे अपना इलाज करने के लिए नहीं छोड़ सकते।

2. "अधिक किताबें" का मिथक
लंबे समय तक, लोगों ने सोचा कि इन एआई सिस्टमों के छोटी भाषाओं के लिए विफल होने का कारण केवल यह था कि उन्हें प्रशिक्षित करने के लिए पर्याप्त किताबें (डेटा) नहीं थीं। सामान्य धारणा थी: "यदि हम केवल योरूबा के लिए अधिक विकिपीडिया लेख जोड़ दें, तो एआई स्मार्ट हो जाएगा।"
लेखकों ने प्रत्येक भाषा के लिए विकिपीडिया कॉर्पस (लेखों की संख्या) के आकार को देखकर इसका परीक्षण किया। उन्होंने गणित लगाया और पाया कि कुछ आश्चर्यजनक था: विकिपीडिया लाइब्रेरी का आकार इस बात से लगभग कोई लेना-देना नहीं रखता कि एआई कितना अच्छा प्रदर्शन करता है।

• उपमा: दो छात्रों की कल्पना करें। एक के पास 2 मिलियन किताबें हैं, और दूसरे के पास 5,00,000। आप सोचेंगे कि अधिक किताबों वाला छात्र अधिक स्मार्ट होगा। लेकिन अध्ययन में पाया गया कि कम किताबों वाले छात्र ने कभी-कभी बेहतर ग्रेड प्राप्त किए, और अधिक किताबों वाले छात्र कभी-कभी फेल हो गए।
• असली कारण: यह इस बारे में नहीं था कि उनके पास कितनी किताबें थीं, बल्कि इस बारे में था कि एआई को कैसे सिखाया गया था। यदि एआई को उस विशिष्ट भाषा की संरचना (जैसे एक निजी ट्यूटर) पर विशेष रूप से प्रशिक्षित किया गया था, तो कम किताबों के बावजूद इसने बहुत बेहतर प्रदर्शन किया। यदि इसे सभी भाषाओं के मिश्रण में फेंक दिया गया, तो यह भ्रमित हो गया।

3. अंतर को भरा जा सकता है (यह निश्चित नहीं है)
कई लोगों ने सोचा कि "समृद्ध भाषाओं" (जैसे अंग्रेजी) और "गरीब भाषाओं" (जैसे योरूबा) के बीच का अंतर एक स्थायी दीवार है जिसे पार नहीं किया जा सकता क्योंकि गरीब भाषाओं के लिए पर्याप्त डेटा नहीं है।
यह शोध पत्र सिद्ध करता है कि यह गलत है। यह अंतर प्रकृति का नियम नहीं है; यह एक डिजाइन विकल्प है।

• प्रमाण: जब शोधकर्ताओं ने एक मानक एआई मॉडल का उपयोग किया, तो "समृद्ध" भाषाएं बहुत बेहतर रहीं। लेकिन जब उन्होंने एक ऐसे मॉडल पर स्विच किया जो विशेष रूप से "गरीब" भाषा के लिए फाइन-ट्यून किया गया था, तो "गरीब" भाषा वास्तव में समृद्ध भाषाओं से बेहतर प्रदर्शन कर गई!
• निष्कर्ष: प्रदर्शन का अंतर इसलिए नहीं है क्योंकि भाषाएं "कठिन" हैं; बल्कि इसलिए है क्योंकि एआई सिस्टम के वास्तुकारों ने उनके लिए सही उपकरण नहीं बनाए। यदि आप किसी विशिष्ट भाषा के लिए कस्टम टूल बनाते हैं, तो आप इस असमानता को ठीक कर सकते हैं।

एक निष्पक्ष पुस्तकालय के लिए तीन नियम

लेखक सुझाव देते हैं कि इस स्थिति को सुधारने के लिए, हमें इन सिस्टमों को बनाने और परीक्षण करने के तरीके को बदलने की आवश्यकता है। वे एक नया "थ्री-डायमेंशनल" चेकलिस्ट प्रस्तावित करते हैं:

1. पारदर्शिता (Transparency): हमें केवल एक बड़े औसत स्कोर को देखना बंद करना होगा। हमें प्रत्येक भाषा के लिए परिणाम देखने की आवश्यकता है। यदि कोई सिस्टम अंग्रेजी के लिए बहुत अच्छा काम करता है लेकिन योरूबा के लिए विफल हो जाता है, तो वह एक विफलता है, सफलता नहीं।
2. सिमेंटिक फिडेलिटी (Semantic Fidelity): हमें यह जांचना होगा कि क्या एआई वास्तव में अर्थ को समझता है, न कि केवल शब्दों को। कभी-कभी एआई गलत भाषा में उत्तर देता है (जैसे फ्रेंच प्रश्न का अंग्रेजी में उत्तर देना), जो एक बड़ी विफलता है जिसे वर्तमान परीक्षण अक्सर मिस कर देते हैं।
3. भाषाई समानता (Linguistic Equity): हमें एक सख्त नियम चाहिए: यदि कोई सिस्टम सही उत्तरों की तुलना में अधिक गलतियाँ करता है (CFS > 1.0), तो इसे उपयोग करने की अनुमति नहीं दी जानी चाहिए। हम यह नहीं कह सकते कि यह "60% सटीक" है यदि उस 60% में तथ्य बनाना शामिल है।

मुख्य निष्कर्ष

यह शोध पत्र एक चेतावनी है। नए एआई सिस्टम अद्भुत हैं, लेकिन वे वर्तमान में उन भाषाओं के प्रति पक्षपाती हैं जिनके पास अधिक डेटा है। वे छोटी भाषाओं के लिए केवल "कम सटीक" नहीं हैं; कुछ के लिए, वे पूरी तरह से टूटे हुए और खतरनाक हैं।

अच्छी खबर यह है कि समस्या अनसुलझी नहीं है। यह अधिक किताबें लिखे जाने का इंतजार करने के बारे में नहीं है; यह एआई की संरचना को बदलने के बारे में है ताकि प्रत्येक भाषा की विशिष्ट संरचना का सम्मान किया जा सके। लेखक सुझाव देते हैं कि यदि हम एक "सार्वभौमिक" मस्तिष्क को सब कुछ करने के लिए मजबूर करने के बजाय, प्रत्येक भाषा के लिए विशिष्ट, निष्पक्ष उपकरण बनाना शुरू कर दें, तो हम अंततः वैश्विक पुस्तकालय को केवल कुछ लोगों के लिए नहीं, बल्कि सभी के लिए सुलभ बना सकते हैं। तब तक, हमें इन सिस्टमों पर योरूबा, स्वाहिली और तेलुगु जैसी भाषाओं के लिए भरोसा करने में बहुत सावधान रहना होगा।