यहाँ "Why do Large Language Models Fail in Low-resource Translation?" शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: "यूनिवर्सल ट्रांसलेटर" की गड़बड़ी

कल्पना कीजिए कि लार्ज लैंग्वेज मॉडल्स (LLMs) अविश्वसनीय रूप से बुद्धिमान, दुनिया घूमने वाले पुस्तकालयाध्यक्षों (librarians) की तरह हैं जिन्होंने दुनिया की लगभग हर किताब पढ़ ली है। वे अंग्रेजी, फ्रेंच या चीनी जैसी भाषाओं में अनुवाद करने में बहुत माहिर हैं क्योंकि उन्होंने इन भाषाओं में लाखों किताबें पढ़ी हैं।

लेकिन जब आप उनसे किसी कम प्रचलित भाषा (जैसे खमेर या तमिल) में अनुवाद करने के लिए कहते हैं, या ऐसी भाषा जोड़ी (language pair) के बारे में पूछते हैं जिसमें अंग्रेजी शामिल नहीं है (जैसे अरबी से हिब्रू), तो वे लड़खड़ाने लगते हैं। वे या तो अर्थहीन शब्द पैदा कर सकते हैं, अनावश्यक स्पष्टीकरण जोड़ सकते हैं, या बस अर्थ को गलत कर सकते हैं।

यह शोध पत्र पूछता है: ये सुपर-स्मार्ट लाइब्रेरियन इन विशिष्ट कार्यों में क्यों विफल होते हैं, और क्या हम सटीक रूप से माप सकते हैं कि ऐसा क्यों होता है?

---

1. समस्या: "अंग्रेजी-केंद्रित" पूर्वाग्रह (English-Centric Bias)

शोधकर्ताओं ने 15 अलग-अलग AI मॉडलों का 22 विभिन्न भाषा जोड़ियों पर परीक्षण किया। उन्होंने एक स्पष्ट पैटर्न पाया:

• अंग्रेजी-केंद्रित जोड़ियाँ (जैसे अंग्रेजी से जर्मन) बहुत अच्छी तरह काम करती हैं।
• गैर-अंग्रेजी जोड़ियाँ (जैसे अरबी से हिब्रू) या कम-संसाधन वाली जोड़ियाँ (वे भाषाएँ जिनके इंटरनेट पर कम किताबें उपलब्ध हैं) बहुत खराब प्रदर्शन करती हैं।

उपमा (Analogy): AI की शब्दावली को एक विशाल टूलबॉक्स की तरह समझें। अंग्रेजी के लिए, टूलबॉक्स एक विशाल गोदाम है जिसमें कल्पना से परे हर तरह के औज़ार मौजूद हैं। दुर्लभ भाषाओं के लिए, टूलबॉक्स एक छोटा, धूल भरा दराज़ है जिसमें केवल कुछ ही जंग लगे औज़ार हैं। जब AI एक दुर्लभ भाषा में वाक्य बनाने की कोशिश करता है, तो वह एक हथौड़े और एक चम्मच से कार ठीक करने की कोशिश कर रहा होता है।

2. नया टूल: "टोकन एक्टिवेशन रेट" (Token Activation Rate - TAR)

यह समझने के लिए कि टूलबॉक्स इतना खाली क्यों है, लेखकों ने एक नया मापने वाला पैमाना बनाया जिसे टोकन एक्टिवेशन रेट (TAR) कहा जाता है।

• "टोकन" क्या है? कंप्यूटर पूरे शब्दों को नहीं पढ़ते; वे टेक्स्ट को छोटे टुकड़ों में तोड़ देते हैं जिन्हें टोकन कहा जाता है (जैसे "cat" एक टोकन हो सकता है, लेकिन "unbelievable" को "un," "believe," और "able" में तोड़ा जा सकता है)।
• TAR क्या है? यह मापता है कि जब AI किसी विशिष्ट भाषा को पढ़ता है, तो उसके कितने उपलब्ध "टुकड़े" (टोकन) वास्तव में उपयोग किए जाते हैं।

उपमा: एक लाइब्रेरी की कल्पना करें जिसमें 1,00,000 किताबें हैं।

• यदि आप लाइब्रेरियन से अंग्रेजी के बारे में किताबें खोजने के लिए कहते हैं, तो वे 50,000 किताबें निकाल लेते हैं। यह एक उच्च सक्रियता दर (high activation rate) है। लाइब्रेरी उस विषय के लिए "जीवंत" है।
• यदि आप खमेर के लिए किताबें मांगते हैं, तो वे केवल 500 किताबें ढूंढ पाते हैं। यह एक कम सक्रियता दर (low activation rate) है। उस विषय के लिए लाइब्रेरी ज्यादातर खाली है।

यह शोध पत्र सिद्ध करता है कि कम TAR = खराब अनुवाद। यदि AI के "टूलबॉक्स" में किसी भाषा के लिए पर्याप्त विशिष्ट औज़ार नहीं हैं, तो अनुवाद विफल हो जाता है।

3. "सोचने वाले" मॉडल (Thinking Models): क्या वे अधिक प्रयास करते हैं?

शोधकर्ताओं ने "रीज़निंग LLMs" (तर्क करने वाले मॉडल्स) को भी देखा। ये नए AI मॉडल हैं जिन्हें उत्तर देने से पहले "सोचने" के लिए प्रशिक्षित किया जाता है, जो अक्सर अतिरिक्त आंतरिक चरण (जैसे एक छात्र द्वारा गणित के सवाल हल करने से पहले अपना काम लिखना) उत्पन्न करते हैं।

खोज:
जब ये "सोचने वाले" मॉडल कम TAR (एक विरल टूलबॉक्स) वाली भाषा का सामना करते हैं, तो वे अधिक आंतरिक सोचने वाले टोकन (internal thinking tokens) उत्पन्न करते हैं।

• उपमा: यह उस छात्र की तरह है जिसे गणित के सवाल का जवाब नहीं पता। जवाब का अनुमान लगाने के बजाय, वह बुनियादी सिद्धांतों से समझने के लिए लंबे, जटिल चरण लिखना शुरू कर देता है। वे औजारों की कमी की भरपाई करने के लिए "अधिक सोचने" की कोशिश कर रहे हैं।

क्या इससे मदद मिलती है?

• कभी-कभी, हाँ: कुछ मॉडलों (जैसे कुछ Qwen मॉडल्स) के लिए, अधिक "सोचने वाले" टोकन उत्पन्न करने से वास्तव में अनुवाद की गुणवत्ता में सुधार हुआ। यह ऐसा था जैसे अतिरिक्त प्रयास सफल रहा।
• कभी-कभी, नहीं: अन्य मॉडलों (जैसे कुछ DeepSeek मॉडल्स) के लिए, अधिक टोकन उत्पन्न करने से कोई मदद नहीं मिली, या चीजें और भी खराब हो गईं। यह ऐसा था जैसे छात्र अपने ही नोट्स में इतना खो गया कि वह मूल प्रश्न ही भूल गया।

4. "दूरी" का कारक (The Distance Factor)

शोध पत्र ने टाइपोलॉजिकल डिस्टेंस (Typological Distance) को भी देखा। यह इस पर निर्भर करता है कि दो भाषाएँ कितनी "संबद्ध" हैं।

• करीबी रिश्तेदार: फ्रेंच और इतालवी भाई-बहनों की तरह हैं; वे बहुत कुछ साझा करते हैं।
• दूर के रिश्तेदार: अंग्रेजी और चीनी दूर के चचेरे भाइयों की तरह हैं; वे बहुत कम साझा करते हैं।

निष्कर्ष: भले ही किसी भाषा के पास पर्याप्त संख्या में औज़ार (TAR) हों, यदि स्रोत और लक्ष्य भाषाएँ एक-दूसरे से बहुत भिन्न हैं, तो AI को अधिक संघर्ष करना पड़ता है। यह एक ऐसी रेसिपी को अनुवाद करने की तरह है जो चॉपस्टिक का उपयोग करने वाले व्यंजन से कांटे (fork) का उपयोग करने वाले व्यंजन में बदल रही है; अंतर्निहित तर्क बहुत अलग है।

5. "शोर" की समस्या (The Noise Problem)

एक बड़ी बाधा जिसका शोधकर्ताओं को सामना करना पड़ा, वह यह थी कि AI मॉडल अक्सर बहुत अधिक बातें करते हैं। केवल अनुवाद देने के बजाय, वे जोड़ सकते हैं: "यहाँ अनुवाद है: [अनुवाद]। मैंने इन शब्दों को इसलिए चुना क्योंकि..."

यह "बकबक" (chatter) अनुवाद को ग्रेड देने वाले कंप्यूटर को बिगाड़ देती है। लेखकों को AI को चुप रहने और केवल अनुवाद करने के लिए मजबूर करने हेतु विशेष प्रॉम्प्ट डिज़ाइन करने पड़े। उन्होंने पाया कि कुछ मॉडल (जैसे Google Translate या विशिष्ट "Tower" मॉडल) इन सख्त निर्देशों का पालन करने में अन्य मॉडलों की तुलना में बहुत बेहतर थे।

निष्कर्ष का सारांश

1. टूलबॉक्स थ्योरी: AI कम-संसाधन वाले अनुवाद में विफल होता है क्योंकि उन विशिष्ट भाषाओं के लिए उसका आंतरिक "टूलबॉक्स" (शब्दावली) बहुत खाली है। हम इस खालीपन को टोकन एक्टिवेशन रेट (TAR) का उपयोग करके माप सकते हैं।
2. भरपाई का प्रयास: जब टूलबॉक्स खाली होता है, तो "सोचने वाले" मॉडल अधिक आंतरिक चरण उत्पन्न करके अधिक मेहनत करने की कोशिश करते हैं। यह कुछ मॉडलों की मदद करता है लेकिन सभी की नहीं।
3. संबंध मायने रखते हैं: यह केवल भाषा के बारे में नहीं है; यह भी महत्वपूर्ण है कि दोनों भाषाएँ एक-दूसरे से कितनी अलग हैं।
4. मुख्य बात: यह समझने के लिए कि AI अनुवाद क्यों विफल होता है, हमें उन सूक्ष्म निर्माण खंडों (टोकन) को देखने की आवश्यकता है जिनका AI उपयोग करता है, न कि केवल अंतिम परिणाम को।

यह शोध पत्र क्या दावा नहीं करता है:

• यह यह नहीं कहता कि हमें अनुवाद के लिए AI का उपयोग करना बंद कर देना चाहिए।
• यह दावा नहीं करता कि "सोचने वाले" मॉडल सभी भाषाओं के लिए अंतिम समाधान हैं।
• यह इन निष्कर्षों के लिए विशिष्ट चिकित्सा या क्लिनिकल उपयोग का सुझाव नहीं देता है।
• यह पूरी तरह से इस बात पर केंद्रित है कि विफलता क्यों होती है, न कि इसे तुरंत ठीक करने के लिए नया उत्पाद बनाने पर।