Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages
यह शोध पत्र दस भाषाओं में ऋणशब्दों (loanwords) को मूल शब्दावली से अलग करने की बहुभाषी भाषा मॉडलों की क्षमता का मूल्यांकन करता है और पाता है कि, निर्देशों और संदर्भ के बावजूद, ये मॉडल खराब प्रदर्शन करते हैं और ऋणशब्दों के प्रति एक पूर्वाग्रह प्रदर्शित करते हैं, जो अल्पसंख्यक भाषा संरक्षण के लिए एनएलपी (NLP) उपकरणों की महत्वपूर्ण चुनौतियों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हलचल भरे, बहुभाषी बाज़ार से गुजर रहे हैं। इस बाज़ार में, विभिन्न देशों के लोग सदियों से व्यापार करते आ रहे हैं। समय के साथ, उन्होंने एक-दूसरे से उपकरण, मसाले और शब्द उधार लेना शुरू कर दिया है।
उधार ली गई कुछ वस्तुएं इतनी नई और विदेशी हैं कि आप अभी भी उनकी मूल पैकेजिंग देख सकते हैं (जैसे कि "कोड-स्विचिंग", जहाँ कोई वाक्य के बीच में अचानक दूसरी भाषा बोलने लगता है)। लेकिन कुछ अन्य उधार ली गई वस्तुएं इतनी अच्छी तरह से पुन: पैक, पुन: रंगित और एकीकृत की गई हैं कि वे ऐसी लगती हैं जैसे वे हमेशा से स्थानीय दुकान का ही हिस्सा रही हों। ये ऋणशब्द (loanwords) हैं।
उदाहरण के लिए, अंग्रेजी शब्द "sugar" अरबी से आया है, और "couch" फ्रेंच से आया है। एक मूल अंग्रेजी वक्ता के लिए, ये शब्द पूरी तरह से देशी महसूस होते हैं। लेकिन एक भाषाविद् (linguist) के लिए, ये स्पष्ट रूप से उधार लिए गए हैं।
मुख्य प्रश्न: क्या AI अंतर बता सकता है?
यह शोध पत्र एक सरल लेकिन पेचीदा सवाल पूछता है: क्या आधुनिक AI भाषा मॉडल (जैसे कि चैटबॉट्स को चलाने वाले मॉडल) यह अंतर बता सकते हैं कि कोई शब्द किसी भाषा में जन्मजात था या उसे कहीं और से उधार लिया गया था?
शोधकर्ता यह देखना चाहते थे कि क्या ये AI मॉडल "भाषा के शुद्धतावादी" (language purists) हैं जो विदेशी घुसपैठियों को पहचान सकते हैं, या वे "उधार लेने में अंधे" (borrowing-blind) हैं, जो देशी और उधार लिए गए शब्दों के बीच अंतर करने में असमर्थ हैं।
प्रयोग: 10 भाषाओं का परीक्षण
शोधकर्ताओं ने ConLoan नामक एक विशेष डेटासेट का उपयोग किया, जो एक विशाल क्विज़ बुक की तरह है जिसमें 10 अलग-अलग भाषाओं (चीनी, फ्रेंच, जर्मन, रूसी और अन्य सहित) के वाक्य शामिल हैं। इस क्विज़ में, उन्होंने AI से पूछा: "इस वाक्य में उन शब्दों को पहचानें जो दूसरी भाषा से उधार लिए गए हैं।"
उन्होंने AI का परीक्षण दो तरीकों से किया:
- "बस पूछ लो" विधि (Zero-shot): उन्होंने बस AI को कहा, "ऋणशब्दों को खोजो," बिना उसे कोई उदाहरण या नियम दिए।
- "शिक्षक" विधि (Fine-tuning): उन्होंने AI को इस क्विज़ बुक का उपयोग करके एक विशिष्ट प्रशिक्षण पाठ्यक्रम दिया, जिससे उसे ठीक से पता चल सके कि उसे क्या खोजना है।
परिणाम: AI ज्यादातर "उधार लेने में अंधा" है
यहाँ उन्हें क्या मिला, कुछ मजेदार उपमाओं का उपयोग करते हुए:
1. "अनुमान लगाने का खेल" की विफलता (लार्ज लैंग्वेज मॉडल्स)
जब उन्होंने बड़े, सामान्य उद्देश्य वाले AI मॉडल्स (जैसे कि वे जिन्हें आप रोज़ाना चैट करने के लिए उपयोग करते हैं) से ऋणशब्द खोजने के लिए कहा, तो उनका प्रदर्शन बहुत खराब रहा।
- उपमा: कल्पना कीजिए कि आप एक पर्यटक से पूछते हैं जिसने एक देश की एक सप्ताह तक यात्रा की है कि कौन से स्थानीय व्यंजन वास्तव में पारंपरिक हैं और कौन से आधुनिक फ्यूजन व्यंजन हैं। पर्यटक शायद अंदाजे से उत्तर देगा।
- वास्तविकता: भले ही शोधकर्ताओं ने AI को ऋणशब्द की एक सख्त परिभाषा दी थी (जैसे, "ऐतिहासिक रूप से उधार लिया गया शब्द"), फिर भी AI संघर्ष करता रहा। यह अक्सर उधार लिए गए शब्दों को पहचानने में विफल रहा, और औसतन 50% से कम सटीकता प्राप्त की। ऐसा लगता है कि ये मॉडल अपने प्रशिक्षण डेटा में ऋणशब्दों को देखने के इतने आदी हैं कि वे उन्हें "सामान्य" मानते हैं, जिससे उन्हें "विदेशी" के रूप में चिह्नित करना कठिन हो जाता है।
2. "विशेषज्ञ छात्र" की सफलता (Fine-Tuned Models)
जब उन्होंने एक छोटे, अधिक विशिष्ट AI मॉडल को लिया और उसे विशेष रूप से इस कार्य के लिए एक क्रैश कोर्स (fine-tuning) दिया, तो परिणाम नाटकीय रूप से सुधर गए।
- उपमा: यह उसी पर्यटक को लेने और एक महीने के लिए स्थानीय इतिहासकार से सिखाने जैसा है। अचानक, वे उच्च सटीकता के साथ पारंपरिक और आधुनिक व्यंजनों के बीच अंतर कर सकते हैं।
- वास्तविकता: फाइन-ट्यून्ड मॉडल्स बहुत बेहतर हो गए, कुछ भाषाओं में 80-90% सटीकता स्कोर तक पहुँच गए। हालाँकि, वे फिर भी पूर्ण नहीं थे।
AI कहाँ अटक गया?
यहाँ तक कि "स्मार्ट" मॉडल्स ने भी कुछ मज़ेदार गलतियाँ कीं, जो यह दर्शाती हैं कि वे कैसे "सोचते" हैं:
- "विदेशी" को "शानदार" समझने की गलती: AI अक्सर वैज्ञानिक शब्दों या ग्रीक/लैटिन मूल के शब्दों (जैसे "biology" या "nitrates") को हाल ही में उधार लिए गए शब्दों के रूप में समझ लेता था।
- रूपक: यह एक ऐसे व्यक्ति की तरह है जो एक सूट देखता है और सोचता है, "यह एक विदेशी आयात है!" सिर्फ इसलिए क्योंकि वह शानदार दिखता है, यह समझे बिना कि वह सूट 100 साल से उस देश में बनाया जा रहा है।
- "स्विचिंग" और "बोरिंग" के बीच भ्रम: AI को एक शब्द जो भाषा का स्थायी हिस्सा है (ऋणशब्द) और एक शब्द जिसे किसी ने केवल इसलिए शामिल किया क्योंकि वे एक साथ दो भाषाएँ बोल रहे थे (कोड-स्विचिंग), के बीच अंतर करने में कठिनाई हुई।
- रूपक: यह एक मोहल्ले के स्थायी निवासी और एक पर्यटक के बीच भ्रमित होने जैसा है जो बस एक दिन के लिए आया है।
- "नाम" का जाल: AI अक्सर लोगों, स्थानों या संगठनों के नामों (जैसे "NASA" या "PISA") को ऋणशब्द के रूप में चिह्नित करता था क्योंकि वे आसपास के शब्दों से अलग दिखते थे।
यह क्यों मायने रखता है?
आप सोच सकते हैं, "तो क्या फर्क पड़ता है अगर एक AI यह नहीं बता सकता कि कोई शब्द उधार लिया गया है या नहीं?"
यह वास्तव में अल्पसंख्यक भाषाओं के लिए एक बड़ा मुद्दा है। दुनिया के कई हिस्सों में, शक्तिशाली भाषाएँ (जैसे अंग्रेजी) छोटी भाषाओं में अपना प्रभाव डाल रही हैं। इससे छोटी भाषाओं के मूल शब्द गायब हो सकते हैं।
यदि हम इन लुप्तप्राय भाषाओं को बचाने में मदद करने के लिए AI उपकरण बनाना चाहते हैं, तो AI को निम्नलिखित के बीच अंतर समझना चाहिए:
- मूल शब्द (भाषा की आत्मा)।
- उधार लिए गए शब्द (बाहरी संस्कृतियों का प्रभाव)।
यदि AI "उधार लेने में अंधा" है, तो यह अनजाने में उधार लिए गए शब्दों को "असली" भाषा मान सकता है, जिससे इसकी समझ से मूल शब्दावली मिट सकती है। यह शोध पत्र दिखाता है कि भले ही AI बेहतर हो रहा है, लेकिन यह वास्तव में भाषा के इतिहास और आत्मा को समझने के लिए अभी भी बहुत लंबा रास्ता तय करने वाला है।
निष्कर्ष
भाषा मॉडल वर्तमान में "उधार लेने में अंधे" (borrowing-blind) हैं। वे धाराप्रवाह पढ़ और लिख सकते हैं, लेकिन वे वास्तव में उन शब्दों के इतिहास को नहीं समझते जिनका वे उपयोग कर रहे हैं। वे एक शब्द देखते हैं और उसका उपयोग करते हैं, लेकिन उन्हें यह नहीं पता होता कि वह शब्द स्थानीय मूल का है या लंबे समय से रह रहा एक प्रवासी है। इसे ठीक करने के लिए, हमें उन्हें केवल यह नहीं सिखाना होगा कि कैसे बोलना है, बल्कि यह भी कि वे शब्द कहाँ से आए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।