Far Out: Evaluating Language Models on Slang in Australian and Indian English
यह शोध पत्र वेब-स्रोतित और सिंथेटिक डेटासेट का उपयोग करके भारतीय और ऑस्ट्रेलियाई अंग्रेजी पर सात अत्याधुनिक भाषा मॉडलों की स्लैंग (slang) बोध क्षमताओं का मूल्यांकन करता है, जो डिस्क्रिमिनेटिव (discriminative) और जेनरेटिव (generative) कार्यों के बीच महत्वपूर्ण प्रदर्शन विषमताओं को प्रकट करता है और यह उजागर करता है कि मॉडल आम तौर पर ऑस्ट्रेलियाई अंग्रेजी की तुलना में भारतीय अंग्रेजी पर बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट लाइब्रेरियन है जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। आप उस रोबोट से एक चुटकुला सुनाने, एक कहानी पूरी करने या किसी वाक्य में अगला शब्द पहचानने के लिए कहते हैं। आमतौर पर, यह अद्भुत होता है। लेकिन क्या होता है जब आप उससे स्लैंग (slang) समझने के लिए कहते हैं?
यह पेपर सात सबसे स्मार्ट उपलब्ध AI रोबोट्स के लिए एक "स्लैंग टेस्ट" की तरह है। शोधकर्ता यह देखना चाहते थे कि क्या ये रोबोट ऑस्ट्रेलिया और भारत में लोगों द्वारा उपयोग किए जाने वाले अनूठे, रंगीन और अक्सर भ्रमित करने वाले स्लैंग को समझ सकते हैं।
यहाँ उनके प्रयोग का विवरण सरल भाषा में दिया गया है:
1. सेटअप: दो अलग-अलग "स्लैंग डिक्शनरी"
शोधकर्ताओं ने केवल अंदाजे से स्लैंग का परीक्षण नहीं किया; उन्होंने यह देखने के लिए दो विशिष्ट "टेस्ट बैंक" बनाए कि रोबोट कैसा प्रदर्शन करते हैं:
- "रियल वर्ल्ड" बैंक (WEB): वे अर्बन डिक्शनरी (एक वेबसाइट जहाँ वास्तविक लोग स्लैंग को परिभाषित करते हैं) पर गए और ऑस्ट्रेलियाई और भारतीय स्लैंग के 377 वास्तविक उदाहरणों को निकाला। इसे रोबोट का असली दुनिया के इंटरव्यू के साथ परीक्षण करने जैसा समझें।
- उदाहरण: "Far out" (ऑस्ट्रेलियाई में जिसका अर्थ है "वाह, यह तो कमाल है!") या "Prepone" (भारतीय में जिसका अर्थ है "किसी मीटिंग को पहले के समय पर करना")।
- "मेड-अप" बैंक (GEN): उन्होंने एक सुपर-एडवांस्ड AI से उन 1,492 नई स्थितियों को बनाने के लिए कहा जहाँ इन स्लैंग शब्दों का उपयोग किया जाएगा। इसे एक लेखक द्वारा लिखी गई काल्पनिक कहानियों के साथ रोबोट का परीक्षण करने जैसा समझें।
2. तीन परीक्षण
शोधकर्ताओं ने रोबोट्स को तीन अलग-अलग प्रकार की चुनौतियाँ दीं:
परीक्षण A: "खाली स्थान भरें" (टारगेट वर्ड प्रेडिक्शन):
- कार्य: "मुझे विश्वास नहीं हो रहा कि उस कॉन्सर्ट टिकट की कीमत कितनी थी! यह बिल्कुल ______ है!" (रोबोट को गायब शब्द का अनुमान लगाना है)।
- चुनौती: रोबोट को अपनी पूरी मेमोरी से वह शब्द निकालना होगा।
- परिणाम: तबाही। रोबोट इसमें बहुत खराब थे। उन्होंने स्लैंग के बजाय रैंडम शब्द या मानक अंग्रेजी का अनुमान लगाया। यह किसी से रैप गाना इम्प्रोवाइज करने के लिए कहने जैसा है और वे बस कह देते हैं, "अह, हैलो?"
परीक्षण B: "गाइडेड फिल-इन-द-ब्लैंक" (TWP):*
- कार्य: ऊपर वाला ही कार्य, लेकिन रोबोट को एक संकेत मिलता है: "याद रखें, यह ऑस्ट्रेलियाई स्लैंग है।"
- परिणाम: अभी भी काफी बुरा। संकेत से ज्यादा मदद नहीं मिली।
परीक्षण C: "मल्टीपल चॉइस" (टारगेट वर्ड सिलेक्शन):
- कार्य: "मुझे विश्वास नहीं हो रहा कि उस कॉन्सर्ट टिकट की कीमत कितनी थी! यह बिल्कुल ______ है!"
- A) Expensive (महंगा)
- B) Far out (कमाल का)
- C) Delicious (स्वादिष्ट)
- D) Blue (नीला)
- परिणाम: बहुत बेहतर! जब रोबोट को केवल एक सूची से सही उत्तर चुनना था, तो उसने लगभग आधे समय सही उत्तर चुना।
- कार्य: "मुझे विश्वास नहीं हो रहा कि उस कॉन्सर्ट टिकट की कीमत कितनी थी! यह बिल्कुल ______ है!"
3. बड़े आश्चर्य
अध्ययन में चार मुख्य बातें सामने आईं जो हमें बताती हैं कि AI कैसे सोचता है:
- पहचान बनाना (Creation) से आसान है: रोबोट ऐसे हैं जैसे कोई व्यक्ति जो रेडियो पर गाना सुनकर उसे पहचान सकता है लेकिन खुद एक भी सुर नहीं गा सकता। वे स्लैंग को बनाने के बजाय उसे चुनने में बहुत बेहतर हैं।
- असली बनाम नकली: रोबोट "रियल वर्ल्ड" (WEB) उदाहरणों पर "मेड-अप" (GEN) उदाहरणों की तुलना में थोड़ा बेहतर प्रदर्शन कर रहे थे। यह सुझाव देता है कि रोबोट अपने ट्रेनिंग डेटा से वास्तविक उदाहरणों को याद करके "चीटिंग" कर रहे होंगे, बजाय इसके कि वे वास्तव में अवधारणा को समझ रहे हों।
- भारत बनाम ऑस्ट्रेलिया: रोबोट आम तौर पर ऑस्ट्रेलियाई स्लैंग की तुलना में भारतीय अंग्रेजी स्लैंग को समझने में बेहतर थे। ऐसा इसलिए हो सकता है क्योंकि इंटरनेट पर भारतीय अंग्रेजी के बारे में डेटा अधिक उपलब्ध है जिससे रोबोट सीख सकते हैं।
- "लिटरल" (शाब्दिक) जाल: जब रोबोट विफल हुए, तो वे आमतौर पर बेतुकी बातें नहीं करते थे। इसके बजाय, उन्होंने बोरिंग और शाब्दिक उत्तर दिए।
- यदि स्लैंग "Far out" (शानदार के अर्थ में) था, तो रोबोट ने "Great" (अच्छा) का अनुमान लगाया।
- यदि स्लैंग "Bogan" (एक विशिष्ट ऑस्ट्रेलियाई शब्द जो एक रफ व्यक्ति के लिए है) था, तो रोबोट ने "Heavy metal band" का अनुमान लगाया।
- वे अर्थ को समझ गए लेकिन स्वाद और संस्कृति को मिस कर गए।
4. यह क्यों मायने रखता है?
कल्पना कीजिए कि आप मुंबई में एक बैंक के लिए कस्टमर सर्विस बॉट बना रहे हैं या सिडनी में एक सोशल मीडिया ऐप के लिए कंटेंट फ़िल्टर बना रहे हैं। यदि आपका AI स्थानीय स्लैंग नहीं समझता है, तो वह:
- एक मज़ाक को मिस कर सकता है और सोच सकता है कि उपयोगकर्ता बदतमीजी कर रहा है।
- अनौपचारिक भाषा में लिखी गई शिकायत को समझने में विफल हो सकता है।
- लोगों को ऐसा महसूस करा सकता है कि तकनीक उन्हें "समझती" नहीं है।
निष्कर्ष
यह पेपर एक रियलिटी चेक है। भले ही AI स्मार्ट होता जा रहा है, फिर भी यह मानव भाषा के अव्यवस्थित, मजेदार और सांस्कृतिक हिस्सों के लिए संघर्ष करता है। यह डिक्शनरी पढ़ने में माहिर है, लेकिन यह "स्ट्रीट" की भाषा बोलने के लिए अभी भी सीख रहा है।
सीख: यदि आप चाहते हैं कि AI स्लैंग को समझे, तो उससे कविता लिखने के लिए न कहें; उसे एक मल्टीपल-चॉइस क्विज़ दें। और तब भी, उसे चुटकुला समझाने के लिए एक इंसान की जरूरत पड़ सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।