💬 NLP

Meenz bleibt Meenz, but Large Language Models Do Not Speak Its Dialect

यह शोध पत्र मेनज़ की विलुप्त होती मीन्ज़रिश (Meenzerisch) बोली के लिए पहले एनएलपी (NLP) डेटासेट को प्रस्तुत करता है और यह प्रदर्शित करता है कि वर्तमान बड़े भाषा मॉडल इसके शब्दों को उत्पन्न करने या परिभाषित करने में काफी संघर्ष करते हैं, जो फ्यू-शॉट लर्निंग (few-shot learning) और नियम निष्कर्षण (rule extraction) के साथ भी 10% से कम सटीकता दर प्राप्त करते हैं, जिससे जर्मन बोलियों को संरक्षित करने के लिए आगे के अनुसंधान और संसाधनों की तत्काल आवश्यकता पर प्रकाश पड़ता है।

मूल लेखक: Minh Duc Bui, Manuel Mager, Peter Herbert Kann, Katharina von der Wense

प्रकाशित 2026-03-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minh Duc Bui, Manuel Mager, Peter Herbert Kann, Katharina von der Wense

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक शोध पत्र, "Meenz bleibt Meenz, but Large Language Models Do Not Speak Its Dialect," का सरल, रोज़मर्रा की भाषा में अनुवाद और कुछ रचनात्मक उपमाओं के साथ विवरण दिया गया है।

मुख्य विचार: "अनुवाद में खो जाने" की समस्या

कल्पना कीजिए कि आपके पास एक बहुत पुरानी, स्थानीय रेसिपी बुक (व्यंजन पुस्तिका) है जो एक गुप्त कोड में लिखी गई है जिसे केवल जर्मनी के एक विशिष्ट शहर (Mainz) के आपके परदादा-परदादी ही समझ सकते हैं। यह कोड Meenzerisch है। यह उनके कार्निवल, उनके चुटकुलों और उनके इतिहास की भाषा है।

अब, कल्पना कीजिए कि आप एक बहुत ही स्मार्ट, विश्व प्रसिद्ध रोबोट शेफ (एक Large Language Model या LLM) से उस रेसिपी बुक को आधुनिक अंग्रेजी (Standard German) में अनुवाद करने के लिए कहते हैं। आप उम्मीद करते हैं कि वह रोबोट अद्भुत होगा क्योंकि वह इंटरनेट के बारे में सब कुछ जानता है।

बुरी खबर: रोबोट शेफ पूरी तरह से खो गया है। वह केवल कुछ गलतियाँ नहीं करता; उसे वह कोड बिल्कुल भी समझ नहीं आता।

यह शोध पत्र पहली बार है जब शोधकर्ताओं ने इन सुपर-स्मार्ट रोबोटों को मेन्ज़ (Mainz) की बोली सिखाने की कोशिश की, और परिणाम एक कड़वी सच्चाई थी: रोबोट बुरी तरह विफल हो रहे हैं।

चरण 1: डिक्शनरी बनाना ("डिजिटल पुरातत्व")

इससे पहले कि वे रोबोटों का परीक्षण कर सकें, शोधकर्ताओं को एक डिक्शनरी बनानी थी। चूंकि Meenzerisch मुख्य रूप से बोली जाती है और डिजिटल प्रारूप में कम ही लिखी जाती है, इसलिए उन्हें कुछ "डिजिटल पुरातत्व" करना पड़ा।

स्रोत: उन्हें 1966 की एक भौतिक पुस्तक मिली जिसका नाम Mainzer Wörterbuch है।
प्रक्रिया:
1. उन्होंने पन्नों की तस्वीरें लीं (Scanning)।
2. उन्होंने तस्वीरों को टेक्स्ट में बदलने के लिए सॉफ्टवेयर का उपयोग किया (OCR), जैसे कोई स्कैनर लिखावट पढ़ने की कोशिश कर रहा हो।
3. इंसानों को स्कैनर की गलतियों को ठीक करना पड़ा (Manual Correction)।
4. उन्होंने शब्दों और उनके अर्थों को निकालने के लिए एक स्मार्ट AI का उपयोग किया (Extraction)।
परिणाम: उन्होंने 2,351 शब्दों की एक डिजिटल सूची बनाई। प्रत्येक प्रविष्टि में मेन्ज़ बोली का एक शब्द और उसका मानक जर्मन में अर्थ है। इसे मेन्ज़ के लिए 'रोसेटा स्टोन' की तरह समझें।

चरण 2: दो बड़े परीक्षण

अपनी नई डिक्शनरी के साथ, शोधकर्ताओं ने रोबोटों को दो विशिष्ट चुनौतियों के साथ काम पर लगाया।

चुनौती A: अनुवादक (परिभाषा निर्माण)

कार्य: रोबोट को एक अजीब मेन्ज़ शब्द (जैसे, "Schwollescheer") दिया जाता है और पूछा जाता है, "सामान्य जर्मन में इसका क्या अर्थ है?"
उपमा: कल्पना कीजिए कि आप एक रोबोट को एक "Glocke" (घंटी) की तस्वीर दिखा रहे हैं लेकिन उसे "Schwollescheer" कह रहे हैं। आप पूछते हैं, "यह क्या है?"
परिणाम: रोबोट बहुत खराब थे।

सबसे अच्छे रोबोट (Llama-3.3) ने इसे केवल 6.27% बार सही बताया।
औसत रोबोट ने इसे 5% से भी कम बार सही बताया।
तुलना: जब सामान्य अंग्रेजी शब्दों का अनुवाद करने के लिए कहा गया, तो इन्हीं रोबोटों ने उन्हें 86% बार सही बताया। वे "मूर्ख" नहीं हैं; वे बस इस विशिष्ट बोली को नहीं जानते।

चुनौती B: शब्द जनरेटर (शब्द निर्माण)

कार्य: रोबोट को सामान्य जर्मन में एक विवरण दिया जाता है (जैसे, "एक व्यक्ति जो सैन्य इकाई में घोड़ों की सवारी करता है") और पूछा जाता है, "इसके लिए मेन्ज़ शब्द क्या है?"
उपमा: आप रोबोट को बताते हैं, "मुझे मेन्ज़ बोली में 'भूख' के लिए शब्द चाहिए।"
परिणाम: यह और भी बुरा था।

सबसे अच्छे रोबोट ने इसे केवल 1.51% बार सही बताया।
अधिकांश रोबोट अनिवार्य रूप से अंदाज़ा लगा रहे थे, और एक प्रतिशत से भी कम बार सही बता पा रहे थे।

चरण 3: रोबोट की मदद करने की कोशिश ( "चीट शीट्स")

शोधकर्ताओं ने हार नहीं मानी। उन्होंने रोबोट को तेज़ी से सीखने में मदद करने के लिए दो तरकीबें आज़माईं, जैसे किसी छात्र को परीक्षा से पहले 'चीट शीट' देना।

Few-Shot Learning (उदाहरण वाली ट्रिक):
- उन्होंने पहले रोबोट को कुछ उदाहरण दिखाए: "यहाँ एक शब्द और उसका अर्थ है। यहाँ दूसरा है। अब, इस वाले का अनुमान लगाओ।"
- परिणाम: इससे थोड़ी मदद मिली, लेकिन सटीकता केवल लगभग 9% तक ही बढ़ी। यह एक छात्र को कुछ अभ्यास प्रश्न देने जैसा है; वे अभी भी विषय को नहीं समझते।
Rule Extraction (व्याकरण पुस्तक वाली ट्रिक):
- उन्होंने एक सुपर-स्मार्ट AI से बोली के नियम लिखने को कहा (जैसे, "मेन्ज़ में, वे अक्सर 'en' को 'ele' में बदल देते हैं")। उन्होंने ये नियम अन्य रोबोटों को दिए।
- परिणाम: इससे शब्दों को अर्थों में अनुवाद करने के लिए थोड़ी मदद मिली, लेकिन अर्थों से शब्द पहचानने के लिए चीज़ें वास्तव में थोड़ी बदतर हो गईं। रोबोट अभी भी नियमों को सही ढंग से लागू नहीं कर सके।

यह क्यों मायने रखता है?

आप पूछ सकते हैं, "तो क्या हुआ? किसे फर्क पड़ता है कि एक रोबोट को एक जर्मन बोली आती है या नहीं?"

सांस्कृतिक संरक्षण: बोलियाँ लुप्त हो रही हैं। यदि हम उन्हें बचाना चाहते हैं, तो हमें ऐसी तकनीक चाहिए जो उन्हें समझ सके। यदि रोबोट उन्हें नहीं समझ सकते, तो वे उन्हें संरक्षित करने में मदद नहीं कर सकते।
पूर्वाग्रह (Bias): यदि एक रोबोट केवल "मानक" जर्मन समझता है, तो वह उन लोगों के साथ ऐसा व्यवहार करता है जो बोलियाँ बोलते हैं जैसे कि वे "टूटे हुए" या "गलत" हों। यह शोध पत्र दिखाता है कि रोबोट वर्तमान में इन बोलने वालों के प्रति पक्षपाती हैं।
"लो-रिसोर्स" की समस्या: इंटरनेट अंग्रेजी और मानक जर्मन के डेटा से भरा है। यह बोलियों के लिए लगभग खाली है। रोबोट उन शेफ की तरह हैं जिन्होंने दुनिया की हर कुकबुक पढ़ ली है, सिवाय आपकी गृहनगर की एक किताब के।

निष्कर्ष

शोध पत्र एक स्पष्ट संदेश के साथ समाप्त होता है: वर्तमान AI स्थानीय बोलियों के लिए तैयार नहीं है।

दुनिया के सबसे स्मार्ट और सबसे महंगे रोबोट भी मेन्ज़ की भाषा समझने में विफल हो रहे हैं। उन्हें अधिक डेटा, अधिक शोध और वास्तव में भाषा बोलने वाले लोगों से बहुत अधिक मदद की आवश्यकता है।

मुख्य बात: सिर्फ इसलिए कि एक रोबोट "स्मार्ट" है, इसका मतलब यह नहीं है कि वह आपकी भाषा जानता है। मेन्ज़ की बोली के लिए, रोबोट वर्तमान में बिना मानचित्र के पर्यटक की तरह खोया हुआ है। जैसा कि शीर्षक कहता है: "Meenz bleibt Meenz" (मेन्ज़ मेन्ज़ ही रहता है), लेकिन रोबोटों ने अभी तक इसकी बोली बोलना नहीं सीखा है।

यहाँ शोध पत्र "Meenz bleibt Meenz, but Large Language Models Do Not Speak Its Dialect" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मीनज़रिश (Meenzerisch) के लिए नेचुरल लैंग्वेज प्रोसेसिंग (NLP) सहायता की गंभीर कमी को संबोधित करता है, जो जर्मनी के माइंज़ (Mainz) शहर और आसपास के राइन-हेस्से (Rhine-Hesse) क्षेत्र में बोली जाने वाली एक जर्मन बोली है। इसकी सांस्कृतिक महत्ता (विशेष रूप से माइंज़ कार्निवल की भाषा के रूप में) के बावजूद, भाषा के मानकीकरण, भेदभाव और डिजिटल संसाधनों की कमी के कारण मीनज़रिश लुप्तप्राय हो रही है।

जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) अल्पसंख्यक भाषाओं के संरक्षण में आशाजनक प्रदर्शन कर रहे हैं, वे जर्मन बोलियों पर खराब प्रदर्शन करते हैं। जांचा गया विशिष्ट मुद्दा मीनज़रिश की अत्यधिक लो-रिसोर्स (low-resource) प्रकृति है, जिसका कोई मौजूदा डिजिटल कॉर्पस नहीं है, जो वर्तमान अत्याधुनिक LLMs को इस बोली को समझने या उत्पन्न करने से रोकता है। लेखक यह निर्धारित करने का लक्ष्य रखते हैं कि क्या वर्तमान LLMs मीनज़रिश शब्दों को समझ सकते हैं या परिभाषाओं से उन्हें उत्पन्न कर सकते हैं, और क्या मानक NLP तकनीकें (few-shot learning, rule extraction) इस अंतर को पाट सकती हैं।

2. कार्यप्रणाली (Methodology)

A. डेटासेट निर्माण: माइंज़ डायलेक्ट डिक्शनरी

चूंकि कोई डिजिटल डेटासेट मौजूद नहीं था, इसलिए लेखकों ने एक अर्ध-स्वचालित पाइपलाइन के माध्यम से मीनज़रिश के लिए पहला NLP-रेडी डेटासेट तैयार किया:

स्रोत सामग्री: Mainzer Wörterbuch (Schramm, 1966) की एक भौतिक प्रति।
डिजिटलीकरण पाइपलाइन:
- स्कैनिंग और OCR: भौतिक पृष्ठों को PDF में बदला गया और टेक्स्ट निकाला गया।
- मैनुअल सुधार: OCR त्रुटियों को ठीक किया गया, विशेष रूप से छूटे हुए लाइन ब्रेक्स जिन्हें शब्दों को परिभाषाओं से अलग करने के लिए महत्वपूर्ण माना गया।
- रूल-बेस्ड एक्सट्रैक्शन: शब्दों की प्रविष्टियों (entries) को अलग करने के लिए पायथन स्क्रिप्ट का उपयोग किया गया।
- LLM-आधारित परिभाषा निष्कर्षण: असंरचित टेक्स्ट से स्वच्छ मानक जर्मन परिभाषाएं निकालने के लिए GPT-OSS 120B का उपयोग किया गया, जिसमें उदाहरणों और अतिरिक्त नोट्स को फ़िल्टर किया गया।
- नॉर्मलाइजेशन: OCR आर्टिफैक्ट्स (हाइफ़न, विशेष वर्ण) को साफ करने के लिए Llama-3.3 70B का उपयोग किया गया।
डेटासेट सांख्यिकी:
- कुल वैध प्रविष्टियाँ: 2,351 शब्द-परिभाषा जोड़े।
- विभाजन (Split): 250 प्रशिक्षण (training), 250 विकास (development), 1,851 परीक्षण (test) नमूने (बेंचमार्किंग के लिए जानबूझकर टेस्ट-हैवी रखा गया)।
- लाइसेंस: CC BY-NC-ND 4.0 (गैर-व्यावसायिक अनुसंधान के लिए उपलब्ध)।

B. प्रयोगात्मक सेटअप (Experimental Setup)

लेखकों ने विभिन्न ओपन-सोर्स और प्रोप्रायटरी LLMs (4B से 120B पैरामीटर्स तक) का बेंचमार्क किया, जिनमें Llama-3.3, GPT-OSS, Qwen, Gemma, और Leo-HessianAI शामिल हैं।

दो प्राथमिक कार्यों का मूल्यांकन किया गया:

परिभाषा पीढ़ी (समझना - Understanding): एक मीनज़रिश शब्द दिया गया, जिससे उसका अर्थ मानक जर्मन में उत्पन्न करना है।
- मूल्यांकन: ग्राउंड ट्रुथ के साथ उत्पन्न परिभाषाओं की तुलना करने के लिए LLM-as-a-Judge (Llama-3.3 70B का उपयोग करके) और मैन्युअल सत्यापन।
शब्द पीढ़ी (उत्पादन - Production): एक मानक जर्मन परिभाषा दी गई, जिससे संबंधित मीनज़रिश शब्द उत्पन्न करना है।
- मूल्यांकन: गोल्ड-स्टैंडर्ड डायलेक्ट शब्द के विरुद्ध सटीक स्ट्रिंग मैच (exact string match)।

C. अतिरिक्त प्रयोग

संभावित सुधारों का पता लगाने के लिए, सबसे अच्छा प्रदर्शन करने वाले मॉडल (Llama-3.3 70B) पर दो अतिरिक्त रणनीतियों का परीक्षण किया गया:

Few-Shot Learning: प्रॉम्प्ट में रैंडम चयन या एडिट-डिस्टेंस-आधारित चयन का उपयोग करके $k$ उदाहरण (1 से 50) प्रदान करना।
स्वचालित नियम निष्कर्षण (Automatic Rule Extraction): प्रशिक्षण सेट का विश्लेषण करने और स्पष्ट भाषाई रूपांतरण नियम (जैसे ध्वनि परिवर्तन, सफिक्स मैपिंग) उत्पन्न करने के लिए DeepSeek-R1 का उपयोग करना, जिन्हें फिर इन्फरेंस प्रॉम्प्ट में इंजेक्ट किया गया।

3. मुख्य योगदान (Key Contributions)

प्रथम डेटासेट: मीनज़रिश के लिए पहले डिजिटल डिक्शनरी का निर्माण, जिसमें 2,351 डायलेक्ट शब्द और उनके मानक जर्मन परिभाषा जोड़े शामिल हैं।
प्रथम बेंचमार्क: माइंज़ बोली पर LLM क्षमताओं का मूल्यांकन करने वाला पहला अध्ययन, जो भविष्य के अनुसंधान के लिए एक आधार रेखा (baseline) स्थापित करता है।
विफलता का अनुभवजन्य प्रमाण: यह प्रदर्शित किया कि वर्तमान SOTA LLMs इस बोली के लिए समझ और उत्पादन दोनों कार्यों में काफी विफल रहते हैं, यहाँ तक कि उन्नत प्रॉम्प्टिंग तकनीकों के साथ भी।

4. परिणाम (Results)

परिभाषा पीढ़ी पर प्रदर्शन (समझना)

Zero-Shot सटीकता: अत्यंत कम। सभी मॉडलों की औसत सटीकता 4.24% थी।
सर्वश्रेष्ठ मॉडल: Llama-3.3 70B ने केवल 6.27% प्राप्त किया।
तुलना: इसके विपरीत, उन्हीं मॉडलों ने एक समकक्ष अंग्रेजी डिक्शनरी कार्य पर 86.89% सटीकता प्राप्त की, जो सिद्ध करता है कि मॉडल सही ढंग से कार्य करते हैं लेकिन उनमें डायलेक्ट का ज्ञान नहीं है।

शब्द पीढ़ी पर प्रदर्शन (उत्पादन)

Zero-Shot सटीकता: परिभाषा पीढ़ी की तुलना में भी कम। औसत सटीकता 0.56% थी।
सर्वश्रेष्ठ मॉडल: GPT-OSS 120B ने 1.51% और Llama-3.3 70B ने 1.03% तक पहुँच प्राप्त की।
तुलना: अंग्रेजी बेसलाइन सटीकता 58.77% थी, जो डायलेक्ट के लिए जेनेरेटिव क्षमता में एक बड़े अंतर को उजागर करती है।

अतिरिक्त तकनीकों का प्रभाव

Few-Shot Learning: मामूली सुधार प्रदान किया।
- परिभाषा पीढ़ी (एडिट-डिस्टेंस चयन के साथ) बढ़कर 9.24% हो गई।
- शब्द पीढ़ी में थोड़ा सुधार होकर 1.24% हुआ।
Rule Extraction:
- परिभाषा पीढ़ी 8.37% तक सुधरी।
- शब्द पीढ़ी की सटीकता वास्तव में थोड़ी घट गई (0.76% तक), हालांकि यह सांख्यिकीय रूप से महत्वपूर्ण नहीं था।
निष्कर्ष: हालांकि इन तकनीकों ने थोड़े लाभ दिए, लेकिन सटीकता 10% से काफी नीचे रही, जो दर्शाता है कि सरल प्रॉम्प्टिंग अपर्याप्त है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

"डायलेक्ट गैप" (The Dialect Gap): अध्ययन पुष्टि करता है कि वर्तमान LLMs, बड़े मल्टीलिंगुअल होने के बावजूद, एक गंभीर "डायलेक्ट गैप" रखते हैं। वे विशिष्ट प्रशिक्षण डेटा के बिना डायलेक्टल अर्थों का अनुमान नहीं लगा सकते या डायलेक्टल रूप उत्पन्न नहीं कर सकते।
सांस्कृतिक संरक्षण: परिणाम जर्मन बोलियों के लिए समर्पित अनुसंधान और संसाधन निर्माण की तत्काल आवश्यकता को रेखांकित करते हैं। मीनज़रिश जैसे लुप्तप्राय डायलेक्ट को संरक्षित करने के लिए सामान्य-उद्देश्य वाले LLMs पर निर्भर रहना वर्तमान में अप्रभावी है।
भविष्य की दिशाएँ: लेखक तर्क देते हैं कि भविष्य का कार्य प्रॉम्प्टिंग से आगे बढ़कर निम्नलिखित की ओर जाना चाहिए:
- बड़े, उच्च-गुणवत्ता वाले डायलेक्ट कॉर्पेटा बनाना।
- विशेष रूप से डायलेक्ट डेटा पर मॉडल्स को फाइन-ट्यून करना।
- ऐसे समाधानों से बचना जो केवल बढ़े हुए कंप्यूट (compute) पर निर्भर करते हैं, जो कम प्रतिनिधित्व वाले संस्कृतियों पर असमान बोझ डाल सकता है।
नैतिक नोट: शोध पत्र सक्रिय सामुदायिक जुड़ाव पर जोर देता है, जिसमें एक मूल वक्ता (native speaker) एक सह-लेखक के रूप में शामिल है, और भाषाई प्रामाणिकता के लिए डेटासेट में मौजूद संवेदनशील शब्दों को बनाए रखने की बात स्वीकार करता है।

संक्षेप में, यह शोध पत्र एक कड़ी चेतावनी के रूप में कार्य करता है: "Meenz bleibt Meenz" (मीनज़ मीनज़ ही रहता है), लेकिन वर्तमान एआई तकनीक अभी इसकी भाषा नहीं बोलती है। इस और इसी तरह के लो-रिसोर्स डायलेक्ट के लिए एनएलपी (NLP) टूल्स को व्यवहार्य बनाने के लिए लक्षित प्रयास की आवश्यकता है।