💬 NLP

Steering LLMs toward Korean Local Speech: Iterative Refinement Framework for Faithful Dialect Translation

यह शोध पत्र DIA-REFINE को प्रस्तुत करता है, जो एक पुनरावृत्ति ढांचा (iterative framework) है जो बड़े भाषा मॉडलों (large language models) को निष्ठावान कोरियाई बोली अनुवाद की ओर निर्देशित करने के लिए बाहरी बोली वर्गीकरणकर्ताओं (external dialect classifiers) का लाभ उठाता है और वास्तविक बोली संबंधी प्रयासों को स्रोत की नकल करने से अलग करने में पारंपरिक n-gram मूल्यांकन की सीमाओं को दूर करने के लिए नए मेट्रिक्स (DFS और TDR) का प्रस्ताव करता है।

मूल लेखक: Keunhyeung Park, Seunguk Yu, Youngbin Kim

प्रकाशित 2026-03-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Keunhyeung Park, Seunguk Yu, Youngbin Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, दुनिया घूमने वाले रोबोट (एक AI) को कोरिया के किसी विशिष्ट क्षेत्र, जैसे कि जेजू के धूप वाले द्वीप या बुसान की हलचल भरी सड़कों की तरह बोलना सिखाने की कोशिश कर रहे हैं।

समस्या यह है कि यह रोबोट "मानक कोरियाई" (Standard Korean) बोलने का आदी है—वह विनम्र, पाठ्यपुस्तक वाला संस्करण जिसे स्कूल में सब सीखते हैं। जब आप इसे स्थानीय लोगों की तरह बोलने के लिए कहते हैं, तो यह अक्सर वही मूल वाक्य दोहरा देता है जो पाठ्यपुस्तक में है, या यह लहजे (accent) को पूरी तरह से गलत कर देता है। इससे भी बुरा यह है कि जब हम इसके होमवर्क को ग्रेड करते हैं, तो पुराना ग्रेडिंग सिस्टम (जो यह गिनता है कि कितने शब्द पाठ्यपुस्तक से मेल खाते हैं) इसे कुछ न करने के लिए भी उच्च स्कोर दे देता है, और वास्तविक लहजे के साथ बोलने की कोशिश करने पर कम स्कोर देता है।

यह शोधपत्र एक नया तरीका पेश करता है जिससे आप रोबोट को सिखा सकते हैं और ग्रेड करने का एक नया तरीका भी। यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "नकलची" रोबोट और "नकली स्कोर"

रोबोट की आदत: यदि आप एक मानक AI को किसी वाक्य का बोली (dialect) में अनुवाद करने के लिए कहते हैं, तो वह अक्सर मूल वाक्य की नकल कर लेता है क्योंकि उसे गलती करने का डर होता है। यह एक ऐसे छात्र की तरह है जिसे किसी विशिष्ट शैली में कविता लिखने के लिए कहा गया हो, लेकिन वह शिक्षक के उदाहरण की नकल कर लेता है क्योंकि वह खराब ग्रेड मिलने का जोखिम नहीं उठाना चाहता।
खराब ग्रेडिंग सिस्टम: पुराना तरीका (जिसे BLEU या chrF++ कहा जाता है) एक ऐसे शिक्षक की तरह है जो केवल यह गिनता है कि कितने शब्द सही वर्तनी (spelling) के साथ लिखे गए हैं। यदि रोबोट पाठ्यपुस्तक की नकल करता है, तो उसे 100% मिलता है। यदि रोबोट कुछ कूल स्थानीय स्लैंग (slang) का उपयोग करने की कोशिश करता है लेकिन वर्तनी में एक छोटी सी गलती कर देता है, तो उसे फेल कर दिया जाता है। यह हमें धोखा देता है कि रोबोट अच्छा काम कर रहा है जबकि वास्तव में वह केवल नकल कर रहा होता है।

2. समाधान: "डायलैक्ट कोच" (DIA-REFINE)

लेखकों ने DIA-REFINE नामक एक फ्रेमवर्क बनाया है। इसे एक सख्त डायलैक्ट कोच (बोली प्रशिक्षक) को रोबोट के साथ काम करने के लिए नियुक्त करने के रूप में समझें।

कोचिंग सत्र इस प्रकार काम करता है:

प्रयास: रोबोट एक वाक्य का अनुवाद करने की कोशिश करता है।
जांच: डायलेट कोच (एक विशेष AI जिसे लहजों को पहचानने के लिए प्रशिक्षित किया गया है) रोबोट को सुनता है।
फीडबैक:
- यदि रोबोट मानक कोरियाई बोलता है: कोच कहता है, "नहीं! आप पाठ्यपुस्तक की तरह लग रहे हैं, स्थानीय व्यक्ति की तरह नहीं। आपको इसमें और अधिक 'जेजू' का स्वाद चाहिए।"
- यदि रोबोट गलत बोली बोलता है: कोच कहता है, "आप बुसान के लग रहे हैं, लेकिन मैंने जेजू के लिए पूछा था। इसे ठीक करें।"
- यदि रोबोट भ्रमित है: कोच यह नोटिस करता है कि क्या रोबक लहजों के बीच बार-बार बदल रहा है और कहता है, "रुकिए! एक ही चुनें और उस पर टिके रहें।"
पुनः प्रयास: रोबोट फीडबैक सुनता है और फिर से प्रयास करता है। वह इस लूप को तब तक करता रहता है जब तक कि कोच संतुष्ट न हो जाए।

यह "प्रयास → जांच → सुधार → पुनः प्रयास" लूप रोबोट को केवल अनुमान लगाने या नकल करने के बजाय वास्तव में बोली सीखने के लिए मजबूर करता है।

3. नया ग्रेडिंग सिस्टम: "रियल टॉक" स्कोर

चूंकि पुराना ग्रेडिंग सिस्टम टूटा हुआ था, इसलिए लेखकों ने रोबोट को ग्रेड करने के दो नए तरीके बनाए:

DFS (डायलैक्ट फिडेलिटी स्कोर): कल्पना कीजिए कि यह एक रडार गन है। शब्दों को गिनने के बजाय, यह मापता है कि रोबोट का भाषण पाठ्यपुस्तक से कितना "दूर" है और वास्तविक स्थानीय लहजे के कितने "करीब" है।
- यदि रोबोट पाठ्यपुस्तक की नकल करता है, तो स्कोर नकारात्मक (खराब) होता है।
- यदि रोबोट स्थानीय स्लैंग का उपयोग करता है, तो स्कोर सकारात्मक (अच्छा) होता है, भले ही वर्तनी एकदम सटीक न हो।
TDR (टारगेट डायलेक्ट रेशियो): यह एक साधारण प्रतिशत है। यह पूछता है: "100 वाक्यों में से, रोबोट ने वास्तव में कितने सही किए?"
- पुराने सिस्टम में, एक रोबोट को 90% "सही" मिल सकता था क्योंकि उसने पाठ्यपुस्तक की नकल की थी।
- नए सिस्टम में, उसी रोबोट को 0% मिलेगा क्योंकि उसने बोली बिल्कुल भी नहीं बोली।

4. परिणाम: किसने सबसे अच्छा सीखा?

शोधकर्ताओं ने इसे कई अलग-अलग AI मॉडलों पर परखा:

ज़िद्दी छात्र: कुछ पुराने या छोटे मॉडल ऐसे छात्रों की तरह थे जो सीखने से ही इनकार कर देते थे। कोच के साथ भी, वे पाठ्यपुस्तक की नकल करते रहे। उन्हें उच्च "नकली स्कोर" मिले लेकिन कम "रियल टॉक स्कोर" मिले।
स्टार स्टूडेंट: एक मॉडल (Gemini-1.5) एक स्वाभाविक प्रतिभा की तरह था। बिना अधिक मदद के भी, उसने बोली बोलने की कोशिश की। कोच के साथ, वह एक उस्ताद बन गया, जो एक सटीक लहजे के साथ बोल रहा था।
"मल्टी-ऑप्शन" ट्रिक: शोधकर्ताओं ने पाया कि यदि वे रोबोट को एक वाक्य के तीन अलग-अलग संस्करण बनाने और उनमें से सबसे अच्छा चुनने की अनुमति देते हैं (जैसे एक लेखक पैराग्राफ के तीन संस्करण तैयार करता है), तो रोबोट और भी तेज़ी से सीखता है।

मुख्य निष्कर्ष

यह शोधपत्र हमें दो मुख्य बातें सिखाता है:

आसान स्कोर पर भरोसा न करें: सिर्फ इसलिए कि एक AI को मानक टेस्ट पर उच्च स्कोर मिलता है, इसका मतलब यह नहीं है कि वह वास्तव में एक विशिष्ट बोली बोलने में अच्छा है। यह केवल नकल कर रहा हो सकता है।
फीडबैक महत्वपूर्ण है: यदि आप एक AI को एक "डायलैक्ट कोच" देते हैं जो उसे बताता है कि उसने क्या गलत किया और उसे फिर से प्रयास करने देता है, तो वह केवल एक बार पूछने की तुलना में बहुत बेहतर तरीके से स्थानीय लोगों की तरह बोलना सीख सकता है।

संक्षेप में, उन्होंने एक बेहतर शिक्षक और एक बेहतर रिपोर्ट कार्ड बनाया है ताकि AI वास्तविक लोगों की समृद्ध और विविध भाषाओं को बोल सके, न कि केवल उबाऊ पाठ्यपुस्तक संस्करण को।

यहाँ शोध पत्र "Steering LLMs toward Korean Local Speech: Iterative Refinement Framework for Faithful Dialect Translation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बड़े भाषाई मॉडलों (LLMs) का उपयोग करके मानक कोरियाई (Standard Korean) से क्षेत्रीय बोलियों (विशेष रूप से जेओल्ला, ग्योंगसांग और जेजू) में अनुवाद करने में आने वाली दो महत्वपूर्ण चुनौतियों का समाधान करता है:

बोली का अंतर (The Dialect Gap): LLMs प्रामाणिक बोली संबंधी आउटपुट उत्पन्न करने में संघर्ष करते हैं, और अक्सर किसी विशिष्ट बोली के लिए प्रॉम्प्ट दिए जाने पर भी मानक कोरियाई पर ही वापस आ जाते हैं। इसके परिणामस्वरूप एक "झूठी सफलता" (False Success) की स्थिति उत्पन्न होती है जहाँ मॉडल अच्छा प्रदर्शन करता हुआ प्रतीत होता है क्योंकि वह केवल स्रोत पाठ (source text) की नकल करता है, न कि उसका अनुवाद।
मूल्यांकन विरूपण (Evaluation Distortion): पारंपरिक n-gram मेट्रिक्स (BLEU, chrF++) संरचनात्मक रूप से स्रोत के साथ सतही ओवरलैप की ओर झुके होते हैं। फलस्वरूप, वे "झूठी सफलता" (स्रोत की नकल करना) को पुरस्कृत करते हैं और "वास्तविक प्रयासों" (वास्तविक बोली संबंधी पीढ़ी जो स्रोत से शाब्दिक रूप से भिन्न होती है) को दंडित करते हैं। यह बोली अनुवाद की गुणवत्ता का सटीक मूल्यांकन करना कठिन बना देता है।

2. कार्यप्रणाली: DIA-REFINE फ्रेमवर्क (Methodology: The DIA-REFINE Framework)

लेखक DIA-REFINE (डायलैक्ट रिफाइनमेंट) का प्रस्ताव करते हैं, जो एक पुनरावृत्ति (iterative) फ्रेमवर्क है जिसे बाहरी फीडबैक का उपयोग करके LLMs को निष्ठापूर्ण लक्ष्य बोली आउटपुट की ओर निर्देशित करने के लिए डिज़ाइन किया गया है।

A. मुख्य घटक (Core Components)

एन्सेम्बल डायलेक्ट क्लासिफायर (Ensemble Dialect Classifier - $C$ ):
- लेखकों ने पाँच वर्गों को कवर करने वाले 50,000 नमूनों का एक डेटासेट बनाया: जेओल्ला, ग्योंगसांग, जेजू, मानक (Standard), और अज्ञात (मिश्रित बोलियाँ)।
- उन्होंने पाँच अलग-अलग कोरियाई प्री-ट्रेंड लैंग्वेज मॉडल्स (जैसे KcELECTRA, KoSimCSE-RoBERTa) को फाइन-ट्यून किया और एक एन्सेम्बल बनाया।
- सर्वश्रेष्ठ प्रदर्शन करने वाले एन्सेम्बल ने 94.92% सटीकता प्राप्त की, जो एक बाहरी "वेरिफायर" के रूप में कार्य करता है ताकि यह जांचा जा सके कि LLM का आउटपुट लक्षित बोली से मेल खाता है या नहीं।
पुनरावृत्ति परिशोधन लूप (Iterative Refinement Loop):
- जेनरेशन (Generation): LLM एक अनुवाद उम्मीदवार ( $y$ ) उत्पन्न करता है।
- सत्यापन (Verification): एन्सेम्बल क्लासिफायर $C$ , $y$ की बोली का अनुमान लगाता है।
- फीडबैक (Feedback):
  - यदि $C(y) \neq$ लक्षित बोली, तो सिस्टम LLM को स्पष्ट फीडबैक प्रदान करता है, जिसमें गलत अनुमानित वर्ग को निर्दिष्ट किया जाता है (जैसे, "आउटपुट जेजू नहीं, बल्कि जेओल्ला के रूप में वर्गीकृत किया गया था")।
  - दोलन प्रबंधन (Oscillation Handling): यदि मॉडल लगातार प्रयासों में विभिन्न त्रुटि प्रकारों के बीच झूलता (oscillate) है, तो एक विशिष्ट प्रॉम्प्ट इस पैटर्न को चिह्नित करता है ताकि चक्र को तोड़ा जा सके।
- पुनः प्रयास (Retry): LLM फीडबैक के आधार पर पुन: अनुवाद करता है। यह लूप अधिकतम दो पुन: प्रयासों (कुल 3 प्रयास) की अनुमति देता है।
वैरिएंट्स (Variants):
- DIA-REFINE(S): सिंगल-कैंडिडेट दृष्टिकोण (जेनरेशन $\to$ वेरिफिकेशन $\to$ रिट्राय)।
- DIA-REFINE(M): मल्टी-कैंडिडेट दृष्टिकोण। मॉडल $k$ उम्मीदवार उत्पन्न करता है (शुरुआत $k=3$ से), और सिस्टम सत्यापन से पहले लक्षित बोली होने की उच्चतम पोस्टीरियर प्रोबेबिलिटी वाले उम्मीदवार का चयन करता है। यह सर्च स्पेस को व्यापक बनाता है।

B. प्रयोगात्मक सेटअप (Experimental Setup)

परीक्षण किए गए मॉडल: HyperCLOVAX, EXAONE-3.5, EEVE, Llama-3.1, और Gemini-1.5।
बेसलाइन: बिना परिशोधन के ज़ीरो-शॉट (ZS) और इन-कॉन्टेक्स्ट लर्निंग (ICL)।
डेटा: मानक कोरियाई वाक्य जिन्हें जेओल्ला, ग्योंगसांग और जेजू बोलियों में अनुवादित किया गया है।

3. प्रमुख योगदान: नए मूल्यांकन मेट्रिक्स (Key Contributions: New Evaluation Metrics)

मूल्यांकन विरूपण की समस्या को हल करने के लिए, लेखकों ने दो नए मेट्रिक्स पेश किए जो n-gram ओवरलैप पर निर्भरता को प्रतिस्थापित करते हैं:

डायलेक्ट फिडेलिटी स्कोर (Dialect Fidelity Score - DFS):
- एक निरंतर मीट्रिक जो हाइपोथीसिस ( $h$ ) के बोली संदर्भ ( $r$ ) की ओर भाषाई बदलाव को बनाम मानक स्रोत ( $s$ ) के विरुद्ध मापता है।
- इसे एक एम्बेडिंग स्पेस (एक बोली-जागरूक मॉडल का उपयोग करके) में कोसाइन समानता के लॉग-अनुपात का उपयोग करके गणना की जाती है:
  $DFS = \log \left( \frac{1 + \cos(e_h, e_r) + \epsilon}{1 + \cos(e_h, e_s) + \epsilon} \right)$
- धनात्मक DFS (Positive DFS): बोली की ओर बदलाव को दर्शाता है।
- ऋणात्मक DFS (Negative DFS): मानक भाषा की निकटता को दर्शाता है।
- महत्व: यह "वास्तविक प्रयासों" (उच्च DFS) को सही ढंग से पहचानता है, भले ही n-gram स्कोर कम हों।
टारगेट डायलेक्ट रेशियो (Target Dialect Ratio - TDR):
- एन्सेम्बल क्लासिफायर $C$ द्वारा सही ढंग से लक्षित बोली के रूप में वर्गीकृत किए गए जनरेट किए गए आउटपुट का अनुपात।
- यह अनुवाद सफलता दर का सीधा माप प्रदान करता है।

4. परिणाम और विश्लेषण (Results and Analysis)

A. "झूठी सफलता" का अनावरण (Unmasking "False Success")

N-gram विफलता: ज़ीरो-शॉट सेटिंग्स में, HyperCLOVAX और Llama-3.1 जैसे मॉडलों ने उच्च BLEU/chrF++ स्कोर (जैसे, ~~60 chrF++) प्राप्त किया, लेकिन TDR लगभग शून्य (<0.03) और नकारात्मक DFS (~~-0.37) था। इसने पुष्टि की कि वे मानक स्रोत की नकल कर रहे थे।
मेट्रिक सत्यापन: प्रस्तावित मेट्रिक्स ने इन विफलताओं को सफलतापूर्वक अलग किया। उदाहरण के लिए, Gemini-1.5 का ZS में कम BLEU स्कोर था लेकिन TDR 0.93 था, जिसने इसे सही ढंग से सर्वश्रेष्ठ प्रदर्शन करने वाला बताया, जबकि पारंपरिक मेट्रिक्स इसे कम दर्शा रहे थे।

B. DIA-REFINE का प्रदर्शन (Performance of DIA-REFINE)

DIA-REFINE(M) की श्रेष्ठता: मल्टी-कैंडिडेट वैरिएंट ने लगातार सिंगल-कैंडिडेट संस्करण से बेहतर प्रदर्शन किया।
- ICL + DIA-REFINE(M) ने सभी मॉडलों में सर्वश्रेष्ठ परिणाम दिए।
- Gemini-1.5 ने ICL + DIA-REFINE(M) के साथ 0.99 का TDR और 0.39 का धनात्मक DFS प्राप्त किया, जबकि उचित n-gram स्कोर बनाए रखा।
- EXAONE-3.5 ने सबसे नाटकीय सुधार दिखाया, जो ICL और DIA-REFINE(M) के संयोजन के साथ एक विफल मॉडल (ऋणात्मक DFS) से उच्च-प्रदर्शन करने वाले मॉडल (DFS 0.27, TDR 0.94) में बदल गया।
दक्षता (Efficiency): कठिन परिदृश्यों में DIA-REFINE(M) ने DIA-REFINE(S) (औसत 2.95 प्रयास) की तुलना में कम प्रयासों (औसत 2.81 प्रयास) के साथ उच्च सफलता दर प्राप्त की।

C. मॉडल प्रतिक्रियाशीलता (Model Responsiveness)

मॉडलों ने अलग-अलग स्तर की प्रतिक्रियाशीलता प्रदर्शित की। "झूठी सफलता" (नकल करने) के प्रति प्रवृत्त मॉडल, "वास्तविक प्रयासों" (True Attempts) करने वाले मॉडलों की तुलना में अधिक कठिन थे।
हालांकि, फ्रेमवर्क लागू करने पर शुरुआती रूप से विफल मॉडलों ने भी पर्याप्त सुधार दिखाया, जो इस पद्धति की मजबूती को सिद्ध करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

फ्रेमवर्क नवाचार: DIA-REFINE बोली अनुवाद के लिए एक मजबूत, लक्ष्य-निर्देशित तंत्र प्रदान करता है जिसके लिए स्वयं LLM को फाइन-ट्यून करने की आवश्यकता नहीं है, बल्कि यह बाहरी क्लासिफायर फीडबैक पर निर्भर करता है।
मूल्यांकन प्रतिमान परिवर्तन: यह शोध पत्र स्थापित करता है कि n-gram मेट्रिक्स बोली अनुवाद के लिए मौलिक रूप से त्रुटिपूर्ण हैं। DFS और TDR का परिचय एक कठोर, विश्वसनीय विकल्प प्रदान करता है जो बोली संबंधी निष्ठा के संबंध में मानवीय अंतर्ज्ञान के साथ संरेखित है।
समावेशिता: कम शोधित कोरियाई बोलियों (जेओल्ला और ग्योंगसांग) का सफलतापूर्वक अनुवाद करके और उन्हें मूल्यांकित करने के उपकरण प्रदान करके, यह कार्य भाषाई समावेशिता को बढ़ावा देता है और क्षेत्रीय भाषाई विरासत को संरक्षित करता है।
भावी कार्य: लेखक आगे के अनुसंधान को सुगम बनाने के लिए कोड जारी करने की योजना बना रहे हैं, हालांकि वे अर्थपूर्ण संरक्षण (semantic preservation) और प्रवाह (fluency) के लिए मूल वक्ताओं के सत्यापन की आवश्यकता के संबंध में सीमाओं को नोट करते हैं।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि बाहरी फीडबैक के साथ पुनरावृत्ति परिशोधन (iterative refinement) प्रभावी रूप से LLMs को प्रामाणिक बोली पीढ़ी की ओर निर्देशित करता है, और एम्बेडिंग-आधारित मेट्रिक्स (DFS/TDR) इन आउटपुट के सटीक मूल्यांकन के लिए आवश्यक हैं, जो पारंपरिक मशीन अनुवाद मूल्यांकन में निहित पूर्वाग्रहों को ठीक करते हैं।