Analysis of Numerical Localisation in LLM Translations
यह शोध पत्र संख्यात्मक अनुवाद पर पूर्व अनुसंधान का विस्तार करते हुए पांच कमोडिटी-संगत (commodity-compatible) बड़े भाषा मॉडलों का मूल्यांकन करता है, जिसमें यह पाया गया है कि एम्बेडिंग लोकलाइजेशन (embedding localisation) सिद्धांतों को सीधे प्रॉम्प्ट संदर्भ में शामिल करने से प्रत्यक्ष अनुवाद या अन्य रणनीतियों की तुलना में समय, संख्या और तिथियों के अनुवाद की सटीकता में सांख्यिकीय रूप से महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अलग देश में रहने वाले अपने एक मित्र को पोस्टकार्ड भेजने की कोशिश कर रहे हैं। आप तारीख को "07/04/2024" के रूप में लिखते हैं। आपके लिए, यह 4 जुलाई है। लेकिन आपके मित्र के लिए, जो यूके (UK) में है, यह 7 अप्रैल है। यदि आप कोई रेसिपी, बैंक ट्रांसफर या वैज्ञानिक सूत्र भेज रहे हैं, तो संख्याओं और तारीखों को गलत करना केवल एक टाइपिंग की गलती नहीं है; यह एक आपदा है। यह लोकलाइजेशन (localisation) की दुनिया है। जबकि अनुवाद (translation) शब्दों को बदलने जैसा है (जैसे "dog" को "Hund" में बदलना), लोकलाइजेशन जानकारी का पूरा पहनावा बदलने जैसा है ताकि वह स्थानीय संस्कृति में फिट हो सके। यह तय करने जैसा है कि आपको सूट पहनना है या टक्सीडो, या इस मामले में, दशमलव को अलग करने के लिए कॉमा (comma) का उपयोग करना है या डॉट (dot) का।
यहाँ लार्ज लैंग्वेज मॉडल्स (LLMs) का प्रवेश होता है। इन्हें अविश्वसनीय रूप से स्मार्ट, सुपर-फास्ट रोबोट के रूप में सोचें जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वे कहानियाँ लिखने और वाक्यों का अनुवाद करने में माहिर हैं, लेकिन वे संख्याओं और तारीखों के सख्त नियमों के मामले में कभी-कभी लड़खड़ा जाते हैं। वे जान सकते हैं कि "1,000" का अर्थ एक हज़ार है, लेकिन वे भूल सकते हैं कि जर्मनी में, उसी संख्या को "1.000" के रूप में लिखा जाता है। यह शोध एआई (AI) विज्ञान के एक विशिष्ट कोने में गहराई से उतरता है: क्या ये रोबोटिक दिमाग न केवल शब्दों का अनुवाद कर सकते हैं, बल्कि संख्याओं और तारीखों को नए देश के लिए सही ढंग से "सजा" भी सकते हैं? यह एक महत्वपूर्ण प्रश्न है क्योंकि यदि एआई लोकलाइजेशन में गलती करता है, तो यह एक सुरक्षित मेडिकल खुराक को खतरनाक खुराक में या एक छोटे लाभ को भारी नुकसान में बदल सकता है।
महान संख्या मेकओवर (The Great Number Makeover)
इस अध्ययन में, एक शोधकर्ता पेट्रीज़िया के (Patrizia Kaye) ने पाँच अलग-अलग एआई मॉडलों को परखने के लिए टेस्ट किया। ये वे विशाल, सुपरकंप्यूटर-आकार के मॉडल नहीं थे जिन्हें चलाने के लिए लाखों खर्च होते हैं; इसके बजाय, उन्होंने पाँच छोटे, "कमोडिटी" मॉडल चुने जिन्हें एक शक्तिशाली गेमिंग लैपटॉप जैसे मानक हार्डवेयर पर चलाया जा सके। वह यह देखना चाहती थीं कि क्या ये मॉडल अंग्रेजी टेक्स्ट को जर्मन (और इसके विपरीत) में अनुवाद करते समय स्थानीय नियमों के अनुसार संख्याओं, तारीखों और समय को बिल्कुल सटीक रख सकते हैं।
इसे करने के लिए, उन्होंने एक छोटा सा प्रयोग तैयार किया। उन्होंने यूरोपीय संसद के रिकॉर्ड और चिकित्सा दस्तावेजों जैसे वास्तविक-विश्व स्रोतों से तारीखों, समय और संख्याओं वाले 700 वाक्य लिए। फिर, उन्होंने एआई मॉडल्स से चार अलग-अलग "रणनीतियों" या तरीकों का उपयोग करके अनुवाद करने के लिए कहा:
- प्रत्यक्ष अनुवाद (Direct Translation): बस एआई से पूछना, "इस वाक्य का अनुवाद करें।"
- इन-कॉन्टेक्स्ट लर्निंग (ICL): प्रॉम्प्ट में एआई को एक संदर्भ देना, जैसे यह कहना, "याद रखें, जर्मन में हम हजारों के लिए डॉट और दशमलव के लिए कॉमा का उपयोग करते हैं।"
- चेन-ऑफ-थॉट (CoT): एआई को उत्तर देने से पहले अपने चरणों को "ज़ोर से सोचने" और समझाने के लिए कहना।
- पोस्ट-एडिटिंग (Post-Editing): एआई को पहले अनुवाद करने देना, फिर एक अलग कंप्यूटर स्क्रिप्ट का उपयोग करके संख्याओं को ढूँढना और उन्हें मैन्युअल रूप से ठीक करना।
आश्चर्यजनक विजेता
परिणाम एक बड़े ट्विस्ट की तरह थे। अंग्रेजी और चीनी के बीच संख्याओं के अनुवाद पर एक पिछले अध्ययन में, शोधकर्ताओं ने पाया था कि "पोस्ट-एडिटिंग" विधि (बाद में संख्याओं को ठीक करना) सबसे अच्छी थी। लेकिन जब पेट्रीज़िया ने इसे अंग्रेजी और जर्मन पर आजमाया, तो पोस्ट-एडिटिंग वास्तव में सबसे खराब रणनीति साबित हुई, जिसका स्कोर अक्सर 30% सटीकता से भी नीचे रहा। ऐसा लगता है कि जब एआई भ्रमित होता है, तो बाद में संख्याओं को ठीक करने की कोशिश करना केवल गड़बड़ी पैदा करता है।
"चेन-ऑफ-थॉट" विधि, जहाँ एआई अपने तर्क को समझाता है, भी ज्यादा काम नहीं आई। इसने अक्सर मॉडल्स को यह दिखाने के चक्कर में गलत उत्तर देने की ओर ले गया कि वे वहां तक पहुँचने के तरीके के बारे में कितने समझदार हैं।
असली चैंपियन इन-कॉन्टेक्स्ट लर्निंग निकला। जब शोधकर्ता ने प्रॉम्प्ट में बस कुछ स्पष्ट निर्देश जोड़ दिए—एआई को ठीक से बताया कि उसे संख्याओं और तारीखों को कैसे फॉर्मेट करना है—तो मॉडल्स का प्रदर्शन काफी बेहतर हो गया। सबसे अच्छा प्रदर्शन करने वाले मॉडल (Qwen3-4B-Instruct-2507) के लिए, इस सरल "संदर्भ" ने अंग्रेजी-से-जर्मन दिशा में संख्याओं के लिए सटीकता को 91.7% तक बढ़ा दिया, जो केवल प्रत्यक्ष अनुवाद (direct translation) द्वारा प्राप्त 92.2% की तुलना में (एक मामूली सुधार के साथ) बेहतर प्रदर्शन दर्शाता है। अध्ययन में पाया गया कि यह सुधार केवल एक तुक्का नहीं था; सांख्यिकीय परीक्षणों ने पुष्टि की कि प्रॉम्प्ट में इन नियमों को जोड़ने से अन्य रणनीतियों की तुलना में वास्तविक, मापने योग्य अंतर आया।
बड़े दिमागों का क्या?
आप सोच सकते हैं कि एक बड़ा एआई मॉडल जिसमें अधिक "ब्रेन पावर" (पैरामीटर्स) है, वह हमेशा बेहतर काम करेगा। हालाँकि, पेपर में पाया गया कि आकार हमेशा सफलता की गारंटी नहीं देता। परीक्षण किए गए मॉडल्स 2 बिलियन से 7 बिलियन पैरामीटर्स के बीच थे। आश्चर्यजनक रूप से, 4-बिलियन-पैरामीटर वाला मॉडल कई मामलों में 7-बिलियन-पैरामीटर वाले मॉडल्स से बेहतर प्रदर्शन कर गया। यह सुझाव देता है कि इस विशिष्ट कार्य के लिए, सही निर्देश होना बड़े दिमाग होने से अधिक महत्वपूर्ण है।
अध्ययन ने यह भी परीक्षण किया कि एआई को यह बताना कि वह अंग्रेजी या जर्मन का कौन सा संस्करण उपयोग कर रहा है (जैसे "ब्रिटिश इंग्लिश" बनाम "जर्मनी की जर्मन"), मदद करता है या नहीं। इसने थोड़ी मदद तो की, लेकिन उतना नहीं जितना कि प्रॉम्प्ट में सीधे फॉर्मेटिंग नियम देना।
निष्कर्ष (The Bottom Line)
यह पेपर सुझाव देता है कि यदि आप चाहते हैं कि कोई एआई अनुवाद करते समय संख्याओं और तारीखों को सही ढंग से संभाले, तो केवल उससे "अपना सर्वश्रेष्ठ देने" के लिए न कहें। इसे बाद में अपनी गलतियों को खुद ठीक करने पर भरोसा न करें, और इसे अपनी सोच समझाने के लिए मजबूर न करें। इसके बजाय, शुरुआत में ही स्पष्ट नियमों का एक सेट दें। बातचीत में लोकलाइजेशन सिद्धांतों को सीधे शामिल करके, आप एक भ्रमित रोबोट को एक सटीक अनुवादक में बदल सकते हैं। हालांकि परिणाम परीक्षण किए गए मॉडल्स और भाषा युग्मों (language pairs) के लिए विशिष्ट हैं, यह विधि उन सभी के लिए अनुवाद को सुरक्षित और अधिक सटीक बनाने का एक पुनरुत्पादक (reproducible) तरीका प्रदान करती है जो सीमाओं के पार धन, विज्ञान या समय-सारणी का काम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।