Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation
यह शोध पत्र इस बात का मूल्यांकन करता है कि प्रॉम्प्ट स्कोप और प्रदर्शन चयन रणनीतियाँ विभिन्न भाषा परिवारों केAcross स्थानीय इंस्ट्रक्शन-ट्यून्ड एलएलएम (LLMs) के मशीन ट्रांसलेशन प्रदर्शन को कैसे प्रभावित करती हैं, जिसमें यह पाया गया है कि हालांकि समर्पित एमटी (MT) सिस्टम बेहतर बने हुए हैं, फिर भी एम्बेडिंग-आधारित फ्यू-शॉट प्रॉम्प्टिंग और फैमिली-स्कोप प्रॉम्प्ट्स बड़े मॉडलों को उन्नत कर सकते हैं, भले ही वे छोटे मॉडलों के लिए स्ट्रक्चर्ड-आउटपुट चुनौतियां पेश करते हों।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जो लगभग कोई भी भाषा बोल सकता है। आप उससे एक वाक्य को अंग्रेजी से फ्रेंच में अनुवाद करने के लिए कहते हैं, और वह बहुत अच्छा काम करता है। लेकिन क्या होगा अगर आप उससे उसी वाक्य को फ्रेंच, स्पेनिश और इतालवी में एक साथ अनुवाद करने के लिए कहें? या क्या होगा अगर आप उसे काम शुरू करने से पहले यह दिखाने के लिए कुछ उदाहरण वाक्य दें कि आप चीजों को कैसे पसंद करते हैं? यह पेपर मशीन ट्रांसलेशन (Machine Translation) की दुनिया में रहता है, जो कंप्यूटर को एक भाषा को दूसरी भाषा में बदलने के लिए सिखाने का विज्ञान है। लंबे समय तक, हमने इन रोबोटों का परीक्षण एक बार में एक सरल प्रश्न पूछकर किया: "इसका अनुवाद करें।" लेकिन वास्तविक जीवन अधिक जटिल है। लोग अक्सर एक साथ कई भाषाओं के लिए पूछते हैं, या वे रोबोट को यह समझने में मदद करने के लिए एक "चीट शीट" (cheat sheet) देते हैं कि वे किस शैली को पसंद करते हैं। बड़ा सवाल यह है: एक साथ अधिक चीजें पूछना, या रोबोट को एक चीट शीट देना, वास्तव में इसे बेहतर बनाता है, या यह इसे केवल भ्रमित कर देता है? यह महत्वपूर्ण है क्योंकि अधिक से अधिक लोग गोपनीयता और गति के लिए विशाल क्लाउड सर्वर के बजाय अपने स्वयं के कंप्यूटरों पर इन "रोबोटों" (जिन्हें लार्ज लैंग्वेज मॉडल कहा जाता है) को चला रहे हैं। हमें यह जानने की आवश्यकता है कि क्या ये स्थानीय रोबोट वास्तविक दुनिया के लिए तैयार हैं, या वे केवल तभी काम करते हैं जब परीक्षण बहुत सरल हो।
इस पेपर के लेखकों ने इन स्थानीय रोबोटों को एक बहुत ही विशिष्ट तरीके से परखने का निर्णय लिया। उन्होंने केवल उन्हें एक वाक्य को एक भाषा में अनुवाद करने के लिए नहीं कहा; उन्होंने जिस तरीके से वे प्रश्न पूछ रहे थे, उसे एक वेरिएबल (variable) के रूप में माना। उन्होंने कुछ बहुत ही गंभीर, समर्पित अनुवाद मशीनों के मुकाबले तीन अलग-अलग "स्थानीय" रोबोटों (छोटे मॉडल जिन्हें आप अपने कंप्यूटर पर चला सकते हैं) का परीक्षण किया। उन्होंने रोबोट से अंग्रेजी को नौ अलग-अलग यूरोपीय भाषाओं में अनुवाद करने के लिए कहा, जिन्हें दो परिवारों में बांटा गया था: "रोमांस" परिवार (जैसे फ्रेंच, स्पेनिश और इतालवी) और "जर्मनिक" परिवार (जैसे जर्मन, डच और स्वीडिश)।
शोधकर्ताओं ने रोबोट को "चीट शीट" (जिसे फ्यू-शॉट प्रॉम्प्टिंग कहा जाता है) देने के लिए तीन अलग-अलग रणनीतियों का परीक्षण किया। पहले, उन्होंने रोबोट को शून्य उदाहरण दिए। दूसरे, उन्होंने उसे पाँच यादृच्छिक (random) उदाहरण दिए। तीसरे, उन्होंने उसे पाँच उदाहरण दिए जो सावधानीपूर्वक चुने गए थे ताकि वे उस वाक्य के बहुत समान हों जिसे वे अनुवाद करना चाहते थे, या तो उपयोग किए गए शब्दों को देखकर या एक स्मार्ट कंप्यूटर प्रोग्राम का उपयोग करके समान अर्थ खोजने के माध्यम से। उन्होंने दो अलग-अलग "स्कोप" (scope) का भी परीक्षण किया: एक बार में केवल एक भाषा के लिए पूछना, या एक परिवार की सभी पाँच भाषाओं को एक साथ अनुवाद करने के लिए पूछना, जिसमें उत्तरों को एक JSON फॉर्मेट (एक विशिष्ट कंप्यूटर फ़ाइल संरचना) में व्यवस्थित किया गया हो।
यहाँ उन्हें क्या मिला, और यह थोड़ा मिला-जुला परिणाम है। सबसे पहले, पुराने जमाने की, समर्पित अनुवाद मशीनें अभी भी चैंपियन हैं। वे सबसे विश्वसनीय हैं, विशेष रूप से जर्मनिक भाषाओं में अनुवाद करते समय। स्थानीय रोबोट बेहतर हो रहे हैं, और वे स्पेनिश और पुर्तगाली जैसी कुछ रोमांस भाषाओं के लिए मुकाबला कर सकते हैं, लेकिन वे अभी तक पेशेवरों को मात नहीं दे पा रहे हैं।
दूसरा, "चीट शीट" रणनीति पूरी तरह से इस बात पर निर्भर करती है कि आप कौन सा रोबोट उपयोग कर रहे हैं। दो मजबूत स्थानीय रोबोटों (mistral:latest और qwen2.5:14b) के लिए, उदाहरण देने से वास्तव में मदद मिली। उदाहरण देखने के बाद वे अनुवाद करने में बेहतर हुए। लेकिन सबसे छोटे रोबोट (llama3.2:3b) के लिए, उदाहरण देना एक आपदा साबित हुआ। अतिरिक्त उदाहरण पढ़ने के बाद यह और भी खराब हो गया। यह एक ऐसे छात्र की तरह है जो टेस्ट में बहुत अच्छा करता है जब वह केवल प्रश्न पढ़ता है, लेकिन भ्रमित हो जाता है और गलतियाँ करने लगता है जब आप उसे पहले एक नमूना उत्तर दिखाते हैं।
तीसरा, आप प्रश्न पूछने का तरीका बहुत मायने रखता है। जब शोधकर्ताओं ने रोबकों से सभी पाँच भाषाओं में एक साथ अनुवाद करने के लिए कहा (फैमिली-स्कोप प्रॉम्प्ट), तो बड़े रोबोटों ने इसे अच्छी तरह से संभाला, और हर भाषा के लिए अनुवादों की एक व्यवस्थित सूची बनाई। लेकिन सबसे छोटा रोबोट? वह पूरी तरह से बिखर गया। वह अक्सर कुछ भाषाओं का अनुवाद करना भूल गया, या वह सही प्रारूप में उत्तर देने के निर्देशों का पालन नहीं कर सका। यह ऐसा है जैसे छोटे रोबोट को बड़े ऑर्डर से अभिभूत कर दिया गया हो और उसने आधे आइटम छोड़ दिए हों।
पेपर ने यह भी देखा कि क्या उदाहरणों को चुनने का "स्मार्ट" तरीका (सबसे समान वाक्यों को खोजना) यादृच्छिक (random) वाले से बेहतर था। उन रोबोटों के लिए जो उदाहरणों का उपयोग कर सकते थे, स्मार्ट, समान उदाहरणों ने यादृच्छिक वाले की तुलना में थोड़ी अधिक मदद की। लेकिन अंतर बहुत बड़ा नहीं था। सबसे महत्वपूर्ण बात यह थी कि रोबोट उदाहरणों का उपयोग करने के लिए पर्याप्त सक्षम था या नहीं। यदि रोबोट बहुत छोटा या भ्रमित था, तो बेहतरीन उदाहरण भी उसे बचा नहीं सके।
संक्षेप में, यह पेपर सुझाव देता है कि हम केवल यह नहीं कह सकते कि "AI अनुवाद अच्छा है" या "AI अनुवाद बुरा है।" यह इस पर निर्भर करता है कि आप प्रश्न कैसे पूछते हैं। यदि आप चाहते हैं कि एक स्थानीय रोबोट आपके लिए अनुवाद करे, तो आपको एक ऐसा मॉडल चुनना होगा जो जटिल निर्देशों और एक साथ कई भाषाओं को संभालने के लिए पर्याप्त बड़ा हो। यदि आप एक बहुत छोटा मॉडल चुनते हैं और उससे एक साथ बहुत अधिक काम करने या बहुत अधिक अतिरिक्त जानकारी देने के लिए कहते हैं, तो वह बुरी तरह विफल हो सकता है। लेखक निष्कर्ष निकालते हैं कि जब हम इन अनुवाद उपकरणों का परीक्षण करते हैं, तो हमें केवल अनुवाद की गुणवत्ता को ही नहीं देखना चाहिए; हमें यह भी जांचना चाहिए कि क्या रोबोट जटिल निर्देशों का पालन कर सकता है और बिल्कुल वही दे सकता है जो हमने मांगा है, बिना किसी गलती के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।