Evaluating In-Context Translation with Synchronous Context-Free Grammar Transduction
यह शोध पत्र प्राकृतिक भाषाओं के एक औपचारिक प्रॉक्सी के रूप में सिंक्रोनस कॉन्टेक्स्ट-फ्री ग्रामर का उपयोग करते हुए इन-कॉन्टेक्स्ट अनुवाद करने की लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करता है, जिसमें यह पाया गया है कि व्याकरण के आकार और वाक्य की लंबाई बढ़ने के साथ प्रदर्शन में काफी गिरावट आती है, यह रूपात्मक (morphological) और लिपि संबंधी अंतरों से बाधित होता है, और शब्दावली संबंधी मतिभ्रम (hallucinations) तथा अननुवादित स्रोत शब्दों जैसी त्रुटियों द्वारा अभिलक्षित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान लेकिन अनुभवहीन अनुवादक को एक ऐसी भाषा सिखाने की कोशिश कर रहे हैं जिसे उसने पहले कभी नहीं सुना है। आप उसे शब्दकोश या वह पाठ्यपुस्तक नहीं दे सकते जिसे उसने वर्षों तक पढ़ा हो। इसके बजाय, आप उसे एक नई नियम पुस्तिका थमाते हैं जो एक विदेशी भाषा में लिखी गई है, साथ ही कुछ वाक्य भी देते हैं, और कहते हैं, "ये रहे नियम। अब, इस वाक्य का अनुवाद करें।"
यही इन-कॉन्टेक्स्ट मशीन ट्रांसलेशन (ICMT) की मुख्य चुनौती है। शोधकर्ताओं ने एक बड़ा सवाल पूछा था: क्या आधुनिक AI मॉडल (जैसे GPT-5 या Gemma) बिना भारी मात्रा में प्रशिक्षण डेटा के, केवल चलते-फिरते व्याकरण के नियमों को पढ़कर एक नई भाषा सीख सकते हैं?
इस उत्तर को खोजने के लिए, लेखकों ने फॉर्मल लैंग्वेजेस (कठोर, तार्किक नियमों वाली बनाई गई भाषाएँ) का उपयोग करके एक "ट्रेनिंग कैंप" बनाया, न कि फ्रेंच या स्वाहिली जैसी वास्तविक दुनिया की भाषाओं का। इससे उन्हें हर चर (variable) को पूरी तरह से नियंत्रित करने की सुविधा मिली।
यहाँ उनके निष्कर्षों का विवरण दिया गया है, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:
1. "नियम पुस्तिका का आकार" की समस्या
निष्कर्ष: नियम पुस्तिका जितनी बड़ी होती गई, AI का प्रदर्शन उतना ही खराब होता गया।
उपमा: कल्पना कीजिए कि आप IKEA का एक फर्नीचर असेंबल करने की कोशिश कर रहे हैं।
- छोटा व्याकरण: नियम पुस्तिका एक छोटे स्टूल के लिए 2-पेज का सरल पर्चा है। AI इसे पढ़ सकता है, चरणों को समझ सकता है, और स्टूल को पूरी तरह से बना सकता है।
- बड़ा व्याकरण: नियम पुस्तिका एक विशाल, जटिल किले के लिए 500-पेज का मैनुअल है। AI अभिभूत (overwhelmed) हो जाता है। वह आखिरी नियम तक पहुँचते-पहुँचते पहला नियम भूलने लगता है।
- परिणाम: जब व्याकरण छोटा था (कुछ सौ नियम), तो AI लगभग सटीक था। लेकिन जैसे-जैसे व्याकरण का आकार मानव भाषा को मॉडल करने के लिए आवश्यक स्तर (हजारों नियम) तक बढ़ा, AI की सटीकता तेजी से गिर गई। वह उन सभी नियमों को एक साथ अपनी "वर्किंग मेमोरी" में नहीं रख सका।
2. "वाक्य की लंबाई" की समस्या
निष्कर्ष: छोटे वाक्य आसान थे; लंबे वाक्य एक आपदा साबित हुए।
उपमा: इसे "टेलीफोन" के खेल की तरह सोचें।
- छोटा वाक्य: आप AI को 3 शब्दों का एक वाक्यांश फुसफुसाते हैं। वह इसका सटीक अनुवाद करता है।
- लंबा वाक्य: आप AI को 30 शब्दों की एक कहानी फुसफुसाते हैं। वाक्य के अंत तक पहुँचते-पहुँचते, वह शुरुआत को भूल जाता है। वह शब्दों की कल्पना (hallucination) करने लगता है या वाक्य के हिस्सों को छोड़ देता है।
- परिणाम: AI ने 10 शब्दों से कम के वाक्यों को अच्छी तरह से संभाला, लेकिन एक बार जब वे 20 शब्दों से ऊपर निकल गए, तो प्रदर्शन में भारी गिरावट आई।
3. "शब्द क्रम" का आश्चर्य
निष्कर्ष: शब्दों के क्रम को बदलने (जैसे वाक्य के अंत में क्रिया रखना) से वास्तव में AI को ज्यादा नुकसान नहीं हुआ।
उपमा: कल्पना कीजिए कि आप एक कमरे में फर्नीचर को पुनर्व्यवस्थित कर रहे हैं।
- यदि आप AI को कहते हैं, "कुर्सी को मेज के सामने रखें," तो यदि नियम पुस्तिका कहती है, तो वह आसानी से इसे "मेज को कुर्सी के पीछे रखें" में बदल सकता है।
- परिणाम: AI निर्देशों का पालन करके शब्द क्रम को बदलने (जैसे अंग्रेजी शैली बनाम जापानी शैली) में काफी अच्छा है। कठिनाई शब्द के क्रम में नहीं थी; बल्कि नियमों की जटिलता में थी।
4. "मॉर्फोलॉजी" (रूपविज्ञान) का जाल
निष्कर्ष: AI को तब सबसे अधिक संघर्ष करना पड़ा जब वह एक "सरल" भाषा (जहाँ शब्द नहीं बदलते) से "जटिल" भाषा (जहाँ क्रिया के आधार पर शब्द बदलते हैं) में अनुवाद कर रहा था।
उपमा: एक ऐसे खेल की कल्पना करें जहाँ आपको एक गुप्त कोड का अनुमान लगाना है।
- सरल से सरल: "Cat" का अर्थ हमेशा "Cat" ही रहता है। आसान है।
- सरल से जटिल: लक्षित भाषा में, "Cat" बदलकर "Cat-er" हो जाता है यदि कोई पुरुष उसे देख रहा हो, और "Cat-est" हो जाता है यदि कोई महिला उसे देख रही हो। AI को यह पता लगाने के लिए कि "Cat" का कौन सा संस्करण उपयोग करना है, वाक्य के अन्य शब्दों को देखना पड़ता है।
- परिणाम: AI सरल-से-सरल अनुवाद में बेहतरीन था, लेकिन एक सरल भाषा से जटिल भाषा में जाने पर छिपे हुए "एग्रीमेंट" (सहमति) नियमों को समझने में विफल रहा।
5. "स्क्रिप्ट" (लिपि) का दुःस्वप्न
निष्कर्ष: AI लैटिन अक्षरों (A, B, C) के साथ बहुत अच्छा रहा, सिरिलिक (रूसी शैली) के साथ ठीक-ठाक रहा, लेकिन हिब्रू के साथ पूरी तरह विफल रहा, विशेष रूप से यदि उसमें स्वर चिह्न (vowel marks) थे।
उपमा: कल्पना कीजिए कि AI एक शेफ है जिसने केवल मानक सेट के चाकू के साथ खाना पकाया है।
- लैटिन स्क्रिप्ट: मानक चाकू। कोई समस्या नहीं।
- सिरिलिक/हिब्रू: शेफ को अजीब, अपरिचित औजारों का उपयोग करना पड़ रहा है। वे काट तो सकते हैं, लेकिन वे अनाड़ी हैं।
- स्वर चिह्नों के साथ हिब्रू: यह हाथ में कांच के बने औजारों के सेट मिलने जैसा है जिन्हें उन्होंने पहले कभी नहीं देखा। AI पूरी तरह से जम गया। वह सही वर्णों (characters) को भी उत्पन्न नहीं कर सका।
- परिणाम: AI उन पैटर्न पर बहुत अधिक निर्भर करता है जिन्हें उसने पहले देखा है। यदि शब्दों का "रूप" (script) बहुत अधिक अपरिचित है, तो AI हार मान लेता है, भले ही वह व्याकरण के नियमों को पूरी तरह से समझता हो।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI मॉडल तकनीकी रूप से एक नियम पुस्तिका से नई भाषा सीख सकते हैं, लेकिन वे इसमें अत्यधिक नाजुक (fragile) हैं।
- वे उस छात्र की तरह हैं जो गणित की परीक्षा में उत्कृष्ट प्रदर्शन कर सकते हैं यदि प्रश्न छोटे और सूत्र सरल हों।
- लेकिन यदि आप उन्हें जटिल सूत्रों की 50-पेज की पाठ्यपुस्तक दें और उनसे ऐसी भाषा में बहु-चरणीय समस्या हल करने को कहें जिसे उन्होंने पहले कभी नहीं देखा, तो वे संभवतः घबरा जाएंगे, नियम भूल जाएंगे और अपनी ओर से बातें बनाने लगेंगे।
यह क्यों महत्वपूर्ण है?
वर्तमान में, AI अनुवाद कम संसाधन वाली भाषाओं को सीखने के लिए भारी मात्रा में डेटा (लाखों वाक्यों) पर निर्भर करता है। यह अध्ययन बताता है कि केवल AI को व्याकरण की किताब थमा देना अभी पर्याप्त नहीं है। जब तक AI अपने "मन" में जटिल नियमों को रखने और अपरिचित लेखन प्रणालियों को पहचानने में बेहतर नहीं हो जाता, हम उन भाषाओं के अनुवाद के लिए पूरी तरह से उस पर भरोसा नहीं कर सकते जिन्हें उसने प्रशिक्षित नहीं किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।