Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets
यह शोध पत्र "रिकवर्ड इन ट्रांसलेशन" (Recovered in Translation) को प्रस्तुत करता है, जो एक स्वचालित ढांचा है जो यूनिवर्सल सेल्फ-इम्प्रूवमेंट (Universal Self-Improvement) जैसी टेस्ट-टाइम कंप्यूट स्केलिंग रणनीतियों और एक नवीन T-RANK पद्धति का लाभ उठाकर बेंचमार्क के आठ पूर्वी और दक्षिणी यूरोपीय भाषाओं में उच्च-गुणवत्ता वाले, अर्थ-संरक्षित अनुवाद उत्पन्न करता है, जिससे मौजूदा संसाधनों की सीमाओं को दूर किया जा सके और अधिक विश्वसनीय बहुभाषी LLM मूल्यांकन को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप विभिन्न एआई कंप्यूटर कितने स्मार्ट हैं, यह देखने के लिए एक विशाल, वैश्विक टेस्ट लाइब्रेरी बना रहे हैं। अभी, इनमें से अधिकांश परीक्षण अंग्रेजी में लिखे गए हैं। अन्य भाषाओं में एआई का परीक्षण करने के लिए, किसी को इन परीक्षणों का अनुवाद करना होगा।
समस्या: "ब्रोकन टेलीफोन" गेम
वर्तमान में, इन परीक्षणों का अनुवाद करना "ब्रोकन टेलीफोन" (एक टूटा हुआ फोन) खेलने जैसा है।
- पुराना तरीका: मौजूदा अनुवाद अक्सर प्रश्न और उत्तर को दो अलग-अलग कागजों की तरह मानते हैं। वे प्रश्न का अनुवाद करते हैं, फिर उत्तर का अनुवाद करते हैं, और बस उन्हें वापस टेप से चिपका देते हैं।
- परिणाम: कनेक्शन टूट जाता है। यूक्रेनी या ग्रीक जैसी भाषाओं में, जहाँ शब्द वाक्य में उनकी भूमिका के आधार पर अपना रूप बदल लेते हैं (ग्रामर केसेस), इस अलगाव के कारण उत्तर गलती से सही विकल्प का खुलासा कर देता है। यह एक पहेली का अनुवाद करने जैसा है जहाँ उत्तर पहेली के व्याकरण में ही छिपा होता है। एआई पहेली को हल नहीं करता; वह केवल इसलिए नकल करता है क्योंकि अनुवाद ने उसे एक संकेत दे दिया है।
समाधान: "रिकवर्ड इन ट्रांसलेशन"
इस गड़बड़ी को ठीक करने के लिए इस शोध पत्र के लेखकों ने R-Translation नामक एक नया, स्वचालित कारखाना बनाया है। एक साधारण रोबोट या मानव अनुवादक के बजाय, वे उन्नत एआई का उपयोग विशेषज्ञ संपादकों की एक टीम के रूपai के रूप में करते हैं।
यह कारखाना कैसे काम करता है, यहाँ रचनात्मक उपमाओं का उपयोग किया गया है:
1. "T-RANK" विधि: ओलंपिक जज
कल्पना कीजिए कि आपके पास एक कठिन वाक्य का अनुवाद करने के लिए पांच अलग-अलग अनुवादक हैं।
- पुराना तरीका (Best-of-N): आप एक जज से प्रत्येक अनुवादक को 1 से 10 तक स्कोर देने के लिए कहते हैं। समस्या यह है कि जज थक सकता है या पक्षपाती हो सकता है, जिससे पहले अनुवादक को उच्च स्कोर मिल जाता है क्योंकि उसने पहले बोला था।
- नई विधि (T-RANK): अनुवादकों को स्कोर देने के बजाय, एआई एक ओलंपिक जज पैनल की तरह कार्य करता है। यह पांच अनुवादों को एक रिंग में रखता है और उन्हें आपस में लड़ने के लिए कहता है।
- राउंड 1: अनुवादक A, अनुवादक B से लड़ता है।
- राउंड 2: अनुवादक B, अनुवादक C से लड़ता है।
- ट्विस्ट: एआई यह घुमाता है कि कौन पहले जाएगा ताकि किसी को "होम-फील्ड एडवांटेज" (घर का फायदा) न मिले।
- अंतिम चरण: एक बार विजेता चुनने के बाद, एआई सभी अनुवादों को फिर से देखता है, प्रत्येक के सबसे अच्छे हिस्सों को ढूंढता है, और उन्हें एक पूर्ण "फ्रेंकेंस्टीन" अनुवाद में सिल देता है जिसमें सभी से सर्वश्रेष्ठ व्याकरण और अर्थ होता है।
2. "USI" विधि: आत्म-सुधार करने वाला शेफ
इसे एक शेफ के रूप में सोचें जो सूप के पांच अलग-अलग संस्करण बनाता है।
- केवल सबसे अच्छे को चुनने के बजाय, शेफ उन पांचों को चखता है, महसूस करता है, "हम्म, सूप #1 में सही नमक है, लेकिन सूप #3 में सही मसाला है," और फिर उन्हें एक सुपर-सूप में मिला देता है जो किसी भी एकल प्रयास से बेहतर है। इसे यूनिवर्सल सेल्फ-इम्प्रूवमेंट (सार्वभौमिक आत्म-सुधार) कहा जाता है।
3. यह क्यों महत्वपूर्ण है
शोधकर्ताओं ने 8 अलग-अलग भाषाओं (जैसे यूक्रेनी, तुर्की और ग्रीक) का उपयोग करके MMLU और Winogrande जैसे प्रसिद्ध एआई परीक्षणों पर इस कारखाने का परीक्षण किया।
- परिणाम: उनके नए अनुवाद बहुत अधिक सटीक थे।
- प्रभाव: जब उन्होंने इन उच्च-गुणवत्ता वाले परीक्षणों पर एआई मॉडल चलाए, तो उनके स्कोर बदल गए। कुछ मॉडल स्मार्ट दिखे, कुछ मूर्ख। यह साबित करता है कि पुराने परीक्षण हमें धोखा दे रहे थे क्योंकि अनुवाद खराब थे।
बड़ी तस्वीर
पुराने अनुवादों को एक परिदृश्य की धुंधली फोटो के रूप में सोचें। आप पेड़ों को देख सकते हैं, लेकिन आप यह नहीं बता सकते कि यह एक जंगल है या पार्क।
लेखकों का नया फ्रेमवर्क लेंस को शार्प (साफ) करने जैसा है। अचानक, आप विवरण देख सकते हैं।
आपको इसकी परवाह क्यों करनी चाहिए?
यदि हम चाहते हैं कि एआई दुनिया भर के लोगों के लिए, न कि केवल अंग्रेजी बोलने वालों के लिए, निष्पक्ष और सहायक हो, तो हमें यह सुनिश्चित करने की आवश्यकता है कि हम उनके ग्रेडिंग के लिए उपयोग किए जाने वाले परीक्षण पूर्ण हों। यदि परीक्षण टूटा हुआ है, तो ग्रेड गलत है। यह शोध पत्र हमें परीक्षणों को ठीक करने के उपकरण प्रदान करता है, यह सुनिश्चित करता है कि जब कोई एआई यूक्रेनी या ग्रीक बोलता है, तो हम वास्तव में उसकी बुद्धिमत्ता का परीक्षण कर रहे होते हैं, न कि उसकी अनुवाद त्रुटि को पकड़ने की क्षमता का।
संक्षेप में: उन्होंने एक स्मार्ट, स्वचालित प्रणाली बनाई है जो विशेषज्ञ संपादकों की एक टीम के रूप में कार्य करती है ताकि एआई परीक्षणों का पूर्ण रूप से अनुवाद किया जा सके, जिससे यह सुनिश्चित होता है कि अन्य भाषाओं में एआई मॉडल को निष्पक्ष ग्रेड मिले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।