Round-Trip Translation Reveals What Frontier Multilingual Benchmarks Miss
यह शोध पत्र तर्क देता है कि वर्तमान बहुभाषी बेंचमार्क वास्तविक भाषा प्रवीणता के बजाय मुख्य रूप से तर्क और स्मरण शक्ति को मापते हैं, और "लॉस्ट इन ट्रांसलेशन" (LiT) का प्रस्ताव देता है, जो एक राउंड-ट्रिप अनुवाद बेंचमार्क है जो मानव संदर्भों या अधिक शक्तिशाली जजों की आवश्यकता के बिना उपयोगकर्ता रेटिंग के साथ उच्च सहसंबंध रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह आंकने की कोशिश कर रहे हैं कि एक नया, अत्यंत बुद्धिमान रोबोट कितनी अच्छी तरह विभिन्न भाषाएँ बोलता है। वर्तमान में, तकनीकी दुनिया इसके लिए एक बहुत ही अजीब परीक्षण का उपयोग कर रही है।
समस्या: "गणित परीक्षण" का जाल
अभी, कंपनियाँ अपने बहुभाषी एआई (AI) मॉडल का परीक्षण उन बेंचमार्क (परीक्षणों) का उपयोग करके कर रही हैं जो विभिन्न भाषाओं में अनुवादित गणित की समस्याओं या सामान्य ज्ञान की क्विज़ की तरह दिखते हैं।
इसे इस तरह समझें: आप यह जानना चाहते हैं कि क्या कोई छात्र फ्रेंच में कुशल है। तो, आप उन्हें कैलकुलस परीक्षा का एक फ्रेंच अनुवाद थमा देते हैं।
- यदि वे उच्च स्कोर प्राप्त करते हैं, तो स्कूल कहता है, "वाह, वे फ्रेंच में अद्भुत हैं!"
- लेकिन वास्तव में, उन्होंने उच्च स्कोर इसलिए प्राप्त किया क्योंकि वे गणित में अच्छे हैं। वे गणित को पूरी तरह से समझ गए होंगे लेकिन फ्रेंच वाक्यों को पूरी तरह से बिगाड़ दिया होगा।
इस शोध पत्र के लेखक तर्क देते हैं कि वर्तमान एआई बेंचमार्क बिल्कुल यही कर रहे हैं: वे एआई के तर्क कौशल (जैसे पहेलियाँ सुलझाना) या स्मृति (तथ्यों को याद रखना) का परीक्षण कर रहे हैं, न कि उसकी वास्तव में बोलने, लिखने या स्वाभाविक रूप से भाषा समझने की क्षमता का।
प्रमाण:
शोधकर्ताओं ने पाया कि "सोचने वाले" (Thinking) मॉडल (वे एआई जो गहराई से सोचने के लिए रुकते हैं) अन्य भाषाओं में इन गणित/क्विज़ परीक्षणों में बहुत आगे निकल जाते हैं। लेकिन जब वास्तविक मनुष्य इन समान मॉडलों के साथ LMArena (एक वास्तविक दुनिया का चैट एरेना) में चैट करते हैं, तो ये "सोचने वाले" मॉडल अक्सर अजीब, रोबोटिक या भ्रमित करने वाले लगते हैं। परीक्षण के स्कोर झूठ बोल रहे थे; वे भाषा कौशल को माप ही नहीं रहे थे।
समाधान: "आने-जाने वाला" खेल (Back-and-Forth Game)
यह शोध पत्र भाषा कौशल का परीक्षण करने का एक बहुत सरल, अधिक ईमानदार तरीका प्रस्तावित करता है: राउंड-ट्रिप ट्रांसलेशन (दोतरफा अनुवाद)।
कल्पना कीजिए कि आपके पास अंग्रेजी में लिखा एक गुप्त संदेश है।
- आप इसे एआई को देते हैं और कहते हैं, "इसका जापानी में अनुवाद करें।"
- फिर, आप उस जापानी अनुवाद को लेते हैं और कहते हैं, "अब, इसे वापस अंग्रेजी में अनुवाद करें।"
यदि एआई वास्तव में भाषाओं में अच्छा है, तो अंतिम अंग्रेजी वाक्य आपके मूल संदेश के लगभग समान सुनाई देना चाहिए।
- यदि अर्थ खो जाता है: तो एआई विफल रहा। शायद उसने लहजा बदल दिया, कोई मजाक मिस कर दिया, या तथ्य गलत कर दिए।
- यदि अर्थ सुरक्षित रहता है: तो एआई अच्छा काम कर रहा है।
यह "टेलीफोन" (Telephone) गेम खेलने जैसा है लेकिन एक रोबोट के साथ। यदि रोबोट एक कहानी ले सकता है, उसे दुनिया के चक्कर लगा सकता है, और बिना मूल बात खोए उसे वापस ला सकता है, तो वह वास्तव में भाषा जानता है।
नया बेंचमार्क: "लॉस्ट इन ट्रांसलेशन" (LiT)
लेखकों ने पुराने गणित परीक्षणों को बदलने के लिए LiT (Lost in Translation) नामक एक नया परीक्षण बनाया है।
- कोई चीट शीट नहीं: पुराने परीक्षणों के विपरीत जिनमें तुलना करने के लिए मनुष्यों द्वारा लिखे गए सटीक उत्तरों की आवश्यकता होती है, यह परीक्षण केवल यह जाँचता है कि क्या कहानी वापस आने पर समझ में आती है।
- वास्तविक दुनिया की चीजें: गणित की समस्याओं के बजाय, वे विज्ञान, सामान्य बातचीत और कठिन मुहावरों (जैसे "break a leg") के बारे में वास्तविक पैराग्राफ का उपयोग करते हैं।
- परिणाम: जब उन्होंने इस परीक्षण को चलाया, तो परिणाम चौंकाने वाले थे।
- उच्च-संसाधन वाली भाषाएँ (High-Resource Languages): फ्रेंच या स्पेनिश जैसी बड़ी भाषाओं के लिए, शीर्ष एआई ठीक-ठाक प्रदर्शन करते हैं।
- कम-संसाधन वाली भाषाएँ (Low-Resource Languages): स्वाहिली या क्वेचुआ जैसी छोटी या कम सामान्य भाषाओं के लिए, "सुपर-स्मार्ट" एआई पूरी तरह से विफल हो गए। उन्होंने अर्थहीन शब्द (gibberish) पैदा किए। पुराने गणित परीक्षणों ने इसे पूरी तरह से मिस कर दिया था क्योंकि एआई केवल सही गणितीय उत्तर का अनुमान लगा रहे थे, न कि वास्तव में भाषा बोल रहे थे।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हम गलत चीज़ को माप रहे थे। हमें लगा कि हम बेहतर बहुभाषी रोबोट बना रहे हैं, लेकिन हम वास्तव में बेहतर गणित हल करने वाले (math solvers) बना रहे थे जो संयोग से अन्य भाषाओं में थोड़ा बहुत बोल लेते हैं।
उपमा:
- पुराना तरीका: एक शेफ का परीक्षण यह पूछकर करना कि वे इतालवी में सुडोकू पहेली कैसे हल करते हैं। यदि वे पहेली हल करते हैं, तो हम कहते हैं कि वे एक महान इतालवी शेफ हैं। (गलत!)
- नया तरीका: शेफ को इतालवी में एक व्यंजन बनाने के लिए कहना, फिर उस व्यंजन का वर्णन अंग्रेजी में आपसे वापस करवाना। यदि वे स्वाद और सामग्री का पूरी तरह से वर्णन कर सकते हैं, तो हम जानते हैं कि वे एक महान इतालवी शेफ हैं।
इस "राउंड-ट्रिप" पद्धति को अपनाकर, हम अंततः यह देख पाएंगे कि कौन से एआई मॉडल वास्तव में उन अरबों लोगों की मदद करने के लिए तैयार हैं जो अंग्रेजी को अपनी पहली भाषा के रूप में नहीं बोलते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।