MultiWikiQA: A Reading Comprehension Benchmark in 300+ Languages
यह शोधपत्र MultiWikiQA को प्रस्तुत करता है, जो 306 भाषाओं को कवर करने वाला एक बड़े पैमाने का रीडिंग कॉम्प्रिहेन्शन (पठन बोध) बेंचमार्क है, जिसमें विकिपीडिया लेखों से उत्पन्न 1.2 मिलियन से अधिक नमूने शामिल हैं और जिसे मानव मूल्यांकन द्वारा सत्यापित किया गया है, जो भाषाओं और मॉडल आर्किटेक्चर के बीच महत्वपूर्ण प्रदर्शन असमानताओं को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास विकिपीडिया (Wikipedia) नामक एक विशाल, वैश्विक पुस्तकालय है। इसमें 300 से अधिक विभिन्न भाषाओं में पुस्तकें लिखी गई हैं, जिनमें अंग्रेजी और स्पेनिश से लेकर वे छोटी, दुर्लभ भाषाएँ भी शामिल हैं जो केवल कुछ हज़ार लोगों द्वारा बोली जाती हैं।
लंबे समय तक, यदि आप यह परीक्षण करना चाहते थे कि एक कंप्यूटर इन पुस्तकों को पढ़ने और समझने में कितना स्मार्ट है, तो आपको इसे मुख्य रूप से अंग्रेजी पर ही टेस्ट करना पड़ता था। यह ऐसा था जैसे कारों के लिए ड्राइविंग टेस्ट केवल कैलिफोर्निया में एक धूप वाले दिन के लिए आयोजित किया जाए, और फिर यह मान लिया जाए कि वे कारें साइबेरिया की बर्फ या भारत के मानसून में गाड़ी चलाने में सक्षम होंगी।
यह पेपर MultiWikiQA पेश करता है, जो कंप्यूटरों के लिए एक नया, विशाल "ड्राइविंग टेस्ट" है जो 306 भाषाओं को कवर करता है। उन्होंने इसे कैसे बनाया और उन्हें क्या पता चला, इसे सरल रूप में यहाँ समझाया गया है:
1. रेसिपी: उन्होंने टेस्ट कैसे बनाया
शोधकर्ताओं ने इन प्रश्नों को अपने हाथों से नहीं लिखा (ऐसा करने में बहुत समय लगता!)। इसके बजाय, उन्होंने एक सुपर-स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल) का उपयोग किया जो एक रचनात्मक शेफ (Creative Chef) की तरह काम करता है।
- सामग्री (Ingredients): उन्होंने एक विकिपीडिया लेख (संदर्भ/Context) लिया।
- पकाना (Cooking): उन्होंने AI से उस लेख को छोटे टुकड़ों में काटने और प्रश्नों और उत्तरों की एक सूची बनाने के लिए कहा, जैसे कि एक क्विज़ हो।
- सुरक्षा जाँच (Safety Check): उन्होंने यह सुनिश्चित किया कि उत्तर वास्तव में टेक्स्ट में मौजूद हों, शब्द-दर-शब्द।
- "चीटिंग रोकने वाला सॉस" (Anti-Cheat Sauce): यह सबसे चतुर हिस्सा है। कभी-कभी, कंप्यूटर आलसी होते हैं; यदि प्रश्न कहता है "फ्रांस की राजधानी क्या है?" और टेक्स्ट कहता है "पेरिस फ्रांस की राजधानी है," तो कंप्यूटर केवल "पेरिस" और "राजधानी" शब्दों को मिला देता है। इसे रोकने के लिए, शोधकर्ताओं ने AI से प्रश्नों को अलग-अलग शब्दों और वाक्य संरचनाओं का उपयोग करके फिर से लिखने के लिए कहा। यह एक गणित के सवाल को "2 + 2" से बदलकर "दो जोड़ों का योग क्या है?" करने जैसा है, ताकि कंप्यूटर केवल कॉपी-पेस्ट करने के बजाय वास्तव में सोच सके।
2. स्वाद परीक्षण: क्या प्रश्न स्वाभाविक लगे?
सिर्फ इसलिए कि एक कंप्यूटर ने प्रश्न लिखा है, इसका मतलब यह नहीं है कि वह ऐसा लगेगा जैसा कोई इंसान पूछेगा। यह रोबोटिक या अजीब लग सकता है।
इसे ठीक करने के लिए, शोधकर्ताओं ने 30 विभिन्न भाषाओं (फ्रेंच जैसी बड़ी भाषाओं और आइसलैंडिक जैसी छोटी भाषाओं दोनों) के 156 वास्तविक मनुष्यों को प्रश्नों का 'टेस्ट-टेस्ट' करने के लिए रखा। उन्होंने पूछा: "क्या यह वैसा ही लगता है जैसा एक वास्तविक व्यक्ति पूछेगा?"
परिणाम: प्रश्नों ने बहुत उच्च स्कोर किया। छोटी भाषाओं के लिए भी, प्रश्न "काफी हद तक स्वाभाविक" लगे। इससे सिद्ध हुआ कि AI शेफ ने मानव-तुल्य क्विज़ पकाने का अच्छा काम किया।
3. दौड़: ड्राइविंग टेस्ट में कौन जीता?
एक बार जब टेस्ट तैयार हो गया, तो उन्होंने 6 अलग-अलग कंप्यूटर मॉडल्स को इस टेस्ट से गुजारा। ये मॉडल्स छोटे और बुनियादी मॉडल्स से लेकर विशाल और उन्नत मॉडल्स तक थे।
बड़ी खोज:
यह टेस्ट कठिन था। यहाँ तक कि सबसे स्मार्ट कंप्यूटर भी संघर्ष कर रहे थे।
- अंतर (The Gap): भाषाओं के बीच प्रदर्शन में एक बड़ा अंतर था। कंप्यूटर उन मैराथन धावकों की तरह थे जिन्होंने अंग्रेजी ट्रैक पर वर्षों तक प्रशिक्षण लिया था लेकिन अचानक उन्हें उन जंगलों में छोड़ दिया गया जिन्हें वे अच्छी तरह से नहीं जानते।
- उच्च-संसाधन वाली भाषाएँ (High-Resource Languages): अंग्रेजी, जर्मन या स्पेनिश जैसी भाषाओं के लिए, कंप्यूटरों ने काफी अच्छा प्रदर्शन किया (लगभग 70-80% सटीकता प्राप्त की)।
- कम-संसाधन वाली भाषाएँ (Low-Resource Languages): उन भाषाओं के लिए जिनके पास कम डिजिटल पुस्तकें हैं (जैसे कुछ अफ्रीकी या स्वदेशी भाषाएँ), कंप्यूटर अक्सर बहुत कम स्कोर करते थे, कभी-कभी तो वे बहुत कम उत्तर ही सही पाते थे।
यह क्यों मायने रखता है?
AI को एक वैश्विक स्कूल के नए छात्र के रूप में सोचें।
- इस पेपर से पहले: स्कूल में केवल अंग्रेजी में पाठ्यपुस्तकें थीं। छात्र अंग्रेजी में बहुत अच्छा था लेकिन वह अन्य 300+ भाषाएँ नहीं पढ़ सकता था।
- इस पेपर के बाद: स्कूल के पास आखिरकार 306 भाषाओं में पाठ्यपुस्तकें हैं। अब हमारे पास यह देखने का एक निष्पक्ष तरीका है कि कौन से छात्र (AI मॉडल्स) वास्तव में पूरी दुनिया को पढ़ने में अच्छे हैं, और कौन से अभी भी छोटी भाषाओं के साथ संघर्ष कर रहे हैं।
निष्कर्ष:
यह पेपर हमें यह परीक्षण करने के लिए एक विशाल, निष्पक्ष मैदान देता है कि AI दुनिया की भाषाओं को कितनी अच्छी तरह समझता है। यह हमें दिखाता है कि हालांकि AI स्मार्ट हो रहा है, लेकिन इसे हर किसी को, हर जगह, समान रूप से समझने के लिए अभी भी एक लंबा रास्ता तय करना है। यह एक चेतावनी है कि हमें उन भाषाओं के लिए बेहतर "मस्तिष्क" बनाने की आवश्यकता है जिन्हें पीछे छोड़ दिया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।