How Good is Your Wikipedia? Auditing Data Quality for Low-resource and Multilingual NLP
यह शोधपत्र बॉट-जनरेटेड कंटेंट और भाषाई संदूषण जैसी व्यवस्थित समस्याओं की पहचान करने के लिए कठोर डेटा फ़िल्टरिंग लागू करके गैर-अंग्रेजी विकिपीडिया संस्करणों की गुणवत्ता का ऑडिट करता है, और अंततः यह प्रदर्शित करता है कि परिणामी उच्च-गुणवत्ता वाले फ़िल्टर्ड डेटा पर प्रशिक्षित मॉडल कच्चे डेटा पर प्रशिक्षित मॉडलों के बराबर या उनसे बेहतर प्रदर्शन करते हैं, विशेष रूप से निम्न-गुणवत्ता वाले भाषा संस्करणों के लिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विकिपीडिया की कल्पना एक विशाल, वैश्विक पुस्तकालय के रूप में करें। वर्षों से, कंप्यूटर वैज्ञानिकों ने इस पुस्तकालय को ज्ञान का "स्वर्ण मानक" (gold standard) माना है, यह मानकर कि इसके शेल्फों पर रखी हर किताब अच्छी तरह से लिखी गई, सटीक और कंप्यूटर को मानव भाषा समझने और बोलने सिखाने के लिए उपयोगी है।
यह शोध पत्र एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: क्या यह पूरा पुस्तकालय वास्तव में उच्च गुणवत्ता वाला है, या इसके कुछ हिस्से कचरे से भरे हुए हैं?
लेखकों ने इस पुस्तकालय के पूरे गैर-अंग्रेजी अनुभाग (340 से अधिक विभिन्न भाषाओं के संस्करण) का ऑडिट करने का निर्णय लिया ताकि यह देखा जा सके कि क्या होता है जब वे इसमें "वसंत की सफाई" (spring cleaning) की प्रक्रिया लागू करते हैं, जो आमतौर पर अव्यवस्थित, बिना किसी नियंत्रण वाले इंटरनेट डेटा के लिए उपयोग की जाती है।
यहाँ उन्होंने जो पाया है, उसे रोजमर्रा के उपमाओं के माध्यम से समझाया गया है:
1. "वसंत की सफाई" का प्रयोग
कच्चे विकिपीडिया डेटा को आपस में मिले-जुले कागजों के एक विशाल ढेर के रूप में सोचें। शोधकर्ताओं ने यह देखने के लिए दो विशिष्ट "कचरा बीनने वाले" (trash pickers) उपकरणों का उपयोग किया कि वे कितना कचरा ढूंढ सकते हैं:
- "गलत भाषा" फ़िल्टर (स्क्रिप्ट फ़िल्टरिंग): एक ऐसे लाइब्रेरियन की कल्पना करें जो यह जांचने के लिए हर किताब की जाँच करता है कि क्या वह उस अनुभाग के लिए सही वर्णमाला में लिखी गई है। उन्होंने पाया कि कुछ भाषा अनुभागों में, टेक्स्ट के बड़े हिस्से वास्तव में गलत लिपि में लिखे गए थे (जैसे जापानी पुस्तक के अंदर अंग्रेजी शब्द मिलना) या वे केवल मशीन-अनुवादित निरर्थक शब्द (gibberish) थे।
- "कॉपी-पेस्ट" फ़िल्टर (डीडुप्लिकेशन): कागजों के एक ऐसे ढेर की कल्पना करें जहाँ किसी ने गलती से एक ही पन्ने की फोटोकॉपी 1,000 बार कर दी हो। शोधकर्ताओं ने इन डुप्लिकेट्स को खोजने और हटाने के लिए एक टूल का उपयोग किया। उन्होंने पाया कि कुछ भाषा अनुभाग लगभग पूरी तरह से इन्हीं "कॉपी-पेस्ट" लेखों या खाली टेम्पलेट्स से बने थे जिनमें कोई मूल्यवान जानकारी नहीं थी।
परिणाम: जब उन्होंने इन फ़िल्टर्स को चलाया, तो उन्होंने गैर-अंग्रेजी विकिपीडिया से लगभग 12% शब्द और 30% लेख हटा दिए। यह सुझाव देता है कि पुस्तकालय का एक महत्वपूर्ण हिस्सा वास्तव में उपयोगी जानकारी के बजाय "शोर" (noise) था।
2. "लाइब्रेरी क्वालिटी" की रैंकिंग
शोधकर्ताओं ने केवल चीजें फेंकी नहीं; उन्होंने प्रत्येक भाषा संस्करण को उनके द्वारा हटाए गए कचरे की मात्रा के आधार पर चार "स्तरों" (Tiers) में रैंक किया:
- स्तर 1 (द "गोल्ड स्टैंडर्ड"): ये पुस्तकालय पहले से ही बहुत साफ थे। इनके पास फेंकने के लिए बहुत कम कचरा था। ये मुख्य रूप से उच्च-संसाधन वाली भाषाएं हैं जिनमें सक्रिय मानव समुदाय हैं।
- स्तर 4 (द "बॉट फैक्ट्री"): ये पुस्तकालय अस्त-व्यस्त थे। सेबूआनो (Cebuano) और वराय (Waray) जैसे कुछ संस्करणों में पाया गया कि वे लगभग पूरी तरह से बॉट्स (स्वचालित प्रोग्रामों) द्वारा उत्पन्न किए गए थे, न कि मनुष्यों द्वारा। यह एक ऐसे पुस्तकालय जैसा था जहाँ एक रोबोट ने 99% किताबें लिखी थीं, और अक्सर एक ही वाक्यों को बार-बार दोहराया था।
3. चौंकाने वाला मोड़: कम ही अधिक है (Less is More)
इस अध्ययन का सबसे दिलचस्प हिस्सा यह है कि जब उन्होंने कंप्यूटरों (AI मॉडल्स) का "साफ किए गए" डेटा बनाम "कच्चे" डेटा के साथ परीक्षण किया तो क्या हुआ।
- पुरानी धारणा: आप सोच सकते हैं कि 30% पुस्तकालय को फेंक देने से कंप्यूटर की सीखने की क्षमता कम हो जाएगी, जैसे कि कम पाठ्यपुस्तकों के साथ परीक्षा के लिए पढ़ाई करना।
- वास्तविकता: कंप्यूटर ने साफ किए गए डेटा पर प्रशिक्षण लिया और वे कच्चे, अव्यवस्थित डेटा पर प्रशिक्षित कंप्यूटरों के समान, और कई मामलों में, उनसे बेहतर प्रदर्शन करते थे।
- उपमा: कल्पना करें कि आप एक ऐसी डिक्शनरी पढ़कर भाषा सीखने की कोशिश कर रहे हैं जिसे किसी शरारती व्यक्ति ने बेमतलब के वाक्यों से भर दिया है। यदि आप उस शरारती व्यक्ति के वाक्यों को हटा देते हैं, तो आप वास्तव में भाषा को तेजी से और बेहतर तरीके से सीखते हैं, भले ही आपके पास पढ़ने के लिए कम पन्ने हों।
सबसे अधिक सुधार "स्तर 4" की भाषाओं में देखा गया (बॉट-प्रधान भाषाएं)। रोबोटिक कचरे को हटाकर, AI आखिरकार मानव भाषा को सही ढंग से बोलना सीख गया।
4. यह क्यों मायने रखता है
शोध पत्र निष्कर्ष निकालता है कि हम हर भाषा के लिए यह आँख मूंदकर भरोसा नहीं कर सकते कि "विकिपीडिया = उच्च गुणवत्ता"।
- अंग्रेजी और प्रमुख भाषाओं के लिए: यह काफी हद तक एक विश्वसनीय पुस्तकालय है।
- छोटी या कम-संसाधन वाली भाषाओं के लिए: यह मशीन-अनुवादित निरर्थक सामग्री, बॉट-जनरेटेड स्पैम और कॉपी-पेस्ट त्रुटियों का एक मायाजाल हो सकता है।
निष्कर्ष: यदि आप किसी विशिष्ट भाषा के लिए स्मार्ट AI बनाना चाहते हैं, तो आप केवल पूरे विकिपीडिया को उसमें डाल नहीं सकते। आपको पहले एक सख्त लाइब्रेरियन की तरह कार्य करना होगा: स्क्रिप्ट की जाँच करें, डुप्लिकेट्स को हटाएं, और बॉट्स को बाहर निकालें। एक बार जब आप ऐसा करते हैं, तो AI कम डेटा के बावजूद बहुत बेहतर सीखता है।
लेखकों ने एक मुफ्त टूलकिट (एक "डिजिटल झाड़ू") भी जारी किया है ताकि अन्य शोधकर्ता अपने AI मॉडल को प्रशिक्षित करने से पहले अपने स्वयं के डेटा को साफ कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।