Cross-lingual Biography Enrichment via Claim Extraction and Alignment
यह शोध पत्र CLAW-4L बेंचमार्क और एक दावा-आधारित ढांचे को प्रस्तुत करता है जो गैर-अंग्रेजी संस्करणों (फ्रेंच, चीनी और अज़रबैजानी) से स्थानीय रूप से आधारित तथ्यों के माध्यम से महिलाओं की अंग्रेजी विकिपीडिया जीवनियों को समृद्ध करने के लिए है, जो यह प्रदर्शित करता है कि कम-संसाधन वाले परिवेश में चुनौतियों के बावजूद क्रॉस-लिंगुअल संरेखण कवरेज में सुधार कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विकिपीडिया दुनिया का सबसे लोकप्रिय विश्वकोश है, जो लगभग हर भाषा में स्वयंसेवकों द्वारा निर्मित एक विशाल पुस्तकालय है। फिर भी, यह पुस्तकालय पूरी तरह से संतुलित नहीं है। जबकि अंग्रेजी बोलने वालों के पास लाखों विस्तृत लेखों तक पहुंच है, गैर-अंग्रेजी पृष्ठभूमि के कई लोगों का अंग्रेजी में बहुत कम विवरण के साथ वर्णन किया गया है, भले ही वे अपनी स्थानीय भाषाओं में अच्छी तरह से प्रलेखित हों। यह अंतर कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) के लिए एक अंध बिंदु (ब्लिंड स्पॉट) पैदा करता है। आधुनिक कंप्यूटर प्रोग्राम जो टेक्स्ट पढ़ते और लिखते हैं, उन्हें मुख्य रूप से अंग्रेजी डेटा पर प्रशिक्षित किया जाता है, जिसका अर्थ है कि वे फ्रांसीसी, चीनी या अज़रबैजान में प्रलेखित लोगों के समृद्ध जीवन के बारे में कम जानते हैं। जब ये प्रोग्राम ऐसे व्यक्ति की जीवनी लिखने का प्रयास करते हैं, तो वे अक्सर एक पतली, अधूरी कहानी प्रस्तुत करते हैं, जिसमें वे विवरण छूट जाते हैं जो उस व्यक्ति के जीवन को अद्वितीय और महत्वपूर्ण बनाते हैं।
शोधकर्ताओं की एक टीम ने कंप्यूटर को यह सिखाकर इस असंतुलन को ठीक करने का प्रयास किया कि कैसे एक जीवनी के सर्वोत्तम हिस्सों को एक भाषा से उधार लिया जाए और उन्हें दूसरी भाषा में बुना जाए। उन्होंने विशेष रूप से महिलाओं पर ध्यान केंद्रित किया, जो एक ऐसा समूह है जिसे ऐतिहासिक रूप से विश्वकोशों में कम प्रतिनिधित्व दिया गया है, ताकि यह देख सकें कि क्या वे फ्रांसीसी, चीनी या अज़रबैजान विकिपीडिया लेखों में मौजूद विस्तृत जानकारी का उपयोग अंग्रेजी संस्करणों को समृद्ध करने के लिए कर सकते हैं। चुनौती केवल गायब शब्दों का अनुवाद करना नहीं थी, बल्कि यह समझना था कि कौन से तथ्य नए हैं, कौन से पहले से ज्ञात हैं, और उन्हें बिना कोई गलत विवरण बनाए हुए कैसे जोड़ा जाए। शोधकर्ताओं ने एक नई विधि विकसित की जो एक सतर्क संपादक की तरह कार्य करती है, जो पहले विदेशी पाठ को छोटे, सत्यापन योग्य तथ्यों में तोड़ती है, उनकी मौजूदा जानकारी के साथ मिलान करती है, और फिर केवल नए, पुष्ट जानकारी का उपयोग करके अंग्रेजी कहानी का विस्तार करती है।
अपने विचार का परीक्षण करने के लिए, टीम ने CLAW-4L नामक एक विशेष डेटासेट बनाया, जो महिलाओं की 300 अंग्रेजी जीवनियों को उनके फ्रांसीसी, चीनी या अज़रबैजान समकक्षों के साथ जोड़ता है। उन्होंने पाया कि गैर-अंग्रेजी संस्करण अक्सर बहुत अधिक समृद्ध थे, जिनमें विषयों के जीवन, करियर और उपलब्धियों के बारे में हजारों अधिक शब्द और सैकड़ों विशिष्ट तथ्य शामिल थे। शोधकर्ताओं ने इन तथ्यों को निकालने के लिए एक प्रणाली बनाई। विदेशी जीवनी को कंप्यूटर प्रोग्राम में पढ़ने और फिर से लिखने के लिए डालने के बजाय, जो मशीन को बहुत अधिक जानकारी के साथ भ्रमित कर सकता है, उन्होंने पहले विदेशी पाठ को व्यक्तिगत दावों (क्लेम्स) में विभाजित किया। उदाहरण के लिए, एक वैज्ञानिक के करियर के लंबे पैराग्राफ के बजाय, सिस्टम ने "उसने पेरिस में रेडियम संस्थान का निर्देशन किया" या "उसे 1911 में रसायन विज्ञान में नोबेल पुरस्कार मिला" जैसे विशिष्ट कथनों की पहचान की।
एक बार तथ्यों को अलग कर दिए जाने के बाद, सिस्टम ने मौजूदा अंग्रेजी जीवनी के साथ उनकी तुलना की। इसने एक सख्त द्वारपाल (गेटकीपर) की तरह कार्य किया, किसी भी ऐसे तथ्य को हटा दिया जो अंग्रेजी संस्करण में पहले से मौजूद था, लेकिन संभावित समाधान के लिए विरोधाभासी तथ्यों को बनाए रखा। लक्ष्य केवल उन "संवर्धन दावों" (एनरिचमेंट क्लेम्स) को खोजना था—जो वे सूचना के टुकड़े थे जो विदेशी भाषा में मौजूद थे लेकिन अंग्रेजी में गायब थे। यह प्रक्रिया महत्वपूर्ण थी क्योंकि इसने कंप्यूटर को केवल वही दोहराने से रोका जो वह पहले से जानता था या एक लंबे, असंरचित पाठ के शोर में खो जाने से बचाया। शोधकर्ताओं ने इसे करने के तीन अलग-अलग तरीकों का परीक्षण किया: कच्चे विदेशी पाठ को सीधे कंप्यूटर को देना, विदेशी पाठ का पहले अंग्रेजी में अनुवाद करना और फिर उसे फीड करना, और उनकी नई विधि का उपयोग करना जिसमें केवल चयनित, सत्यापित तथ्यों को फीड किया गया।
परिणामों ने दिखाया कि नई विधि सबसे प्रभावी थी। जब कंप्यूटर ने कच्चे विदेशी पाठ को या सीधे अनुवाद को पढ़ने की कोशिश की, तो उसने अक्सर नई जानकारी तो जोड़ी, लेकिन ऐसे तथ्य भी बना दिए जो सत्य नहीं थे, जिसे 'हैलुसिनेशन' (भ्रम) नामक समस्या कहा जाता है। इसके विपरीत, उस पद्धति ने जो चयनित, सत्यापित तथ्यों का उपयोग किया, उसने कंप्यूटर को अधिक सटीक विवरण जोड़ने की अनुमति दी और गलतियाँ बहुत कम कीं। अपने परीक्षणों में, सिस्टम ने अंग्रेजी जीवनियों में नए, समर्थित तथ्यों को सफलतापूर्वक जोड़ा और काल्पनिक जानकारी की दर को बहुत कम रखा। यह सुझाव देता है कि एक जटिल पाठ को छोटे, प्रबंधनीय तथ्यों में तोड़ना और उपयोग करने से पहले उनकी जांच करना, केवल एक पूरे दस्तावेज़ का अनुवाद करने की तुलना में कंप्यूटर-जनित लेखन को बेहतर बनाने का एक बहुत अधिक सुरक्षित और विश्वसनीय तरीका है।
अध्ययन ने यह भी रेखांकित किया कि यह दृष्टिकोण तब सबसे अच्छा काम करता है जब स्रोत भाषा अच्छी तरह से संसाधन युक्त हो, जैसे कि फ्रांसीसी या चीनी, लेकिन कम डिजिटल संसाधनों वाली भाषाओं, जैसे कि अज़रबैजान के लिए चुनौतीपूर्ण बना रहता है। उन मामलों में, सिस्टम कभी-कभी उपयोगी जानकारी को छोड़ देता था क्योंकि तथ्यों को निकालने का प्रारंभिक चरण कम सटीक था। हालाँकि, इन सीमाओं के बावजूद, शोध एक स्पष्ट मार्ग प्रदर्शित करता है। जीवनियों को अनुवाद के लिए ब्लॉकों के रूप में नहीं, बल्कि सत्यापित किए जाने वाले तथ्यों के संग्रह के रूप में मानकर, कंप्यूटर दुनिया भर के लोगों के बारे में अधिक पूर्ण और सटीक कहानियाँ लिखना सीख सकते हैं। यह कार्य बताता है कि डिजिटल विश्वकोशों का भविष्य केवल अधिक शब्दों का अनुवाद करने में नहीं है, बल्कि प्रत्येक भाषा में मौजूद विशिष्ट, सत्यापित विवरणों को बुद्धिमानी से जोड़ने में है ताकि मानव इतिहास की एक पूर्ण तस्वीर बनाई जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।