AfriScience-MT: Towards Decolonizing Science in Africa through Text Translation
यह शोध पत्र AfriScience-MT को प्रस्तुत करता है, जो विशेषज्ञ अनुवाद और शब्दावली विकास के माध्यम से छह अफ्रीकी भाषाओं में वैज्ञानिक ग्रंथों का एक समानांतर संग्रह (parallel corpus) है, जिसका उपयोग मशीन अनुवाद प्रणालियों को बेंचमार्क करने और यह प्रदर्शित करने के लिए किया जाता है कि क्लोज्ड-सोर्स मॉडल वर्तमान में इन भाषाओं के लिए वैज्ञानिक सामग्री का अनुवाद करने में ओपन-सोर्स विकल्पों से बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: अफ्रीकी भाषाओं के लिए विज्ञान की लाइब्रेरी को खोलना
कल्पना कीजिए कि दुनिया के वैज्ञानिक ज्ञान को एक विशाल, हाई-टेक लाइब्रेरी के रूप में देखा जा रहा है। अभी, इस लाइब्रेरी की अधिकांश किताबें "औपनिवेशिक भाषाओं" जैसे अंग्रेजी, फ्रेंच और पुर्तगाली में लिखी गई हैं। जबकि अफ्रीका में लाखों लोग हौसा, योरूबा या इसिजुलु जैसी भाषाएं बोलते हैं, वे इस लाइब्रेरी से बाहर हैं क्योंकि वे किताबें पढ़ नहीं सकते।
यह शोध पत्र, AfriScience-MT, उस लाइब्रेरी तक पहुँचने के लिए एक पुल बनाने के बारे में है। लेखक यह देखना चाहते थे कि क्या वे जटिल वैज्ञानिक शोध पत्रों को छह प्रमुख अफ्रीकी भाषाओं में अनुवादित कर सकते हैं ताकि स्थानीय समुदाय अंततः अपनी स्वयं की भाषाओं में इस ज्ञान तक पहुँच सकें।
समस्या: गायब शब्द
आप किसी किताब का केवल शब्द-दर-शब्द अनुवाद नहीं कर सकते यदि लक्षित भाषा में "प्रकाश संश्लेषण" (photosynthesis) या "वायरल म्यूटेशन" (viral mutation) जैसे शब्दों के लिए शब्द ही न हों। लेखकों ने पाया कि अफ्रीकी भाषाओं में अक्सर मानकीकृत वैज्ञानिक शब्दों की कमी होती है। यह एक स्मार्टफोन का वर्णन करने की कोशिश करने जैसा है जिसे केवल पत्थर के हथौड़े को देखा है; आपको उसे समझाने के लिए नए तरीके खोजने होंगे।
समाधान: एक नया "शब्दकोश" और एक अनुवाद टीम
इसे ठीक करने के लिए, टीम ने केवल कंप्यूटर से अनुवाद करने के लिए नहीं कहा। उन्होंने एक मानव-संचालित प्रक्रिया बनाई:
- सरलीकरण करने वाले (The Simplifiers): सबसे पहले, विशेषज्ञ विज्ञान संचारकों ने 230 वास्तविक वैज्ञानिक शोध पत्रों को "आम आदमी के सारांश" (layperson summaries) के रूप में फिर से लिखा। इसे एक घने, 50 पन्नों के कानूनी अनुबंध को एक मैत्रीपूर्ण 3-पन्नों के पत्र में बदलने के रूप में समझें जिसे कोई भी समझ सके।
- अनुवादक (The Translators): पेशेवर अनुवादकों ने फिर इन सारांशों को छह अफ्रीकी भाषाओं (अम्हारिक्, हौसा, लुगांडा, उत्तरी सोथो, योरूबा और इसिजुलु) में अनुवादित किया।
- आविष्कारक (The Inventors): महत्वपूर्ण रूप से, जब कोई वैज्ञानिक शब्द भाषा में मौजूद नहीं था, तो अनुवादकों और विशेषज्ञों ने मिलकर एक नया शब्द बनाया। उन्होंने प्रत्येक भाषा के लिए एक द्विभाषी शब्दावली (एक विशेष शब्दकोश) बनाई।
परिणाम स्वरूप AfriScience-MT प्राप्त हुआ, जो समानांतर ग्रंथों (एक तरफ अंग्रेजी, दूसरी तरफ अफ्रीकी भाषाएं) का एक विशाल डेटासेट है, जिसमें स्वास्थ्य, कृषि और कंप्यूटर विज्ञान सहित 11 वैज्ञानिक क्षेत्र शामिल हैं।
प्रयोग: सबसे अच्छा अनुवादक कौन है?
लेखकों ने इस नए डेटासेट का उपयोग विभिन्न "अनुवादकों" का परीक्षण करने के लिए किया। उन्होंने तुलना की:
- ओपन-सोर्स मॉडल: मुफ्त एआई मॉडल जिन्हें कोई भी डाउनलोड और चला सकता है (जैसे NLLB, Llama, और Gemma)।
- क्लोज्ड-सोर्स मॉडल: बड़ी टेक कंपनियों के शक्तिशाली, सशुल्क एआई मॉडल (जैसे GPT-5.4 और Gemini-3.1-Flash-Lite)।
उन्होंने इन मॉडलों का तीन तरीकों से परीक्षण किया:
- जीरो-शॉट (Zero-Shot): बिना किसी अभ्यास उदाहरण के एआई से अनुवाद करने के लिए कहना।
- फ्यू-शॉट (Few-Shot): एआई को सीखने के लिए पहले कुछ उदाहरण देना।
- फाइन-ट्यून्ड (Fine-Tuned): एक छोटे एआई मॉडल को विशेष रूप से इस नए अफ्रीकी विज्ञान डेटासेट पर प्रशिक्षित करना।
परिणाम: क्या सबसे अच्छा काम करता है?
1. "विशेषज्ञ" ने "सामान्य विशेषज्ञ" को हराया
सबसे बड़ा आश्चर्य यह था कि एक छोटा, विशिष्ट मॉडल (NLLB-1.3B) जिसे विशेष रूप से इस अफ्रीकी विज्ञान डेटा पर फाइन-ट्यून किया गया था, ने उन विशाल, महंगे, क्लोज्ड-सोर्स दिग्गजों (GPT-5.4 और Gemini) के लगभग बराबर प्रदर्शन किया।
- उपमा: एक सामान्य डॉक्टर की कल्पना करें जो सब कुछ के बारे में थोड़ा जानता है बनाम एक विशेषज्ञ जिसने केवल अफ्रीकी चिकित्सा मामलों का अध्ययन किया है। भले ही विशेषज्ञ छोटा है, लेकिन वह स्थानीय बोली और विशिष्ट लक्षणों को बेहतर ढंगता है।
2. "बड़े" मॉडल अभी भी जीतते हैं (लेकिन बहुत मामूली अंतर से)
नवीनतम, सबसे महंगे क्लोज्ड-सोर्स मॉडल (GPT-5.4 और Gemini-3.1-Flash-Lite) दौड़ जीत गए, लेकिन बहुत कम अंतर से। वे पूरे दस्तावेज़ के प्रवाह को समझने में थोड़े बेहतर थे। हालांकि, अफ्रीकी डेटा पर फाइन-ट्यून किए गए ओपन-सोर्स मॉडल उनके बहुत करीब थे और वास्तव में पुराने, महंगे मॉडलों को पीछे छोड़ दिया।
3. "अधिक डेटा" हमेशा बेहतर नहीं होता
टीम ने सामान्य समाचार डेटा (जैसे समाचार पत्रों की सुर्खियां) को मिलाने की कोशिश की ताकि यह देखा जा सके कि क्या इससे एआई बेहतर सीख पाता है। इससे मदद नहीं मिली। वास्तव में, इसने चीजों को और खराब कर दिया।
- उपमा: यदि आप किसी शेफ को एक विशिष्ट क्षेत्रीय व्यंजन पकाने के लिए प्रशिक्षित कर रहे हैं, तो उन्हें यादृच्छिक अंतरराष्ट्रीय व्यंजनों की कुकबुक देने से वे भ्रमित हो जाएंगे। उन्हें उस एक व्यंजन के विशिष्ट अवयवों और तकनीकों पर ध्यान केंद्रित करने की आवश्यकता है। केवल "इन-डोमेन" विज्ञान डेटा ही काम आया।
4. दिशा मायने रखती है
एआई के लिए अफ्रीकी भाषा से अंग्रेजी में अनुवाद करना, अंग्रेजी से अफ्रीकी भाषा में अनुवाद करने की तुलना में लगातार आसान रहा। ऐसा संभवतः इसलिए है क्योंकि एआई मॉडल मूल रूप से बहुत अधिक अंग्रेजी डेटा पर प्रशिक्षित किए गए थे, इसलिए वे अंग्रेजी में अधिक सहजता से "सोचते" हैं।
निष्कर्ष
यह शोध पत्र यह सिद्ध करता है कि विज्ञान को अफ्रीकी भाषाओं में अनुवादित करने के लिए आपको सबसे बड़े, सबसे महंगे सुपर-कंप्यूटर की आवश्यकता नहीं है। यदि आपके पास उच्च-गुणवत्ता वाला, विशिष्ट डेटा (जैसे सारांश और शब्दावली जो उन्होंने बनाई) है और आप एक छोटे, ओपन-सोर्स मॉडल को उस पर प्रशिक्षित करते हैं, तो आप ऐसे परिणाम प्राप्त कर सकते हैं जो सबसे शक्तिशाली प्रोप्राइटरी सिस्टमों की बराबरी करते हैं।
यह विज्ञान को "वि-उपनिवेशिक" (decolonizing) बनाने की दिशा में एक कदम है: यह सुनिश्चित करना कि वैज्ञानिक ज्ञान केवल भाषा की बाधा के पीछे बंद न रहे, बल्कि उन समुदायों के लिए सुलभ, समझने योग्य और स्वामित्व वाला हो जिनकी सेवा के लिए इसे बनाया गया है। लेखकों ने अपने डेटासेट, शब्दावलियों और मॉडलों को सार्वजनिक रूप से जारी कर दिया है ताकि अन्य लोग इस कार्य को आगे बढ़ा सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।