SciLaD: A Large-Scale, Transparent, Reproducible Dataset for Natural Scientific Language Processing
SciLaD एक नवीन, बड़े पैमाने का और पूर्णतः पारदर्शी डेटासेट है जिसमें 1 करोड़ से अधिक क्यूरेटेड अंग्रेजी और 3.5 करोड़ बहुभाषी वैज्ञानिक प्रकाशन शामिल हैं, जिसे पुनरुत्पादक अनुसंधान को सक्षम करने के लिए ओपन-सोर्स फ्रेमवर्क का उपयोग करके बनाया गया है और एक प्री-ट्रेंड RoBERTa मॉडल द्वारा सत्यापित किया गया है जो मौजूदा वैज्ञानिक भाषा मॉडलों के तुलनीय प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वैज्ञानिक अनुसंधान की दुनिया की कल्पना एक विशाल, प्राचीन पुस्तकालय के रूप में करें। इसके भीतर विशेषज्ञों द्वारा लिखी गई लाखों पुस्तकें (वैज्ञानिक शोध पत्र) हैं। हालाँकि, इनमें से अधिकांश पुस्तकें कांच के बक्सों (पे-वॉल/paywalls) के पीछे बंद हैं, बहुत ही विशिष्ट और जटिल शब्दावली (jargon) में लिखी गई हैं, और अलग-अलग भाषाओं में अलग-अलग अलमारियों में बिखरी हुई हैं। एक कंप्यूटर (एक AI) के सीखने के लिए, उसे उन्हें पढ़ने, उनकी संरचना को समझने और फैंसी फॉर्मेटिंग से भ्रमित न होने की आवश्यकता है।
यहाँ SciLaD (साइंटिफिक लैंग्वेज डेटासेट) का प्रवेश होता है। SciLaD को केवल एक पुस्तकालय के रूप में नहीं, बल्कि एक सुपर-पावर्ड, ओपन-सोर्स निर्माण दल के रूप में सोचें जिसने केवल उन उपकरणों का उपयोग करके एक बिल्कुल नया, पूरी तरह से व्यवस्थित रीडिंग रूम बनाया है जिन्हें कोई भी मुफ्त में उपयोग कर सकता है।
यह कहानी है कि उन्होंने इसे कैसे किया, जिसे सरल भाषा में समझाया गया है:
1. महान डकैती (डेटा संग्रह)
आमतौर पर, वैज्ञानिक शोध पत्र प्राप्त करना एक वीआईपी कॉन्सर्ट का टिकट खरीदने जैसा है; आपको भुगतान करना पड़ता है, और कभी-कभी दरवाजे बंद होते हैं।
- समस्या: अधिकांश AI मॉडल सामान्य इंटरनेट टेक्स्ट (जैसे समाचार और ब्लॉग) पर प्रशिक्षित होते हैं, जो बातचीत करने के लिए तो अच्छा है लेकिन जटिल विज्ञान को समझने के लिए बहुत खराब है।
- समाधान: SciLaD टीम ने पुस्तकालय में चोरी नहीं की। इसके बजाय, उन्होंने Unpaywall नामक एक "सार्वजनिक पहुंच" मानचित्र का उपयोग किया। यह मानचित्र उन लाखों वैज्ञानिक शोध पत्रों की ओर संकेत करता है जिन्हें लेखकों ने कानूनी रूप से सभी के पढ़ने के लिए मुफ्त उपलब्ध कराया है।
- पैमाना: उन्होंने 35 मिलियन शोध पत्र एकत्र किए (यह एक स्टेडियम को किताबों से भरने जैसा है)। उन्होंने arXiv और PubMed जैसे अन्य मुफ्त स्रोतों से अतिरिक्त प्रतियां भी लीं।
2. महान सफाई (प्रोसेसिंग)
कल्पना कीजिए कि आपके पास 35 मिलियन दस्तावेज़ों का ढेर है। कुछ PDF (स्कैन की गई छवियां) हैं, कुछ कच्चा कोड (LaTeX) हैं, और कुछ संरचित XML फाइलें हैं। वे सभी अलग दिखते हैं। यदि आप उन्हें बस एक ब्लेंडर में डाल देंगे, तो आपको एक कचरा मिलेगा।
- चुनौती: आप हर एक पेज को पढ़ने के लिए एक फैंसी, महंगे रोबोट (विजुअल AI) का उपयोग नहीं कर सकते क्योंकि इसमें बहुत समय लगेगा और भारी लागत आएगी।
- उपकरण: उन्होंने Grobid नामक एक विशेष, ओपन-सोस टूल का उपयोग किया। Grobid को एक सुपर-फास्ट, थकता नहीं रहने वाले लाइब्रेरियन के रूप में समझें जो यह जानता है कि एक अस्त-व्यस्त PDF को कैसे लिया जाए, उससे हेडर और फुटर को हटाया जाए, और केवल शुद्ध टेक्स्ट और महत्वपूर्ण संरचना (जैसे "यह एक तालिका है," "यह एक साइटेशन है") को निकाला जाए।
- परिणाम: उन्होंने उन सभी विभिन्न स्वरूपों को TEI XML नामक एक एकल, स्वच्छ और मानक प्रारूप में बदल दिया। यह एक लाइब्रेरी की हर किताब को एक ही भाषा और फॉन्ट में अनुवाद करने जैसा है ताकि AI बिना सिरदर्द के उन्हें पढ़ सके।
3. फिल्टर (गुणवत्ता नियंत्रण)
भले ही आपके पास 35 मिलियन किताबें हों, आप नहीं चाहेंगे कि आप अपने AI को कचरे पर प्रशिक्षित करें।
- प्रक्रिया: उन्होंने अंग्रेजी के अलावा किसी भी चीज़ को फ़िल्टर कर दिया और डुप्लिकेट्स (जैसे एक ही किताब को दो बार छपा हुआ पाना) को हटा दिया। उन्होंने यह भी जांचा कि टेक्स्ट विकृत या एन्क्रिप्टेड तो नहीं है।
- अंतिम उत्पाद: उनके पास 10 मिलियन उच्च-गुणवत्ता वाले अंग्रेजी वैज्ञानिक शोध पत्रों का एक "गोल्ड स्टैंडर्ड" संग्रह था।
4. टेस्ट ड्राइव (AI को प्रशिक्षित करना)
अब जब उनके पास एक साफ लाइब्रेरी थी, तो वे देखना चाहते थे कि क्या वास्तव में इससे एक AI को सीखने में मदद मिलती है।
- प्रयोग: उन्होंने केवल अपने नए डेटासेट का उपयोग करके शुरू से एक नया AI मस्तिष्क (एक मॉडल जिसे SciLaD-M कहा जाता है) बनाया। यह एक बच्चे को कॉमिक बुक्स और ग्रोसरी लिस्ट मिलाने के बजाय केवल विज्ञान की किताबें पढ़ाकर सिखाने जैसा है।
- तुलना: उन्होंने अपने नए AI की दौड़ अन्य प्रसिद्ध "विज्ञान-जानकार" AI (जैसे SciBERT) के साथ कराई।
- विजेता: SciLaD-M ने अन्य मॉडलों के समान, और कभी-कभी उनसे भी बेहतर प्रदर्शन किया। इसने यह साबित कर दिया कि एक स्मार्ट वैज्ञानिक AI बनाने के लिए आपको गुप्त, महंगे या अवैध डेटा की आवश्यकता नहीं है। आपको बस एक पारदर्शी, खुला और अच्छी तरह से व्यवस्थित डेटासेट चाहिए।
यह क्यों मायने रखता है? (बड़ी तस्वीर)
- पारदर्शिता: इससे पहले, कई AI मॉडल "ब्लैक बॉक्स" की तरह थे। हमें नहीं पता था कि उन्हें वास्तव में किस डेटा से खिलाया गया था। SciLaD एक रेसिपी बुक की तरह है जहाँ आप प्रत्येक सामग्री को देख सकते हैं।
- पुनरुत्पादकता (Reproducibility): क्योंकि उन्होंने ओपन-सोर्स टूल्स का उपयोग किया है, इसलिए कोई भी अन्य वैज्ञानिक उनके काम की नकल कर सकता है, उनके गणित की जांच कर सकता है और उस पर आगे काम कर सकता है।
- भविष्य: यह डेटासेट एक नींव है। जिस तरह आपको गगनचुंबी इमारत बनाने के लिए एक ठोस नींव की आवश्यकता होती है, वैसे ही शोधकर्ता अब बेहतर उपकरण बनाने के लिए SciLaD का उपयोग कर सकते हैं:
- बीमारियों के इलाज को तेजी से खोजने के लिए।
- छात्रों के लिए जटिल शोध का सारांश तैयार करने के लिए।
- विभिन्न वैज्ञानिक क्षेत्रों के बीच कड़ियों को जोड़ने के लिए।
संक्षेप में: SciLaD एक विशाल, ओपन-सोर्स प्रोजेक्ट है जिसने 35 मिलियन वैज्ञानिक शोध पत्रों को साफ किया, उन्हें पूरी तरह से व्यवस्थित किया, और यह साबित किया कि हम गुप्त डेटा के लिए भुगतान किए बिना या महंगी, बंद-दरवाजे वाली तकनीक का उपयोग किए बिना शक्तिशाली, स्मार्ट AI उपकरण बना सकते हैं। यह मानव ज्ञान की लाइब्रेरी को उन मशीनों के लिए वास्तव में सुलभ बनाने के बारे में है जो हमें इसे समझने में मदद करती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।