Vidya: An AI-Driven Modular Pipeline for Archival Automation and Semantic Metadata Enrichment
विद्या (Vidya) UEPG द्वारा विकसित एक मॉड्यूलर, ओपन-सोर्स पाइपलाइन है जो ऐतिहासिक "डार्क डेटा" के सिमेंटिक संवर्धन (semantic enrichment) और आर्काइवल इनजेशन (archival ingestion) को स्वचालित करने के लिए YAML ऑन्टोलॉजी और Pydantic वैलिडेशन द्वारा नियंत्रित लार्ज लैंग्वेज मॉडल्स का लाभ उठाती है, जिससे दशकों से दिनों तक की प्रोसेसिंग समय को काफी कम करते हुए NOBRADE और ISAD(G) जैसे अंतर्राष्ट्रीय मानकों का अनुपालन सुनिश्चित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास पुराने, धूल भरे बक्सों से भरी एक विशाल लाइब्रेरी है जिसमें ऐतिहासिक दस्तावेज़, तस्वीरें और पत्र रखे हैं। आपने उन्हें सड़ने से बचाने के लिए उन्हें सावधानीपूर्वक स्कैन करने में वर्षों बिता दिए हैं। लेकिन समस्या यह है कि अब आपके पास डिजिटल फाइलों का एक पहाड़ है जो मूल रूप से "डार्क डेटा" (dark data) हैं। वे मौजूद तो हैं, लेकिन उन्हें लेबल, टैग या विवरण न होने के कारण कोई ढूंढ नहीं सकता। यह रहस्यमयी बक्सों से भरे एक विशाल गोदाम की तरह है जहाँ आपको हर एक बॉक्स को अपने हाथों से खोले बिना यह नहीं पता चल सकता कि उसके अंदर क्या है।
पारंपरिक रूप से, हर दस्तावेज़ को पढ़ने और उसके लिए सारांश लिखने के लिए लोगों को काम पर रखना अविश्वसनीय रूप से धीमा, महंगा और गलतियों से भरा होता है। यहीं पर विद्या (Vidya) काम आती है।
विद्या क्या है?
विद्या को एक सुपर-स्मार्ट, अथक रोबोट लाइब्रेरियन के रूप में सोचें जिसे विशेष रूप से इस लेबलिंग समस्या को हल करने के लिए बनाया गया है। यह एक "पाइपलाइन" है, जो केवल एक फैंसी शब्द है जिसका अर्थ है एक असेंबली लाइन। एक इंसान के डेस्क पर बैठने के बजाय, विद्या आपकी डिजिटल फाइलों को लेती है, आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करके उन्हें पढ़ती है, और स्वचालित रूप से आवश्यक विवरण (मेटाडेटा) लिखती है ताकि लोग बाद में उन्हें खोज सकें और ढूंढ सकें।
यह कैसे काम करता है? ("डिजिटल स्ट्रैपजैकट" या डिजिटल जकड़न)
आप सोच रहे होंगे, "रुको, AI अविश्वसनीय हो सकता है। यह कभी-कभी चीजें बना देता है या 'हैलुसिनेट' (hallucinate) करता है।" लेखक जानते थे कि आर्काइव्स (अभिलेखागारों) के लिए यह एक बहुत बड़ा जोखिम है, जहाँ सटीकता ही सब कुछ है।
इसे ठीक करने के लिए, विद्या एक चतुर तकनीक का उपयोग करती है जिसे वे "डिजिटल स्ट्रैपजैकट" (digital straitjacket) कहते हैं।
- समस्या: कल्पना कीजिए कि आप एक रचनात्मक लेखक से किसी फोटो का वर्णन करने के लिए कह रहे हैं। वे ऐसी विवरण भी जोड़ सकते हैं जो वहां मौजूद ही नहीं हैं।
- समाधान: विद्या AI को केवल "चैट" करने की अनुमति नहीं देती है। इसके बजाय, यह AI को एक सख्त, पहले से बने फॉर्म (जिसे YAML फ़ाइल द्वारा परिभाषित किया गया है) को भरने के लिए मजबूर करती है। यह एक 'फिल-इन-द-ब्लैंक' वर्कशीट देने जैसा है जिसमें विशिष्ट नियम हैं।
- जांच: AI का उत्तर स्वीकार किए जाने से पहले, एक डिजिटल गेटकीपर (जिसे Pydantic कहा जाता है) काम की जांच करता है। यदि AI कुछ ऐसा लिखने की कोशिश करता है जो फॉर्म में फिट नहीं बैठता या नियमों को तोड़ता है, तो सिस्टम उसे अस्वीकार कर देता है। यह सुनिश्चित करता है कि आउटपुट हमेशा संरचित, सटीक और अंतर्राष्ट्रीय पुस्तकालय नियमों (जैसे ISAD(G) और NOBRADE) का पालन करता है।
"मेकर" (Maker) भावना
विद्या को किसी हाई-टेक कॉर्पोरेट लैब में असीमित धन के साथ नहीं बनाया गया था। इसे ब्राजील के एक विश्वविद्यालय की एक टीम द्वारा मेकर सिद्धांतों (Maker principles) का उपयोग करके बनाया गया था।
- कम लागत: इसे मामूली, किफायती कंप्यूटरों (जैसे एक मानक डेस्कटॉप या यहाँ तक कि एक Raspberry Pi) पर चलने के लिए डिज़ाइन किया गया है, न कि महंगे सुपरकंप्यूटरों पर।
- ओपन सोर्स: यह मुफ्त सॉफ्टवेयर है जिसे कोई भी देख सकता है, सुधार सकता है या बेहतर बना सकता है।
- सहयोग: यह इतिहासकारों (जो इतिहास जानते हैं) और कंप्यूटर वैज्ञानिकों (जो कोड जानते हैं) को एक साथ काम करने के लिए लाता है।
उन्होंने क्या पाया?
टीम ने 50 दस्तावेजों (समाचार पत्रों और तस्वीरों) के ढेर पर विद्या का परीक्षण किया और हाथ से काम करने के साथ इसकी तुलना की। परिणाम नाटकीय थे:
- गति: जिस काम को मैन्युअल रूप से संसाधित करने में एक मानव टीम को 18.5 वर्ष लगते, विद्या उसे लगभग 45 से 60 दिनों में कर सकती थी।
- लागत: AI-सहायता प्राप्त दृष्टिकोण में मानव श्रम की लागत का केवल लगभग 1.5% खर्च हुआ।
- सटीकता: विद्या ने शीर्षक, निर्माता और तारीख जैसे प्रमुख विवरणों पर लगभग 85% सटीकता प्राप्त की। हालांकि यह पूर्ण नहीं है, लेकिन यह भारी काम करने के लिए पर्याप्त है, जिससे इंसानों को शून्य से शुरू करने के बजाय केवल काम की दोबारा जांच करनी होगी।
- पहुंच: इन "डार्क" छवियों को टेक्स्ट विवरणों में बदलकर, विद्या इन अभिलेखागारों को उन लोगों के लिए सुलभ बनाती है जो दृष्टिबाधित हैं या कम दृष्टि वाले हैं, जो वेब पर नेविगेट करने के लिए स्क्रीन रीडर का उपयोग करते हैं।
बड़ी तस्वीर
विद्या केवल एक उपकरण नहीं है; यह इतिहास को अनलॉक करने का एक तरीका है। यह अतीत के उस "डार्क डेटा" को लेती है—वे फाइलें जो अंधेरे में पड़ी थीं, अनदेखी और खोजने योग्य नहीं थीं—और उन्हें एक उज्ज्वल, व्यवस्थित और खोजने योग्य डिजिटल संग्रहालय में बदल देती है। यह साबित करता है कि उन्नत AI का उपयोग करने के लिए आपको बड़े बजट की आवश्यकता नहीं है; आपको बस तकनीक को ईमानदार और सहायक बनाए रखने के लिए एक स्मार्ट, संरचित दृष्टिकोण की आवश्यकता है।
संक्षेप में: विद्या वह सेतु है जो डिजिटल फाइलों के अराजक ढेर को एक उपयोगी, खोजने योग्य लाइब्रेरी में बदल देती है, दशकों का काम बचाती है और इतिहास को सभी के लिए सुलभ बनाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।