Multimodal Cultural Heritage Knowledge Graph Extension with Language and Vision Models
यह शोध पत्र WJoconde, जो कि एक मल्टीमॉडल फ्रांसीसी सांस्कृतिक विरासत ज्ञान ग्राफ है, को प्रस्तुत करता है और एक विशेष सत्यापन पाइपलाइन के माध्यम से उच्च विश्वसनीयता के साथ ऐसे ग्राफों को स्वचालित रूप से विस्तारित करने के लिए लार्ज लैंग्वेज मॉडल्स और विजन-लैंग्वेज मॉडल्स का लाभ उठाने वाला एक नवीन ढांचा प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास फ्रांसीसी कला और इतिहास का एक विशाल, अविश्वसनीय रूप से विस्तृत पुस्तकालय है। अभी, यह पुस्तकालय एक विशाल स्प्रेडशीट की तरह व्यवस्थित है: यह पेंटिंग्स, मूर्तियों और कलाकृतियों को सूचीबद्ध करता है, और यह भी बताता है कि उन्हें किसने बनाया, कब बनाया, और वे कहाँ रखी गई हैं। यह वही है जिसे लेखक नॉलेज ग्राफ (Knowledge Graph) कहते हैं। यह तथ्यों का एक संरचित मानचित्र है।
हालाँकि, इस स्प्रेडशीट में दो बड़ी समस्याएँ हैं:
- यह अधूरा है: इसमें जानकारी के बड़े हिस्से गायब हैं क्योंकि वास्तविक दुनिया अव्यवस्थित और जटिल होती है।
- यह उबाऊ है: इसमें केवल टेक्स्ट है। यह कला की तस्वीरों को "देख" नहीं पाता, भले ही तस्वीरें वहीं मौजूद हों।
लेखकों ने इसे ठीक करने के लिए यह किया। उन्होंने इस खालीपन को भरने के लिए एक नया, सुपर-चार्ज्ड संस्करण बनाया जिसे WJoconde कहा जाता है, और उन्होंने मदद के लिए एक चतुर रोबोट टीम का आविष्कार किया।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल शब्दों में:
1. नया पुस्तकालय: WJoconde
सोचिए कि मूल फ्रांसीसी संग्रहालय डेटाबेस (Joconde) एक धूल भरा संग्रह है। लेखकों ने इस संग्रह के सबसे अच्छे हिस्सों को लिया और उन्हें Wikidata (तथ्यों का एक विशाल, मुफ्त ऑनलाइन विश्वकोश) से जोड़ दिया।
उन्होंने WJoconde नामक एक नया संस्करण बनाया। इसे क्या खास बनाता है?
- यह मल्टीमॉडल (Multimodal) है: कल्पना कीजिए कि एक लाइब्रेरी कार्ड जिसमें न केवल पेंटिंग का विवरण है, बल्कि वह आपको पेंटिंग दिखाता भी है। WJoconde टेक्स्ट विवरण को सीधे कलाकृति की वास्तविक छवि से जोड़ता है।
- यह एक बेंचमार्क (Benchmark) है: उन्होंने इस डेटा को साफ किया और इसके तीन अलग-अलग संस्करण बनाए (एक कच्चा, एक साफ किया हुआ, और एक जिसमें टेक्स्ट और इमेज दोनों हैं) ताकि अन्य वैज्ञानिक अपने स्वयं के AI टूल्स का परीक्षण करने के लिए इसका उपयोग कर सकें। यह एक मानकीकृत "परीक्षा" देने जैसा है ताकि यह देखा जा सके कि कौन सबसे अच्छा नॉलेज ग्राफ बनाता है।
2. समस्या: "क्लोज्ड वर्ल्ड" बनाम "ओपन वर्ल्ड"
अधिकांश AI सिस्टम जो गायब तथ्यों को भरने की कोशिश करते हैं, वे एक बहुविकल्पीय परीक्षा (Multiple-choice test) की तरह काम करते हैं। वे मौजूदा उत्तरों की सूची देखते हैं और अनुमान लगाते हैं कि कौन सा उत्तर गायब है।
- समस्या: यदि उत्तर सूची में नहीं है, तो AI कहता है, "मुझे नहीं पता।"
- वास्तविकता: कला के इतिहास में, "सही उत्तर" कुछ ऐसा हो सकता है जो पहले कभी किसी ने लिखा ही न हो। AI को नए तथ्य आविष्कार करने में सक्षम होना चाहिए, न कि केवल एक मेनू से चुनने में। इसे ओपन वर्ल्ड अज़म्प्शन (Open World Assumption) कहा जाता है।
3. समाधान: रोबोट जासूस टीम
इसे हल करने के लिए, लेखकों ने दो प्रकार के सुपर-स्मार्ट AI रोबोटों का उपयोग करके एक पाइपलाइन (वर्कफ़्लो) बनाई:
- द रीडर (The Reader - LLM): एक लार्ज लैंग्वेज मॉडल (एक सुपर-स्मार्ट टेक्स्ट रीडर की तरह) जो कला के विवरण को पढ़ता है।
- द व्यूअर (The Viewer - VLM): एक विज़न-लैंग्वेज मॉडल (एक रोबोट जो चित्रों को "देख" और समझ सकता है) जो पेंटिंग्स को देखता है।
यह टीम मिलकर कैसे काम करती है:
- असाइनमेंट: सिस्टम एक पेंटिंग लेता है और पूछता है, "इस चित्र में क्या हो रहा है?"
- अनुमान: 'रीडर' टेक्स्ट को देखता है, और 'व्यूअर' इमेज को देखता है। वे दोनों अपने अनुमान चिल्लाते हैं (जैसे, "यह एक घोड़ा दिखाता है!" या "यह एक युद्ध दिखाता है!")।
- डबल-चेक (जादुई कदम): चूंकि AI रोबोट कभी-कभी "हैलुसिनेट" (मनगढ़ंत बातें बनाना) करते हैं, इसलिए लेखकों ने एक वैलिडेशन पाइपलाइन (Validation Pipeline) बनाई।
- वे जाँचते हैं कि क्या 'रीडर' का अनुमान 'व्यूअर' के अनुमान से मेल खाता है।
- वे जाँचते हैं कि क्या अनुमान वास्तव में एक नया तथ्य है या केवल किसी ऐसी चीज़ का पर्यायवाची है जिसे वे पहले से जानते हैं (उदाहरण के लिए, यह सुनिश्चित करना कि वे "Curtain" जोड़ने के बजाय "Curtains" न जोड़ें यदि "Curtain" पहले से ही डेटाबेस में है)।
- वे 'व्यूअर' से इमेज को फिर से देखने के लिए भी कहते हैं ताकि पुष्टि की जा सके, "हाँ, मैं इस चित्र में निश्चित रूप से एक घोड़ा देख रहा हूँ।"
4. परिणाम: एक बड़ा, बेहतर मानचित्र
परिणाम प्रभावशाली थे। इस रोबोट टीम का उपयोग करके:
- उन्होंने डेटाबेस में सफलतापूर्वक 61% अधिक तथ्य जोड़े।
- उन्होंने हजारों नए विवरण जोड़े, जैसे विशिष्ट क्रियाएं (जौस्टिंग/युद्ध), वस्तुएं (तलवारें), और दृश्य (शहर के दृश्य) जो पहले गायब थे।
- क्वालिटी कंट्रोल: जब मनुष्यों ने काम की जाँच की, तो उन्होंने पाया कि रोबोट 92% बार सही थे।
निचोड़
लेखकों ने केवल एक बड़ा डेटाबेस नहीं बनाया; उन्होंने एक सिस्टम बनाया जो एक पेंटिंग और उसके विवरण को देख सकता है, कहानी को समझ सकता है, और बिना किसी इंसान द्वारा टाइप किए, एक डिजिटल मानचित्र में नए, सटीक तथ्य जोड़ सकता है।
उन्होंने साबित कर दिया कि टेक्स्ट-रीडिंग AI और इमेज-सीइंग AI को मिलाकर, और फिर उन्हें एक-दूसरे के काम की जाँच करने के लिए कहकर, हम सांस्कृतिक विरासत के अपने ज्ञान को एक ऐसे तरीके से स्वचालित रूप से बढ़ा सकते हैं जो तेज़ और विश्वसनीय दोनों है। उन्होंने अपना सारा कोड और डेटा मुफ्त में उपलब्ध कराया है, ताकि अन्य शोधकर्ता इससे भी बेहतर करने की कोशिश कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।