Auditable AI Assisted Semantic Completion Supports Metadata Enhancement in Digital Cultural Heritage Collections

तकनीकी सारांश: डिजिटल सांस्कृतिक विरासत मेटाडेटा के लिए ऑडिट करने योग्य AI-सहायता प्राप्त सिमेंटिक पूर्णता

समस्या विवरण
डिजिटल सांस्कृतिक विरासत संग्रह तेजी से कम्प्यूटेशनल डेटा के रूप में उपलब्ध हो रहे हैं, फिर भी उनकी खोज क्षमता (discoverability) अधूरे, असमान रूप से संरचित और समृद्ध अर्थों (semantic richness) की कमी वाले मेटाडेटा के कारण बाधित है। जबकि आर्टिफिशियल इंटेलिजेंस (AI) को अक्सर मेटाडेटा निर्माण के समाधान के रूप में प्रस्तावित किया जाता है, सांस्कृतिक विरासत के संदर्भों में इसका उपयोग व्याख्यात्मक अधिकार, सांस्कृतिक पूर्वाग्रह और जनरेटिव मॉडल्स की "ब्लैक-बॉक्स" प्रकृति के संबंध में महत्वपूर्ण चिंताएं पैदा करता है। मुख्य चुनौती केवल यह नहीं है कि क्या AI लेबल बना सकता है, बल्कि यह है कि एक ऐसा मेटाडेटा संवर्धन वर्कफ़्लो कैसे बनाया जाए जो पेशेवर कैटलॉगर्स द्वारा पारदर्शी, पुनरुत्पादक (reproducible) और ऑडिट करने योग्य हो। मौजूदा रिकॉर्ड में कुछ पहलुओं (जैसे वस्तु का प्रकार, सामग्री) में सघन जानकारी होती है, लेकिन अन्य (जैसे विषय, वर्गीकरण) में यह विरल होती है, जिससे एक ऐसी प्रणाली की आवश्यकता उत्पन्न होती है जो नए लेबल गढ़ने या मूल स्रोत (provenance) को अस्पष्ट किए बिना, नियंत्रित शब्दावली के लुप्त शब्दों की सिफारिश कर सके।

कार्यप्रणाली
यह अध्ययन मेटाडेटा संवर्धन को एक जनरेटिव कार्य के बजाय एक प्रतिबंधित सिमेंटिक पूर्णता कार्य (constrained semantic completion task) के रूप में पुनर्परिभाषित करता है। मॉडल से प्रवाहपूर्ण विवरण बनाने के लिए कहने के बजाय, सिस्टम किसी रिकॉर्ड के भीतर देखे गए नियंत्रित-शब्दावली लेबल का उपयोग करके लुप्त पहलुओं के लिए संभावित लेबल की सिफारिश करता है।

• डेटासेट: शोध EUFCC-340K बेंचमार्क का उपयोग करता है, जो यूरोपियाना (Europeana) से प्राप्त एक फेसेटेड पदानुक्रमित (faceted hierarchical) डेटासेट है जिसमें 340,000 से अधिक रिकॉर्ड शामिल हैं। अध्ययन पुनरुत्पादकता सुनिश्चित करने के लिए 25,000 रिकॉर्डों के एक निश्चित प्रशिक्षण उपसमुच्चय (training subset) का उपयोग करता है।
• प्रायोगिक डिजाइन: एक मास्क्ड-लेबल मूल्यांकन (masked-label evaluation) प्रोटोकॉल का उपयोग किया गया है। प्रत्येक पात्र रिकॉर्ड के लिए, एक लक्षित पहलू (वस्तु प्रकार, सामग्री, विषय, या वर्गीकरण) से एक मौजूदा लेबल को छिपा दिया जाता है। मॉडल को शेष देखे गए लेबल को संदर्भ के रूप में उपयोग करके उस पहलू के लिए संभावित लेबल को रैंक करना होता है। सफलता इस बात से मापी जाती है कि छिपा हुआ लेबल शीर्ष k उम्मीदवारों में से है या नहीं (Recall@k)।
• मूल्यांकित मॉडल:
  1. फ्रीक्वेंसी बेसलाइन (Frequency Baseline): लक्षित पहलू के भीतर वैश्विक प्रशिक्षण आवृत्ति के आधार पर उम्मीदवारों को रैंक करता है।
  2. डायरेक्ट को-ऑकरेंस (Direct Co-occurrence): प्रशिक्षण रिकॉर्ड से लेबल-लेबल सह-अस्तित्व (co-occurrence) मैट्रिक्स बनाता है। स्कोर देखे गए संदर्भ लेबल के आधार पर उम्मीदवार के प्रकट होने की औसत संभावना से प्राप्त होते हैं।
  3. टू-हॉप ग्राफ प्रोपेगेशन (Two-Hop Graph Propagation): अप्रत्यक्ष संबंधों को पकड़ने के लिए लेबल ग्राफ (जैसे, वस्तु $\to$ सामग्री $\to$ वर्गीकरण) के माध्यम से स्कोर को प्रसारित करके प्रत्यक्ष साक्ष्य का विस्तार करता है।
  4. हाइब्रिड रैंकिंग (Hybrid Ranking): प्रत्यक्ष स्कोर, टू-हॉप स्कोर और फ्रीक्वेंसी प्रायर (frequency prior) का एक भारित संयोजन।
• सीमाएँ: ऑडिट करने की क्षमता और दक्षता सुनिश्चित करने के लिए शब्दावली को 600 लीफ लेबल्स (वे जो प्रशिक्षण में $\ge$10 बार दिखाई देते हैं) तक सीमित किया गया है। वर्कफ़्लो जनरेटिव नवीनता के बजाय नियतात्मक (deterministic), पुनरुत्पादक रैंकिंग को प्राथमिकता देता है।

प्रमुख परिणाम

• मेटाडेटा विषमता (Metadata Asymmetry): EUFCC-340K डेटासेट का विश्लेषण मेटाडेटा कवरेज में महत्वपूर्ण विषमता प्रकट करता है। वस्तु-प्रकार और सामग्री क्षेत्र सघन (लगभग 77–93% कवरेज) हैं, जबकि विषय और वर्गीकरण क्षेत्र विरल (प्रशिक्षण स्प्लिट में क्रमशः 6.7% और 12.9% कवरेज) हैं।
• को-ऑकरेंस का प्रदर्शन: इनर-टेस्ट स्प्लिट पर, डायरेक्ट को-ऑकरेंस मॉडल ने सभी पहलुओं में फ्रीक्वेंसी बेसलाइन की तुलना में काफी बेहतर प्रदर्शन किया।
  • वस्तु प्रकार (Object Types): Recall@5, 0.190 (फ्रीक्वेंसी) से सुधरकर 0.732 (को-ऑकरेंस) हो गया।
  • सामग्री (Materials): Recall@5, 0.379 से सुधरकर 0.790 हो गया।
  • वर्गीकरण (Classifications): Recall@5, 0.450 से सुधरकर 0.986 हो गया।
  • विषय (Subjects): हालांकि विषयों के लिए टेस्ट सेट छोटा (228 मामले) था, फ्रीक्वेंसी बेसलाइन ने Recall@5 में 1.000 प्राप्त किया, जिसे को-ऑकरेंस मॉडल ने भी (1.000 के साथ) मैच किया। हालांकि, को-ऑकरेंस ने Recall@1 (0.934 बनाम 0.272) और Recall@3 (1.000 बनाम 0.781) में फ्रीक्वेंसी बेसलाइन की तुलना में काफी बेहतर प्रदर्शन किया, जो शीर्ष सूची में सही लेबल को रैंक करने में बेहतर सटीकता प्रदर्शित करता है।
• मॉडल जटिलता: हाइब्रिड मॉडल लगातार डायरेक्ट को-ऑकरेंस मॉडल से बेहतर प्रदर्शन नहीं कर सका। अध्ययन ने पाया कि सबसे सरल पारदर्शी विधि अक्सर सबसे मजबूत होती है, जो सुझाव देती है कि जटिल ग्राफ प्रोपेगेशन या हाइब्रिड प्रायर आवश्यक नहीं हो सकते हैं जब प्रत्यक्ष लेबल संबंध मजबूत हों।
• डिस्ट्रीब्यूशन शिफ्ट (Distribution Shift): बाहरी-टेस्ट स्प्लिट (जो विभिन्न संग्रह संरचनाओं का प्रतिनिधित्व करता है) ने दिखाया कि फ्रीक्वेंसी बेसलाइन कम-एन्ट्रॉपी वितरण में भ्रामक रूप से मजबूत दिख सकती है, जबकि डायरेक्ट को-ऑकरेंस रिलेशनल शिफ्ट के प्रति संवेदनशील रहता है। यह एग्रीगेट स्कोर के बजाय स्प्लिट-विशिष्ट मूल्यांकन की आवश्यकता को रेखांकित करता है।

महत्व और दावे
यह शोध दावा करता है कि इसका प्राथमिक योगदान एक पुनरुत्पादक सूचना-संगठन वर्कफ़्लो है जो AI-सहायता प्राप्त मेटाडेटा संवर्धन को एक ऑडिट करने योग्य रैंकिंग समस्या के रूप में मानता है।

• ऑडिटेबिलिटी और गवर्नेंस: अध्ययन का तर्क है कि सांस्कृतिक विरासत में उच्च-मूल्य वाले AI का मूल्यांकन केवल भविष्य कहनेवाला सटीकता से नहीं, बल्कि पुनरुत्पादकता, व्याख्यात्मकता और प्रोवेनेंस संरक्षण से किया जाना चाहिए। देखे गए को-ऑकरेंस का उपयोग करके, प्रत्येक सिफारिश को विशिष्ट प्रशिक्षण डेटा संबंधों तक ट्रैक किया जा सकता है, जिससे पेशेवर कैटलॉगर्स को सुझावों का निरीक्षण, सत्यापन या अस्वीकार करने की अनुमति मिलती है।
• ह्यूमन-इन-द-लूप डिज़ाइन: यह वर्कफ़्लो AI को कैटलॉगर्स के विकल्प के रूप में नहीं, बल्कि एक निर्णय-सहायता परत के रूप रूप में स्थापित करता है। यह मानव सत्यापन के लिए रैंक किए गए उम्मीदवार प्रदान करता है, जिससे पेशेवर निर्णय को सुरक्षित रखते हुए समीक्षा की लागत कम होती है।
• व्यावहारिक कार्यान्वयन: इस दृष्टिकोण के लिए मामूली तकनीकी संसाधनों की आवश्यकता होती है (कोई बड़े न्यूरल नेटवर्क, इमेज प्रोसेसिंग या मालिकाना API नहीं), जो इसे छोटे संस्थानों के लिए सुलभ बनाता है। यह एक चरणबद्ध कार्यान्वयन पथ का समर्थन करता है: मेटाडेटा प्रोफाइलिंग, शब्दावली सामान्यीकरण, ग्राफ निर्माण, उम्मीदवार सुझाव और प्रोवेनेंस रिकॉर्डिंग।
• सीमाएँ: लेखक स्पष्ट रूप से स्वीकार करते हैं कि यह पद्धति डेटासेट के पूर्वाग्रहों को विरासत में लेती है (मौजूदा कैटलॉगिंग असंतुलन को बढ़ाती है) और वास्तविक दुनिया के परिदृश्यों में लापता लेबल जोड़ने की सांस्कृतिक उपयुक्तता या आवश्यकता का आकलन नहीं करती है। अध्ययन नियंत्रित शब्दावली के भीतर मौजूदा लेबल की रिकवरी पर केंद्रित है, न कि नई सांस्कृतिक व्याख्याओं के सृजन पर।

निष्कर्षतः, यह शोध प्रदर्शित करता है कि पारदर्शी, को-ऑकरेंस-आधारित रैंकिंग प्रभावी रूप से डिजिटल सांस्कृतिक विरासत मेटाडेटा के संवर्धन में सहायता कर सकती है, जो अपारदर्शी जनरेटिव AI मॉडल्स के एक रूढ़िवादी लेकिन स्केलेबल विकल्प के रूप में कार्य करती है।