Executable Schema Contracts: From Automatic Ingestion to Multi-Source Retrieval
यह शोध पत्र एक ऐसी प्रणाली प्रस्तुत करता है जो नॉलेज ग्राफ निर्माण को निर्देशित करने और एक मल्टी-टूल रिट्रीवल एजेंट को अनुकूलित करने के लिए कच्चे मल्टी-सोर्स डेटा से स्वचालित रूप से निष्पादन योग्य स्कीमा अनुबंधों (executable schema contracts) की खोज करती है, जो संरचित, ट्रेस करने योग्य और स्कीमा-जागरूक साक्ष्य एकीकरण को सक्षम करके बेसलाइन विधियों की तुलना में प्रश्न-उत्तर प्रदर्शन में महत्वपूर्ण सुधार करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत बड़ी गुत्थी सुलझाने की कोशिश कर रहे हैं, लेकिन आपके सुराग एक अस्त-व्यस्त कमरे में बिखरे हुए हैं। कुछ सुराग साफ-सुथरी बही-खातों (टेबल्स) में लिखे हैं, कुछ स्टिकी नोट्स (PDFs) पर लिखे हैं, कुछ अव्यवस्थित डिजिटल लॉग्स (JSON) में हैं, और कुछ बस व्हाइटबोर्ड पर लिखे बेतरतीब नोट्स हैं।
अभी, अधिकांश AI सिस्टम इस गुत्थी को सुलझाने की कोशिश करने वाले एक ऐसे जासूस की तरह हैं जो बस एक टॉर्च उठाता है और सब कुछ बेतरतीब ढंग से पढ़ना शुरू कर देता है। वे एक सुराग ढूंढ तो सकते हैं, लेकिन वे अक्सर यह समझने में चूक जाते हैं कि सुराग आपस में कैसे जुड़ते हैं क्योंकि वे कमरे की संरचना (structure) को नहीं समझते। वे यह नहीं बता पाते कि एक बही-खाते का नाम दूसरे स्टिकी नोट के नाम से मेल खाता है, या एक नोट दूसरे का "बच्चा" (child) है।
यह शोध पत्र एक नए सिस्टम का परिचय देता है जो एक सुपर-ऑर्गनाइज्ड आर्किटेक्ट की तरह काम करता है, जो जासूस के खोजने शुरू करने से पहले कमरे का एक ब्लूप्रिंट (नक्शा) तैयार करता है।
यह कैसे काम करता है, इसके सरल चरण यहाँ दिए गए हैं:
1. "स्वचालित ब्लूप्रिंट" (स्कीमा डिस्कवरी)
इंसान को यह नक्शा बनाने के लिए हफ्तों समय देने के बजाय, यह सिस्टम कच्चे और अव्यवस्थित डेटा को देखकर खुद ही नियम समझ लेता है।
- समस्या: AI अक्सर "हैलुसिनेट" (भ्रमित होना/मनगढ़ंत बातें बनाना) करता है। वह "प्रॉफिट" नामक कॉलम बना सकता है जबकि डेटा में केवल "रेवेन्यू" मौजूद हो।
- समाधान: सिस्टम एक "क्लोज्ड-वर्ल्ड कैटलॉग" बनाता है। इसे एक सख्त नियम पुस्तिका की तरह समझें: "आप केवल उन्हीं चीजों के बारे में बात कर सकते हैं जो वास्तव में डेटा में मौजूद हैं।" यदि AI कोई नया फील्ड बनाने की कोशिश करता है, तो सिस्टम कहता है, "नहीं, वह कैटलॉग में नहीं है," और उसे वास्तविकता तक ही सीमित रहने के लिए मजबूर करता है।
- परिणाम: यह एक "स्कीमा कॉन्ट्रैक्ट" बनाता है। यह एक साझा समझौता है जो कहता है: "एक 'प्रोडक्ट' कैसा दिखता है, एक 'ट्रांजैक्शन' कैसा दिखता है, और वे आपस में कैसे जुड़ते हैं।"
2. "नॉलेज ग्राफ" बनाना (एक व्यवस्थित लाइब्रेरी)
एक बार ब्लूप्रिंट तैयार हो जाने के बाद, सिस्टम इस ब्लूप्रिंट का उपयोग करके अव्यवस्थित डेटा को एक साफ और जुड़ी हुई लाइब्रेरी में व्यवस्थित करता है जिसे नॉलेज ग्राफ कहा जाता है।
- जादू: यह केवल डेटा को ढेर नहीं करता; यह संबंधों को समझने के लिए ब्लूप्रिंट का उपयोग करता है।
- आइडेंटिटी कीज़ (Identity Keys): यह जानता है कि एक फाइल में "ID: 123" वही व्यक्ति है जो दूसरी फाइल में "ID: 123" है।
- फॉरेन कीज़ (Foreign Keys): यह समझ जाता है कि सेल्स टेबल में "ऑर्डर #55" का संबंध कस्टमर टेबल के "कस्टमर #99" से है।
- प्रोवेनेंस (Provenance): जानकारी का हर एक टुकड़ा अपने साथ एक "रसीद" रखता है, जो यह दिखाता है कि वह मूल रूप से किस दस्तावेज़ से आया है। इसका मतलब है कि यदि AI आपको कोई उत्तर देता है, तो वह प्रमाण के रूप में सटीक पेज और लाइन की ओर इशारा कर सकता है।
3. "स्मार्ट डिटेक्टिव" (क्वेरी-टाइम रिट्रीवल)
जब आप कोई सवाल पूछते हैं (जैसे, "2018 के मर्जर के बाद किन उत्पादों ने सबसे अधिक लाभ कमाया?"), तो सिस्टम केवल अनुमान नहीं लगाता। यह उत्तर खोजने के लिए ब्लूप्रिंट का उपयोग करता है।
- रूटिंग (Routing): सिस्टम खुद से पूछता है: "क्या मुझे स्प्रेडशीट के साफ आंकड़ों को देखने की जरूरत है? क्या मुझे PDF के लंबे टेक्स्ट को पढ़ने की जरूरत है? या मुझे अलग-अलग फाइलों के बीच संबंधों की एक श्रृंखला का पालन करने की जरूरत है?"
- कॉन्ट्रैक्ट: क्योंकि AI के पास ब्लूप्रट है, इसलिए वह जानता है कि कौन सा टूल इस्तेमाल करना है। वह बिना किसी दिशा के भटकता नहीं है; वह सबसे सीधा रास्ता अपनाता है, और PDF की ओर तभी जाता है जब ब्लूप्रिंट कहता है कि वे आपस में जुड़े हुए हैं।
- सेफ्टी नेट: यदि सवाल ऐसी चीज़ के बारे में है जिसे ब्लूप्रिंट नहीं जानता (जैसे कि कोई बिल्कुल नया उत्पाद जिसे अभी तक जोड़ा नहीं गया है), तो सिस्टम उस ब्लूप्रिंट को संभालने के लिए अस्थायी रूप से "खिंचाव" (stretch) दे सकता है, या गलत उत्तर देने के बजाय यह स्वीकार कर सकता है कि वह नहीं जानता।
यह मौजूदा सिस्टम से बेहतर क्यों है?
लेखकों ने अन्य तरीकों (जैसे मानक AI सर्च या बिना ब्लूप्रिंट के कनेक्शन का अनुमान लगाने वाले सिस्टम) के मुकाबले इसका परीक्षण किया।
- परिणाम: "ब्लूप्रिंट सिस्टम" उन जटिल सवालों के जवाब देने में काफी बेहतर था जिनमें विभिन्न स्रोतों से जानकारी को जोड़ने की आवश्यकता थी।
- उपमा (Analogy):
- पुराना तरीका (RAG): एक लाइब्रेरियन से कीवर्ड चिल्लाकर किताब खोजने के लिए कहने जैसा। वे "प्रॉफिट" शब्द वाली कोई किताब ढूंढ सकते हैं, लेकिन वह गलत किताब भी हो सकती है।
- यह तरीका: एक ऐसे लाइब्रेरियन की तरह जिसके पास पहले से ही एक परफेक्ट इंडेक्स कार्ड सिस्टम बना हुआ है। वह जानता है कि कौन सा कार्ड प्रॉफिट के नंबरों की ओर ले जाता है, कौन सा कार्ड मर्जर की तारीख की ओर ले जाता है, और आपको सटीक उत्तर देने के लिए उन्हें कैसे जोड़ना है।
मुख्य निष्कर्ष
यह शोध पत्र दावा करता है कि प्रश्नों का उत्तर देने से पहले अव्यवस्थित डेटा का एक सख्त, निष्पादन योग्य मानचित्र (स्कीमा) स्वचालित रूप से बनाकर, AI सिस्टम बहुत अधिक सटीक, विश्वसनीय और यह समझाने में सक्षम हो सकते हैं कि उन्हें अपने उत्तर कहाँ से मिले। यह सुरागों के एक अराजक कमरे को एक सुव्यवस्थित लाइब्रेरी में बदल देता है, जिससे जासूस का काम बहुत आसान और परिणाम बहुत अधिक भरोसेमंद हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।