Declarative Data Services: Structured Agentic Discovery for Composing Data Systems
यह शोध पत्र डिक्लेरेटिव डेटा सर्विसेज (DDS) को प्रस्तुत करता है, जो एक संरचित आर्किटेक्चर है जो विषम डेटा प्रणालियों में अनबाउंड एजेंटिक डिस्कवरी की अभिसरण विफलताओं (convergence failures) को, डिक्लेरेटिव उपयोगकर्ता इरादे और पुनरावृत्ति रनटाइम फीडबैक द्वारा निर्देशित, बंधित (bounded), टाइप किए गए परतों में खोज स्थान को विभाजित करके दूर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Declarative Data Services: Structured Agentic Discovery for Composing Data Systems" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
बड़ी समस्या: AI कोडिंग का "वाइल्ड वेस्ट" (अराजकता)
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान आर्किटेक्ट (एक AI एजेंट) से एक घर बनाने के लिए कहते हैं। आप कहते हैं, "मुझे 3 बेडरूम वाला घर चाहिए जिसमें सोलर छत, एक पूल और $300,000 का बजट हो।"
अतीत में, यदि आपने किसी AI को एक सिंगल ऐप के लिए कोड लिखने को कहा, तो उसने आमतौर पर बहुत अच्छा काम किया। लेकिन जब आप उससे एक जटिल डेटा सिस्टम (जैसे कि एक ट्रेडिंग प्लेटफॉर्म जिसे प्रति सेकंड हजारों स्टॉक ट्रेड संभालने, वर्षों का इतिहास स्टोर करने और तेज़ रहने की आवश्यकता है) बनाने के लिए कहते हैं, तो चीजें बिगड़ जाती हैं।
क्यों? क्योंकि AI उस जीनियस की तरह है जिसने लाइब्रेरी की हर किताब पढ़ी है लेकिन वास्तव में कभी घर नहीं बनाया है। वह जानता है कि "Kafka" क्यू या "ClickHouse" डेटाबेस क्या है, लेकिन वह यह नहीं जानता कि वे वास्तविक दुनिया में एक साथ कैसे फिट होते हैं। वह गलत सामग्री चुन सकता है, पाइपों को जोड़ना भूल सकता है, या ऐसा डिज़ाइन चुन सकता है जो दबाव में ढह जाए।
यदि आप बस AI को "इसे ठीक करो" कहते हैं और उसे बार-बार अनुमान लगाने देते हैं (जिसे "अनबाउंड डिस्कवरी" कहा जाता है), तो वह अक्सर गोल-गोल घूमता रहता है। वह छत बदलकर प्लंबिंग को ठीक करने की कोशिश करता है, या हर बार एक छोटी सी गलती होने पर पूरे घर को फिर से बनाने की कोशिश करता है। वह एक काम करने वाले समाधान पर कभी नहीं पहुँच पाता।
समाधान: DDS (एक "स्ट्रक्चर्ड आर्किटेक्ट")
लेखक Declarative Data Services (DDS) नामक एक नया सिस्टम प्रस्तावित करते हैं। AI को बिना किसी दिशा के भटकने देने के बजाय, DDS एक सख्त, व्यवस्थित निर्माण प्रबंधक (construction manager) की तरह कार्य करता है जो AI को एक विशिष्ट, चार-चरणीय ब्लूप्रिंट का पालन करने के लिए मजबूर करता है।
DDS को एक चार मंजिला इमारत के रूप में सोचें जहाँ हर मंजिल का एक विशिष्ट काम और विशिष्ट नियम हैं। AI (सब-एजेंट) काम करता है, लेकिन फ्रेमवर्क (मैनेजर) ब्लूप्रिंट रखता है और हर चरण में काम की जाँच करता है।
DDS बिल्डिंग की चार मंजिलें
मंजिल 1: "क्या" (इरादा/Intent)
- काम: निर्माण करने से पहले, आपको सटीक रूप से परिभाषित करना होगा कि आप क्या चाहते हैं।
- उपमा: "मुझे एक शानदार घर चाहिए" कहने के बजाय, उपयोगकर्ता कहता है, "मुझे 3 बेडरूम, 2 बाथरूम, सोलर पैनल और $300k का बजट चाहिए।"
- जादू: सिस्टम AI को आपके अस्पष्ट विचार को एक सख्त, टाइप किए गए चेकलिस्ट (डेटा मॉडल, गति, लागत, आदि) में अनुवाद करने के लिए मजबूर करता है। यदि अनुरोध असंभव है (जैसे, "$500 में हवेली चाहिए"), तो सिस्टम कोड लिखे जाने से पहले ही आपको रोक देता है।
मंजिल 2: "कैसे" (ब्लूप्रिंट/The Blueprint)
- काम: अभी विशिष्ट ब्रांडों को चुने बिना डेटा के प्रवाह को डिज़ाइन करें।
- उपमा: आर्किटेक्ट एक आरेख (diagram) बनाता है: "पानी अंदर आता है, फिल्टर में जाता है, फिर टैंक में जाता है, फिर शावर में जाता है।" वे अभी यह नहीं कहते कि "हम एक Whirlpool फिल्टर का उपयोग करेंगे।" वे बस सिस्टम का आकार तय करते हैं।
- जादू: यह डिज़ाइन को उत्पादों से अलग करता है। यदि डिज़ाइन गलत है, तो आप पाइप के विशिष्ट ब्रांड को नहीं, बल्कि ड्राइंग को ठीक करते हैं। यह AI को एक पाइप लीक होने के कारण पूरे घर को बदलने से रोकता है।
मंजिल 3: "कौन सा" (कौशल/The Skills)
- काम: वास्तविक उत्पादों और कॉन्फ़िगरेशन को चुनें।
- उपमा: अब आर्किटेक्ट विशिष्ट चीजें चुनता है: "हम एक Whirlpool फिल्टर और PVC पाइप का उपयोग करेंगे।" लेकिन यहाँ असली रहस्य है: सिस्टम एक "स्किल बुक" (एक स्थायी मेमोरी) का उपयोग करता है।
- जादू: यह स्किल बुक एक जीवित मैनुअल की तरह है। यदि पिछले घर में समस्या आई थी क्योंकि Whirlpool फिल्टर को एक विशिष्ट एडेप्टर की आवश्यकता थी, तो वह तथ्य स्किल बुक में लिख दिया जाता है। अगली बार जब AI घर बनाता है, तो वह स्किल बुक पढ़ता है और जानता है कि उसे बिल्कुल कौन सा एडेप्टर उपयोग करना है। उसे इस गलती को "अनुमान" लगाने या "दोबारा सीखने" की आवश्यकता नहीं होती।
मंजिल 4: "जाँच" (रनटाइम एट्रीब्यूशन/The Check)
- काम: इसे बनाएँ, चालू करें और देखें कि क्या टूटता है।
- उपमा: आप पानी चालू करते हैं। यदि शावर लीक होता है, तो सिस्टम केवल यह नहीं कहता कि "घर टूटा हुआ है।" यह कहता है, "लीक PVC पाइप कनेक्शन (मंजिल 3) में है।"
- जादू: यह सबसे महत्वपूर्ण हिस्सा है। जब सिस्टम विफल होता है, तो यह त्रुटि को ठीक उसी मंजिल तक ट्रैक करता है जहाँ निर्णय लिया गया था।
- यदि बजट बहुत कम है, तो यह मंजिल 1 पर वापस जाता है।
- यदि डिज़ाइन असंभव है, तो यह मंजिल 2 पर वापस जाता है।
- यदि विशिष्ट उत्पाद का चुनाव खराब था, तो यह मंजिल 3 पर स्किल बुक को अपडेट करता है।
- यह AI को पूरा घर फिर से बनाने के लिए मजबूर नहीं करता। यह एक छोटा, लक्षित सुधार करता है।
यह क्यों काम करता है ("अहा!" मोमेंट)
पेपर ने "अनबाउंड" AI एजेंटों (जो केवल अनुमान लगाते हैं और पुनः प्रयास करते हैं) के विरुद्ध इसका परीक्षण किया।
- अनबाउंड एजेंट: एक छात्र की तरह जो गणित की समस्या को तब तक रैंडम नंबर लिखकर हल करने की कोशिश करता है जब तक कि वह सही न हो जाए। इसमें बहुत समय लगता है, बहुत अधिक लागत (कंप्यूटिंग पावर) आती है, और वे अक्सर हार मान लेते हैं।
- DDS एजेंट: एक छात्र की तरह जो टेक्स्टबुक और कैलकुलेटर का उपयोग कर रहा है। यदि वे एक चरण में गलती करते हैं, तो टेक्स्टबुक उन्हें बताती है कि उन्होंने कौन सा नियम तोड़ा है। वे बस उस एक नियम को ठीक करते हैं और आगे बढ़ते हैं।
परिणाम:
एक ट्रेडिंग बैकएंड बनाने के परीक्षण में:
- अनबाउंड एजेंट: 10 में से 8 बार एक काम करने वाला सिस्टम बनाने में विफल रहे, कई प्रयासों के बाद भी। वे लूप में फंस गए।
- DDS: 10 में से 10 बार एक काम करने वाला सिस्टम बनाया। यह तेज़ था, सस्ता था, और सिस्टम वास्तव में वास्तविक डेटा के साथ चला।
"स्किल बुक" की उपमा
पेपर इस बात पर जोर देता है कि ज्ञान का एक घर होना चाहिए।
- पुराने AI तरीकों में, यदि AI ने सीखा कि "Kafka को पोर्ट 9092 की आवश्यकता है," तो वह इसे कल भूल सकता है। उसे हर बार इसे फिर से सीखना पड़ता है।
- DDS में, उस ज्ञान को एक स्किल फाइल (एक YAML फ़ाइल की तरह) में सहेजा जाता है।
- यदि AI गलती करता है (जैसे, "मैं पोर्ट 9092 खोलना भूल गया"), तो सिस्टम स्किल फाइल को ठीक करता है।
- महत्वपूर्ण: अगली बार जब AI कोई सिस्टम बनाता है, तो वह ठीक की गई स्किल फाइल को पढ़ता है। वह गलती दोबारा नहीं की जाती। "सुधार" स्थायी है, न कि केवल एक बार का पैच।
सारांश
पेपर का तर्क है कि जटिल डेटा सिस्टम बनाने के लिए, हम केवल AI को "फ्रीस्टाइल" करने के लिए नहीं छोड़ सकते। हमें एक स्ट्रक्चर्ड फ्रेमवर्क की आवश्यकता है जो:
- समस्या को स्पष्ट, टाइप किए गए चरणों में तोड़ता है (इरादा -> डिज़ाइन -> उत्पाद -> कोड)।
- AI को आगे बढ़ने से पहले हर चरण में अपना काम जाँचने के लिए मजबूर करता है।
- गलतियों को एक स्थायी "स्किल बुक" में याद रखता है ताकि उन्हें दोहराया न जाए।
- त्रुटियों को सटीक रूप से पहचानता है ताकि AI को यह अनुमान न लगाना पड़े कि क्या ठीक करना है।
यह AI के "अनुमान लगाने" की अराजक प्रक्रिया को सॉफ्टवेयर बनाने के लिए एक विश्वसनीय, औद्योगिक असेंबली लाइन में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।