Bounded Semantic Planning and Deterministic Compilation for Reliable Enterprise Text-to-SQL

आधुनिक व्यवसाय की दुनिया में, डेटा अक्सर विशाल, जटिल डिजिटल गोदामों में बंद रहता है। "पिछले साल एजेंट दो ने कितनी पॉलिसियां बेचीं?" जैसा सरल प्रश्न पूछने के लिए तालिकाओं, संबंधों और उन नियमों के भूलभुलैया से गुजरना पड़ता है जो कंपनी के संचालन को परिभाषित करते हैं। वर्षों से, शोधकर्ताओं ने कंप्यूटर को इन प्राकृतिक भाषा के प्रश्नों को सीधे उस विशिष्ट कोड में अनुवाद करने के लिए सिखाने का प्रयास किया है जिसकी आवश्यकता डेटा निकालने के लिए होती है। यह 'टेक्स्ट-टू-एसक्यूएल' (text-to-SQL) का वादा है: एक ऐसी मशीन जो मानवीय इरादे को समझती है और डेटा प्राप्त करने के लिए सही निर्देश लिखती है। हालाँकि, एक महत्वपूर्ण समस्या बनी हुई है। जब कंप्यूटर अपने आप ये निर्देश लिखता है, तो वह अक्सर ऐसा कोड बनाता है जो पूरी तरह से चलता तो है लेकिन गलत उत्तर देता है। यह जानकारी के गलत हिस्सों को जोड़ सकता है या चीजों को गलत तरीके से गिन सकता है, जिससे एक ऐसा परिणाम मिलता है जो देखने में तो विश्वसनीय लगता है लेकिन मौलिक रूप से त्रुटिपूर्ण होता है। यह एक एंटरप्राइज सेटिंग में खतरनाक है, जहाँ एक गलत संख्या गलत व्यावसायिक निर्णयों की ओर ले जा सकती है।

एक नया अध्ययन इस विश्वसनीयता की समस्या को हल करने के एक अलग दृष्टिकोण की खोज करता है। आर्टिफिशियल इंटेलिजेंस (AI) से शून्य से पूरा कोड लिखने के लिए कहने के बजाय, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जहाँ AI एक निर्माता के बजाय एक मार्गदर्शक के रूप में कार्य करता है। AI का काम केवल प्रश्न को समझना और स्वीकृत पथों और संबंधों की एक पूर्व-अनुमोदित सूची में से चयन करना सीमित है। एक बार जब AI अपना चयन कर लेता है, तो एक अलग, कठोर कंप्यूटर प्रोग्राम कार्यभार संभाल लेता है। यह प्रोग्राम उस चयन को अंतिम कोड में अनुवादित करता है, यह सुनिश्चित करते हुए कि कनेक्शन सही ढंग से बनाए गए हैं और गिनती के नियमों का सटीक रूप से पालन किया गया है। शोधकर्ताओं ने इस विधि का परीक्षण एक जटिल बीमा डेटासेट का उपयोग करके पारंपरिक "सब-कुछ-लिखने" वाले दृष्टिकोण के विरुद्ध किया। उन्होंने पाया कि निर्देशित प्रणाली बहुत अधिक विश्वसनीय थी, जो लगभग हर बार सही उत्तर देती थी, जबकि पारंपरिक प्रणाली अक्सर ऐसा कोड उत्पन्न करती थी जो चलता तो था लेकिन गलत परिणाम देता था।

इस शोध का मूल केंद्र यह है कि अनिश्चितता कहाँ रहती है। एक मानक प्रणाली में, आर्टिफिशियल इंटेलिजेंस मॉडल को सब कुछ तय करना होता है: किन तालिकाओं को जोड़ना है, उन्हें कैसे लिंक करना है, और संख्याओं को कैसे एकत्रित करना है। क्योंकि ये मॉडल संभावना के आधार पर टेक्स्ट जेनरेट करते हैं, इसलिए वे कभी-कभी ऐसा रास्ता चुन सकते हैं जो तकनीकी रूप से संभव तो है लेकिन अर्थ संबंधी (semantically) रूप से गलत है। नया सिस्टम, जिसे लेखक 'सिमेंटिक पाथ कंपाइलेशन' (Semantic Path Compilation) कहते हैं, एक सख्त रेखा खींचता है। आर्टिफिशियल इंटेलिजेंस को प्रश्न के शब्दों को विशिष्ट व्यावसायिक अवधारणाओं से जोड़ने और एक मानव-क्यूरेटेड डेटा मैप द्वारा प्रदान किए गए विकल्पों के सेट में से चुनने की अनुमति है। यह नए कनेक्शन नहीं बना सकता या कोड के अंश नहीं लिख सकता। एक बार जब AI अपना चुनाव कर लेता है, तो एक नियतात्मक इंजन (deterministic engine) कमान संभाल लेता है। यह एक सॉफ्टवेयर का हिस्सा है जो AI के चयन को अंतिम डेटाबेस क्वेरी में बदलने के लिए निश्चित नियमों का पालन करता है। यह त्रुटियों की जाँच करता है, यह सुनिश्चित करता है कि तर्क सही हो, और कोड को तभी जारी करता है जब वह हर जाँच में पास हो जाता है। यदि AI का चुनाव अस्पष्ट है या किसी नियम का उल्लंघन करता है, तो सिस्टम अनुमान लगाने के बजाय उत्तर देने से मना कर देता है।

इसका परीक्षण करने के लिए, शोधकर्ताओं ने एक बीमा कंपनी के डेटा पर आधारित एक बेंचमार्क का उपयोग किया, जिसमें कई जटिल संबंध शामिल हैं, जैसे कि एक व्यक्ति की विभिन्न भूमिकाएँ (जैसे पॉलिसीहोल्डर, एजेंट या अंडरराइटर होना) और वे भूमिकाएँ पॉलिसियों और दावों से कैसे जुड़ती हैं। उन्होंने उन्हीं अड़तीस प्रश्नों के सेट पर दो अलग-अलग सिस्टम चलाए। पहला सिस्टम पारंपरिक दृष्टिकोण था, जहाँ AI सीधे डेटाबेस संरचना से कोड जेनरेट करता है। दूसरा सिस्टम नया निर्देशित दृष्टिकोण था। उन्होंने निरंतरता देखने के लिए प्रत्येक प्रश्न को तीन बार चलाया। पारंपरिक प्रणाली केवल अड़तीस में से इक्कीस प्रश्नों पर तीनों रन में सही उत्तर देने में सफल रही। इसके विपरीत, निर्देशित प्रणाली अड़तीस में से सैंतीस प्रश्नों पर सफल रही। इससे भी महत्वपूर्ण बात यह है कि पारंपरिक प्रणाली में उन अट्ठाइस मामलों में कोड सफलतापूर्वक चला लेकिन उत्तर गलत आया। निर्देशित प्रणाली ने ऐसे शून्य त्रुटियाँ उत्पन्न कीं। जब यह विफल हुआ, तो इसने भ्रामक संख्या प्रदान करने के बजाय, केवल उत्तर देने से मना कर दिया।

अध्ययन ने यह भी देखा कि क्या होता है जब डेटा को छिपी हुई त्रुटियों को उजागर करने के लिए थोड़ा बदला जाता है। बीमा डेटासेट में, कुछ प्रश्नों के लिए विवरण के एक विशिष्ट स्तर पर वस्तुओं की गणना करना आवश्यक होता है। यदि कंप्यूटर तालिकाओं को गलत तरीके से जोड़ता है, तो यह अनजाने में संख्याओं को गुणा कर सकता है, जिससे परिणाम बहुत अधिक हो जाता है। शोधकर्ताओं ने डेटाबेस के "काउंटरफैक्चुअल" (counterfactual) संस्करण बनाए जहाँ ये गुणन त्रुटियाँ स्पष्ट हो जातीं। उन्होंने पाया कि पारंपरिक प्रणाली अक्सर इन त्रुटियों को पकड़ने में विफल रही, और बढ़ी हुई संख्याएँ लौटाईं जो मूल डेटा पर सही दिखती थीं लेकिन संशोधित डेटा पर गलत थीं। निर्देशित प्रणाली, क्योंकि इसे सिमेंटिक मैप के सख्त नियमों का पालन करने के लिए मजबूर किया गया था, इन जालों से बच गई। इसने लगातार सही गणना की, भले ही कम सावधान प्रणाली को चकमा देने के लिए डेटा में बदलाव किया गया हो।

शोधकर्ताओं ने सावधानीपूर्वक नोट किया कि उनकी सफलता पूरे सिस्टम के मिलकर काम करने से आई, न कि केवल नए सॉफ्टवेयर इंजन से। निर्देशित प्रणाली के पास व्यावसायिक नियमों का एक विस्तृत, मानव-लिखित मानचित्र था, जो पारंपरिक प्रणाली के पास नहीं था। इसका मतलब है कि सुधार बेहतर ज्ञान के साथ अधिक सावधानीपूर्ण प्रक्रिया को संयोजित करने का परिणाम है। अध्ययन यह दावा नहीं करता है कि नई विधि हर संभव प्रश्न के लिए काम करेगी या यह सभी अनिश्चितताओं को दूर कर देगी। आर्टिफिशियल इंटेलिजेंस को अभी भी प्रारंभिक चुनाव करना पड़ता है, और यदि व्यावसायिक नियम मैप में ठीक से परिभाषित नहीं हैं, तो सिस्टम उत्तर देने से मना कर देगा। हालाँकि, इस बीमा डोमेन में पाए जाने वाले विशिष्ट प्रकार के जटिल, नियम-प्रधान प्रश्नों के लिए, एक निर्देशित AI और एक कठोर कंपाइलर का संयोजन विश्वसनीयता सुनिश्चित करने का एक शक्तिशाली तरीका साबित हुआ।

निष्कर्ष बताते हैं कि भविष्य में हम इन उपकरणों को बनाने के लिए किस तरह से बदलाव ला सकते हैं। यह उम्मीद करने के बजाय कि एक लार्ज लैंग्वेज मॉडल हर बार जटिल तर्क को सही करेगा, हम ऐसे सिस्टम बना सकते हैं जो मॉडल को सुरक्षित विकल्प चुनने के लिए बाध्य करें और फिर उन्हें निष्पादित करने के लिए नियतात्मक सॉफ्टवेयर का उपयोग करें। यह दृष्टिकोण विश्वास के एक बहुत उच्च स्तर के लिए कुछ लचीलेपन का त्याग करता है। एक ऐसी दुनिया में जहाँ डेटा महत्वपूर्ण व्यावसायिक निर्णय संचालित करता है, "मुझे नहीं पता" कहना "यहाँ एक गलत उत्तर है" कहने के बजाय, एक महत्वपूर्ण लाभ है। अध्ययन दिखाता है कि तर्क और जुड़ाव के भारी काम को संभाव्यता आधारित मॉडल से हटाकर एक नियम-आधारित इंजन को सौंपकर, हम उस स्तर की निरंतरता प्राप्त कर सकते हैं जो पहले कठिन थी। परिणाम एक ऐसा सिस्टम है जो न केवल स्मार्ट है, बल्कि भरोसेमंद भी है।