ACTS-SQL: Agentic and Critic-Oriented Tree-Structured SQL Correctness with Large Language Models

आधुनिक दुनिया में, विशाल मात्रा में जानकारी डिजिटल गोदामों में संग्रहीत की जाती है जिन्हें डेटाबेस कहा जाता है। इन गोदामों से प्रश्न पूछने के लिए, लोग SQL नामक एक विशिष्ट भाषा का उपयोग करते हैं, जो संरचित डेटा प्राप्त करने के लिए प्राथमिक इंटरफ़ेस के रूप में कार्य करती है। हालाँकि इस भाषा को सही ढंग से लिखने के लिए जटिल संबंधों और तर्क की गहरी समझ की आवश्यकता होती है, फिर भी अनुभवी मनुष्य भी गलतियाँ करते हैं जिससे गलत उत्तर मिलते हैं। हाल ही में, लार्ज लैंग्वेज मॉडल्स (large language models) नामक शक्तिशाली कंप्यूटर प्रणालियों को इन प्रश्नों को स्वचालित रूप से लिखने के लिए सिखाया गया है, जो डेटा को सभी के लिए सुलभ बनाने का वादा करते हैं। हालाँकि, ये मॉडल अक्सर ऐसे क्वेरी (queries) उत्पन्न करते हैं जो देखने में सही लगते हैं लेकिन उपयोगकर्ता के वास्तविक प्रश्न का उत्तर देने में विफल रहते हैं, या उनमें सूक्ष्म त्रुटियां होती हैं जो कंप्यूटर को क्रैश कर देती हैं या भ्रामक परिणाम देती हैं। इन गलतियों को ठीक करना कठिन है क्योंकि क्वेरी के एक हिस्से में छोटा सा बदलाव पूरे अनुरोध के अर्थ को पूरी तरह से बदल सकता है।

रेन्मिन यूनिवर्सिटी ऑफ चाइना और बाइटडांस (ByteDance) के शोधकर्ताओं की एक टीम ने इन कंप्यूटर प्रणालियों को अपनी गलतियों को स्वयं सुधारने में मदद करने का एक नया तरीका विकसित किया है। एक गलत क्वेरी को एक सीधी रेखा में सुधारने की कोशिश करने के बजाय, उनकी प्रणाली, जिसे ACTS-SQL कहा जाता है, इस प्रक्रिया को एक शाखाओं वाले पथ (branching path) की तरह मानती है जहाँ कंप्यूटर एक साथ कई संभावनाओं का पता लगा सकता है। यदि कंप्यूटर गलत मोड़ ले लेता है, तो वह एक त्रुटिपूर्ण धारणा पर अटकने के बजाय पीछे हट सकता है और एक अलग मार्ग आजमा सकता है। इस दृष्टिकोण का परीक्षण मानक बेंचमार्क और एक वास्तविक औद्योगिक प्रणाली पर किया गया था, जहाँ इसने कंप्यूटर द्वारा उत्पन्न किए गए प्रश्नों की सटीकता में काफी सुधार किया। शोधकर्ताओं ने पाया कि सिस्टम को रुकने, अपने काम की जाँच करने और अपने विकल्पों पर पुनर्विचार करने की अनुमति देकर, यह उन समस्याओं को हल कर सका जिन्हें पिछली विधियाँ नहीं कर सकीं, जिससे यह तकनीक रोजमर्रा के उपयोग के लिए बहुत अधिक विश्वसनीय बन गई।

मुख्य समस्या जिसे शोधकर्ताओं ने संबोधित किया वह यह है कि वर्तमान कंप्यूटर प्रणालियाँ अक्सर त्रुटियों के एक चक्र में फंस जाती हैं। जब एक मॉडल गलत क्वेरी बनाता है, तो पुरानी सुधार विधियाँ आमतौर पर एक एकल तर्क प्रक्रिया में चरण-दर-चरण इसे ठीक करने का प्रयास करती हैं। यदि मॉडल शुरुआत में कोई गलती करता है, जैसे कि किसी विशिष्ट शब्द के अर्थ को समझने में, तो उसके बाद का प्रत्येक सुधार उस प्रारंभिक त्रुटि पर आधारित होता है। यह एक भूलभुलैया में नेविगेट करने जैसा है जहाँ आप केवल आगे बढ़ते हैं; यदि आप शुरुआत में गलत मोड़ लेते हैं, तो आप एक गलत रास्ते पर चलते रहेंगे, यह विश्वास करते हुए कि आप सही पथ पर हैं, जब तक कि आपके पास विकल्प समाप्त न हो जाएं। शोधकर्ताओं ने देखा कि ये रैखिक (linear) विधियाँ नाजुक हैं क्योंकि वे अपने पहले चुनाव पर पुनर्विचार करने के लिए आसानी से पीछे नहीं जा सकतीं। एक बार जब कंप्यूटर उपयोगकर्ता के अनुरोध की एक विशिष्ट व्याख्या के प्रति प्रतिबद्ध हो जाता है, तो वह शायद ही कभी अपना विचार बदलता है, भले ही परिणाम सिद्ध करें कि वह गलत है।

इसे हल करने के लिए, टीम ने एक प्रणाली डिजाइन की जो सुधार प्रक्रिया को एक वृक्ष संरचना (tree structure) में व्यवस्थित करती है। एक निर्णय वृक्ष (decision tree) की कल्पना करें जहाँ कंप्यूटर शीर्ष से शुरू होता है और, जब भी कोई टूल एक नया निर्णय बिंदु पेश करता है—जैसे कि जब 'एम्बिग्युइटी डिटेक्ट' (Detect Ambiguities) टूल उपयोगकर्ता के अनुरोध में विशिष्ट अस्पष्ट वाक्यांशों की पहचान करता है—तो यह विभिन्न शाखाओं में विभाजित हो जाता है, जिनमें से प्रत्येक एक अलग संभावित अर्थ का प्रतिनिधित्व करता है। एक शाखा मान सकती है कि उपयोगकर्ता एक वर्ष की सभी बिक्री देखना चाहता है, जबकि दूसरी यह मान सकती है कि वे एक विशिष्ट महीने की बिक्री देखना चाहते हैं। सिस्टम फिर प्रत्येक शाखा का स्वतंत्र रूप से परीक्षण करता है। यदि कोई शाखा ऐसे परिणाम की ओर ले जाती है जो उपयोगकर्ता के इच्छित अर्थ से मेल नहीं खाती है, तो सिस्टम उस शाखा को काट सकता है और अलग रास्ता आजमाने के लिए विभाजन बिंदु पर वापस लौट सकता है। पीछे हटने और विकल्पों का पता लगाने की यह क्षमता कंप्यूटर को एक एकल, गलत विचार पर अटकने से रोकती है।

यह प्रणाली एक केंद्रीय "मस्तिष्क" का उपयोग करके कार्य करती है जो क्वेरी को ठीक करने के लिए एक योजना बनाता है। यह योजना चरणों की एक सरल सूची नहीं है बल्कि संभावित कार्यों का एक मानचित्र है। कंप्यूटर इस मानचित्र पर नेविगेट करने में मदद करने के लिए विशेष उपकरणों का उपयोग करता है। एक टूल सिस्टम को उपयोगकर्ता के प्रश्न में अस्पष्ट शब्दों को पहचानने और उन्हें समझने के विभिन्न तरीकों को उत्पन्न करने में मदद करता है। दूसरा टूल कंप्यूटर को वास्तविक डेटाबेस के विरुद्ध क्वेरी के छोटे हिस्सों को चलाने की अनुमति देता है ताकि यह देखा जा सके कि क्या डेटा वापस आता है, जो यह देखने के लिए एक त्वरित परीक्षण की तरह है कि क्या कोई विचार काम करता है। यदि कंप्यूटर को सिंटैक्स एरर (syntax error) मिलता है, जो कि क्वेरी के व्याकरण में एक गलती है, तो एक विशेष टूल क्वेरी को छोटे टुकड़ों में तोड़ देता है ताकि यह पता लगाया जा सके कि व्याकरण कहाँ गलत हुआ, बिना पूरी चीज़ को फिर से लिखे।

शोधकर्ताओं ने अपने सिस्टम का परीक्षण BIRD-Critic नामक एक बेंचमार्क पर किया, जिसमें विभिन्न प्रकार की त्रुटियों के साथ कई कठिन SQL क्वेरी के उदाहरण शामिल हैं। उन्होंने अन्य दृष्टिकोणों के मुकाबले अपने तरीके का परीक्षण किया, जिसमें विशेष रूप से SQL को ठीक करने के लिए प्रशिक्षित शक्तिशाली मॉडल और अन्य सिस्टम शामिल थे जो रैखिक, चरण-दर-चरण विधि का उपयोग करके त्रुटियों को सुधारने का प्रयास करते हैं। परिणामों ने दिखाया कि उनका वृक्ष-संरचित (tree-structured) दृष्टिकोण काफी अधिक सटीक था। बेंचमार्क पर, नए सिस्टम ने पिछले सर्वोत्तम तरीके की तुलना में सफलता दर में 9.42 प्रतिशत अंक का सुधार किया। यह सुधार विभिन्न प्रकार की डेटाबेस भाषाओं में भी बना रहा, जिससे पता चलता है कि यह विधि मजबूत है और क्वेरी लिखने की किसी विशिष्ट शैली पर निर्भर नहीं है।

यह सिद्ध करने के लिए कि सिस्टम वास्तविक दुनिया में काम करता है, शोधकर्ताओं ने इसे बाइटडांस के एक प्रोडक्शन वातावरण में तैनात किया, विशेष रूप से 'टॉर्च लॉग सर्विस' (Torch Log Service) नामक एक लॉग विश्लेषण सेवा के भीतर। इस सेटिंग में, सिस्टम का उपयोग उपयोगकर्ताओं को भेजे जाने से पहले एक मजबूत भाषा मॉडल द्वारा उत्पन्न क्वेरी को ठीक करने के लिए किया गया था। परिणाम आश्चर्यजनक थे: वास्तव में सफलतापूर्वक निष्पादित की जाने वाली क्वेरी की सटीकता 36.77% से बढ़कर 53.61% हो गई। इसका अर्थ है कि जटिल, अनुकूलित डेटा वाले वास्तविक दुनिया के परिदृश्य में, सिस्टम विफल प्रयासों के बहुमत को सफलताओं में बदलने में सक्षम था। शोधकर्ताओं ने नोट किया कि यह सुधार अंतर्निहित कंप्यूटर मॉडल को नए डेटा पर पुन: प्रशिक्षित किए बिना हुआ, जिससे यह समाधान व्यावहारिक और मौजूदा प्रणालियों में एकीकृत करना आसान हो गया।

अध्ययन ने पीछे हटने (backtrack) की क्षमता के महत्व पर भी प्रकाश डाला। एक विस्तृत केस स्टडी में, शोधकर्ताओं ने दिखाया कि कैसे एक रैखिक विधि "मासिक बिक्री" के बारे में एक क्वेरी को ठीक करने में विफल रही क्योंकि वह इस विचार पर अटक गई थी कि उपयोगकर्ता वार्षिक बिक्री का अर्थ चाहता था। कितनी भी बार रैखिक सिस्टम ने क्वेरी को ट्यून करने का प्रयास किया, वह उस प्रारंभिक गलत धारणा से बाहर नहीं निकल सका। इसके विपरीत, वृक्ष-संरचित प्रणाली ने अस्पष्टता को पहचाना, वार्षिक बिक्री के विचार को आजमाया, देखा कि वह विफल रहा, और फिर तुरंत उस शाखा पर स्विच कर गई जिसने अनुरोध को मासिक डेटा के रूप में सही ढंग से समझा। साक्ष्य के आधार पर दिशा बदलने की यह क्षमता इसकी सफलता की कुंजी थी।

हालाँकि नया सिस्टम अधिक प्रभावी है, लेकिन इसे चलाने में थोड़ा अधिक समय लगता है क्योंकि यह कई पथों का पता लगाता है और अधिक परीक्षण करता है। शोधकर्ताओं ने क्वेरी को ठीक करने में लगने वाले समय को मापा और पाया कि इसने प्रक्रिया में कुछ मिनट जोड़ दिए, जो सटीकता में महत्वपूर्ण वृद्धि के लिए एक उचित समझौता है। उन्होंने यह भी पाया कि सिस्टम विभिन्न प्रकार के कंप्यूटर मॉडलों के साथ अच्छा काम करता है, न कि केवल उसी मॉडल के साथ जिसका उन्होंने परीक्षण के लिए उपयोग किया था, जो यह दर्शाता है कि यह दृष्टिकोण लचीला है और व्यापक रूप से लागू किया जा सकता है।

यह कार्य प्रदर्शित करता है कि डेटाबेस क्वेरी लिखने जैसे जटिल कार्यों के लिए, एक सरल, रैखिक दृष्टिकोण की तुलना में एक संरचित, योजना-आधारित दृष्टिकोण बेहतर है। कंप्यूटर को रुकने, कई विकल्पों पर विचार करने और गलती होने पर पीछे हटने की क्षमता देकर, सिस्टम बहुत अधिक विश्वसनीय हो जाता है। यह निष्कर्ष बताता है कि डेटा विश्लेषण के लिए कृत्रिम बुद्धिमत्ता में भविष्य के सुधार संभवतः केवल मॉडलों को अलग से स्मार्ट बनाने पर नहीं, बल्कि उन्हें अपने काम की जाँच करने के लिए बेहतर उपकरण और प्रक्रियाएं देने पर निर्भर करेंगे। शोधकर्ताओं ने अपने कोड और डेटा को उपलब्ध कराया है, जिससे अन्य लोग इस पद्धति को और बेहतर बनाने के लिए इस पर काम कर सकें।