LLM-Based SQL Generation: Prompting, Self-Refinement, and Adaptive Weighted Majority Voting
यह शोध पत्र LLM-आधारित टेक्स्ट-टू-SQL जनरेशन के लिए एक नवीन फ्रेमवर्क प्रस्तावित करता है जो स्पाइडर (Spider) और बर्ड (BIRD) जैसे बेंचमार्क पर प्रतिस्पर्धी निष्पादन सटीकता प्राप्त करने के लिए सिंगल-एजेंट सेल्फ-रिफाइनमेंट विद एनसेम्बल वोटिंग (SSEV) पाइपलाइन और एक मल्टी-एजेंट कोलाबोरेटिव सिस्टम (ReCapAgent-SQL) को जोड़ता है, जो ग्राउंड-ट्रुथ डेटा पर निर्भर रहे बिना वास्तविक दुनिया के एंटरप्राइज डेटाबेस की जटिलताओं को प्रभावी ढंग से संबोधित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप जानकारी के एक विशाल पुस्तकालय (एक डेटाबेस) से एक प्रश्न पूछना चाहते हैं, लेकिन पुस्तकालयाध्यक्ष केवल एक बहुत ही सख्त, रोबोटिक भाषा बोलते हैं जिसे SQL कहा जाता है। आप स्वाभाविक अंग्रेजी बोलते हैं। इस शोध का लक्ष्य एक ऐसा अनुवादक बनाना है जो आपके अंग्रेजी प्रश्नों को सटीक SQL कमांड में बदल सके ताकि पुस्तकालय आपको उत्तर दे सके।
इस शोध के लेखक, यू-जी येंग (Yu-Jie Yang) और उनके सहयोगियों ने इस समस्या का समाधान किया कि ये अनुवादक अक्सर भ्रमित हो जाते हैं, गलतियाँ करते हैं, या पुस्तकालय के लेआउट को नहीं समझ पाते हैं। उन्होंने इसे ठीक करने के लिए दो मुख्य प्रणालियाँ बनाईं: एक "विशेषज्ञों की टीम" (Team of Experts) दृष्टिकोण और एक "विशेष एजेंट टीम" (Specialized Agent Team) दृष्टिकोण।
यहाँ उन्होंने इसे सरल उपमाओं का उपयोग करके समझाया है:
1. समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) वाला अनुवादक विफल होता है
कल्पना कीजिए कि आप किसी व्यक्ति से एक जटिल कानूनी दस्तावेज़ का दूसरी भाषा में अनुवाद करने के लिए कह रहे हैं। वे शायद कोई सूक्ष्म अंतर छोड़ दें, किसी नाम को गलत लिख दें, या गलत व्याकरण का उपयोग करें। डेटाबेस की दुनिया में, ऐसा तब होता है जब एक एकल AI मॉडल SQL कोड का अनुमान लगाने की कोशिश करता है। वह अक्सर "स्कीमा" (पुस्तकालय का नक्शा) में खो जाता है या आपके प्रश्न को गलत समझ लेता है।
2. पहला समाधान: "विशेषज्ञों की टीम" (SSEV पाइपलाइन)
लेखकों ने SSEV (Single-Agent Self-Refinement with Ensemble Voting) नामक एक प्रणाली बनाई। इसे केवल एक अनुवादक के रूप में नहीं, बल्कि एक मेज के चारों ओर बैठे पाँच अलग-अलग विशेषज्ञों के पैनल के रूप में सोचें।
- ड्राफ्टिंग चरण (PreSQL): पैनल उत्तर के लिए अपने प्रारंभिक अनुमान लिखते हैं।
- मैप चेक (Schema Linking): उन्हें एहसास होता है कि वे पुस्तकालय के एक विशाल मानचित्र को देख रहे हैं। पूरे मानचित्र को पढ़ने के बजाय, वे अपने पहले के अनुमानों का उपयोग करके केवल प्रासंगिक गलियारों और अलमारियों को हाइलाइट करते हैं। यह शोर (noise) को कम कर देता है।
- दूसरा ड्राफ्ट (PostSQL): मानचित्र को सीमित करने के बाद, वे एक अधिक साफ और केंद्रित दूसरा ड्राफ्ट लिखते हैं।
- "स्व-सुधार" लूप (Self-Correction Loop): यदि किसी ड्राफ्ट में कोई टाइपो (लिखने की गलती) है या वह काम नहीं करता है, तो वे उसे केवल फेंक नहीं देते। वे त्रुटि संदेश (error message) को देखते हैं, उसे ठीक करते हैं, और फिर से प्रयास करते हैं। यह एक लेखक द्वारा अपने काम को तब तक संपादित करने जैसा है जब तक कि वह समझ में न आ जाए।
- मतदान प्रणाली (WMA): यह असली सफलता का मंत्र है। केवल एक साधारण वोट के बजाय, जहाँ हर किसी को एक समान अंक मिलता है, वे एक वेटेड मेजॉरिटी एल्गोरिदम (Weighted Majority Algorithm) का उपयोग करते हैं।
- एक गेम शो की कल्पना करें जहाँ जजों के पास विश्वास के अलग-अलग स्तर होते हैं। यदि "जज A" लगातार 10 बार सही रहा है, तो उनके वोट की गिनती अधिक होगी। यदि "जज B" गलतियाँ करता रहता है, तो उनके वोट की गिनती कम होगी।
- सिस्टम लगातार इन "ट्रस्ट स्कोर" को अपडेट करता है कि किसने अतीत में सही उत्तर दिया है। समय के साथ, सिस्टम कमरे में सबसे स्मार्ट विशेषज्ञ की बात सुनने में सीख जाता है।
परिणाम: मानक परीक्षणों (जैसे Spider 1.0 और BIRD) पर, इस "विशेषज्ञों की टीम" वाले दृष्टिकोण ने लगभग 86% बार सही उत्तर दिया, जो अकेले काम करने वाले किसी भी एकल विशेषज्ञ की तुलना में बहुत बेहतर है।
3. दूसरा समाधान: "विशेष एजेंट टीम" (ReCAPAgent-SQL)
यहाँ तक कि और भी कठिन समस्याओं के लिए (जैसे कि नया Spider 2.0 डेटासेट, जो वास्तविक कॉर्पोरेट डेटाबेस की नकल करता है), एक साधारण पैनल पर्याप्त नहीं है। लेखकों ने ReCAPAgent-SQL बनाया, जो एक विशेष कार्य बल (specialized task force) की तरह है जहाँ प्रत्येक सदस्य के पास एक विशिष्ट कार्य होता है।
- द प्लानर (The Planner): आपके बड़े प्रश्न को छोटे, तार्किक चरणों में तोड़ता है (एक प्रोजेक्ट मैनेजर की तरह)।
- द रिट्राइवर (The Retriever): यदि टीम को कोई विशिष्ट नियम नहीं पता है, तो वह अतिरिक्त मैनुअल या दस्तावेज़ खोजने के लिए बाहर जाता है (एक शोधकर्ता की तरह)।
- द क्रिटिक (The Critic): काम की समीक्षा करता है और कहता है, "रुको, यह तर्क समझ में नहीं आता," या "आपने एक चरण छोड़ दिया।"
- द स्कीमा लिंकर (The Schema Linker): विशेष रूप से पुस्तकालय के मानचित्र को संभालता है, यह सुनिश्चित करता है कि वे सही तालिकाओं (tables) और कॉलमों को देख रहे हैं।
- द सेल्फ-रिफाइनर (The Self-Refiner): यदि कोड टूट जाता है, तो यह एजेंट उसे ठीक करता है।
- द वैलिडेटर (The Validator): अंतिम गुणवत्ता नियंत्रण निरीक्षक जो जाँचता है, "क्या यह उत्तर वास्तव में उपयोगकर्ता की समस्या को हल करता है?"
ये एजेंट एक लूप में एक-दूसरे से बात करते हैं। वे योजना बनाते हैं, कार्य करते हैं, आलोचना प्राप्त करते हैं, गलती सुधारते हैं, और तब तक फिर से प्रयास करते हैं जब तक कि वे इसे सही नहीं कर लेते।
परिणाम: जब उन्होंने सबसे कठिन, सबसे वास्तविक प्रश्नों (Spider 2.0-lite) पर इसका परीक्षण किया, तो उन्होंने एक बेसलाइन सिस्टम को लिया जो केवल 6% उत्तर सही दे पा रहा था और उसे बढ़ाकर 31% कर दिया। यह एक ऐसी क्षेत्र में एक बड़ी छलांग है जहाँ प्रगति आमतौर पर बहुत छोटे अंशों में मापी जाती है।
4. यह क्यों मायने रखता है
पेपर का दावा है कि स्व-सुधार (अपनी गलतियों को ठीक करना), स्मार्ट वोटिंग (सर्वश्रेष्ठ विशेषज्ञों को सुनना), और विशेष एजेंट (विशिष्ट भूमिकाओं वाली एक टीम होना) को जोड़कर, हम पहले की तुलना में बहुत बेहतर तरीके से जटिल, वास्तविक दुनिया के डेटा प्रश्नों को संभाल सकते हैं।
उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इन विधियों का परीक्षण मानक बेंचमार्क पर किया और सिद्ध किया कि:
- वेटेड वोटिंग (Weighted Voting) साधारण मेजॉरिटी वोटिंग की तुलना में बेहतर काम करती है क्योंकि यह इस बात पर अनुकूलित होती है कि वास्तव में कौन कार्य में अच्छा है।
- सेल्फ-रिफाइनमेंट (Self-Refinement) उन त्रुटियों को ठीक करने में मदद करता है जो तब होती हैं जब डेटाबेस कहता है "नहीं, वह कमांड गलत है।"
- मल्टी-एजेंट सिस्टम (Multi-Agent Systems) वास्तविक कंपनियों में पाए जाने वाले जटिल, अव्यवस्थित डेटाबेस के लिए आवश्यक हैं।
संक्षेप में, उन्होंने एक स्मार्ट, अधिक लचीला अनुवादक बनाया जो अपनी गलतियों से सीखता है और अपने सर्वश्रेष्ठ विशेषज्ञों की बात सुनता है, जिससे सामान्य लोगों के लिए विशाल डेटाबेस से जटिल प्रश्न पूछना बहुत आसान हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।