💬 NLP

CA-SQL: Complexity-Aware Inference Time Reasoning for Text-to-SQL via Exploration and Compute Budget Allocation

CA-SQL एक नवीन Text-to-SQL फ्रेमवर्क है जो कार्य की जटिलता के आधार पर अन्वेषण की व्यापकता को गतिशील रूप से स्केल करके, विकासवादी प्रॉम्प्ट सीडिंग (evolutionary prompt seeding) का उपयोग करके, और केवल GPT-4o-mini का उपयोग करके BIRD डेटासेट पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए एक वोटिंग तंत्र का उपयोग करके चुनौतीपूर्ण बेंचमार्क पर तर्क क्षमता को बढ़ाता है।

मूल लेखक: James Petullo, Nianwen Xue

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: James Petullo, Nianwen Xue

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही जटिल पहेली को हल करने की कोशिश कर रहे हैं, लेकिन इसमें केवल एक व्यक्ति काम नहीं कर रहा है, बल्कि आपके पास AI जासूसों की एक टीम है। लक्ष्य एक साधारण अंग्रेजी में लिखे गए प्रश्न (जैसे "मुझे वे सभी ग्राहक दिखाएं जिन्होंने पिछले साल लाल जूते खरीदे थे") को एक विशिष्ट कंप्यूटर भाषा में अनुवाद करना है जिसे SQL कहा जाता है, जिसे डेटाबेस समझता है।

यह Text-to-SQL समस्या है। हालांकि AI इस काम में बहुत अच्छा हो गया है, फिर भी यह सबसे कठिन पहेलियों से जूझता रहता है। यह शोध पत्र तर्क देता है कि वर्तमान AI विधियाँ एक ऐसे जासूस की तरह हैं जो केवल एक समय में एक सुराग देखता है, या एक सरल पहेली को सुलझाने के लिए उतनी ही मेहनत करता है जितनी एक जटिल मर्डर मिस्ट्री के लिए की जाती है।

यहाँ बताया गया है कि कैसे लेखकों की नई विधि, CA-SQL, खेल बदल देती है, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है:

1. "कठिनाई मीटर" (प्रयास का पैमाना - Scaling Effort)

समस्या: वर्तमान में, अधिकांश AI सिस्टम हर प्रश्न के साथ एक जैसा व्यवहार करते हैं। वे एक सरल प्रश्न ("फ्रांस की राजधानी क्या है?") के लिए भी उतने ही समय और कंप्यूटर पावर का उपयोग करते हैं जितना कि एक जटिल प्रश्न के लिए ("उन कर्मचारियों का औसत वेतन ज्ञात करें जिन्होंने 2022 में एक प्रोजेक्ट का प्रबंधन किया था और जिनका वेतन औसत से अधिक था")। यह अक्षम है।

CA-SQL का समाधान: लेखकों ने एक "कठिनाई मीटर" बनाया है। AI काम शुरू करने से पहले खुद से पूछता है: "यह विशिष्ट पहेली कितनी कठिन है?"

उदाहरण: इसे एक होम रिपेयर सर्विस की तरह समझें। यदि आप एक टपकते नल को ठीक करने के लिए कॉल करते हैं, तो वे एक बुनियादी टूलकिट के साथ एक मिस्त्री भेजते हैं। यदि आप एक ढहती हुई छत को ठीक करने के लिए कॉल करते हैं, तो वे पूरी टीम और भारी मशीनरी के साथ आते हैं। CA-SQL गतिशील रूप से कठिन प्रश्नों के लिए अधिक "बौद्धिक शक्ति" और समय आवंटित करता है और आसान प्रश्नों के लिए कम।

2. "बीज उद्यान" (अधिक विकल्पों की खोज - Exploring More Options)

समस्या: SQL समस्या को हल करने के लिए, AI को यह जानने की आवश्यकता है कि डेटाबेस के कौन से हिस्से (टेबल और कॉलम) प्रासंगिक हैं। अधिकांश विधियाँ प्रासंगिक हिस्सों की एक सूची चुनती हैं और उसी पर टिकी रहती हैं। यह AI की रचनात्मकता को सीमित करता है, जैसे केवल रंगों के एक विशिष्ट सेट का उपयोग करके चित्र बनाने की कोशिश करना।

CA-SQL का समाधान: एक सूची चुनने के बजाय, CA-SQL अलग-अलग सूचियों (स्कीमा सबसेट्स) का एक पूरा "उद्यान" बनाता है।

उदाहरण: कल्पना कीजिए कि आप केक बना रहे हैं। हर बार एक ही रेसिपी और सामग्री के एक ही कटोरे का उपयोग करने के बजाय, CA-SQL थोड़ा अलग संयोजन के साथ दस अलग-अलग कटोरे बनाता है। फिर यह विभिन्न केक संस्करणों को बेक करने के लिए इन विभिन्न कटोरों का उपयोग करता है। यह सुनिश्चित करता है कि AI संभावनाओं की एक बहुत विस्तृत विविधता को एक्सप्लोर करे।

3. "विकासवादी शेफ" (उत्तरों में सुधार - Improving the Answers)

समस्या: एक बार जब AI कुछ उत्तर उत्पन्न कर लेता है, तो उसे सबसे अच्छा चुनना होता है या खराब उत्तरों को ठीक करना होता है। वर्तमान विधियाँ अक्सर केवल AI से पूछती हैं, "कौन सा सही है?" या "फिर से प्रयास करें," जो दोहराव वाला और बिना रचनात्मकता वाला हो सकता है।

CA-SQL का समाधान: लेखक एक तकनीक का उपयोग करते हैं जो विकास (evolution) से प्रेरित है।

उदाहरण: कल्पना कीजिए कि एक शेफ सूप चख रहा है।
- आलोचक (The Critic): एक आलोचक सूप चखता है और कहता है, "यह बहुत नमकीन है, लेकिन जड़ी-बूटियाँ अच्छी हैं। मैं इसे 7/10 दूँगा।"
- उत्परिवर्तन (The Mutation): उस रेसिपी को फेंकने के बजाय, शेफ उस रेसिपी को लेता है और उसमें बदलाव (mutate) करता है। शायद वे नमक की जगह काली मिर्च डाल दें या एक नया मसाला जोड़ दें।
- क्रॉसओवर (Crossover): शेफ सूप A की "अच्छी जड़ी-बूटियों" को सूप B के "अच्छे शोरबे (broth)" के साथ मिला सकता है ताकि एक बिल्कुल नया सूप C बनाया जा सके।
- यह प्रक्रिया दोहराई जाती है, लगातार सबसे अच्छे विचारों को मिलाकर और उनमें बदलाव करके एक "सुपर-सूप" बनाया जाता है जो पूर्ण उत्तर के करीब होता है।

4. "स्कोरबोर्ड" (विजेता चुनना - Picking the Winner)

समस्या: कई अलग-अलग सूप रेसिपी (SQL क्वेरी) उत्पन्न करने के बाद, आप विजेता को कैसे चुनते हैं? अधिकांश सिस्टम "बहुमत मतदान" (उस उत्तर को चुनना जो सबसे अधिक बार आता है) का उपयोग करते हैं। लेकिन कभी-कभी, सबसे आम उत्तर केवल एक लोकप्रिय गलती होती है।

CA-SQL का समाधान: वे "सम-रिवॉर्ड्स" (Sum-of-Rewards) प्रणाली का उपयोग करते हैं।

उदाहरण: केवल यह गिनने के बजाय कि कितने लोगों ने एक उम्मीदवार के लिए वोट दिया, वे एक विस्तृत स्कोरबोर्ड देखते हैं। वे उत्तर कितना सटीक था, AI कितना आश्वस्त था, और कितने सुधार की आवश्यकता थी, इसके लिए अंक जोड़ते हैं। जिस उत्तर का कुल स्कोर सबसे अधिक होता है, वही जीतता है, भले ही वह सबसे आम उत्तर न हो।

परिणाम: छोटा मॉडल, बड़ी जीत

सबसे आश्चर्यजनक हिस्सा इस शोध पत्र का परिणाम है। लेखकों ने इस सिस्टम का परीक्षण GPT-4o-mini का उपयोग करके किया, जो कि GPT-4o या GPT-4 जैसे दिग्गजों की तुलना में एक छोटा, सस्ता और कम शक्तिशाली AI मॉडल है।

दावा: अपने "कठिनाई मीटर", "बीज उद्यान" और "विकासवादी शेफ" का उपयोग करके, उनके छोटे AI मॉडल ने BIRD बेंचमार्क (एक कठिन Text-to-SQL टेस्ट) की सबसे कठिन श्रेणी में अन्य सभी विधियों को हरा दिया।
स्कोर: उन्होंने "चुनौतीपूर्ण" कार्यों पर 51.72% सफलता दर हासिल की, जो उन विधियों से बेहतर है जो बहुत बड़े और अधिक महंगे मॉडलों का उपयोग करती हैं।

सारांश

संक्षेप में, CA-SQL अंग्रेजी को डेटाबेस कोड में अनुवाद करने के लिए AI का उपयोग करने का एक स्मार्ट तरीका है। यह केवल अधिक प्रयास नहीं करता है; यह स्मार्ट तरीके से प्रयास करता है। यह मापता है कि कार्य कितना कठिन है, कई अलग-अलग शुरुआती बिंदुओं को एक्सप्लोर करता है, एक जैविक जीव की तरह उत्तरों को विकसित करता है, और एक विस्तृत स्कोरकार्ड के आधार पर विजेता चुनता है। परिणाम यह है कि एक "छोटा" AI भी सबसे कठिन पहेलियों को "बड़े" AI से बेहतर हल कर सकता है यदि उसे सही रणनीति दी जाए।

तकनीकी सारांश: CA-SQL

समस्या विवरण

इन्फरेंस-टाइम लर्निंग (inference-time learning) में हालिया प्रगति ने टेक्स्ट-टू-SQL कार्यों के लिए लार्ज लैंग्वेज मॉडल (LLM) की तर्क क्षमता को बढ़ाया है, फिर भी वर्तमान समाधान BIRD बेंचमार्क के सबसे जटिल कार्यों के साथ काफी संघर्ष करते हैं। प्राथमिक बाधा समाधान स्थान (solution space) का अपर्याप्त अन्वेषण (inadequate exploration) है। मौजूदा दृष्टिकोण अक्सर अन्वेषण (विविध उम्मीदवार क्वेरी उत्पन्न करना) और शोषण (promising उम्मीदवारों को परिष्कृत करना) के बीच संतुलन बनाने का प्रयास करते हैं, लेकिन वे पर्याप्त संख्या में अद्वितीय, उच्च-गुणवत्ता वाले उम्मीदवारों का पूल बनाने में विफल रहते हैं।

वर्तमान सीमाएँ शामिल हैं:

स्थिर स्कीमा लिंकिंग (Static Schema Linking): अधिकांश विधियाँ डेटाबेस टेबल और कॉलम के एकल उपसमुच्चय (subset) से उम्मीदवार क्वेरी प्राप्त करती हैं, जिससे खोज स्थान की विविधता सीमित हो जाती है।
समान कंप्यूट आवंटन (Uniform Compute Allocation): समाधान आमतौर पर सभी कार्यों के लिए समान कंप्यूटेशनल बजट आवंटित करते हैं, चाहे उनकी कठिनाई कुछ भी हो। इससे जटिल कार्यों का अन्वेषण कम हो जाता है और सरल कार्यों का अत्यधिक अनुकूलन (over-optimization) हो जाता है।
अप्रभावी चयन (Ineffective Selection): मानक चयन विधियाँ, जैसे कि साधारण बहुमत मतदान (majority voting) या LLM-as-a-judge, अक्सर क्वेरी संरचना में सूक्ष्म अंतरों को पहचानने या विविध उम्मीदवारों के पूल से सही समाधान चुनने में विफल रहती हैं।

कार्यप्रणाली: CA-SQL

लेखक CA-SQL (Complexity-Aware Inference Time Reasoning) का प्रस्ताव करते हैं, जो एक ऐसा पाइपलाइन है जिसे कार्य की अनुमानित कठिनाई के आधार पर खोज प्रक्रिया की चौड़ाई (breadth) और गहराई (depth) को गतिशील रूप से स्केल करने के लिए डिज़ाइन किया गया है। यह कार्यप्रणाली चार मुख्य घटकों से बनी है:

1. कार्य कठिनाई स्कोरिंग (Task Difficulty Scoring)

समाधान उत्पन्न करने से पहले, एक LLM ( $LLM_{difficulty}$ ) प्राकृतिक भाषा प्रश्न ( $Q$ ), पूर्ण डेटाबेस स्कीमा ( $S$ ), और एक उपयोग उदाहरण ( $H$ ) का विश्लेषण करता है ताकि एक कठिनाई स्कोर $C$ (1 से 5 तक की सीमा में) निर्धारित किया जा सके। यह स्कोर कंप्यूटेशनल बजट को निर्देशित करता है:

उच्च $C$ : एक व्यापक खोज चौड़ाई (अधिक समानांतर शोधन/parallel refinements) और अधिक खोज गहराई को ट्रिगर करता है।
निम्न $C$ : कम संसाधन आवंटित करता है, जिससे सरल कार्यों पर अत्यधिक अनुकूलन को रोका जा सके।

2. प्रॉम्प्ट सीडिंग के लिए स्कीमा उपसमुच्चय पीढ़ी (Schema Subset Generation for Prompt Seeding)

एकल-स्कीमा उपसमुच्चयों की विविधता सीमाओं को दूर करने के लिए, CA-SQL एक स्थिर उपसमुच्चय पर निर्भर रहने के बजाय विशिष्ट स्कीमा उपसमुच्चयों के एक पूल ( $S'_1, ..., S'_N$ ) को उत्पन्न करता है।

प्रारंभिक सीडिंग (Initial Seeding): स्कीमा जनरेटर प्रासंगिक तालिकाओं और कॉलम के अद्वितीय उपसमुच्चय बनाने के लिए $N$ बार नमूना (sample) लेता है।
विकासवादी विस्तार (Evolutionary Expansion): प्रत्येक पुनरावृत्ति (iteration) के लिए LLM से पुनः नमूना लेने के बजाय, पाइपलाइन नए स्कीमा उपसमुच्चय बनाने के लिए क्रॉसओवर (दो उपसमुच्चयों को मिलाना) और म्यूटेशन (यादृच्छिक रूप से टेबल-कॉलम जोड़े को हटाना) का उपयोग करती है। यह विकासवादी दृष्टिकोण आगामी उम्मीदवार क्वेरी को सीड करने के लिए नवीन टेबल-कॉलम संयोजनों का उत्पादन करता है, जिससे खोज स्थान की विशिष्टता बढ़ जाती है।

3. उम्मीदवार पीढ़ी और शोधन (Candidate Generation and Refinement)

प्रत्येक स्कीमा उपसमुच्चय के लिए, एक उम्मीदवार क्वेरी ( $Q_C$ ) उत्पन्न की जाती है और उसे डेटाबेस के विरुद्ध निष्पादित किया जाता है।

क्रिटिक मूल्यांकन (Critic Evaluation): एक क्रिटिक LLM ( $LLM_{critic}$ $LL M_{cr i t i c}$ ) सफल क्वेरी का मूल्यांकन करता है, और निम्नलिखित को असाइन करता है:
- स्कोर ( $s$ ): कार्य के इरादे के सापेक्ष सटीकता।
- कॉन्फिडेंस ( $k$ ): भविष्यवाणी में निश्चितता।
- म्यूटेशन टेम्परेचर ( $t$ ): क्वेरी को सुधारने के लिए आवश्यक परिवर्तन की डिग्री।
- आकलन ( $A$ ): संशोधन के लिए विशिष्ट सिफारिशें।
रिवॉर्ड गणना (Reward Calculation): एक रिवॉर्ड स्कोर $R$ की गणना की जाती है: $R = s \times (1 - t) \times k$ । यह सूत्र उन क्वेरी को दंडित करता जिनमें महत्वपूर्ण बदलावों (उच्च $t$ ) की आवश्यकता होती है और स्कोर को क्रिटिक के कॉन्फिडेंस ( $k$ ) के आधार पर वेट देता है।
म्यूटेशन (Mutation): आकलन और टेम्परेचर के आधार पर, एक म्यूटेटर LLM ( $LLM_{mutate}$ ) एक बेहतर उम्मीदवार ( $Q'_C$ ) बनाने के लिए क्वेरी को फिर से लिखता है।

4. स्केलिंग और अंतिम चयन (Scaling and Final Selection)

शोधन चरणों (refinement steps) की संख्या और स्कीमा पूल का आकार कठिनाई स्कोर $C$ द्वारा स्केल किया जाता है।

खोज स्केलिंग (Search Scaling): पाइपलाइन उपसमुच्चय निर्माण, पीढ़ी और शोधन के $C$ पुनरावittियों (iterations) को निष्पादित करती है। अत्यधिक चरणों के कारण फीडबैक की गुणवत्ता में गिरावट को रोकने के लिए, एकल क्वेरी के लिए अधिकतम शोधन गहराई को $\lfloor C/2 \rfloor + 1$ पर सीमित किया गया है।
सम-रिवॉर्ड वोटिंग (Sum-of-Rewards Voting): बहुमत मतदान के बजाय, अंतिम समाधान को बफर में सभी उम्मीदवार क्वेरी में से अधिकतम रिवॉर्ड के योग से जुड़े आउटपुट ( $O$ ) की पहचान करके चुना जाता है। यह विधि आवृत्ति (frequency) पर भरोसा करने के बजाय सभी प्रयासों की गुणवत्ता को एकत्रित करती है।

प्रमुख योगदान

गतिशील संसाधन आवंटन (Dynamic Resource Allocation): जटिल कार्यों को पर्याप्त अन्वेषण सुनिश्चित करने के लिए इन्फरेंस-टाइम खोज चौड़ाई और गहराई को गतिशील रूप से स्केल करने के लिए एक कार्य कठिनाई मीट्रिक का परिचय।
विकासवादी स्कीमा सीडिंग (Evolutionary Schema Seeding): उम्मीदवार क्वेरी पूल का विस्तार करने के लिए कई स्कीमा उपसमुच्चयों और विकासवादी ऑपरेटरों (क्रॉसओवर/म्यूटेशन) का उपयोग करने वाली एक नवीन विधि, जिसके परिणामस्वरूप एकल-उपसमुच्चय दृष्टिकोणों की तुलना में उच्च क्वेरी विशिष्टता प्राप्त होती है।
नवीन चयन तंत्र (Novel Selection Mechanism): एक सम-रिवॉर्ड वोटिंग रणनीति जो उम्मीदवार मूल्यांकनों की संचयी गुणवत्ता को प्राथमिकता देकर मानक सेल्फ-कंसिस्टेंसी और बहुमत मतदान तकनीकों से बेहतर प्रदर्शन करती है।
अनुभवजन्य विश्लेषण (Empirical Analysis): मौजूदा टेक्स्ट-टू-SQL अन्वेषण तकनीकों की सीमाओं का अनुभवजन्य विश्लेषण करने वाला और कठिनाई-जागरूक स्केलिंग की प्रभावकारिता को प्रदर्शित करने वाला पहला कार्य।

प्रयोगात्मक परिणाम

लेखकों ने GPT-4o-mini को बेस मॉडल के रूप में उपयोग करते हुए BIRD डेवलपमेंट डेटासेट पर CA-SQL का मूल्यांकन किया।

चुनौतीपूर्ण टियर प्रदर्शन (Challenging Tier Performance): CA-SQL ने BIRD के "चुनौतीपूर्ण" (challenging) टियर पर 51.72% निष्पादन सटीकता (EX) प्राप्त की। यह मौजूदा इन-कॉन्टेक्स्ट लर्निंग (ICL) विधियों को पछाड़ देता है, जिसमें GPT-4 और GPT-4o जैसे बड़े मॉडलों का उपयोग करने वाले तरीके भी शामिल हैं (जैसे, MCTS + GPT-4o ने 51.48% स्कोर किया)।
कुल प्रदर्शन (Overall Performance): सिस्टम ने पूरे डेवलपमेंट सेट में 61.06% निष्पादन सटीकता और 68.77% सॉफ्ट F1 स्कोर प्राप्त किया।
तुलना (Comparison): जबकि CA-SQL गहराई-केंद्रित SOTA विधियों की तुलना में "सरल" और "मध्यम" टियर्स पर थोड़ा कम प्रदर्शन करता है, यह चुनौतीपूर्ण कार्यों पर प्रदर्शन के अंतर को महत्वपूर्ण रूप से कम कर देता है। परिणाम बताते हैं कि जटिल समस्याओं के लिए उचित अन्वेषण, गहराई की तुलना में अधिक महत्वपूर्ण है।

महत्व और दावे

पेपर का दावा है कि जटिल टेक्स्ट-टू-SQL कार्यों पर LLM के प्रदर्शन के लिए मॉडल की कच्ची क्षमता (raw capability) के बजाय अन्वेषण ही सीमित कारक (limiting factor) है। यह प्रदर्शित करके कि एक छोटा, लागत प्रभावी मॉडल (GPT-4o-mini) मानक खोज विधियों का उपयोग करने वाले बड़े मॉडलों से बेहतर प्रदर्शन कर सकता है, लेखक टेक्स्ट-टू-SQL अनुकूलन में एक प्रतिमान बदलाव (paradigm shift) का तर्क देते हैं।

महत्व निम्नलिखित में निहित है:

लागत दक्षता (Cost Efficiency): महंगे, बड़े प्रोप्रायटरी मॉडलों पर निर्भर हुए बिना कठिन कार्यों पर अत्याधुनिक परिणाम प्राप्त करना।
स्केलेबिलिटी (Scalability): एक ऐसा ढांचा प्रदान करना जो कार्य की जटिलता के अनुसार कंप्यूट संसाधनों को अनुकूलित करता है, जिससे सरल क्वेरी पर बर्बादी से बचा जा सके और कठिन कार्यों के लिए पर्याप्त कवरेज सुनिश्चित हो सके।
सामान्यीकरण (Generalizability): प्रस्तावित विकासवादी खोज और रिवॉर्ड-आधारित चयन तंत्र संरचित क्वेरी पीढ़ी में इन्फरेंस-टाइम रीजनिंग के लिए एक नया दिशा प्रदान करते हैं।

लेखक विनम्र बने हुए हैं, यह नोट करते हुए कि उनके प्रदर्शन लाभ विशेष रूप से "चुनौतीपूर्ण" श्रेणी के लिए हैं और कठिनाई स्कोरिंग तंत्र को भविष्य के कार्य में और अधिक विचरण विश्लेषण (variance analysis) की आवश्यकता हो सकती है। वे यह भी स्वीकार करते हैं कि उनका वर्तमान मूल्यांकन बजट प्रतिबंधों के कारण GPT-4o-mini तक सीमित है।