💬 NLP

ACE-SQL: Adaptive Co-Optimization via Empirical Credit Assignment for Text-to-SQL

ACE-SQL एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो निष्पादन फीडबैक का उपयोग करके अनुकूलन योग्य, ऑन-पॉलिसी रिट्रीवल लक्ष्यों को प्राप्त करने के लिए स्कीमा रिट्रीवल और SQL जनरेशन को संयुक्त रूप से अनुकूलित करता है, जिससे जटिल Text-to-SQL कार्यों पर कुशल टोकन उपयोग के साथ उच्च सटीकता प्राप्त होती है।

मूल लेखक: Xiaobing Chen, Ai Jian, Eryu Guo, Zhiqi Pang

प्रकाशित 2026-06-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaobing Chen, Ai Jian, Eryu Guo, Zhiqi Pang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लाइब्रेरियन (AI) से एक विशाल, अराजक पुस्तकालय (डेटाबेस) में एक विशिष्ट पुस्तक खोजने के लिए कह रहे हैं। इस पुस्तकालय में हज़ारों अलमारियाँ, लाखों पुस्तकें और भ्रमित करने वाले लेबल हैं।

समस्या: "सब-या-कुछ-नहीं" की दुविधा (The "All-or-Nothing" Dilemma)
वर्तमान तरीके आमतौर पर दो ही चीज़ें करते हैं, और दोनों में खामियां हैं:

"सब कुछ फेंक देने" वाला दृष्टिकोण (The "Dump Everything" Approach): आप लाइब्रेरियन को पूरा लाइब्रेरी कैटलॉग (सभी टेबल और कॉलम) थमा देते हैं और कहते हैं, "इसे ढूंढो।" लाइब्रेरियन को यह अनुमान लगाने के लिए संघर्ष करना पड़ता है कि कौन सी अलमारियाँ महत्वपूर्ण हैं जबकि वह अनुरोध लिखने की कोशिश कर रहा है। यह घास के ढेर में सुई खोजने जैसा है, जबकि वह घास का ढेर आग की लपटों में घिरा हो।
"स्थिर मानचित्र" वाला दृष्टिकोण (The "Static Map" Approach): आप लाइब्रेरियन को एक पहले से बना हुआ नक्शा देते हैं कि ठीक किन अलमारियों को देखना है। लेकिन पेच यह है कि नक्शा एक इंसान द्वारा बनाया गया है जिसने शायद ऐसा रास्ता चुना हो जो लाइब्रेरियन को पसंद न हो या जिसमें वह कुशल न हो। यदि लाइब्रेरियन किसी दूसरे गलियारे के माध्यम से पुस्तक खोजने में बेहतर है, तो नक्शा उसे उस "सही" (लेकिन अक्षम) मार्ग पर टिके रहने के लिए मजबूर करता है, जिससे वह विफल हो जाता है।

समाधान: ACE-SQL (एक "कोचिंग" प्रणाली)
यह पेपर ACE-SQL को पेश करता है, जो रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक तकनीक का उपयोग करके लाइब्रेरियन को प्रशिक्षित करने का एक नया तरीका है। एक स्थिर नक्शे या पूरी लाइब्रेरी को थमाने के बजाय, ACE-SQL एक ही AI द्वारा निभाई जाने वाली दो भूमिकाओं के बीच एक गतिशील कोचिंग लूप स्थापित करता है:

द स्काउट (रिट्रीवर/खोजकर्ता): AI का यह हिस्सा प्रश्न को देखता है और अलमारियों (कॉलम) की एक छोटी, प्रासंगिक सूची चुनता है।
द राइटर (जेनरेटर/लेखक): यह हिस्सा उस छोटी सूची का उपयोग करके वास्तविक अनुरोध (SQL क्वेरी) लिखता है।

जादू कैसे होता है: "क्रेडिट असाइनमेंट" लूप (The "Credit Assignment" Loop)
ACE-SQL की प्रतिभा इसके सीखने के तरीके में है। यह किसी इंसान के "परफेक्ट" नक्शे पर निर्भर नहीं करता है। इसके बजाय, यह ट्रायल एंड एरर (प्रयास और त्रुटि) का उपयोग करता है:

द रोलआउट (The Rollout): AI एक प्रश्न का उत्तर देने का प्रयास करता है। स्काउट अलमारियों की एक सूची चुनता है, और राइटर एक क्वेरी लिखने का प्रयास करता है।
द टेस्ट (The Test): सिस्टम वास्तव में डेटाबेस में उस क्वेरी को चलाता है। क्या इसे सही उत्तर मिला?
द रिवॉर्ड (The Reward):
- यदि क्वेरी काम करती है, तो सिस्टम कहता है, "बहुत बढ़िया! स्काउट ने जो अलमारियों की सूची चुनी थी वह उपयोगी थी।"
- यदि यह विफल हो जाता है, तो सिस्टम कहता है, "फिर से कोशिश करें।"
द ट्विस्ट (अनुकूली सह-अनुकूलन/Adaptive Co-Optimization):
- आमतौर पर, स्काउट को "मानव-अनुमोदित" अलमारियों को चुनने के लिए प्रशिक्षित किया जाता है। लेकिन ACE-SQL नियम बदल देता है। यदि राइटर मानव मानचित्र से अलग अलमारियों के सेट का उपयोग करके उत्तर सफलतापूर्वक खोज लेता है, तो सिस्टम स्काउट के प्रशिक्षण को अपडेट करता है।
- उपमा: कल्पना कीजिए कि एक कोच एक धावक से कहता है, "तुम्हें नक्शे द्वारा बताए गए रास्ते पर ही दौड़ना है।" लेकिन यदि धावक फिनिश लाइन तक पहुँचने के लिए एक छोटा रास्ता (shortcut) खोज लेता है, तो कोच कहता है, "ठीक है, अगली बार, हमें तुम्हें उस शॉर्टकट पर दौड़ने के लिए प्रशिक्षित करना चाहिए।" नक्शा (रिट्रीवर) और धावक (जेनरेटर) एक-दूसरे के अनुकूल होने के लिए वास्तविक समय में सीखते हैं।

अराजकता को स्थिर करना (Stabilizing the Chaos)
चूंकि स्काउट और राइटर एक साथ सीख रहे हैं, वे कभी-कभी एक-दूसरे के काम में बाधा डाल सकते हैं (जैसे दो लोग एक ही समय में नाव को मोड़ने की कोशिश कर रहे हों)। सिस्टम उन्हें तालमेल में रखने के लिए दो "स्टेबलाइजर्स" का उपयोग करता है:

"वोटिंग" प्रणाली: स्काउट केवल एक रास्ता नहीं चुनता; यह कई रास्तों को आजमाता है और सबसे लोकप्रिय वाले को चुनता है ताकि राइटर को एक स्थिर शुरुआती बिंदु मिल सके।
"क्रमिक हैंडऑफ" (The "Gradual Handoff"): शुरुआत में, स्काउट सारा भारी काम करता है। जैसे-जैसे राइटर बेहतर होता जाता है, सिस्टम धीरे-धीरे राइटर को अधिक जिम्मेदारी सौंप देता है, जिससे सीखने के चरण के दौरान टीम बिखरने से बच जाती है।

परिणाम
इस पेपर ने BIRD नामक एक कठिन बेंचमार्क पर परीक्षण किया, जो वास्तविक दुनिया के जटिल डेटाबेस का अनुकरण करता है।

प्रदर्शन: ACE-SQL ने 65.3% सफलता दर हासिल की, जो अन्य शीर्ष तरीकों को पीछे छोड़ देती है।
दक्षता: इसने अपने निकटतम प्रतिद्वंद्वी की तुलना में 70% कम शब्दों (टोकन) का उपयोग करते हुए यह उपलब्धि प्राप्त की।
- उपमा: जबकि अन्य सिस्टम उत्तर खोजने के लिए लंबे, भ्रामक निबंध लिख रहे थे, ACE-SQL ने एक संक्षिप्त, सटीक नोट लिखा और काम को तेज़ी से और अधिक सटीकता से पूरा किया।

सारांश में
ACE-SQL एक ऐसी प्रणाली है जो AI को एक कठोर, मानव-निर्मित मानचित्र का पालन करने के लिए मजबूर करना बंद कर देती है। इसके बजाय, यह AI को विभिन्न रास्तों को खोजने की अनुमति देती है, इसे किसी भी काम करने वाले मार्ग को खोजने के लिए पुरस्कृत करती है, और फिर "मार्ग-निर्माता" को उन रास्तों को खींचना सिखाती है जिन्हें "धावक" वास्तव में लेना जानता है। यह एक ऐसी टीम बनाता है जो एक-दूसरे के साथ मिलकर स्मार्ट और कुशल बनती है, न कि एक स्थिर निर्देश पुस्तिका के खिलाफ लड़ती है।

तकनीकी सारांश: ACE-SQL

समस्या विवरण (Problem Statement)

Text-to-SQL सिस्टम में स्कीमा लिंकिंग (schema linking) एक महत्वपूर्ण बाधा का सामना करते हैं, विशेष रूप से आधुनिक डेटाबेस के साथ जो बड़े और जटिल स्कीमा वाले होते हैं। मौजूदा दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं, जिनमें से दोनों जेनरेटर-कंडीशन्ड सुपरविजन मिसमैच (generator-conditioned supervision mismatch) से ग्रस्त हैं:

फुल-स्कीमा जनरेशन (Full-Schema Generation): ये विधियाँ एंड-टू-एंड SQL जनरेशन के भीतर स्कीमा चयन को अंतर्निहित रूप से सीखती हैं। हालाँकि, यह स्कीमा लिंकिंग को एक विशाल सर्च स्पेस के भीतर छोड़ देता है, जिसके परिणामस्वरूप अक्सर गोल्ड (ground-truth) कॉलमों की तुलना में कम निष्पादन सटीकता (execution accuracy) प्राप्त होती है।
रिट्रीवर-जेनरेटर पाइपलाइन्स (Retriever-Generator Pipelines): ये सिस्टम SQL जनरेशन से पहले स्कीमा घटकों को स्पष्ट रूप से चुनने के लिए स्टैटिक गोल्ड-कॉलम एनोटेशन पर प्रशिक्षित एक अलग रिट्रीवर का उपयोग करते हैं। इसकी सीमा यह है कि रिट्रीवर स्थिर "गोल्ड" लक्ष्यों से बंधा होता है। जैसा कि पेपर में प्रदर्शित किया गया है, निष्पादन-सही (execution-correct) SQL भविष्यवाणियों का एक महत्वपूर्ण हिस्सा (19.1% से 42.3%) नॉन-गोल्ड कॉलम सेट्स (non-gold column sets) (वैकल्पिक निष्पादन योग्य मार्गों) पर निर्भर करता है। एक रिट्रीवर जो सख्ती से स्टैटिक गोल्ड लेबल पर प्रशिक्षित है, वह इन वैध, जेनरेटर-पसंदीदा मार्गों को दंडित करता है, जिससे वर्तमान जेनरेटर के लिए एक उपोत्पाद (suboptimal) पॉलिसी बन जाती है।

मूल चुनौती यह है कि स्कीमा लिंकिंग और SQL जनरेशन आपस में जुड़े हुए हैं: रिट्रीवर, जेनरेटर के इनपुट डिस्ट्रीब्यूशन को परिभाषित करता है, जबकि जेनरेटर के सफल आउटपुट यह निर्धारित करते हैं कि कौन से स्कीमा कॉन्फ़िगरेशन मान्य हैं। उन्हें संयुक्त रूप से अनुकूलित (optimize) करने से एक चक्रीय निर्भरता (circular dependency) और ग्रेडिएंट इंटरफेरेंस उत्पन्न होता है, फिर भी उन्हें अलग करने से ऊपर वर्णित सुपरविजन मिसमैच होता है।

कार्यप्रणाली: ACE-SQL (Methodology: ACE-SQL)

लेखक ACE-SQL (Adaptive Co-Optimization via Empirical Credit Assignment) का प्रस्ताव करते हैं, जो एक रिइन्फोर्समेंट लर्निंग (RL) फ्रेमवर्क है जो एक साझा पॉलिसी ( $\pi_\theta$ ) के तहत स्कीमा रिट्रीवल और SQL जनरेशन को संयुक्त रूप से अनुकूलित करता है। यह फ्रेमवर्क दो चरणों में कार्य करता है:

1. सुपरवाइज्ड फाइन-ट्यूनिंग (कोल्ड स्टार्ट)

यह सुनिश्चित करने के लिए कि RL से पहले रिट्रीवर-जेनरेटर पाइपलाइन कार्यात्मक हो, लेखक Qwen3-8B मॉडल का उपयोग करके एक सेल्फ-डिस्टिलेशन SFT चरण करते हैं।

सोर्स फ़िल्टरिंग (Source Filtering): जटिलता और स्कीमा विविधता के आधार पर SynSQL-2.5M डेटासेट से सैंपल्स को फ़िल्टर किया जाता है।
पेयर्ड सेल्फ-डिस्टिलेशन (Paired Self-Distillation): मॉडल सेल्फ-कंसिस्टेंसी वोटिंग के माध्यम से रिट्रीवर आउटपुट (कॉलम सेट्स) उत्पन्न करता है। ये प्रूनड (pruned) स्कीमा को परिभाषित करते हैं जो जेनरेटर के लिए होते हैं। केवल वे पेयर्स रखे जाते हैं जहाँ जेनरेटर का निष्पादन गोल्ड SQL से मेल खाता है।
मिक्सड SFT (Mixed SFT): साझा पॉलिसी को इनिशियलाइज़ करने के लिए रिट्रीवर और जेनरेटर सैंपल्स को एक साथ प्रशिक्षित किया जाता है।

2. जॉइंट GRPO ट्रेनिंग (Reinforcement Learning)

मुख्य नवाचार जॉइंट ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) ट्रेनिंग में निहित है, जो स्टैटिक गोल्ड लक्ष्यों के स्थान पर निष्पादन फीडबैक से प्राप्त एडेप्टिव, ऑन-पॉलिसी लक्ष्यों का उपयोग करता है।

द्विदिश अनुकूलन (Bidirectional Adaptation):
- रिट्रीवर $\to$ जेनरेटर: रिट्रीवर $N$ कॉलम सेट्स को सैंपल करता है, जिन्हें एक प्रूनड स्कीमा ( $\hat{S}$ ) बनाने के लिए मेजॉरिटी वोटिंग के माध्यम से एकत्रित किया जाता है। यह स्कीमा जेनरेटर के इनपुट को कंडीशन करता है।
- जेनरेटर $\to$ रिट्रीवर: जेनरेटर $N$ SQL क्वेरीज़ उत्पन्न करता है। सफल निष्पादन (गोल्ड रिजल्ट से मिलान) का उपयोग एक एम्पेरिकल कॉलम-सेट पूल (Empirical Column-Set Pool) को अपडेट करने के लिए किया जाता है।
एम्पेरिकल क्रेडिट असाइनमेंट (Empirical Credit Assignment):
- एक निश्चित गोल्ड कॉलम सेट को लक्षित करने के बजाय, रिट्रीवर का लक्ष्य निष्पादन-सही रोलआउट्स के एम्पेरिकल पूल में देखे गए सबसे बार-बार आने वाले कॉलम सेट ( $S^\star(q)$ ) के रूप में गतिशील रूप से अपडेट किया जाता है।
- इस पूल को हाई-रिकॉल यूनियंस के साथ इनिशियलाइज़ किया जाता है और नए साक्ष्यों को प्राथमिकता देने के लिए एक डिके फैक्टर ( $\gamma=0.5$ ) के साथ ऑनलाइन अपडेट किया जाता है।
रिवॉर्ड कंस्ट्रक्शन (Reward Construction):
- दोनों भूमिकाओं को निष्पादन शुद्धता (जेनरेटर के लिए) या एम्पेरिकल टारगेट $S^\star(q)$ के साथ सटीक मिलान (रिट्रीवर के लिए) द्वारा गेटेड स्पार्स रिवार्ड्स मिलते हैं।
- एक क्लिप्ड लेंथ पेनल्टी (clipped length penalty) लागू की जाती है ताकि बहुत लंबे आउटपुट को हतोत्साहित किया जा सके, लेकिन केवल तभी जब आउटपुट स्पार्स रिवॉर्ड शर्त को पूरा करता हो।
स्थिरीकरण तंत्र (Stabilization Mechanisms):
- PCGrad (ग्रेडिएंट सर्जरी): रिट्रीवर और जेनरेटर लॉस के बीच ग्रेडिएंट इंटरफेरेंस को कम करने के लिए, लेखक संघर्षरत ग्रेडिएंट्स को प्रोजेक्ट करने के लिए PCGrad लागू करते हैं।
  कंट्रोल करने के लिए जेनरेटर के योगदान को पहले 25% RL स्टेप्स के दौरान 0 से 1 तक लीनियरली बढ़ाया जाता है। यह एम्पेरिकल रिट्रीवर लक्ष्यों को स्थिर होने देता है।

मुख्य योगदान (Key Contributions)

ऑन-पॉलिसी क्रेडिट असाइनमेंट: पेपर स्कीमा रिट्रीवल को एक ऑन-पॉलिसी क्रेडिट असाइनमेंट समस्या के रूप में फॉर्म्युलेट करता है। स्टैटिक गोल्ड एनोटेशन पर निर्भर रहने के बजाय, ACE-SQL अपने स्वयं के निष्पादन-सही रोलआउट्स से एडेप्टिव रिट्रीवल टारगेट्स प्राप्त करता है।
द्विदिश एडेप्टिव फ्रेमवर्क: ACE-SQL एक क्लोज्ड लूप बनाता है जहाँ रिट्रीवर जेनरेटर की निष्पादन योग्य प्राथमिकताओं के अनुकूल होता है, और जेनरेटर रिट्रीवर के विकसित होते स्कीमा चयन के अनुकूल होता है, दोनों ही निष्पादन सटीकता द्वारा आधारित हैं।
स्थिर संयुक्त अनुकूलन: लेखक एक एम्पेरिकल कॉलम-सेट पूल, PCGrad और जेनरेटर-वेट शेड्यूल का संयोजन पेश करते हैं ताकि गैर-स्थिर और युग्मित (coupled) अनुकूलन प्रक्रिया को स्थिर किया जा सके।
दक्षता और प्रदर्शन: यह विधि मौजूदा RL-आधारित बेसलाइन्स की तुलना में काफी कम आउटपुट टोकन के साथ उच्च प्रदर्शन प्राप्त करती है।

प्रयोगात्मक परिणाम (Experimental Results)

Qwen3-8B बैकबोन का उपयोग करके BIRD Dev और Spider बेंचमार्क पर मूल्यांकन:

BIRD Dev: ACE-SQL 65.3% ग्रीडी निष्पादन सटीकता (EX) प्राप्त करता है, जो सभी सूचीबद्ध ओपन-सोर्स बेसलाइन्स (जैसे SQL-R1-7B 63.7%, MTIR-SQL-8B 63.6%) को पछाड़ देता है।
Spider: टेस्ट सेट पर 87.2% EX और चुनौतीपूर्ण Spider-Realistic वेरिएंट पर 79.5% प्राप्त करता है।
दक्षता: ACE-SQL प्रति क्वेरी केवल 0.93k आउटपुट टोकन का उपयोग करता है। यह SQL-R1-7B (3.10k) की तुलना में लगभग 3.3 $\times$ कम और MTIR-SQL-8B (2.00k) की तुलना में 2.2 $\times$ कम टोकन का उपयोग करता है, जबकि उच्च सटीकता प्राप्त करता है।
एब्लेशन स्टडीज (Ablation Studies):
- PCGrad या जेनरेटर-वेट शेड्यूल को हटाने से प्रदर्शन में गिरावट आती है, जो संयुक्त RL के लिए इन स्टेबलाइजर्स की आवश्यकता की पुष्टि करता है।
- रिट्रीवर के लिए स्टैटिक गोल्ड टारगेट का उपयोग करने से कम प्रदर्शन (64.7% बनाम 65.3%) और अधिक अस्थिरता होती है, जो एम्पेरिकल क्रेडिट असाइनमेंट के लाभ को प्रमाणित करता।
- इस संयुक्त सेटिंग में स्पार्स रिवार्ड्स, डेंस रिवार्ड्स की तुलना में बेहतर प्रदर्शन करते हैं, क्योंकि डेंस रिवार्ड्स रिट्रीवर द्वारा ग्रेडिएंट डोमिनेंस और रिवॉर्ड हैकिंगिंग की ओर ले जा सकते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ACE-SQL जटिल, वास्तविक दुनिया के डेटाबेस के लिए कुशल और मजबूत Text-to-SQL सिस्टम बनाने के लिए एक व्यावहारिक दिशा प्रदान करता है। स्टैटिक सुपरविजन से दूर हटकर और द्विदिश अनुकूलन (bidirectional adaptation) को अपनाकर, फ्रेमवर्क स्कीमा रिट्रीवल और SQL जनरेशन के बीच तनाव को हल करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण मल्टी-स्टेज LLM पाइपलाइनों में अपस्ट्रीम-डाउनस्ट्रीम क्रेडिट असाइनमेंट के लिए एक नया दृष्टिकोण प्रदान करता है। वे तर्क देते हैं कि निष्पादन-संरेखित (execution-aligned) संकेत, स्टैटिक एनोटेशन की तुलना में ऑन-पksi निष्पादन योग्य मार्गों को ट्रैक करने के लिए बेहतर हैं, जिससे मॉडल को संभावित रूप से उपोत्पाद गोल्ड लेबल द्वारा बाधित होने के बजाय अपने स्वयं के सीखे गए रीजनिंग पैटर्न का लाभ उठाने की अनुमति मिलती है। यह कार्य सुझाव देता है कि जब जनरेशन के साथ सह-अनुकूलित (co-optimized) किया जाता है, तो स्पष्ट स्कीमा रिट्रीवल, भारी टोकन जनरेशन पर निर्भर किए बिना, इन्फरेंस की गुणवत्ता और दक्षता दोनों में सुधार कर सकता है।

सीमाएँ: लेखक नोट करते हैं कि प्रयोग एक एकल 8B मॉडल (Qwen3-8B) तक सीमित हैं और सिंथेटिक प्रशिक्षण डेटा (SynSQL-2.5M) पर निर्भर हैं। वे स्वीकार करते हैं कि बड़े मॉडलों तक स्केल करने या वास्तविक दुनिया के क्वेरी-डेटाबेस पेयर्स का उपयोग करने से अलग डायनेमिक्स सामने आ सकते हैं।