💬 NLP

R $^3$ -SQL: Ranking Reward and Resampling for Text-to-SQL

R³-SQL एक नवीन Text-to-SQL फ्रेमवर्क है जो कार्यात्मक रूप से समान SQL समूहों की सुसंगत रैंकिंग के लिए एक एकीकृत रिवॉर्ड मैकेनिज्म और सही क्वेरीज़ को तब पुनः प्राप्त करने के लिए एक एजेंटिक रीसैंपलिंग रणनीति पेश करके निष्पादन सटीकता में सुधार करता है जब वे शुरू में कैंडिडेट पूल से गायब होती हैं, जिससे BIRD-dev बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Hojae Han, Yeonseok Jeong, Seung-won Hwang, Zhewei Yao, Yuxiong He

प्रकाशित 2026-04-29

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Hojae Han, Yeonseok Jeong, Seung-won Hwang, Zhewei Yao, Yuxiong He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो सुरागों के लिए एक डेटाबेस से पूछकर एक रहस्य (उपयोगकर्ता का प्रश्न) को सुलझाने की कोशिश कर रहे हैं। आपके पास जूनियर जासूसों की एक टीम (AI मॉडल) है, जिनमें से प्रत्येक अपने द्वारा खोजे गए सुरागों का अपना संस्करण (SQL क्वेरी) लिखता है।

अतीत में, सीनियर जासूस (रैंकिंग सिस्टम) को दो बड़ी समस्याओं का सामना करना पड़ता था:

"एक जैसा दिखने" वाला भ्रम: यदि दो जूनियर जासूसों ने अलग-अलग वाक्य लिखे लेकिन वास्तव में उनका अर्थ बिल्कुल एक ही था और उन्होंने एक ही सुराग खोजा, तो सीनियर जासूस अक्सर भ्रमित हो जाता था। वे किसी एक को केवल इसलिए उच्च स्कोर दे देते थे क्योंकि वह सुनने में शानदार लगता था, और दूसरे को कम स्कोर देते थे, भले ही दोनों सही थे।
"खाली डिब्बा" वाली समस्या: यदि किसी भी जूनियर जासूस ने सही सुराग नहीं खोजा, तो सीनियर जासूस असहाय हो जाता था। वे चाहे कितने भी अच्छे से "सबसे बेहतर" गलत उत्तर चुनने की कोशिश करें, वे सही उत्तर नहीं ढूंढ सकते थे यदि वह उस ढेर में मौजूद ही नहीं था।

यह पेपर R3-SQL पेश करता है, एक नया सिस्टम जो इन दोनों समस्याओं को एक दो-चरणीय रणनीति का उपयोग करके ठीक करता है।

चरण 1: "सुरागों का समूह" उत्सव (भ्रम को सुलझाना)

प्रत्येक जासूस के नोट्स का व्यक्तिगत रूप से निर्णय लेने के बजाय, R3-SQL पहले पूछता है: "तुमने वास्तव में क्या पाया?"

उपमा: कल्पना कीजिए कि सभी जासूस अपने निष्कर्ष लेकर आते हैं। R3-SQL उन सभी जासूसों को एक ही कमरे में रखता है जिन्होंने बिल्कुल एक ही सेट के सुराग खोजे हैं।
- कमरा A में 5 जासूस हैं जिन्होंने सभी "201 अणु" खोजे।
- कमरा B में 1 जासूस है जिसने "71 अणु" खोजे।
- कमरा C में 3 जासूस हैं जिन्होंने "3250 डॉलर" खोजे।

अब, जासूसों का एक-एक करके निर्णय लेने के बजाय, सीनियर जासूस कमरों का निर्णय लेता है।

वे कमरों को देखते हैं और पूछते हैं: "किस कमरे के निष्कर्ष रहस्य के लिए सबसे अधिक तर्कसंगत हैं?"
वे यह तय करने के लिए एक विशेष वोटिंग सिस्टम (कमरों की आपस में तुलना) का उपयोग करते हैं कि विजेता कौन सा है।
परिणाम: भले ही "सही" कमरे में केवल एक जासूस हो (कमरा B), फिर भी वह एक "गलत" कमरे (कमरा A) को हरा सकता है जिसमें पांच जासूस हैं, क्योंकि सिस्टम निष्कर्षों की तर्कशक्ति की जांच करता है, न कि केवल इस बात की कि कमरे में कितने लोग हैं। यह सिस्टम को एक ही बात को कहने के अलग-अलग तरीकों से भ्रमित होने से रोकता है।

चरण 2: "स्मार्ट स्काउट" (खाली डिब्बे की समस्या को सुलझाना)

क्या होगा यदि सीनियर जासूस सभी कमरों को देखता है और उसे एहसास होता है, "रुको, इनमें से कोई भी सुराग वास्तव में रहस्य को हल नहीं करता"? पुराने दिनों में, वे बस "सबसे कम गलत" उत्तर चुन लेते थे और हार मान लेते थे।

R3-SQL एक स्मार्ट स्काउट (एक AI एजेंट) जोड़ता है जो गुणवत्ता नियंत्रण निरीक्षक की तरह कार्य करता है।

उपमा: अंतिम निर्णय लेने से पहले, स्काउट सुरागों के ढेर को देखता है।
कार्य: स्काउट पूछता है, "क्या यहाँ कोई वास्तविक समाधान है?"
- यदि स्काउट कहता है, "हाँ, मुझे एक अच्छा समाधान दिख रहा है," तो प्रक्रिया आगे बढ़ती है।
- यदि स्काउट कहता है, "नहीं, यह ढेर कचरा है," तो सिस्टम पूरे ढेर को फेंक देता है और जूनियर जासूसों को सुरागों का एक नया, बड़ा बैच बनाने के लिए वापस भेज देता है।
परिणाम: यह सुनिश्चित करता है कि अंतिम उत्तर उस पूल से आए जिसमें वास्तव में सही समाधान मौजूद है, न कि केवल खराब ढेर में से सबसे अच्छा चुनने से।

अंतिम स्कोर

इन दोनों तरकीबों को मिलाकर—समान उत्तरों को समूहित करना ताकि भ्रम से बचा जा सके और सही उत्तर की उपस्थिति सुनिश्चित करने के लिए एक स्काउट का उपयोग करना—R3-SQL नया चैंपियन बन गया।

इसने इसे पांच अलग-अलग "रहस्य खेलों" (डेटाबेस) पर परखा।
इसने सबसे कठिन टेस्ट (BIRD-dev) पर 75.03% पहेलियों को सही ढंग से हल किया, और ज्ञात आकार के मॉडलों का उपयोग करने वाले सभी पिछले तरीकों को पीछे छोड़ दिया।
इसने यह सब किसी ऐसे "सुपरकंप्यूटर" की आवश्यकता के बिना किया जिसे कोई देख न सके; इसने केवल बेहतर संगठन और बेहतर गुणवत्ता जांच का उपयोग किया।

संक्षेप में: R3-SQL AI को एक ही उत्तर के अलग-अलग शब्दों से भ्रमित होने से रोकता है, और यह "सबसे अच्छा अनुमान" स्वीकार करने से इनकार कर देता है यदि सही उत्तर वास्तव में वहां मौजूद नहीं है, बल्कि सही होने तक इसे वापस ड्राइंग बोर्ड पर भेज देता है।

यहाँ शोध पत्र "R3-SQL: Ranking Reward and Resampling for Text-to-SQL" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक Text-to-SQL सिस्टम आमतौर पर एक generate-then-rank प्रतिमान (paradigm) का पालन करते हैं, जहाँ एक लार्ज लैंग्वेज मॉडल (LLM) कई संभावित SQL क्वेरीज़ के नमूने (samples) लेता है, और एक रँकर (ranker) सबसे अच्छे को चुनता है। लेखक मौजूदा रैंकिंग-आधारित दृष्टिकोणों में दो महत्वपूर्ण सीमाओं की पहचान करते हैं:

कार्यात्मक असंगतता (Functional Inconsistency): मौजूदा रँकर्स (चाहे वे pointwise हों या listwise) अक्सर उन SQL क्वेरीज़ को असंगत स्कोर देते हैं जो कार्यात्मक रूप से समान हैं लेकिन केवल सतही रूप (जैसे, टोकन क्रम या सिंटैक्स शैली) में भिन्न हैं, परंतु समान निष्पादन परिणाम (execution results) उत्पन्न करती हैं। इससे अस्थिरता पैदा होती है जहाँ एक सही SQL को एक गलत लेकिन शैलीगत रूप से समान वेरिएंट की तुलना में कम रैंक दी जा सकती है।
सीमित रिकॉल (Bounded Recall): रैंकिंग रणनीतियाँ यह मानती हैं कि सही SQL पहले से ही जनरेट किए गए कैंडिडेट पूल के भीतर मौजूद है। यदि जनरेटर सही उत्तर बनाने में विफल रहता है (एक "bounded recall" परिदृश्य), तो कोई भी रैंकिंग रणनीति सही समाधान को पुनः प्राप्त नहीं कर सकती। मौजूदा विधियाँ अक्सर इस अंतर को प्रभावी ढंग से संबोधित करने में विफल रहती हैं।

2. कार्यप्रणाली: R3-SQL फ्रेमवर्क (Methodology: R3-SQL Framework)

R3-SQL Groupwise Ranking और Agentic Resampling को संयोजित करके इन सीमाओं को संबोधित करता है। यह प्रणाली दो चरणों में कार्य करती है: Exploration (कैंडिडेट पूल का विस्तार करना) और Exploitation (कैंडिडेट्स की रैंकिंग करना)।

A. Groupwise Ranking (कार्यात्मक असंगतता को संबोधित करना)

व्यक्तिगत SQL क्वेरीज़ को रैंक करने के बजाय, R3-SQL उम्मीदवारों को उनके निष्पादन परिणामों (execution results) के आधार पर समूहित (group) करता है।

Grouping (समूहीकरण): सभी उम्मीदवार जो एक ही निष्पादन परिणाम देते हैं, उन्हें एक एकल समूह ( $G$ ) में क्लस्टर किया जाता है। यह सुनिश्चित करता है कि कार्यात्मक समानता को सुसंगत रूप से माना जाए।
Dual-Signal Scoring (दोहरी-संकेत स्कोरिंग): इन समूहों को रैंक करने के लिए, R3-SQL दो पूरक संकेतों को जोड़ता है:
1. Cross-Group Preference (Listwise Signal): एक pairwise रँकर अलग-अलग समूहों के उम्मीदवारों की तुलना करके सापेक्ष प्राथमिकता निर्धारित करता है। यह सिग्नल सतही अंतरों के प्रति मजबूत है। अस्पष्ट तुलनाओं से होने वाले शोर (noise) से बचने के लिए, अनिश्चित निर्णयों को फ़िल्टर करने हेतु एक थ्रेशोल्ड ( $\tau$ ) लागू किया जाता है।
2. Pointwise-Group Utility (Pointwise Signal): यह सिग्नल समूह के भीतर अधिकतम pointwise स्कोर (जो सर्वश्रेष्ठ उम्मीदवार की गुणवत्ता का प्रतिनिधित्व करता है) और समूह के आकार (जो आत्म-निरंतरता का प्रतिनिधित्व करता है) को शामिल करता है।
Lexicographic Ordering (लेक्सिकोग्राफिक ऑर्डरिंग): समूहों को प्राथमिक रूप से क्रॉस-ग्रुप प्रेफरेंस स्कोर द्वारा सॉर्ट किया जाता है। टies (बराबर स्कोर) को पॉइंटवाइज यूटिलिटी स्कोर द्वारा तोड़ा जाता है। अंत में, शीर्ष-रैंक वाले समूह से उसके व्यक्तिगत पॉइंटवाइज स्कोर के आधार पर एक एकल SQL चुना जाता है।

B. Agentic Resampling (सीमित रिकॉल को संबोधित करना)

यह सुनिश्चित करने के लिए कि सही SQL पूल में मौजूद है, R3-SQL एक LLM-आधारित ऑडिटिंग एजेंट पेश करता है।

Two-Pass Process (दो-चरणीय प्रक्रिया):
1. Initial Generation (प्रारंभिक पीढ़ी): मूल LLM $n$ उम्मीदवारों का एक प्रारंभिक पूल बनाता है।
2. Auditing (ऑडिटिंग): एक एजेंट ( $f$ ) इरादे मिलान (intent matching), स्कीमा वैधता और निष्पादन तर्कसंगतता के आधार पर यह मूल्यांकन करने के लिए पूल का परीक्षण करता है कि क्या एक "संभावित-सही" SQL मौजूद है।
Selective Resampling (चयनात्मक पुन: नमूनाकरण): यदि एजेंट यह निर्धारित करता है कि पूल अपर्याप्त है (अर्थात, सही SQL संभवतः अनुपस्थित है), तो वह प्रारंभिक पूल को हटा देता है और resampling को ट्रिगर करता है, जिससे $m$ उम्मीदवारों का एक बड़ा सेट ( $m > n$ ) जनरेट होता है। इस नए सेट से शीर्ष $n$ चुने जाते हैं। यह "agentic" है क्योंकि यह चयनात्मक है, जो हमेशा री-सैंपलिंग करने की कम्प्यूटेशनल लागत से बचता है।

C. Position Bias Mitigation (पोजीशन बायस न्यूनीकरण)

लिस्टवाइज रँकर को GRPO (Group Relative Policy Optimization) फ्रेमवर्क के भीतर एक Position-Consistency Objective का उपयोग करके प्रशिक्षित किया जाता है। मॉडल को न केवल सही SQL चुनने के लिए पुरस्कृत किया जाता है, बल्कि उम्मीदवारों के इनपुट क्रम (जैसे, यदि $A$ को $B$ से अधिक पसंद किया जाता है, तो $B, A$ के रूप में इनपुट बदलने पर भी उसे अधिक पसंद किया जाना चाहिए) के बावजूद उस प्राथमिकता को बनाए रखने के लिए भी पुरस्कृत किया जाता है।

3. प्रमुख योगदान (Key Contributions)

सीमाओं की पहचान: यह शोध पत्र वर्तमान Text-to-SQL पाइपलाइनों में "कार्यात्मक असंगतता" और "सीमित रिकॉल" को प्राथमिक बाधाओं के रूप में औपचारिक रूप से परिभाषित और संबोधित करता है।
एकीकृत Groupwise Ranking: एक अभिनव रैंकिंग फ्रेमवर्क जो निष्पादन अर्थशास्त्र (execution semantics) द्वारा उम्मीदवारों को एकत्रित करता है और रैंकिंग विसंगतियों को हल करने के लिए pairwise preference और pointwise utility के हाइब्रिड का उपयोग करता है।
Agentic Resampling: एक गतिशील तंत्र जो कैंडिडेट पूल कवरेज का निदान करता है और केवल आवश्यकता होने पर ही खोज स्थान (search space) का विस्तार करता है, जिससे सीमित रिकॉल को प्रभावी ढंग से कम किया जाता है।
Position-Invariant Training: एक प्रशिक्षण उद्देश्य जो लिस्टवाइज रँकर्स में इनपुट ऑर्डर के प्रति संवेदनशीलता को स्पष्ट रूप से कम करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पाँच बेंचमार्क पर R3-SQL का मूल्यांकन किया: BIRD-dev, Spider, Spider-DK, EHR-SQL, और ScienceBenchmark।

State-of-the-Art प्रदर्शन: R3-SQL ने BIRD-dev बेंचमार्क पर 75.03% Execution Accuracy (EX) प्राप्त किया, जो घोषित आकार वाले मॉडलों (विशेष रूप से 32B जनरेटर और 7B रँकर का उपयोग करके) का उपयोग करने वाली विधियों के बीच एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है।
निरंतरता (Consistency): इसने सभी पाँचों बेंचमार्क पर उच्चतम EX प्राप्त किया, जिसका औसत 70.65% रहा, जो पिछले सर्वश्रेष्ठ बेसलाइन (जैसे, CHASE-SQL, XiYan-SQL) से बेहतर है।
घटक विश्लेषण (Component Analysis):
- कार्यात्मक असंगतता: ग्रुपवाइज स्कोरिंग ने समकक्ष SQLs के बीच स्कोर वेरिएंस को घटाकर 0.0 कर दिया, जबकि केवल पॉइंटवाइज विधियों ने महत्वपूर्ण वेरिएंस दिखाया।
- रिकॉल सुधार: एजेंटिक री-सैंपलिंग ने कैंडिडेट रिकॉल को +3.92 प्रतिशत अंक बढ़ाया, जिससे प्राप्त होने योग्य सटीकता का सैद्धांतिक ऊपरी स्तर बढ़ गया।
- मजबूती (Robustness): विधि ने बेसलाइन की तुलना में विभिन्न रैंडम सीड्स केAcross श्रेष्ठ स्थिरता दिखाई।
दक्षता (Efficiency): अतिरिक्त जटिलता के बावजूद, R3-SQL CHASE-SQL बेसलाइन की तुलना में अधिक कुशल था, जिसने कार्यात्मक रूप से समान उम्मीदवारों की अनावश्यक रैंकिंग से बचकर प्रति क्वेरी 0.12 सेकंड का इन्फरेंस समय कम कर दिया।

5. महत्व (Significance)

R3-SQL, SQL जनरेशन को केवल "सर्वश्रेष्ठ स्ट्रिंग चुनने" की समस्या के रूप में देखने के बजाय, Text-to-SQL आर्किटेक्चर में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। इसके बजाय, यह इसे एक सिमेंटिक क्लस्टरिंग और कवरेज समस्या के रूप में देखता है।

विश्वसनीयता: निष्पादन परिणामों द्वारा समूहीकरण करके, यह सुनिश्चित करता है कि सिस्टम LLM आउटपुट के शैलीगत विविधताओं के प्रति मजबूत है।
पूर्णता: एक एजेंट को कवरेज का निर्णय देने के लिए एकीकृत करके, यह स्वीकार करता है कि रैंकिंग एक गायब सही उत्तर को ठीक नहीं कर सकती, जिससे जनरेशन और सिलेक्शन के बीच के अंतर को प्रभावी ढंग से पाटा जा सकता है।
स्केलेबिलिटी: चयनात्मक री-सैंपलिंग तंत्र यह सुनिश्चित करता है कि कम्प्यूटेशनल ओवरहेड केवल आवश्यकता होने पर ही उठाया जाए, जिससे यह दृष्टिकोण वास्तविक दुनिया के परिनियोजन (deployment) के लिए व्यावहारिक बनता है।

निष्कर्षतः, R3-SQL यह प्रदर्शित करता है कि सिमेंटिक ग्रुपिंग, हाइब्रिड रिवॉर्ड मॉडलिंग, और इंटेलिजेंट री-सैंपलिंग को संयोजित करना Text-to-SQL सिस्टम में उच्च सटीकता और मजबूती को अनलॉक करने की कुंजी है।