💬 NLP

Residual Skill Optimization for Text-to-SQL Ensembles

यह शोध पत्र DivSkill-SQL प्रस्तुत करता है, जो एक अवशिष्ट कौशल अनुकूलन (residual skill optimization) ढांचा है जो मॉडल फाइन-ट्यूनिंग के बिना पिछली विफलताओं पर नए कौशल को पुनरावृत्ति से प्रशिक्षित करके पूरक Text-to-SQL एन्सेम्बल का निर्माण करता है, जिससे विविध SQL डायलेक्ट और कार्यों में Pass@K सटीकता में महत्वपूर्ण सुधार होता है और मतिभ्रम (hallucinations) कम होता है।

मूल लेखक: Jiongli Zhu, Haoquan Guan, Parjanya Prajakta Prashant, Nikki Lijing Kuang, Seyedeh Baharan Khatami, Canwen Xu, Xiaodong Yu, Yingyu Lin, Zhewei Yao, Yuxiong He, Babak Salimi

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiongli Zhu, Haoquan Guan, Parjanya Prajakta Prashant, Nikki Lijing Kuang, Seyedeh Baharan Khatami, Canwen Xu, Xiaodong Yu, Yingyu Lin, Zhewei Yao, Yuxiong He, Babak Salimi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि एक जटिल मानवीय प्रश्न को SQL नामक एक विशिष्ट कंप्यूटर भाषा में अनुवाद करना। आपके पास एक सुपर-स्मार्ट AI सहायक (एक लार्ज लैंग्वेज मॉडल) है जो इसे हल करने की कोशिश कर सकता है।

आमतौर पर, यदि आप इस AI से एक बार पूछते हैं, तो यह सही हो सकता है, या यह गलत भी हो सकता है। संभावनाओं को सुधारने के लिए, कई सिस्टम एक "शॉटगन अप्रोच" (shotgun approach) का उपयोग करते हैं: वे AI को एक साथ आठ अलग-अलग उत्तर उत्पन्न करने के लिए कहते हैं और फिर सबसे अच्छा चुनते हैं। इसे एक एन्सेम्बल (ensemble) कहा जाता है।

हालाँकि, यह शोध पत्र तर्क देता है कि वर्तमान "शॉटगन अप्रोच" में एक बड़ी खामी है। यह वैसा ही है जैसे एक ही व्यक्ति को एक ही विषय पर आठ अलग-अलग निबंध लिखने के लिए कहना और बस उसे "तेजी से लिखने" या "अपना मूड बदलने" के लिए कहना। वे आठ निबंध बहुत समान लिखेंगे और यदि वे पहले वाले में कोई गलती करते हैं, तो वे संभावना है कि बाकी सात में भी वही गलती करेंगे। वे सभी एक ही तरीके से विफल हो रहे हैं।

समाधान: "विशेषज्ञों की टीम" (DIVSKILL-SQL)

इस शोध पत्र के लेखक, DIVSKILL-SQL, AI सहायकों की एक स्मार्ट टीम बनाने का एक बेहतर तरीका प्रस्तावित करते हैं। केवल यादृच्छिक (random) भिन्नताएँ माँगने के बजाय, वे आठ विशिष्ट विशेषज्ञों की एक टीम को प्रशिक्षित करते हैं, जिनमें से प्रत्येक के पास एक अनूठा "कौशल सेट" (skill set) या व्यक्तित्व होता है।

वे इसे कैसे करते हैं, इसके लिए यहाँ एक सरल उपमा दी गई है:

1. "रेसिडुअल" प्रशिक्षण विधि (विफलता से सीखना)

कल्पना कीजिए कि आप एक सॉकर टीम को प्रशिक्षित कर रहे हैं।

पुराना तरीका: आप सभी आठ खिलाड़ियों को एक ही ड्रिल का अभ्यास करने के लिए कहते हैं। यदि वे बार-बार गोल चूक जाते हैं, तो आप बस उन्हें और अधिक प्रयास करने या और तेज़ दौड़ने के लिए कहते हैं। वे बिल्कुल उसी जगह पर गोल चूकते रहते हैं।
DIVSKILL-SQL का तरीका: आप खेल देखते हैं। आप देखते हैं कि खिलाड़ी A गोल चूक रहा है क्योंकि वह बहुत आक्रामक है। इसलिए, आप केवल खिलाड़ी A को फिर से प्रयास करने के लिए नहीं कहते; बल्कि आप खिलाड़ी A के लिए एक नया, विशिष्ट प्रशिक्षण ड्रिल बनाते हैं जो उसकी उस विशेष कमजोरी को ठीक करता है।
फिर, आप शेष समस्याओं को देखते हैं। शायद खिलाड़ी B शूटिंग में अच्छा है लेकिन पासिंग में बुरा है। तो, आप खिलाड़ी B के लिए एक नया ड्रिल बनाते हैं ताकि उसकी पासिंग को ठीक किया जा सके।

शोध पत्र में, इसे रेसिड्यूअल स्किल ऑप्टिमाइजेशन (Residual Skill Optimization) कहा गया है। सिस्टम उन प्रश्नों को देखता है जिन्हें वर्तमान टीम हल करने में विफल रही है, और फिर एक नया कौशल विशेष रूप से उन शेष कठिन मामलों को हल करने के लिए "अनुकूलित" (optimize) करता है। यह हर खिलाड़ी को हर चीज़ में पूर्ण बनाने की कोशिश नहीं करता; यह प्रयास करता है कि प्रत्येक खिलाड़ी दूसरों द्वारा छोड़े गए विशिष्ट अंतराल (holes) को भरने में पूर्ण हो जाए।

2. "स्किल कार्ड्स" (बिना भारी मेहनत के)

शोध पत्र इस बात पर जोर देता है कि उन्हें पूरे AI मस्तिष्क को फिर से प्रशिक्षित करने (जो महंगा और धीमा है) की आवश्यकता नहीं है। इसके बजाय, वे केवल AI को दी जाने वाली निर्देश कार्ड (instruction card/prompt) को बदलते हैं।

एक कार्ड कह सकता है: "एक सावधान अन्वेषक बनें। पहले डेटा की जाँच करें, फिर कोड लिखें।"
दूसरा कार्ड कह सकता है: "एक तेज़ कोडर बनें। तुरंत कोड लिखें, उसे चलाएं, और त्रुटियों को ठीक करें।"
तीसरा कह सकता है: "बड़ी तस्वीर बनाने से पहले समस्या को छोटे-छोटे टुकड़ों में तोड़ें।"

AI को प्रत्येक आठ प्रयासों के लिए अलग-अलग "व्यक्तित्व कार्ड" देकर, वे यह सुनिश्चित करते हैं कि आठ उत्तर वास्तव में एक-दूसरे से भिन्न हों। यदि एक दृष्टिकोण विफल हो जाता है, तो अन्य के सफल होने की संभावना अधिक होती है क्योंकि वे समस्या के बारे में अलग तरह से सोच रहे होते हैं।

3. "टूर्नामेंट" (विजेता चुनना)

एक बार जब विशेषज्ञों की आठों की टीम ने अपने आठ उत्तर उत्पन्न कर लिए, तो सिस्टम को विजेता चुनने की आवश्यकता होती है।

केवल अनुमान लगाने या पहले वाले को चुनने के बजाय, वे एक पेयरवाइज टूर्नामेंट (pairwise tournament) का उपयोग करते हैं।
एक बॉक्सिंग मैच की कल्पना करें: उत्तर A, उत्तर B से लड़ता है। AI जज विजेता चुनता है। फिर विजेता, उत्तर C से लड़ता है।
जिसके पास सबसे अधिक "जीत" होती है, उसे अंतिम उत्तर के रूपए चुना जाता है। यह किसी एक को यादृच्छिक रूप से चुनने की तुलना में अधिक विश्वसनीय है।

उन्होंने क्या पाया?

लेखकों ने वास्तविक दुनिया की डेटाबेस समस्याओं (Spider2-Lite और BIRD-Critic जैसे बेंचमार्क का उपयोग करके) पर परीक्षण किया। यहाँ मुख्य निष्कर्ष दिए गए हैं:

बेहतर सटीकता: उनकी "विशेषज्ञों की टीम" ने मौजूदा सर्वोत्तम तरीकों की तुलना में काफी अधिक समस्याओं को हल किया। कुछ कठिन डेटाबेस पर, उन्होंने सटीकता में 11 अंक से अधिक का सुधार किया।
कम मतिभ्रम (Hallucinations): क्योंकि कौशल विशिष्ट प्रकार की त्रुटियों को हल करने पर केंद्रित हैं, इसलिए AI ने कम "मनगढ़ंत अनुमान" (जैसे कि ऐसे नकली डेटाबेस टेबल बनाना जो मौजूद ही नहीं हैं) लगाए।
वास्तविक विविधता: शोध पत्र दिखाता है कि आठ उत्तर केवल एक ही वाक्य के थोड़े अलग संस्करण नहीं थे। वे पूरी तरह से अलग तर्क पथों (reasoning paths) का उपयोग करके उत्पन्न किए गए थे (जैसे, एक ने पहले डेटा की जाँच की, दूसरे ने तुरंत कोड लिखा)। इसका मतलब था कि उन्होंने अधिक क्षेत्र कवर किया।
स्थानांतरणीय कौशल (Transferable Skills): दिलचस्प बात यह है कि एक प्रकार के डेटाबेस (Snowflake) पर प्रशिक्षित टीम ने बिना पुन: प्रशिक्षण के पूरी तरह से अलग डेटाबेस (BigQuery, SQLite) पर भी उतना ही अच्छा काम किया। "कौशल" (जैसे, "समस्या को छोटे हिस्सों में तोड़ना") हर जगह उपयोगी थे।

सारांश

यह शोध पत्र एक तरीका पेश करता है जिससे AI टीमों को बड़ा बनाकर नहीं, बल्कि उन्हें अधिक विविध बनाकर स्मार्ट बनाया जा सकता है। केवल AI से लगातार आठ बार अनुमान लगाने के लिए कहने के बजाय, वे AI को सोचने के आठ अलग-अलग तरीके सिखाते हैं, यह सुनिश्चित करते हुए कि यदि एक तरीका विफल हो जाता है, तो दूसरा तरीका सफल होने की संभावना अधिक है। यह एक व्यक्ति को आठ बार प्रयास करने के लिए कहने और आठ अलग-अलग विशेषज्ञों को, जिनके पास अद्वितीय ताकत है, एक समस्या को मिलकर हल करने के लिए कहने के बीच का अंतर है।

तकनीकी सारांश: टेक्स्ट-टू-एसक्यूएल (Text-to-SQL) एनसेम्बल्स के लिए अवशिष्ट कौशल अनुकूलन (Residual Skill Optimization)

समस्या विवरण

टेक्स्ट-टू-एसक्यूएल सिस्टम का लक्ष्य प्राकृतिक भाषा के प्रश्नों को निष्पादनीय (executable) SQL क्वेरीज़ में अनुवादित करना है। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) मानक बेंचमार्क पर अच्छा प्रदर्शन करते हैं, वास्तविक दुनिया के परिदृश्य जिनमें बड़े स्कीमा, बोली-विशिष्ट (dialect-specific) सिंटैक्स और बहु-चरणीय तर्क शामिल हैं, चुनौतीपूर्ण बने रहते हैं। वर्तमान एजेंटिक सिस्टम, जो स्कीमा का निरीक्षण करने और त्रुटियों को सुधारने के लिए पुनरावृत्ति (iteratively) करते हैं, अभी भी हर क्वेरी को विश्वसनीय रूप से हल करने में विफल रहते हैं।

इस समस्या को संबोधित करने के लिए, टेक्स्ट-टू-एसक्यूएल एनसेम्बल्स कई SQL उम्मीदवारों ( $K$ ) को उत्पन्न करते हैं और सबसे अच्छे का चयन करते हैं। किसी भी एनसेम्बल की प्रभावशीलता मौलिक रूप से Pass@K द्वारा सीमित होती है—अर्थात, इस बात की संभावना कि $K$ उम्मीदवारों में से कम से कम एक सही है। मौजूदा तरीके स्टोकेस्टिक डिकोडिंग (हाई-टेम्परेचर सैंपलिंग) या हाथ से डिज़ाइन किए गए प्रॉम्प्ट वेरिएंट के माध्यम से विविधता बढ़ाने का प्रयास करते हैं। लेखक तर्क देते हैं कि ये दृष्टिकोण अपर्याप्त हैं क्योंकि वे अक्सर सह-संबंधित विफलताओं (correlated failures) वाले उम्मीदवार उत्पन्न करते हैं। एजेंटिक सिस्टम में, प्रारंभिक योजना की यादृच्छिकता (randomness) लंबी तर्क प्रक्रियाओं (reasoning trajectories) के माध्यम से प्रसारित होती है, जिसके परिणामस्वरूप वास्तव में पूरक समाधानों के बजाय एक ही गलत पथ के शोर वाले वेरिएंट प्राप्त होते हैं। फलस्वरूप, Pass@K स्थिर (plateau) हो जाता है, और अतिरिक्त उम्मीदवार घटते प्रतिफल (diminishing returns) प्रदान करते हैं।

कार्यप्रणाली: DIVSKILL-SQL

यह शोध पत्र DIVSKILL-SQL नामक एक फ्रेमवर्क पेश करता है, जो मॉडल फाइन-ट्यूनिंग के बिना पूरक एजेंटिक टेक्स्ट-टू-एसक्यूएल एनसेम्बल्स का निर्माण करता है। विविधता के लिए संयोग या ह्यूरिस्टिक्स पर निर्भर रहने के बजाय, यह अवशिष्ट कौशल अनुकूलन (Residual Skill Optimization) का उपयोग करके 'कौशल पूरकता' (candidate complementarity) को एक स्पष्ट अनुकूलन लक्ष्य के रूप में मानता है।

मुख्य अवधारणा: कौशल और अवशेष (Skills and Residuals)

कौशल (Skills): एक "कौशल" को एक उच्च-स्तरीय निर्देश फ़ाइल (सिस्टम प्रॉम्प्ट) के रूप में परिभाषित किया गया है जो एक एजेंट के अपघटन शैली (decomposition style), स्कीमा-अन्वेषण नीति, ड्राफ्टिंग रणनीति और मरम्मत तर्क (repair logic) को नियंत्रित करता है।
अवशिष्ट अनुकूलन (Residual Optimization): यह फ्रेमवर्क इस सिद्धांत पर कार्य करता है कि एक नया कौशल अनिवार्य रूप से अपने पूर्ववर्तियों से वैश्विक रूप से बेहतर नहीं होना चाहिए, बल्कि उसे विशेष रूप से उन उदाहरणों को हल करना चाहिए जिन्हें वर्तमान एनसेम्बल छोड़ देता है।
- मान लीजिए $D_{train}$ प्रशिक्षण सेट है।
- कौशल $s_1, \dots, s_{j-1}$ चुनने के बाद, अवशिष्ट सेट (residual set) $R_{j-1}$ को उन उदाहरणों के उपसमुच्चय के रूप में परिभाषित किया गया है जहाँ वर्तमान एनसेम्बल विफल रहता है।
- अगले कौशल $s_j$ को विशेष रूप से $R_{j-1}$ पर सफलता को अधिकतम करने के लिए अनुकूलित किया जाता है।
- यह प्रक्रिया समग्र Pass@K में एक नए कौशल के सीमांत योगदान (marginal contribution) को लालची (greedily) तरीके से लक्षित करती है।

एल्गोरिदम प्रवाह

सीड पूल इनिशियलाइजेशन (Seed Pool Initialization): प्रक्रिया $K$ मैन्युअल रूप से क्यूरेट किए गए सीड स्किल्स (जैसे, decompose, direct_coder, explore_heavy, adversarial_checker) के एक विविध पूल के साथ शुरू होती है, जिनमें से प्रत्येक एक विशिष्ट तर्क रणनीति को एनकोड करता है।
पुनरावृत्ति अनुकूलन (Iterative Optimization):
- एल्गोरिदम बैचों में चलता है। प्रत्येक कौशल के लिए, यह वर्तमान अवशिष्ट विफलताओं (वे उदाहरण जिन्हें एनसेम्बल ने हल नहीं किया है) की पहचान करता है।
- रिफ्लेक्टिव प्रॉम्प्ट ऑप्टिमाइज़ेशन (विशेष रूप से GEPA तकनीक) का उपयोग करके, एक LLM विफलता के निशानों (स्कीमा निरीक्षण, निष्पादन त्रुटियों) का विश्लेषण करता है और इन विशिष्ट विफलताओं को संबोधित करने के लिए एक परिष्कृत प्रॉम्प्ट प्रस्तावित करता है।
- संशोधन को तभी स्वीकार किया जाता है यदि यह अवशिष्ट सेट पर रिकवरी में सुधार करता है।
- अवशिष्ट सेट को उन उदाहरणों को हटाने के लिए अपडेट किया जाता है जिन्हें परिष्कृत कौशल द्वारा सफलतापूर्वक हल किया गया है।
अनुमान (Inference): परीक्षण के समय, $K$ सीखे गए स्किल-कंडीशन वाले एजेंट समानांतर में चलते हैं। उम्मीदवारों को उनके निष्पादन आउटपुट द्वारा डी-डुप्लिकेट किया जाता है, और अंतिम SQL का चयन एक पेयरवाइज तुलना (pairwise comparison) के माध्यम से किया जाता है, जो प्रत्यक्ष 1-of-K चयन की तुलना में अधिक विश्वसनीय है, जिसमें एक LLM जज का उपयोग किया जाता है।

प्रमुख योगदान

फॉर्मूलेशन: लेखक एजेंट स्किल्स पर टेक्स्ट-टू-एसक्यूएल एनसेम्बलिंग को एक अवशिष्ट Pass@K अनुकूलन समस्या के रूप में फॉर्म्युलेट करते हैं, जिसका लक्ष्य विभिन्न विफलता मोड को कवर करने वाले पूरक व्यवहारों को सीखना है।
फ्रेमवर्क: वे DIVSKILL-SQL का प्रस्ताव करते हैं, जो मॉडल फाइन-ट्यूनिंग या हाई-टेम्परेचर सैंपलिंग के बिना उम्मीदवार-सेट कवरेज में सुधार करता है, जिससे यह ओपन और क्लोज्ड दोनों प्रकार के LLMs के लिए लागू करने योग्य बन जाता है।
सैद्धांतिक गारंटी: यह शोध पत्र यह सिद्ध करता है (प्रपोजिशन A.1) कि जनसंख्या उद्देश्य के तहत, लालची अवशिष्ट अनुकूलन रणनीति (greedy residual optimization strategy) इष्टतम $K$ -स्किल एनसेम्बल का कम से कम $(1 - 1/e)$ -अनुमान प्राप्त करती है, जो Pass@K की सबमॉड्यूलरिटी (submodularity) का लाभ उठाती है।
अनुभवजन्य सत्यापन (Empirical Validation): कई बेंचमार्क और SQL बोलियों (dialects) पर व्यापक मूल्यांकन यह प्रदर्शित करता है कि अनसुलझे उदाहरणों पर कौशल को अनुकूलित करना सीधे तौर पर Pass@K में सीमांत योगदान को लक्षित करता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन Spider2-Lite (SQLite, Snowflake, और BigQuery को कवर करते हुए) और BIRD-Critic (PostgreSQL डिबगिंग) पर Opus-4.6 और GPT-5.4 को बेस मॉडल के रूप में उपयोग करके किया गया।

प्रदर्शन लाभ:
- Spider2-Lite (Snowflake) पर, DIVSKILL-SQL ने सबसे मजबूत बेसलाइन (CHASE-SQL) पर चयनित सटीकता में +11.1 अंक का सुधार किया।
- Spider2-Lite (BigQuery) पर, इसने +8.3 अंक का सुधार किया।
- BIRD-Critic पर, इसने चयनित सटीकता में +2.6 अंक का सुधार किया, जो डिबगिंग-शैली के कार्य प्रारूप में इसके स्थानांतरण (transfer) को दर्शाता है।
स्थानांतरणीयता (Transferability): एक एकल बोली (Snowflake) पर अनुकूलित कौशल बिना पुन: प्रशिक्षण के प्रभावी ढंग से BigQuery और SQLite में स्थानांतरित हुए, जो यह दर्शाता है कि सीखे गए रणनीतियाँ बोली-विशिष्ट सिंटैक्स के बजाय उच्च-स्तरीय समस्या-समाधान तर्क को कैप्चर करती हैं।
त्रुटि न्यूनीकरण: त्रुटि निदान (error diagnostics) ने बेसलाइनों की तुलना में हैलुसिनेटेड स्कीमा संदर्भों और अनसपोर्टेड फंक्शन कॉल्स में 3 गुना तक कम त्रुटियां दिखाईं।
व्यवहार संबंधी विविधता: ट्राजेक्टरी विश्लेषण ने दिखाया कि DIVSKILL-SQL एजेंट व्यवहार में रेडंडेंसी (redundancy) को 19%–28% तक कम करता है। बार-बार सैंपलिंग के विपरीत, जो सह-संबंधित विफलताओं को उत्पन्न करती है, सीखे गए कौशल वास्तव में भिन्न तर्क पथ (जैसे, विशिष्ट स्कीमा निरीक्षण और अपघटन पैटर्न) प्रेरित करते हैं।
दक्षता: DIVSKILL-SQL के 8 उम्मीदवारों के समान Pass@K कवरेज प्राप्त करने के लिए, बेसलाइन विधियों को 3 से 8 अतिरिक्त पास की आवश्यकता थी, जो अवशिष्ट दृष्टिकोण की लागत-दक्षता को उजागर करता है।

महत्व और दावे

शोध पत्र का दावा है कि DIVSKILL-SQL स्टोकेस्टिक विविधता पर निर्भर रहने के बजाय संरचित, पूरक विविधता (structured, complementary diversity) की ओर एक बदलाव का प्रतिनिधित्व करता है। पिछले एजेंटों द्वारा छोड़े गए मामलों (residual cases) के लिए स्पष्ट रूप से अनुकूलित होकर, यह सिस्टम एक ऐसा एनसेम्बल बनाता है जहाँ संपूर्ण, उसके हिस्सों के योग से कहीं अधिक होता है।

लेखक इस बात पर जोर देते हैं कि उनके लाभ सतह-स्तर के परिवर्तनों के बजाय वास्तव में विश्वसनीय पूरक कौशलों से आते हैं। यह दृष्टिकोण एजेंटिक सिस्टम की नाजुकता को संबोधित करता है जहाँ प्रारंभिक यादृच्छिकता अस्थिर तर्क की ओर ले जाती है। इसके अलावा, एक बोली (dialect) और कार्य प्रकार (जेनरेशन से डिबगिंग तक) के बीच स्थानांतरित होने की इसकी क्षमता यह सुझाव देती है कि अनुकूलित कौशल रिलेशनल डेटाबेस के साथ बातचीत करने के लिए मजबूत, सामान्यीकरण योग्य रणनीतियों को एनकोड करते हैं। यह फ्रेमवर्क कई मॉडलों को फाइन-ट्यून करने की कम्प्यूटेशनल लागत के बिना टेक्स्ट-टू-एसक्यूएल विश्वसनीयता में सुधार करने का एक व्यावहारिक मार्ग प्रदान करता है।