📊 statistics

Robust Active Learning for Few-Shot Example Selection in Text-to-SQL

यह शोध पत्र टेक्स्ट-टू-एसक्यूएल (text-to-SQL) प्रणालियों में फ्यू-शॉट उदाहरण चयन के लिए एक सुदृढ़ स्तरीकृत ग्रीडी एल्गोरिदम (robust stratified greedy algorithm) प्रस्तावित करता है जो सैद्धांतिक गारंटियों और अनुभवजन्य सत्यापन के साथ एक हेटरोसेडास्टिक म्यूचुअल इंफॉर्मेशन ऑब्जेक्टिव (heteroscedastic mutual information objective) को अधिकतम करके हेटरोसेडास्टिसिटी (heteroscedasticity), विविधता बाधाओं (diversity constraints) और कर्नेल मिसस्पेसिफिकेशन (kernel misspecification) का समाधान करता है।

मूल लेखक: Arash Pourhabib

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arash Pourhabib

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन शेफ (AI) को व्यंजनों की एक विशाल लाइब्रेरी (डेटाबेस) के आधार पर जटिल व्यंजन बनाना सिखाने की कोशिश कर रहे हैं। शेफ खाना बनाने में बहुत अच्छा है, लेकिन उसे आपके लिए नया व्यंजन बनाने से पहले कुछ विशिष्ट व्यंजनों के उदाहरण देखने की आवश्यकता है। इसे "फ्यू-शॉट लर्निंग" (few-shot learning) कहा जाता है।

समस्या यह है: लाइब्रेरी में लाखों रेसिपी हैं, लेकिन आप एक मानव विशेषज्ञ से हर एक रेसिपी को पढ़ने और लेबल करने के लिए नहीं कह सकते ताकि वे शेफ को बता सकें कि कौन से अच्छे उदाहरण हैं। इसमें बहुत समय लगेगा और भारी लागत आएगी। इसलिए, आपको शेफ को दिखाने के लिए कुछ चुनिंदा, बेहतरीन रेसिपी चुननी होंगी।

यह पेपर इन रेसिपी को चुनने का एक स्मार्ट तरीका प्रस्तावित करता है ताकि आप खराब रेसिपी पर अपना समय बर्बाद न करें। यहाँ उनके विचार का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "शोर वाला" किचन (The "Noisy" Kitchen)

इस परिदृश्य में, सभी रेसिपी समझना समान रूप से कठिन नहीं होता है।

आसान वाले: "टोकरी में कितने सेब हैं?" (सरल, स्पष्ट, हर कोई उत्तर पर सहमत है)।
कठिन वाले: "उन सेबों को खोजें जिन्हें उन लोगों ने खरीदा था जिन्होंने संतरे भी खरीदे थे, लेकिन केवल तभी जब संतरे लाल हों, जब तक कि टोकरी लकड़ी की न बनी हो।" (भ्रमित करने वाला, अस्पष्ट, और विशेषज्ञ भी उत्तर पर बहस कर सकते हैं)।

पेपर इसे हेटरोसेडास्टिसिटी (Heteroscedasticity) कहता है। इसका अर्थ है कि "शोर" या भ्रम अलग-अलग प्रश्नों के आधार पर बदलता रहता है। यदि आप लेबल करने के लिए बहुत सारे भ्रमित करने वाले प्रश्न चुनते हैं, तो आप अपना बजट बर्बाद कर देते हैं क्योंकि विशेषज्ञ भी उत्तर पर सहमत नहीं हो पाते। लेखकों की विधि इन "बहस वाले" प्रश्नों से बचने और उन पर ध्यान केंद्रित करने में स्मार्ट है जो वास्तव में शेफ को कुछ नया सिखाएंगे।

2. जाल: "इको चैंबर" (The "Echo Chamber")

यदि आप केवल सबसे "भ्रमित करने वाले" प्रश्न चुनते हैं, तो आप गलती से ऐसे 10 प्रश्न चुन सकते हैं जो सभी "सेबों" के बारे में हों। शेफ सेबों के बारे में बहुत कुछ सीख जाएगा लेकिन "संतरे" या "केले" के बारे में कुछ भी नहीं सीख पाएगा।

इसे ठीक करने के लिए, लेखक एक नियम का उपयोग करते हैं जिसे पार्टीशन मैट्रॉइड (Partition Matroid) कहा जाता है।

उपमा: कल्पना कीजिए कि रेसिपी लाइब्रेरी एक विशाल फलों का बाजार है। आपको 10 रेसिपी चुननी हैं। नियम कहता है: "आप सेब वाले सेक्शन से अधिकतम एक रेसिपी, संतरे वाले सेक्शन से एक, केले वाले सेक्शन से एक, आदि चुन सकते हैं।"
परिणाम: यह चयन को विविध (diverse) होने के लिए मजबूर करता है। आपको ज्ञान की एक संतुलित टोकरी मिलती है, न कि केवल सेबों से भरी एक टोकरी।

3. मानचित्र: "छिपा हुआ आकार" (The "Hidden Shape")

रेसिपी को हजारों आयामों (dimensions) वाले स्थान में जटिल गणितीय कोड (embeddings) के रूप में संग्रहीत किया जाता है। यह 2,000 सड़कों वाले शहर में नेविगेट करने जैसा है। हालाँकि, पेपर का तर्क है कि वास्तविक सार्थक रेसिपी इस विशाल शहर के भीतर एक बहुत छोटे, छिपे हुए "द्वीप" या आकार पर रहती हैं।

उपमा: 2,000-आयामी स्थान की कल्पना एक विशाल, धुंधले महासागर के रूप में करें। वास्तविक रेसिपी उस सतह पर तैरते एक पतले, घुमावदार कागज के हवाई जहाज की तरह हैं। आपको पूरे महासागर का मानचित्र बनाने की आवश्यकता नहीं है; आपको बस उस कागज के हवाई जहाज का मानचित्र बनाने की आवश्यकता है।
लाभ: यह महसूस करने से कि डेटा एक छोटे "मैनिफोल्ड" (कागज के हवाई जहाज) पर मौजूद है, गणित बहुत तेज़ और अधिक सटीक हो जाता है।

4. गलती: "अपूर्ण दिशा-सूचक यंत्र" (The "Imperfect Compass")

लेखक स्वीकार करते हैं कि उन्हें यह सटीक रूप से नहीं पता है कि ये रेसिपी एक-दूसरे से कैसे संबंधित हैं। उन्हें अनुमान (एक "सरोगेट कर्नेल" का उपयोग) लगाना पड़ता है।

उपमा: कल्पना कीजिए कि आप एक दिशा-सूचक यंत्र (compass) के साथ नेविगेट कर रहे हैं जो थोड़ा गलत है। अधिकांश नेविगेशन सिस्टम अगर दिशा-सूचक यंत्र गलत हो जाए तो क्रैश हो जाएंगे।
नवाचार: लेखकों ने गणितीय रूप से सिद्ध किया है कि उनकी विधि मजबूत (robust) है। भले ही उनका दिशा-सूचक यंत्र थोड़ा गलत हो, वे क्रैश नहीं होंगे; वे बस थोड़े कम कुशल होंगे, लेकिन वे खजाना ढूंढ ही लेंगे। वे इसे "ग्रेसफुल डिग्रेडेशन" (graceful degradation) कहते हैं।

5. समाधान: "स्ट्रैटिफाइड ग्रीडी" एल्गोरिदम (The "Stratified Greedy" Algorithm)

लेखकों ने एक एल्गोरिदम बनाया है (जिसे SHARP नाम दिया गया है) जो एक स्मार्ट शॉपिंग लिस्ट की तरह काम करता है:

विभाजन (Divide): यह लाइब्रेरी को विभिन्न "फ्लेवर्स" या विषयों (जैसे फलों के बाजार के सेक्शन) में विभाजित करता है।
चयन (Pick): यह "अनिश्चितता" (शेफ क्या नहीं जानता) और "शोर" (प्रश्न कितना भ्रमित करने वाला है) को देखता है।
चुनना (Select): यह प्रत्येक सेक्शन से सबसे अच्छा प्रश्न चुनता है जो शेफ को सबसे अधिक सिखाएगा, जबकि भ्रमित करने वाले प्रश्नों से बचेगा।
दोहराना (Repeat): यह चरण-दर-चरण ऐसा करता है, और लगातार अपने मानचित्र को अपडेट करता रहता है।

परिणाम: क्या यह काम कर गया?

लेखकों ने NVIDIA में एक वास्तविक दुनिया के सप्लाई चेन डेटाबेस पर इसका परीक्षण किया।

गति (Speed): उनकी विधि ने केवल 10 प्रयासों में 7 में से 6 अलग-अलग विषयों को कवर करने वाले उदाहरण खोज लिए। अन्य विधियों को 15 प्रयासों की आवश्यकता थी या वे कभी सभी विषयों को कवर नहीं कर पाईं।
गुणवत्ता (Quality): जब उन्होंने इन चयनित उदाहरणों का उपयोग AI को SQL (डेटाबेस क्वेरी) उत्पन्न करने में मदद करने के लिए किया, तो AI ने रैंडम उदाहरणों या अन्य मानक विधियों की तुलना में कम गलतियाँ कीं और डेटाबेस संरचना को बहुत बेहतर ढंग से समझा।
यथार्थवाद (Realism): यहाँ तक कि जब उन्होंने "नॉइज़ी" लेबल्स का उपयोग किया (जहाँ AI को स्वयं उदाहरणों को ग्रेड करना था, न कि एक पूर्ण मानव द्वारा), उनकी विधि प्रतिस्पर्धा से काफी बेहतर प्रदर्शन करती रही।

सारांश

संक्षेप में, यह पेपर हमें सिखाता है कि AI के लिए एक "स्मार्ट करिकुलम" कैसे बनाया जाए। AI को रैंडम उदाहरण फेंकने के बजाय, या केवल सबसे कठिन उदाहरण चुनने के बजाय, यह विधि सुनिश्चित करती है कि AI को एक संतुलित, विविध और स्पष्ट सेट के उदाहरण मिलें। यह भ्रमित करने वाले प्रश्नों से बचता है, सभी अलग-अलग विषयों को कवर करता है, और तब भी काम करता है जब हमारे डेटा का मानचित्र पूर्ण न हो। इससे समय, पैसा बचता है और AI कम उदाहरणों के साथ बहुत अधिक स्मार्ट बनता है।

तकनीकी सारांश: Text-to-SQL में फ्यू-शॉट उदाहरण चयन के लिए सुदृढ़ सक्रिय शिक्षण (Robust Active Learning)

1. समस्या का निरूपण (Problem Formulation)

यह शोधपत्र डोमेन-विशिष्ट Text-to-SQL प्रणालियों में लार्ज लैंग्वेज मॉडल्स (LLMs) को ग्राउंड करने के लिए उच्च-गुणवत्ता वाले कुछ चुनिले (few-shot) उदाहरणों के एक छोटे सेट को चुनने की चुनौती को संबोधित करता है। जबकि इन-कॉन्टेक्स्ट लर्निंग, जनरेशन को निर्देशित करने के लिए एनोटेटेड $(q, s)$ युग्मों (प्राकृतिक भाषा प्रश्न और SQL क्वेरी) को रिट्रीव करने पर निर्भर करती है, बड़े एंटरप्राइज स्कीमा के लिए विशेषज्ञ एनोटेशन अत्यधिक महंगा है। मुख्य समस्या को एक प्रतिबंधित प्रयोगात्मक डिजाइन समस्या (constrained experimental design problem) के रूप में औपचारिक रूप दिया गया है: उन अनएनोटेटेड (unannotated) क्वेरीज के सबसे छोटे उपसमूह (subset) की पहचान करना जिन्हें लेबल किया जाना चाहिए ताकि रिट्रीवल सिस्टम की सामान्यीकरण सटीकता (generalization accuracy) को अधिकतम किया जा सके।

लेखक तीन महत्वपूर्ण चुनौतियों की पहचान करते हैं जो मानक सक्रिय शिक्षण (active learning) फ्रेमवर्क को अपर्याप्त बनाती हैं:

हेटरोसेडास्टिसिटी (Heteroscedasticity): एनोटेशन की विश्वसनीयता और LLM का प्रदर्शन विभिन्न क्वेरीज के बीच काफी भिन्न होता है। सरल क्वेरीज (जैसे एग्रीगेशन) में शोर (noise) कम होता है, जबकि जटिल क्वेरीज (जैसे नेस्टेड सबक्वेरीज) में उच्च विचरण (variance) होता है। मानक होमसेडास्टिक मॉडल उन क्वेरीज पर बजट बर्बाद करने का जोखिम उठाते हैं जिन्हें हल नहीं किया जा सकता।
संरचनात्मक विविधता (स्ट्रक्चरल डायवर्सिटी - Partition Matroid Constraints): एल्गोरिदम को घने सिमेंटिक क्लस्टर्स (रिडंडेंसी) को ओवर-सैंपल करने से रोकने के लिए, चयन को $K$ विशिष्ट सिमेंटिक विषयों में स्थानिक विविधता लागू करनी चाहिए। यह समस्या को एक पार्टिशन मैट्रॉइड (partition matroid) के अधीन एक प्रतिबंधित अनुकूलन (constrained optimization) में बदल देता है (प्रत्येक क्लस्टर से अधिकतम एक उदाहरण चुनना)।
मैनिफोल्ड इनपुट्स और कर्नल मिसस्पेसिफिकेशन (Manifold Inputs and Kernel Misspecification): LLM एम्बेडिंग्स उच्च-आयामी एम्बिएंट स्पेस (जैसे $\mathbb{R}^{2048}$ ) में रहती हैं, लेकिन वैध क्वेरीज एक निम्न-आयामी अंतर्निहित मैनिफोल्ड $\mathcal{M}$ पर स्थित होती हैं। इसके अलावा, SQL शुद्धता सतह (correctness surface) की वास्तविक कोवेरिएंस संरचना अज्ञात है, जिसके लिए कर्नल मिसस्पेसिफिकेशन (kernel misspecification) के प्रति सुदृढ़ अधिग्रहण रणनीति (acquisition strategy) की आवश्यकता है।

2. कार्यप्रणाली: SHARP एल्गोरिदम

लेखक SHARP (Stratified Heteroscedastic Active Retrieval on a Partitioned manifold) का प्रस्ताव करते हैं, जो एक ग्रीडी एल्गोरिदम है जिसे हेटरोसेडास्टिक म्यूचुअल इंफॉर्मेशन (MI) ऑब्जेक्टिव को अधिकतम करने के लिए डिज़ाइन किया गया है।

सैद्धांतिक ढांचा (Theoretical Framework)

गौसियन प्रोसेस (GP) मॉडलिंग: अपेक्षित SQL शुद्धता को एम्बेडिंग मैनिफोल्ड पर एक लेटेंट फंक्शन $f$ के रूप में मॉडल किया जाता है, जिसमें GP प्रायर (prior) होता है। ऑब्जर्वेशन मॉडल में क्वेरी-निर्भर शोर $\sigma^2(x)$ शामिल है ताकि हेटरोसेडास्टिसिटी को संबोधित किया जा सके।
ऑब्जेक्टिव फंक्शन: लक्ष्य चयनित सेट $S$ और अनऑब्जर्वड पूल $C \setminus S$ के बीच म्यूचुअल इंफॉर्मेशन $I(Y_S; Y_{C \setminus S})$ को अधिकतम करना है। यह ऑब्जेक्टिव अनिश्चितता में कमी और शेष पूल के प्रति चयनित बिंदुओं की प्रासंगिकता के बीच संतुलन बनाता है।
सबमॉड्यूलरिटी और सन्निकटन (Submodularity and Approximation): लेखक सिद्ध करते हैं कि हेटरोसेडास्टिक MI ऑब्जेक्टिव अंतर्निहित मैनिफोल्ड पर सबमॉड्यूलर (submodular) और अनुमानित रूप से मोनोटोनिक (approximately monotonic) बना रहता है। फलस्वरूप, पार्टिशन मैट्रॉइड बाधाओं के तहत एक ग्रीडी चयन रणनीति इष्टतम सेट के सापेक्ष एक कॉन्स्टेंट-फैक्टर एप्रोक्सिमेशन गारंटी (विशेष रूप से $1/2$ ) प्राप्त करती है।
मिसस्पेसिफिकेशन के प्रति सुदृढ़ता: एक प्रमुख सैद्धांतिक योगदान एक स्पेक्ट्रल मिसमैच बाउंड (spectral mismatch bound) है। लेखक प्रदर्शित करते हैं कि यदि माना गया सरोगेट कर्नल वास्तविक डेटा-जनरेटिंग प्रक्रिया से विचलित होता है, तो एप्रोक्सिमेशन गारंटी विनाशकारी होने के बजाय धीरे-धीरे (एक एडिटिव पेनल्टी टर्म के माध्यम से) कम होती है। यह एक रूढ़िवादी (conservative) सरोगेट कर्नल (Matérn-1/2) का चयन करके प्राप्त किया जाता है जिसका रिप्रोड्यूसिंग कर्नल हिल्बर्ट स्पेस (RKHS) स्मूथ कर्नल्स के स्पेस को समाहित करता है।

एल्गोरिदम डिज़ाइन

स्ट्रैटिफाइड ग्रीडी सिलेक्शन: एल्गोरिदम कैंडिडेट एम्बेडिंग्स को एक अंतर्निहित मैनिफोल्ड पर प्रोजेक्ट करता है और उन्हें स्पेक्ट्रल क्लस्टरिंग (यूक्लिडियन दूरी के बजाय जियोडेसिक दूरी पर आधारित) का उपयोग करके $K$ सिमेंटिक क्लस्टर्स में समूहित करता है।
एक्विजिशन स्टेप (Acquisition Step): प्रत्येक इटरेशन में, एल्गोरिदम एक अनसेलेक्टेड क्लस्टर से एक क्वेरी चुनता है जो म्यूचुअल इंफॉर्मेशन में मार्जिनल गेन को अधिकतम करती है। गेन की गणना अनुमानित कोवेरिएंस मैट्रिक्स और हेटरोसेडास्टिक नॉइज़ एस्टीमेट्स से प्राप्त पोस्टीरियर वेरिएंस रेशियो का उपयोग करके की जाती है।
नॉइज़ एस्टीमेशन: चूंकि वास्तविक शोर (true noise) अवलोकनीय नहीं है, इसलिए विधि हेटरोसेडास्टिसिटी $\sigma^2(x)$ का अनुमान LLM सेल्फ-कंसिस्टेंसी के माध्यम से लगाती है: बिना फ्यू-शॉट उदाहरणों के, एक क्वेरी के लिए कई LLM जनरेशन्स की सिंटैक्टिक विविधता को मापना।

3. प्रयोगात्मक सत्यापन (Experimental Validation)

इस फ्रेमवर्क का मूल्यांकन NVIDIA के लिए सप्लाई-चेन एनालिटिक्स के लिए एक प्रोडक्शन एंटरप्राइज Text-to-SQL सिस्टम पर किया गया, जिसमें सात क्वेरी डोमेन शामिल थे।

प्रयोगात्मक सेटअप

बेसलाइन्स (Baselines): SHARP एल्गोरिदम की तुलना निम्नलिखित से की गई:
- रैंडम सिलेक्शन (Random Selection): यूनिफॉर्म सैंपलिंग।
- अनसर्टेंटी सैंपलिंग (Uncertainty Sampling): लॉजिस्टिक रिग्रेशन-आधारित चयन (ओरेकल लेबल्स)।
- डिस्टेंस-टू-थ्रेशोल्ड (Distance-to-Threshold): एक ज्यामितीय स्पेस-फिलिंग स्ट्रैटेजी (मैक्स-मिन डिस्टेंस)।
मूल्यांकन मेट्रिक्स:
- रिट्रीवल सिमुलेशन: डोमेन कवरेज (उन विशिष्ट डोमेन की संख्या जहाँ रिट्रीवल स्कोर $\ge 0.5$ है) और नॉन-सीड डोमेन स्कोर को मापा गया।
- एंड-टू-एंड LLM इवैल्यूएशन: 70B पैरामीटर वाले LLM का उपयोग करके वास्तविक SQL जनरेशन क्वालिटी (SemanticScore) को मापा गया।
- रियलिस्टिक GP एक्सपेरिमेंट: एक सख्त टेस्ट जहाँ GP लेबल्स को LLM द्वारा ऑनलाइन जेनरेट किया गया था (कोई ग्राउंड ट्रुथ उपलब्ध नहीं था), जो वास्तविक दुनिया के परिनियोजन (deployment) का अनुकरण करता है।

मुख्य परिणाम

डोमेन डिस्कवरी: SHARP ने सबसे तेज़ डोमेन कवरेज प्राप्त किया, जो $n=10$ के एनोटेशन बजट पर 7 में से 6 डोमेन तक पहुँच गया, जबकि सर्वश्रेष्ठ बेसलाइन (Distance-to-Threshold) को $n=15$ की आवश्यकता थी, और रैंडम कभी भी बजट के भीतर 6 डोमेन तक नहीं पहुँच सका।
क्रॉस-डोमेन जनरलाइजेशन: SHARP ने नॉन-सीड डोमेन स्कोर पर बेसलाइन्स को लगातार पछाड़ दिया, जो अनदेखे डोमेन में बेहतर सामान्यीकरण क्षमता प्रदर्शित करता है। रियलिस्टिक GP एक्सपेरिमेंट में $n=50$ पर, SHARP ने रैंडम के 0.517 की तुलना में 0.767 का नॉन-सीड डोमेन स्कोर प्राप्त किया।
स्ट्रक्चरल रेलेवेंस: SHARP ने टेबल मैच रेट्स (रियलिस्टिक सेटिंग में $n=50$ पर रैंडम के 0.400 के मुकाबले 0.600) में महत्वपूर्ण सुधार किया, जो दर्शाता है कि चयनित उदाहरणों ने LLM को सही डेटाबेस टेबल की पहचान करने में अधिक प्रभावी ढंग से मदद की।
सुदृढ़ता (Robustness): एल्गोरिदम ने शोर वाले, ऑनलाइन LLM-जेनरेटेड लेबल्स पर प्रशिक्षित होने के बावजूद अपना लाभ बनाए रखा, जो पुष्टि करता है कि पार्टिशन मैट्रॉइड बाधा वास्तविक सिमेंटिक कवरेज को संचालित करती है, न कि केवल लेबल की गुणवत्ता को।

4. महत्व और दावे (Significance and Claims)

यह शोधपत्र दावा करता है कि यह एंटरप्राइज Text-to-SQL सिस्टम को बूटस्ट्रैप करने के लिए एक गणितीय रूप से सुदृढ़, सैंपल-एफिशिएंट मार्ग प्रदान करता है। इसके प्राथमिक योगदान हैं:

औपचारिकीकरण (Formalization): यह फ्यू-शॉट उदाहरण चयन को पार्टिशन मैट्रॉइड बाधाओं के तहत एक हेटरोसेडास्टिक प्रयोगात्मक डिजाइन समस्या के रूप में औपचारिक रूप देता है, जो LLM संदर्भों में मानक सक्रिय शिक्षण की विशिष्ट विफलता मोड (रिडंडेंसी और परिवर्तनशील शोर) को संबोधित करता है।
सैद्धांतिक गारंटी: यह स्थापित करता है कि एक स्ट्रैटिफाइड ग्रीडी एल्गोरिदम इष्टतम सूचना लाभ (information gain) का एक कॉन्स्टेंट-फैक्टर एप्रोक्सिमेशन प्राप्त कर सकता है, भले ही कर्नल मिसस्पेसिफाइड हो। पेपर स्पष्ट रूप से दावा करता है कि एक रूढ़िवादी कर्नल (Matérn-1/2) का उपयोग यह सुनिश्चित करता है कि जब माना गया मॉडल वास्तविकता से विचलित होता है, तो प्रदर्शन का "ग्रेसफुल डिग्रेडेशन" (graceful degradation) हो, न कि विनाशकारी विफलता।
व्यावहारिक प्रभावकारिता: प्रयोगात्मक परिणाम दर्शाते हैं कि प्रस्तावित रणनीति उच्च रिट्रीवल और जनरेशन सटीकता बनाए रखते हुए लेबलिंग प्रयास को काफी कम करती है। लेखक इस बात पर जोर देते हैं कि लाभ स्ट्रक्चरल कवरेज (मैट्रॉइड बाधा द्वारा प्रवर्तित) से आते हैं, न कि हाइपरपैरामीटर ट्यूनिंग से, जिससे यह दृष्टिकोण विभिन्न लेबलिंग व्यवस्थाओं (ओरेकल बनाम शोर वाले LLM लेबल्स) में सुदृढ़ बनता है।

यह कार्य निष्कर्ष निकालता है कि LLM एम्बेडिंग्स की निम्न-आयामी अंतर्निहित मैनिफोल्ड संरचना का लाभ उठाकर और सिमेंटिक विविधता को लागू करके, "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) को दूर करना और सुदृढ़, डेटा-कुशल Text-to-SQL सिस्टम बनाना संभव है।