Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline

जासूस बनाम कैलकुलेटर: क्यों सही होना तेज़ होने से अधिक महत्वपूर्ण है

कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय में हैं जहाँ लाखों किताबें लगातार बदली जा रही हैं, हटाई जा रही हैं या फेंक दी जा रही हैं। आप एक लाइब्रेरियन से पूछते हैं, "पिछले मंगलवार को कितने लाल रंग के किताबें बेची गईं?" एक पारंपरिक कंप्यूटर प्रोग्राम एक सुपर-फास्ट कैलकुलेटर की तरह काम करता है: वह तुरंत खोजना शुरू करता है, एक संख्या निकालता है, और उसे चिल्लाकर आपको वापस बता देता है। यदि गणित एकदम सही है, तो कंप्यूटर खुद पर गर्व महसूस करता है। लेकिन क्या होगा अगर आपके लिए "लाल" का अर्थ "क्रिमसन" था लेकिन लाइब्रेरियन के लिए "स्कारलेट" था? या क्या होगा अगर लाल किताबें पिछले हफ्ते किसी दूसरे भवन में स्थानांतरित कर दी गई थीं, जिससे यह प्रश्न उत्तर देने के लिए असंभव हो गया? कैलकुलेटर फिर भी आपको एक संख्या देगा, लेकिन वह गलत होगी, और किसी को तब तक पता नहीं चलेगा जब तक कि बहुत देर न हो जाए।

यही LLM एनालिटिक्स एजेंटों की दुनिया है। ये वे AI सिस्टम हैं जिन्हें डेटाबेस (पुस्तकालयों) से बात करने और व्यावसायिक प्रश्नों के उत्तर देने के लिए डिज़ाइन किया गया है। लंबे समय तक, वैज्ञानिकों ने उनकी सफलता को इस बात की जाँच करके मापा कि क्या AI ने सही "कोड" (SQL) लिखा है जिससे पुस्तकालय से प्रश्न पूछा जा सके। यह एक छात्र को केवल इस आधार पर ग्रेड देने जैसा है कि उसने सही व्याकरण का उपयोग किया या नहीं, जबकि इस बात को अनदेखा कर दिया गया कि क्या उसने वास्तव में कहानी को समझा भी। लेकिन वास्तविक दुनिया में, एक "परफेक्ट" वाक्य जो गलत संख्या की ओर ले जाता है, एक आपदा है। यह एक ऐसे GPS की तरह है जो आपको उस घर के लिए सटीक दिशा निर्देश देता है जो पिछले साल जलकर राख हो गया था। असली चुनौती केवल कोड लिखने की नहीं है; बल्कि यह जानने की है कि कब उत्तर नहीं देना है, कब स्पष्टीकरण मांगना है, और कब यह कहना है, "मैं इसमें मदद नहीं कर सकता।" यह शोध पत्र उस उलझी हुई, वास्तविक दुनिया की समस्या में उतरता है, और पूछता है: क्या एक विशाल, महंगे दिमाग के पास होना बेहतर है जो आत्मविश्वास से अनुमान लगाता है, या एक छोटे, नियम मानने वाले जासूस के पास होना बेहतर है जो सब कुछ दो बार जांचता है?

QueryProof की कहानी: नियम-बद्ध जासूस

इस अध्ययन में, मॉरिस ली नामक एक शोधकर्ता ने एक नए प्रकार का AI एजेंट बनाया जिसे QueryProof कहा गया। इसका लक्ष्य एक साहसी विचार का परीक्षण करना था: शायद हमें स्मार्ट होने के लिए 32-बिलियन पैरामीटर वाले विशाल "मस्तिष्क" की आवश्यकता नहीं है। शायद हमें बस एक 7-बिलियन पैरामीटर वाले छोटे मस्तिष्क की आवश्यकता है जिसे सख्त नियमों का पालन करने और अपने काम की स्वयं जाँच करने के लिए मजबूर किया जाए।

इसका परीक्षण करने के लिए, शोधकर्ता ने WarehouseReliabilityBench नामक एक विशेष खेल का मैदान बनाया। कल्पना कीजिए कि दो नकली पुस्तकालय हैं (एक ऑनलाइन स्टोर के लिए, एक सॉफ्टवेयर कंपनी के लिए) जो ट्रिकी जाल से भरे हुए हैं। 400 प्रश्नों में से, लगभग आधे इस तरह डिज़ाइन किए गए थे कि उन्हें एक साधारण संख्या के साथ सही ढंग से उत्तर देना असंभव था। कुछ प्रश्न संदिग्ध थे (जैसे "राजस्व" के बारे में पूछना बिना यह बताए कि आपका मतलब "सकल" से है या "शुद्ध" से), कुछ ने ऐसे डेटा के बारे में पूछा जो मौजूद ही नहीं था, और कुछ ने AI को नियमों को तोड़ने के लिए फंसाने की कोशिश की। इन मामलों में, सही उत्तर एक संख्या नहीं था; बल्कि एक विनम्र इनकार, अधिक विवरण के लिए अनुरोध, या एक "मैं यह नहीं कर सकता" संदेश था।

प्रयोग ने तीन मुख्य पात्रों की तुलना की:

1. विशाल मस्तिष्क (32B): एक विशाल मॉडल जिसे सीधे सब कुछ उत्तर देने के लिए प्रॉम्प्ट किया गया। इसके पास कोई सुरक्षा कवच नहीं था, कोई नियम नहीं थे, और कोई भी इसके काम की जाँच करने वाला नहीं था।
2. नियम का पालन करने वाला जासूस (QueryProof): एक छोटा 7B मॉडल, लेकिन इसे एक "डिटरमिनिस्टिक स्टेट मशीन" (deterministic state machine) में लपेटा गया था। इसे एक सख्त सुपरवाइजर की तरह समझें जो AI को बोलने से पहले एक नियम पुस्तिका की जाँच करने के लिए मजबूर करता है। यदि प्रश्न संदिग्ध है, तो सुपरवाइजर कहता है, "रुको! स्पष्टीकरण मांगो।" यदि डेटा गायब है, तो सुपरवाइजर कहता है, "रुको! उत्तर देने से मना करो।" AI को तभी बोलने दिया जाता है जब वह इन जाँचों को पास कर लेता है।
3. लागत-मैच किया गया बेसलाइन (Cost-Matched Baseline): कुछ अतिरिक्त उदाहरणों (few-shot) के साथ एक छोटा मॉडल, यह देखने के लिए कि क्या केवल उसे अधिक संकेत देने से मदद मिलती है।

बड़ा खुलासा: कच्चे बल पर नियम भारी पड़े

परिणाम आश्चर्यजनक और बहुत स्पष्ट थे। विशाल मस्तिष्क आत्मविश्वासी था लेकिन अक्सर गलत था। इसने हर सवाल का जवाब देने की कोशिश की, यहाँ तक कि असंभव सवालों का भी, और अधिकांश पर गलत व्यावसायिक संख्याएँ देकर अंत में विफल रहा। इसकी "फॉल्स सक्सेस रेट" (गलत उत्तरों और उसके द्वारा दिए गए कुल उत्तरों का अनुपात) चौंका देने वाली 0.754 थी। यह उस छात्र की तरह था जो हर टेस्ट प्रश्न पर अनुमान लगाता है और "कोशिश करने" पर उच्च स्कोर प्राप्त करता है, लेकिन वास्तव में परीक्षा में फेल हो जाता है।

QueryProof, नियम पुस्तिका के साथ छोटे जासूस ने, विशाल मॉडल को पूरी तरह से पछाड़ दिया।

• सटीकता (Accuracy): QueryProof ने 0.537 की बिजनेस ट्रुथ रेट (Business Truth Rate) हासिल की (इसका अर्थ है कि इसने 53.7% बार सही उत्तर या सही व्यवहार दिखाया), जबकि विशाल मस्तिष्क केवल 0.300 ही प्रबंध सका।
• सुरक्षा (Safety): जब QueryProof ने कोई उत्तर दिया, तो वह विशाल मस्तिष्क की तुलना में कम गलत था। विशेष रूप से, QueryProof द्वारा दिए गए उत्तरों में से 35.1% गलत थे, जबकि विशाल मस्तिष्क द्वारा दिए गए उत्तरों में यह दर 75.4% थी। महत्वपूर्ण बात यह थी कि जिन विशिष्ट प्रश्नों पर उत्तर दिया जा सकता था, उन पर विशाल मस्तिष्क ने बिना किसी चेतावनी के शून्य गलत संख्याएँ लौटाईं, जबकि QueryProof ने उन प्रश्नों के लिए 13 उत्तर दिए जिनमें स्पष्टीकरण या इनकार की आवश्यकता थी। मुख्य जीत यह थी कि QueryProof ने उन "साइलेंट फेलियर्स" (silent failures) को रोक दिया जहाँ बिना किसी चेतावनी के गलत संख्या वापस मिल जाती है, यह सुनिश्चित करते हुए कि किसी भी उत्तर योग्य कार्य पर कभी भी गलत व्यावसायिक संख्या वापस न मिले।
• लागत (Cost): सबसे बड़ी बात यह है कि QueryProof, विशाल मस्तिष्क की तुलना में प्रति सही उत्तर 71.0% सस्ता था। इसे विश्वसनीय होने के लिए एक विशाल मॉडल की आवश्यकता नहीं थी; इसे जाँच के एक अच्छे सिस्टम की आवश्यकता थी।

शोध पत्र ने पाया कि "जादू" AI के मस्तिष्क के आकार में नहीं था। यह डिटरमिनिस्टिक लेयर (deterministic layer) में था—वे कठोर नियम जिन्होंने AI के बोलने से पहले प्रश्न की डेटाबेस की वास्तविक संरचना के साथ जाँच की। यह लेयर एक क्लब के बाउंसर की तरह काम करती थी, जो खराब सवालों को परेशानी पैदा करने से पहले ही रोक देती थी।

क्या काम नहीं आया (और यह क्यों महत्वपूर्ण है)

शोधकर्ताओं ने QueryProof में कुछ "स्मार्ट" फीचर्स जोड़ने की भी कोशिश की, इस उम्मीद में कि यह इसे और भी बेहतर बना देगा, लेकिन वे विफल रहे।

• कॉन्फिडेंस मॉडल (The Confidence Model): उन्होंने AI को यह "महसूस" करना सिखाने की कोशिश की कि वह कितना आश्वस्त है और उन प्रश्नों को छोड़ दे जिनसे वह अनिश्चित है। यह काम नहीं आया। टेस्ट पर, AI का सीखा हुआ आत्मविश्वास वास्तव में एक सरल, हाथ से लिखे गए नियम से भी खराब था। यह एक ऐसे छात्र की तरह था जो सोचता है कि उसे उत्तर पता है लेकिन वास्तव में वह केवल अनुमान लगा रहा है, जबकि सरल नियम बस ईमानदार था।

• रूटिंग सिस्टम (The Routing System): उन्होंने एक ऐसा सिस्टम आज़माया जो कठिन प्रश्नों को एक बड़े मॉडल के पास भेज दे। यह टेस्ट सेट पर उल्टा पड़ा, जिससे AI ने उन प्रश्नों को भी देने से मना कर दिया जिनका उत्तर वह दे सकता था।

शोध पत्र बहुत सावधानी से कहता है कि ये विफलताएं वास्तविक हैं। "स्मार्ट" हिस्से अभ्यास से वास्तविक टेस्ट तक सामान्यीकृत (generalize) नहीं हो सके। केवल वही काम आया जो उबाऊ, कठोर, नियम-आधारित जाँच थी।

पकड़: हम कितने निश्चित हैं?

शोधकर्ता अपनी कहानी की सीमाओं के बारे में ईमानदार हैं।

• खेल का मैदान (The Playground): पुस्तकालय कृत्रिम (synthetic) थे, जो एक एकल सीड (seed) से बनाए गए थे। हालांकि यह परीक्षण को निष्पक्ष और पुनरुत्पादक बनाता है, हम निश्चित रूप से नहीं जानते कि क्या यह दशकों के खराब डेटा वाले वास्तविक, अव्यवस्थित कंपनी के माहौल में काम करेगा।
• "लीक" (The Leak): शोधकर्ताओं ने स्वीकार किया कि सेटअप के दौरान, उन्हें गलती से कुछ विशिष्ट वाक्यांश मिले जो टेस्ट प्रश्नों से मेल खाते थे। उन्होंने अंतिम टेस्ट से पहले उन्हें हटा दिया, लेकिन वे स्वीकार करते हैं कि टेस्ट पूरी तरह से "साफ" नहीं है क्योंकि वे नियमों को बनाते समय प्रश्नों के बारे में जानते थे। वे परिणामों को एक ज्ञात दोष के साथ "फ्रोजन इवैल्यूएशन" (frozen evaluation) के रूप में देखते हैं, न कि एक पूर्ण प्रमाण के रूप में।
• सांख्यिकी (The Stats): जब उन्होंने व्यक्तिगत प्रश्नों के बजाय प्रश्नों के "परिवारों" (families) का उपयोग करके गणित को फिर से चलाया, तो कॉन्फिडेंस इंटरवल और चौड़े हो गए। इसका मतलब है कि परिणाम की दिशा (नियम > कच्चा बल) संभवतः सत्य है, लेकिन जीत का सटीक आकार थोड़ा धुंधला हो सकता है।

मुख्य निष्कर्ष (The Takeaway)

यहाँ मुख्य सबक यह है कि व्यावसायिक विश्लेषण के लिए, विश्वसनीयता संरचना से आती है, केवल आकार से नहीं। एक छोटा AI, जब एक सख्त नियमों की प्रणाली में लिपटा होता जो उत्तर देने से पहले डेटा और प्रश्न की जाँच करता है, तो वह एक विशाल AI की तुलना में अधिक सटीक, सुरक्षित और सस्ता हो सकता है जो केवल अनुमान लगाता है।

शोध पत्र सुझाव देता है कि यदि आप एक ऐसा AI चाहते हैं जो आपके बॉस से झूठ न बोले, तो आपको केवल एक बड़ा मॉडल नहीं खरीदना चाहिए। आपको एक बेहतर "नियम पुस्तिका" और काम की जाँच करने के लिए एक "बाउंसर" बनाना चाहिए। "स्मार्ट" सीखने वाले हिस्से (जैसे कॉन्फिडेंस स्कोर) अच्छे हो सकते हैं, लेकिन इस विशिष्ट मामले में, उन्होंने मदद नहीं की। असली नायक वह उबाऊ, डिटरमिनिस्टिक चेक था जिसने कहा, "रुको, उत्तर देने से पहले आइए सुनिश्चित करें कि यह प्रश्न समझ में आता है या नहीं।"