Less Is More: Measuring How LLM Involvement affects Chatbot Accuracy in Static Analysis
यह शोध पत्र यह प्रदर्शित करता है कि स्टैटिक एनालिसिस (static analysis) में, प्राकृतिक भाषा को क्वेरी कोड में अनुवादित करने के लिए स्कीमा-प्रतिबंधित (schema-constrained) JSON मध्यवर्ती प्रतिनिधित्व का उपयोग करना, सीधे जनरेशन और टूल-संवर्धित एजेंटिक दृष्टिकोणों दोनों की तुलना में काफी बेहतर प्रदर्शन करता है, विशेष रूप से बड़े भाषा मॉडलों के लिए, क्योंकि यह बढ़े हुए टोकन उपभोग के बजाय संरचित बाधाओं को प्राथमिकता देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक अपराध को सुलझाने की कोशिश कर रहे हैं, लेकिन आप पुलिस डेटाबेस की भाषा नहीं समझते। आपके पास एक शानदार सहायक (AI) है जो आपके स्वाभाविक अंग्रेजी प्रश्नों को पूरी तरह समझता है, लेकिन डेटाबेस केवल एक विशेष, कठोर कमांड स्वीकार करता है जिसे CPGQL नामक एक अजीब कोड में लिखा गया है।
कागज़ एक सरल प्रश्न पूछता है: हमें AI को कितना जासूसी कार्य करने देना चाहिए?
क्या हमें AI को सीधे कोड लिखने देना चाहिए? क्या हमें AI को एक सरल फॉर्म भरने देना चाहिए जिसे फिर एक इंसान द्वारा अनुवादित किया जाए? या क्या हमें AI को एक रोबोट की तरह काम करने देना चाहिए, जो समस्या को चरण-दर-चरण हल करने के लिए एक-एक करके उपकरणों (tools) को उठाता है?
शोधकर्ताओं ने आपके अंग्रेजी प्रश्न और डेटाबेस के कोड के बीच के अंतर को पाटने के लिए तीन अलग-अलग तरीकों का परीक्षण किया। यहाँ उन्हें क्या मिला, जिसे मजेदार उपमाओं (analogies) के माध्यम से समझाया गया है।
तीन दृष्टिकोण (The Three Approaches)
1. "प्रत्यक्ष अनुवादक" (Direct Translator - Approach A1)
उपमा: आप AI से कहते हैं, "मेरे लिए बैंक को एक पत्र लिखो।" AI सीधे बैंक के गुप्त कोड में वह पत्र लिखने की कोशिश करता है।
- यह कैसे काम करता है: AI आपके प्रश्न को देखता है और डेटाबेस को क्वेरी करने के लिए आवश्यक सटीक, जटिल कोड (CPGQL) लिखने का प्रयास करता है।
- समस्या: यह वैसा ही है जैसे किसी ऐसे व्यक्ति से अचानक एक कानूनी अनुबंध लिखने के लिए कहना जो अंग्रेजी बोलता है लेकिन उस भाषा को बहुत कम जानता है जिसे उसने अभी-अभी देखा है। AI अक्सर व्याकरण गलत कर देता है, गलत शब्दों का उपयोग करता है, या ऐसा वाक्य बनाता है जो देखने में तो ठीक लगता है लेकिन उसका अर्थ कुछ बिल्कुल अलग होता है। यह बहुत अधिक स्वतंत्रता है।
2. "फॉर्म फिलर" (Form Filler - Approach A2)
उपमा: आप AI से कहते हैं, "बैंक के लिए इस विशिष्ट फॉर्म को भरें।" फॉर्म में "नाम," "तारीख," और "कारण" जैसे बॉक्स हैं। एक बार जब AI इसे भर देता है, तो एक इंसान (या एक सरल कंप्यूटर स्क्रिप्ट) उस फॉर्म को लेता है और बैंक के लिए एकदम सही कानूनी पत्र लिखता है।
- यह कैसे काम करता है: AI कोड नहीं लिखता है। यह केवल एक संरचित JSON फॉर्म (एक डिजिटल चेकलिस्ट) भरता है जिसमें "स्रोत: उपयोगकर्ता इनपुट" और "गंतव्य: डेटाबेस" जैसे विशिष्ट उत्तर होते हैं। एक नियतात्मक (deterministic) कंप्यूटर स्क्रिप्ट फिर उस फॉर्म को लेती है और उसे एकदम सही कोड में बदल देती है।
- परिणाम: यह विजेता रहा। AI को केवल एक फॉर्म के खाली स्थानों को भरने के लिए मजबूर करने से, इसने कम गलतियाँ कीं। AI को कोड के जटिल व्याकरण की चिंता करने की आवश्यकता नहीं थी; इसे बस आपके प्रश्न को समझना था और सही बॉक्स चुनना था।
3. "उपकरणों के साथ रोबोट" (Robot with Tools - Approach A3)
उपमा: आप AI को समस्या हल करने के लिए कहते हैं, और वह कहता है, "ठीक है, मैं अपने रिंच (wrench) का उपयोग करूँगा, फिर मेरे हथौड़े का, फिर मेरे पेचकश (screwdriver) का।" यह अपने काम को हर कदम के बाद जाँचते हुए, चरण-दर-चरण समाधान बनाने की कोशिश करता है।
- यह कैसे काम करता है: AI को उपकरणों का एक सेट दिया जाता है (जैसे "मेथड्स खोजना" या "डेटा ट्रेस करना")। वह एक उपकरण चुनता है, एक उत्तर प्राप्त करता है, दूसरा उपकरण चुनता है, और तब तक चलता रहता है जब तक कि उसे लगता है कि उसके पास उत्तर है।
- परिणाम: यह सबसे खराब विकल्प था। भले ही इसने सबसे अधिक प्रयास किया और सबसे अधिक ऊर्जा (tokens) खर्च की, फिर भी यह सबसे अधिक विफल हुआ।
- क्यों? कल्पना कीजिए कि 10 कड़ियों की एक श्रृंखला है। यदि हर कड़ी 90% मजबूत है, तो पूरी श्रृंखला केवल लगभग 35% मजबूत होगी। हर बार जब AI एक उपकरण चुनता है या परिणाम की व्याख्या करता है, तो उसके गलती करने की एक छोटी सी संभावना होती है। जब तक यह चरणों की लंबी श्रृंखला पूरी करता है, त्रुटियाँ जमा हो जाती हैं, और अंतिम उत्तर आमतौर पर गलत होता है। इसके अलावा, एक खराब परिणाम पाने के लिए इसने 8 गुना अधिक पैसा (कंप्यूटिंग पावर) खर्च किया।
बड़ी आश्चर्यजनक बातें (The Big Surprises)
1. बड़े मॉडल हमेशा बेहतर नहीं होते (जब तक कि आप उन्हें सीमित न करें)।
जब उन्होंने "प्रत्यक्ष अनुवादक" (A1) का उपयोग किया, तो विशाल, स्मार्ट AI मॉडल (70B पैरामीटर्स) भी कोड लिखने में बेहद खराब थे। उन्होंने बेतुकी बातें (hallucinations) बनाईं।
हालाँकि, जब उन्होंने "फॉर्म फिलर" (A2) का उपयोग किया, तो विशाल मॉडल सुपरस्टार बन गए। वे फॉर्म को पूरी तरह से भर सकते थे, और कंप्यूटर स्क्रिप्ट ने इसे एकदम सही कोड में बदल दिया।
- सबक: एक स्मार्ट व्यक्ति को यदि एक खाली पन्ना दे दिया जाए, तो वह एक गड़बड़ रचना लिखेगा। एक स्मार्ट व्यक्ति को यदि 'रिक्त स्थान भरें' वाला फॉर्म दिया जाए, तो वह आपको एक सटीक उत्तर देगा।
2. "छोटे मॉडल" की बाधा (The Small Model Bottleneck)।
छोटे, सस्ते AI मॉडल (7B पैरामीटर्स) "फॉर्म फिलर" दृष्टिकोण के साथ संघर्ष करते हैं। वे अक्सर फॉर्म को गलत तरीके से भर देते हैं (उदाहरण के लिए, "नाम" वाले बॉक्स में तारीख डाल देना)। क्योंकि कंप्यूटर स्क्रिप्ट के काम करने के लिए फॉर्म का सटीक होना आवश्यक था, इसलिए ये छोटे मॉडल एक सीमा पर आकर रुक गए। वे नियमों का पालन करने के लिए पर्याप्त सटीक नहीं थे।
3. अधिक प्रयास = कम सफलता।
"उपकरणों के साथ रोबोट" (A3) दृष्टिकोण सबसे महंगा था और इसमें सबसे अधिक समय लगा, फिर भी इसने सबसे कम स्कोर प्राप्त किया। यह एक अकेले बॉक्स को ले जाने के लिए 10 लोगों की टीम को काम पर रखने जैसा है, जबकि एक व्यक्ति स्पष्ट निर्देश मिलने पर इसे पूरी तरह से कर सकता था। अतिरिक्त चरणों ने केवल गलतियों के होने के अधिक अवसर पैदा किए।
मुख्य निष्कर्ष (The Takeaway)
यदि आप जटिल, संरचित प्रणालियों (जैसे कोड विश्लेषण उपकरण, डेटाबेस, या कानूनी प्रणाली) से बात करने के लिए AI का उपयोग करना चाहते हैं:
AI को कोड लिखने न दें।
AI को उपकरणों के साथ इधर-उधर भटकने न दें।
इसके बजाय, AI से एक संरचित फॉर्म भरवाएं।
AI को वह करने दें जिसमें वह अच्छा है (आपके अंग्रेजी प्रश्न को समझना), और एक सरल, उबाऊ कंप्यूटर प्रोग्राम को वह करने दें जिसमें वह अच्छा है (सख्त कोड लिखना)।
"कम ही अधिक है" (Less is More): AI को कम स्वतंत्रता (उसे एक फॉर्म तक सीमित करके) देकर, आप वास्तव में अधिक सटीकता प्राप्त करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।