QuoteBench: How Matched Scores Can Hide Command-Path Failures
यह शोधपत्र QuoteBench प्रस्तुत करता है, जो यह प्रदर्शित करता है कि LLM कोडिंग एजेंटों में मैच की गई निष्पादन स्कोर (matched execution scores) अक्सर निष्पादन-पथ क्रमांकीकरण (execution-path serialization) और पार्सिंग के कारण होने वाली महत्वपूर्ण कमांड-जनरेशन विफलताओं को छिपा देती हैं, जिससे यह प्रकट होता है कि मॉडल रैंकिंग और प्रदर्शन विशिष्ट परिनियोजन विन्यासों (deployment configurations) के बजाय आंतरिक क्षमताओं पर अत्यधिक निर्भर हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट शेफ बना रहे हैं। आप उसे साधारण अंग्रेजी में एक रेसिपी देते हैं, और उसे एक किचन मशीन के लिए सटीक निर्देश तैयार करने होते हैं ताकि भोजन बनाया जा सके। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "रोबोट" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं, और "किचन मशीन" एक कंप्यूटर सिस्टम है जो कोड चलाता है। लंबे समय से, वैज्ञानिक इन रोबोटों का परीक्षण यह देखने के लिए कर रहे हैं कि अंतिम भोजन स्वादिष्ट है या नहीं। यदि रोबोट कहता है, "प्याज काटें," और कंप्यूटर प्याज काट देता है, तो हर कोई खुशी से झूम उठता है।
लेकिन एक पेचीदा हिस्सा है: संदेश रोबोट से मशीन तक कैसे पहुँचता है। कभी-कभी, संदेश एक अनुवादक (ट्रांसलेटर), एक रैपर, या एक बिचौलिए के माध्यम से यात्रा करता है जो मशीन द्वारा देखे जाने से पहले वाक्य को फिर से लिख देता है। इसे एक पत्र भेजने की तरह समझें। यदि आप लिखते हैं "नमक डालना न भूलें!" और एक बिचौलिया इसे पढ़ता है, विराम चिह्न के कारण भ्रमित हो जाता है, और गलती से इसे "नमक डालना न भूलें!" (एक अलग अर्थ के साथ) में बदल देता है, तो मशीन बहुत अधिक नमक डाल सकती है। समस्या यह है कि यदि आप केवल अंतिम व्यंजन की जाँच करते हैं, तो आप सोच सकते हैं कि रोबट एकदम सही है, भले ही बिचौलिए ने निर्देशों को बिगाड़ दिया हो। यह पेपर एक सरल लेकिन महत्वपूर्ण सवाल पूछता है: क्या रोबोट वास्तव में निर्देश लिखने में अच्छा है, या वह सिर्फ भाग्यशाली है कि बिचौलिए ने उन्हें बर्बाद नहीं किया?
यहीं पर QuoteBench आता है। शोधकर्ताओं ने एक विशेष परीक्षण बनाया है यह देखने के लिए कि क्या AI मॉडल "कोटिंग" (quoting) नियमों में फंसे बिना बैश (Bash) कमांड (जो फ़ाइलों और फोल्डरों को प्रबंधित करने के लिए कंप्यूटर द्वारा उपयोग किए जाने वाले विशिष्ट, तकनीकी निर्देश हैं) लिख सकते हैं। कंप्यूटर की भाषा में, कोट्स (quotes) और विशेष प्रतीक ट्रैफिक संकेतों की तरह हैं; यदि आप एक भी चूक गए, तो कार दुर्घटनाग्रस्त हो जाएगी। टीम ने पाया कि कई AI मॉडल कागज़ पर शानदार दिखते हैं लेकिन बुरी तरह विफल हो जाते हैं जब उनके निर्देशों को एक "बिचौलिए" (जैसे कि एक रिमोट सर्वर या कंटेनर) के माध्यम से गुजरना पड़ता है जो टेक्स्ट को फिर से पढ़ता है।
यहाँ एक मोड़ है: शोधकर्ताओं ने पाया कि इन AI को टेस्ट करने का मानक तरीका एक बड़ी समस्या को छिपा रहा है। उन्होंने AI द्वारा लिखे गए ठीक उन्हीं निर्देशों को लिया और उन्हें दो अलग-अलग रास्तों से चलाया। पहले पथ में, निर्देश सीधे कंप्यूटर तक पहुँचे। दूसरे पथ में, वे एक "बिचौलिए" के माध्यम से गए जिसने निर्देशों के अंदर अतिरिक्त परत (जैसे कि निर्देशों को डबल कोट्स के अंदर रखना) जोड़ दी।
जब उन्होंने ऐसा किया, तो परिणाम चौंकाने वाले थे। कुछ शीर्ष AI मॉडल्स के लिए, सफलता दर बहुत अधिक गिर गई—55.4% और 73.2% के बीच—सिर्फ इसलिए क्योंकि निर्देशों को उस अतिरिक्त परत से गुजरना पड़ा। यह एक ऐसे रोबोट शेफ की तरह है जो प्याज को पूरी तरह से काट सकता है जब आप उन्हें सीधे चाकू थमाते हैं, लेकिन यदि आप उन्हें निर्देश चिल्लाकर देने के लिए कहें, तो वे चाकू पकड़ना ही भूल जाते हैं।
हालाँकि, कहानी और भी दिलचस्प हो जाती है। शोधकर्ताओं ने पाया कि यदि वे AI को पहले ही बता देते, "हे, तुम्हारे निर्देश एक बिचौलिए के माध्यम से जाने वाले हैं," तो सबसे स्मार्ट मॉडल अपनी गलतियों को सुधार सकते थे। वे अपने निर्देशों को अतिरिक्त सावधानी बरतने के लिए फिर से लिख सकते थे। जब उन्होंने ऐसा किया, तो उन्होंने खोए हुए 30.4% से 60.7% अंक वापस पा लिए।
यह एक भ्रमित करने वाली स्थिति पैदा करता है। यदि आप केवल अंतिम स्कोर देखते हैं, तो एक मॉडल लगभग पूर्ण लग सकता है, जो इस तथ्य को छिपा देता है कि उसने बिचौलिए के कारण अपनी 64.3% की क्षमता खो दी थी, केवल इसलिए क्योंकि उसने अनुकूलित होने के लिए 60.7% वापस पा लिया। यह पेपर इसे केवल −3.6 पॉइंट्स का "मैच्ड गैप" (matched gap) कहता है। यह एक मामूली अंतर लग सकता है, लेकिन यह विफलता और रिकवरी का एक विशाल रोलरकोस्टर है जिसे मानक परीक्षण पूरी तरह से मिस कर गया।
पेपर का तर्क है कि हम केवल एक "सफलता स्कोर" को देखकर AI का निर्णय नहीं ले सकते। वह स्कोर एक परीक्षा के ग्रेड की तरह है जो आपको यह नहीं बताता कि छात्र ने अनधिकृत मदद ली या शिक्षक ने उनकी मदद की। शोधकर्ता दिखाते हैं कि यह इस बात पर निर्भर करता है कि आप परीक्षण को कैसे सेट करते हैं (जिसे "कमांड पाथ" कहा जाता है), कि कौन सा AI "सर्वश्रेष्ठ" है, इसकी रैंकिंग पूरी तरह से बदल सकती है। उदाहरण के लिए, एक मॉडल प्रत्यक्ष परीक्षण में स्पष्ट विजेता हो सकता है, लेकिन पीछे रह सकता है जब निर्देश एक रिमोट सर्वर के माध्यम से जाते हैं।
संक्षेप में, पेपर साबित करता है कि AI को टेस्ट करने का तरीका टूटा हुआ है क्योंकि यह निर्देशों की यात्रा की अनदेखी करता है। यह जानना पर्याप्त नहीं है कि AI एक कमांड लिख सकता है या नहीं; हमें यह जानना होगा कि क्या वह कमांड कंप्यूटर तक पहुँचने के सफर में जीवित बचता है। शोधकर्ता सुझाव देते हैं कि जो कोई भी इन AI टूल्स को बना रहा है या खरीद रहा है, उसे केवल सरल स्कोर देखना बंद कर देना चाहिए और पूछना शुरू करना चाहिए: "निर्देश वहाँ कैसे पहुँचे? क्या वहां कोई बिचौलिया था? क्या AI को इसके बारे में पता था?" क्योंकि उन जवाबों के बिना, एक उच्च स्कोर केवल एक भ्रम हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।