Revisiting the Reliability of Language Models in Instruction-Following
यह शोध पत्र IFEval++ बेंचमार्क और reliable@k मीट्रिक को प्रस्तुत करता है जो यह प्रकट करता है कि जबकि उन्नत भाषा मॉडल मानक निर्देश-अनुपालन परीक्षणों पर उच्च स्कोर प्राप्त करते हैं, वे सूक्ष्म प्रॉम्प्ट बारीकियों का सामना करने पर महत्वपूर्ण नाजुकता और 61.8% तक की प्रदर्शन गिरावट प्रदर्शित करते हैं, जो वास्तविक दुनिया की विश्वसनीयता में एक महत्वपूर्ण अंतर को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
शीर्षक: "कज़िन" टेस्ट: क्यों स्मार्ट AI छोटे बदलावों से भी लड़खड़ा जाता है
कल्पना कीजिए कि आपने एक बहुत ही बुद्धिमान नया सहायक नियुक्त किया है। आप उसे एक काम देते हैं: "एक बिल्ली के बारे में कहानी लिखें, लेकिन सुनिश्चित करें कि यह ठीक 100 शब्दों की हो।" वह इसे पूरी तरह से करता है। आप प्रभावित होते हैं। आप उसे फिर से वही काम देते हैं, लेकिन इस बार आप कहते हैं, "एक बिल्ली (feline) के बारे में एक कहानी लिखें, यह सुनिश्चित करते हुए कि शब्द संख्या सटीक रूप से 100 हो।" वह इसे फिर से करता है। आप आश्वस्त महसूस करते हैं।
लेकिन फिर, आप उससे एक ऐसी बिल्ली के बारे में कहानी लिखने के लिए कहते है जो "लगभग 100 शब्दों की हो।" अचानक, वह घबरा जाता है। वह 90 शब्द लिखता है, फिर 110, फिर 85। वह विफल हो जाता है।
यही वह मुख्य समस्या है जिसे त्सिंगहुआ विश्वविद्यालय और एंट ग्रुप के शोधकर्ताओं ने अपने नए शोध पत्र, "Revisiting the Reliability of Language Models in Instruction-Following" में खोजा है।
पूर्णता का भ्रम
कुछ समय से, एआई मॉडल (LLMs) IFEVAL जैसे मानकीकृत परीक्षणों पर परफेक्ट स्कोर प्राप्त कर रहे हैं। इन परीक्षणों को कंप्यूटर के लिए SAT की तरह समझें। वे यह जांचते हैं कि क्या एक AI सख्त नियमों का पालन कर सकता है, जैसे "कोई कॉमा उपयोग न करें" या "A अक्षर से शुरू करें।" शीर्ष मॉडल 95% या उससे अधिक स्कोर कर रहे हैं। यह देखने में लगता है कि वे त्रुटिहीन हैं।
लेकिन वास्तविक दुनिया में, इंसान रोबोट नहीं होते। हम सटीक, मानकीकृत परीक्षण वाले प्रश्न नहीं बोलते। हम अपने मूड, अपने संदर्भ, या हमने पहले किसी अनुरोध को कैसे कहा था, इसके आधार पर चीजें अलग तरह से कहते हैं। हम "कज़िन प्रॉम्प्ट्स" (Cousin Prompts) का उपयोग करते हैं।
"कज़िन प्रॉम्प्ट" क्या है?
कल्पना कीजिए कि आप एक दोस्त से "एक लाल शर्ट लाने" के लिए कहते हैं।
- प्रॉम्प्ट A: "एक लाल शर्ट लाओ।"
- प्रॉम्प्ट B: "कुछ लाल पहनकर आओ।"
- प्रॉम्प्ट C: "मुझे एक गहरा लाल (crimson) टॉप चाहिए।"
- प्रॉम्प्ट D: "एक लाल शर्ट लाओ, लेकिन कुर्सी पर रखी नीली वाली को छोड़ दो।"
एक इंसान के लिए, ये सभी एक ही अनुरोध हैं। एक AI के लिए, ये पूरी तरह से अलग पहेलियाँ हो सकती हैं। शोधकर्ता इन्हें "कज़िन प्रॉम्प्ट्स" कहते हैं—वे संबंधित हैं, उनका अर्थ एक ही है, लेकिन शब्दों या बाधाओं (constraints) में सूक्ष्म अंतर हैं।
बड़ी खोज: "विश्वसनीयता अंतराल" (The Reliability Gap)
शोधकर्ताओं ने IFEVAL++ नामक एक नया परीक्षण मैदान बनाया। एक AI से एक प्रश्न पूछने के बजाय, उन्होंने उससे एक ही प्रश्न के 10 थोड़े अलग "कज़िन" संस्करण एक साथ पूछे। उन्होंने एक नया स्कोर पेश किया जिसे reliable@k कहा जाता है।
यहाँ चौंकाने वाला परिणाम है: यहाँ तक कि सबसे स्मार्ट AI मॉडल भी विश्वसनीय नहीं हैं।
जब उन्होंने एक ऐसे मॉडल को लिया जिसने मानक परीक्षण पर 95% स्कोर किया था और उसे "कज़िन" टेस्ट दिया, तो उसका प्रदर्शन अक्सर गिर गया।
- कुछ मॉडल्स का प्रदर्शन 60% तक गिर गया।
- यहाँ तक कि सबसे उन्नत मॉडल (GPT-5) का प्रदर्शन भी लगभग 20% गिर गया।
यह एक ऐसे छात्र की तरह है जो गणित के टेस्ट में सटीक संख्याओं के साथ उत्कृष्ट प्रदर्शन कर सकता है, लेकिन जैसे ही आप "2 और 2 जोड़ें" को "दो वस्तुओं के जोड़े को मिलाएं" में बदलते हैं, वह फेल हो जाता है। AI वास्तव में इरादे (intent) को नहीं समझ रहा है; वह केवल परीक्षण के विशिष्ट वाक्यांश को याद कर रहा है।
ऐसा क्यों होता है?
शोध पत्र सुझाव देता है कि AI एक ऐसे तोते की तरह है जिसने एक स्क्रिप्ट रट ली है। यदि आप स्क्रिप्ट को थोड़ा सा बदल देते हैं, तो तोता भ्रमित हो जाता है।
- पुनर्गठन (Rephrasing): "कम से कम 400 शब्द" को "लगभग 450 शब्द" में बदलना मॉडल को भ्रमित करता है।
- भटकाव (Distractions): एक छोटा, अप्रासंगिक वाक्य जोड़ने जैसे "वैसे, आसमान नीला है" से AI मुख्य नियम भूल सकता है।
- पुनर्गठन (Reconfiguration): संदर्भ को थोड़ा बदलना (जैसे, नींद के बारे में ब्लॉग पोस्ट बनाम नींद के बारे में कहानी के बारे में पूछना) मॉडल के तर्क को तोड़ देता है।
हम इसे कैसे ठीक करें?
शोधकर्ताओं ने केवल समस्या की ओर इशारा नहीं किया; उन्होंने इसे ठीक करने के तीन तरीके आजमाए:
- उत्तर का अनुमान लगाना (Prediction): उन्होंने यह देखने के लिए AI को "सोचने" की कोशिश की कि क्या वह कार्य कर सकता है या नहीं। यह अच्छी तरह से काम नहीं किया; AI बहुत अधिक आत्मविश्वासी था।
- अधिक प्रशिक्षण (SFT): उन्होंने AI को विशेष रूप से इन "कज़िन" विविधताओं पर प्रशिक्षित किया। इससे मदद मिली, लेकिन यह धीमा और महंगा था।
- "फिर से प्रयास करें" विधि (Test-Time Scaling): यह विजेता रहा। AI को एक बार उत्तर देने के लिए कहने के बजाय, उन्होंने इसे 10 अलग-अलग उत्तर उत्पन्न करने दिया और सबसे अच्छा चुना। यह एक छात्र को निबंध तीन बार लिखने के लिए कहने और सबसे अच्छा संस्करण जमा करने जैसा है। इस सरल ट्रिक ने कमजोर मॉडल्स को भी सबसे मजबूत मॉडल्स से बेहतर प्रदर्शन करने में सक्षम बनाया।
निष्कर्ष
यह शोध पत्र एक चेतावनी है। सिर्फ इसलिए कि एक AI मानकीकृत परीक्षण पर "A" ग्रेड प्राप्त करता है, इसका मतलब यह नहीं है कि वह वास्तविक दुनिया के लिए तैयार है। वास्तविक जीवन अव्यवस्थित है, "कज़िन प्रॉम्प्ट्स" और सूक्ष्म बारीकियों से भरा है।
वास्तव में भरोसेमंद AI बनाने के लिए, हमें उन्हें पूर्ण, रोबोटिक प्रश्नों पर टेस्ट करना बंद करना होगा और उन्हें उन अस्त-व्यस्त, विविध और सूक्ष्म तरीकों पर टेस्ट करना शुरू करना होगा जिनसे वास्तव में इंसान बात करते हैं। तब तक, हमें सावधान रहना चाहिए: AI स्मार्ट हो सकता है, लेकिन यह अभी तक विश्वसनीय नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।