What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models
यह शोध पत्र तर्क देता है कि भाषा मॉडल की विश्वसनीयता का आकलन करने के लिए एकल-प्रॉम्ट सटीकता बेंचमार्क अपर्याप्त हैं, जो एक बहु-चरणीय ऑडिट के माध्यम से यह प्रदर्शित करता है कि मूल्यांकन डिजाइन के विकल्प, नाजुक आत्मविश्वास संकेत और असंगत प्रॉम्ट सुदृढ़ता निष्कर्षों को नाटकीय रूप से बदल सकते हैं और मॉडलों एवं मूल्यांकनकर्ताओं दोनों में महत्वपूर्ण विफलताओं को छिपा सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप जूनियर जासूसों (AI मॉडल्स) की एक टीम को रख रहे हैं ताकि वे पहेलियों की एक श्रृंखला को हल कर सकें। उन्हें परखने का मानक तरीका यह है कि उनसे एक प्रश्न पूछा जाए, देखें कि क्या वे सही उत्तर देते हैं, और उन्हें एक स्कोर दिया जाए। यदि वे 10 में से 8 सही उत्तर देते हैं, तो उन्हें 80% ग्रेड दिया जाता है।
यह शोध पत्र तर्क देता है कि यह एकल स्कोर एक झूठ है। यह इस बात के सबसे महत्वपूर्ण पहलुओं को छोड़ देता है कि एक जासूस वास्तव में वास्तविक दुनिया में कितना विश्वसनीय है। लेखकों ने 15 अलग-अलग छोटे AI जासूसों पर एक "बहु-चरणीय ऑडिट" (multi-variant audit) चलाया ताकि यह दिखाया जा सके कि सवाल कैसे पूछा जाता है, जवाब को कैसे पढ़ा जाता है, और उनके आत्मविश्वास को कैसे मापा जाता है, यह उनकी बुद्धिमत्ता के समान ही महत्वपूर्ण है।
यहाँ तीन बड़ी खोजें दी गई हैं, जिन्हें सरल उपमाओं के माध्यम से समझाया गया है:
1. "पहला शब्द" का जाल (मूल्यांकन डिजाइन विफलता का दिखावा कर सकता है)
उपमा: कल्पना कीजिए कि आप एक जासूस को रहस्य सुलझाने के लिए कहते हैं, लेकिन आप उनसे कहते हैं, "पहले, एक लंबी कहानी लिखें कि आपने इसके बारे में कैसे सोचा, फिर अंत में आखिरी लाइन पर उत्तर लिखें।"
जासूस एक शानदार 3-पेज की कहानी लिखता है, केस को पूरी तरह से सुलझाता है, और अंत में लिखता है "बटलर ने यह किया।"
हालाँकि, आपका ग्रेडिंग सिस्टम एक रोबोट है जो केवल उत्तर के सबसे पहले शब्द को देखता है ताकि यह तय किया जा सके कि वे सही हैं या नहीं। चूंकि पहला शब्द "The" था, इसलिए रोबोट उत्तर को गलत घोषित कर देता है।
शोध का निष्कर्ष:
शोधकर्ताओं ने पाया कि जब उन्होंने AI मॉडल्स को "चेन ऑफ थॉट" (सोचने के लिए स्टेप-बाय-स्टेप प्रक्रिया) का उपयोग करने के लिए कहा, तो मॉडल्स वास्तव में अधिक स्मार्ट हो गए। लेकिन क्योंकि मानक ग्रेडिंग सिस्टम केवल आउटपुट के पहले अक्षर को देखता था, इसलिए मॉडल्स के स्कोर में 72% से 88% तक की गिरावट आई।
- समाधान: उन्हें मॉडल्स को अपग्रेड करने की आवश्यकता नहीं थी। उन्हें बस "रोबोट ग्रेडर" को बदलना था ताकि वह टेक्स्ट के अंत में उत्तर को खोज सके बजाय इसके कि वह शुरुआत में देखे। एक बार जब उन्होंने ग्रेडर को ठीक कर दिया, तो मॉडल्स के स्कोर लगभग 100% तक वापस आ गए।
- सबक: एक मॉडल बुरा दिख सकता है सिर्फ इसलिए क्योंकि उसे ग्रेड करने वाला व्यक्ति गलत जगह देख रहा है।
2. "आत्मविश्वासी झूठा" (आत्मविश्वास के संकेत नाजुक होते हैं)
उपमा: कल्पना कीजिए कि एक छात्र एक कठिन परीक्षा दे रहा है। वह उत्तर गलत देता है, लेकिन जब उससे पूछा जाता है, "आप कितने निश्चित हैं?" तो वह कहता है, "मुझे 90% यकीन है कि मेरा उत्तर सही है!"
वास्तविक दुनिया में, हमें यह जानने की आवश्यकता है कि क्या छात्र वास्तव में निश्चित है या वह केवल निश्चित होने का नाटक कर रहा है।
शोध का निष्कर्ष:
एक बहुत कठिन टेस्ट (MMLU-Pro) पर, AI मॉडल्स लगातार अति-आत्मविश्वासी झूठे साबित हुए।
- उन्होंने केवल 20-30% बार ही सही उत्तर दिए।
- लेकिन जब उनसे आत्मविश्वास बताने के लिए कहा गया, तो उन्होंने मौखिक रूप से दावा किया कि वे 60-78% सुनिश्चित हैं।
- इससे भी बदतर यह कि कभी-कभी मॉडल्स इतनी ज्यादा बातें करते थे या ऐसी अजीब शब्दावली का उपयोग करते थे कि कंप्यूटर उनके आत्मविश्वास के नंबर को पहचान ही नहीं पाता था (एक "पार्ज़ फेल्योर" या समझने में विफलता)। यह ऐसा है जैसे कोई छात्र अपनी बात उस भाषा में चिल्ला रहा हो जिसे शिक्षक नहीं समझता।
- सबक: सिर्फ इसलिए कि एक AI कहता है "मैं निश्चित हूँ!", इसका मतलब यह नहीं है कि वह सही है। और कभी-कभी, आप यह भी नहीं जान सकते कि वह आत्मविश्वासी है या नहीं क्योंकि वह ऐसे तरीके से बात कर रहा है जिसे आप समझ नहीं सकते।
3. बड़ा होना हमेशा स्थिर होना नहीं होता (आकार का अर्थ मजबूती नहीं है)
उपमा: कल्पना कीजिए कि आपके पास एक छोटी, मजबूत लकड़ी की कुर्सी है और एक विशाल, भव्य संगमरमर का सिंहासन है। आप मान सकते हैं कि विशाल सिंहासन अधिक स्थिर है। लेकिन यदि आप संगमरमर के सिंहासन के पैरों को हिलाते हैं, तो वह डगमगा सकता है और टूट सकता है, जबकि छोटी लकड़ी की कुर्सी एकदम स्थिर रहती है।
शोध का निष्कर्ष:
लोग अक्सर यह मान लेते हैं कि एक बड़ा AI मॉडल (अधिक "मस्तिष्क शक्ति" या पैरामीटर्स के साथ) अधिक स्थिर होता है और यदि आप प्रश्न की शब्दावली को थोड़ा बदल देते हैं, तो वह भ्रमित नहीं होगा।
शोधकर्ताओं ने एक ही प्रश्न को पांच अलग-अलग तरीकों से पूछकर इसका परीक्षण किया (शब्दों का क्रम बदलकर, उदाहरण जोड़कर, फॉर्मेट बदलकर)।
- परिणाम: मॉडल के आकार और इन बदलावों को संभालने की उनकी क्षमता के बीच कोई स्पष्ट संबंध नहीं मिला।
- कुछ छोटे मॉडल्स अविश्वसनीय रूप से स्थिर थे (चाहे प्रश्न कैसे भी पूछा जाए, उनका स्कोर समान रहता था)।
- कुछ बड़े मॉडल्स बहुत नाजुक थे (प्रश्न की शब्दावली के आधार पर उनके स्कोर में भारी उतार-चढ़ाव आता था)।
- सबक: आप केवल मॉडल के आकार को देखकर यह निर्णय नहीं ले सकते कि वह कितना "रोबस्ट" या विश्वसनीय है। एक छोटा मॉडल बड़े मॉडल की तुलना में बहुत अधिक विश्वसनीय हो सकता है।
मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र निष्कर्ष निकालता है कि हमें AI विश्वसनीयता को एक साधारण टेस्ट स्कोर की तरह देखना बंद कर देना चाहिए।
यदि आप जानना चाहते हैं कि क्या एक AI वास्तविक दुनिया के लिए तैयार है, तो आप केवल अंतिम ग्रेड को नहीं देख सकते। आपको जानना होगा:
- टेस्ट को कैसे ग्रेड किया गया था? (ग्रेडर ने पहले शब्द को देखा या आखिरी को?)
- क्या मॉडल वास्तव में प्रश्न को समझ पाया था? (या उसने केवल अनुमान लगाया?)
- क्या हम इसके आत्मविश्वास पर भरोसा कर सकते हैं? (क्या यह एक आत्मविश्वासी झूठा है?)
- क्या यह मजबूत है? (क्या प्रश्न की शब्दावली बदलने पर यह टूट जाता है?)
लेखकों का तर्क है कि इन मॉडल्स पर भरोसा करने से पहले, हमें उनके परीक्षण के पूरे तरीके (रेसिपी) को प्रकाशित करने की आवश्यकता है, न कि केवल अंतिम संख्या को। अन्यथा, हम एक ऐसे जासूस को काम पर रख सकते हैं जो कागज पर तो महान दिखता है, लेकिन वास्तविक काम शुरू होते ही विफल हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।