One prompt is not enough: Instruction Sensitivity Undermines Embedding Model Evaluation
यह शोध पत्र यह प्रदर्शित करता है कि इंस्ट्रक्शन-ट्यून्ड एम्बेडिंग मॉडल्स के लिए वर्तमान सिंगल-प्रॉम्ट मूल्यांकन पद्धति मौलिक रूप से त्रुटिपूर्ण है क्योंकि यह निर्देश वाक्यांशण (instruction phrasing) के प्रति अत्यधिक संवेदनशील है, जिससे भ्रामक प्रदर्शन स्कोर और अस्थिर लीडरबोर्ड रैंकिंग उत्पन्न होती है, अतः ऐसे बेंचमार्क की आवश्यकता है जो प्रॉम्ट सुदृढ़ता (prompt robustness) को समाहित करते हों।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह आंकने की कोशिश कर रहे हैं कि एथलीटों का एक समूह दौड़ने में कितना अच्छा है। आप उन्हें एक कतार में खड़ा करते हैं और कहते हैं, "जितनी तेजी से हो सके दौड़ो!" और फिर उनका समय नोट करते हैं। यह वर्तमान में AI "एम्बेडिंग" (embedding) मॉडल को टेस्ट करने का मानक तरीका है (जो कि कंप्यूटर के मस्तिष्क की तरह होते हैं जो टेक्स्ट के अर्थ को समझने में मदद करते हैं)।
लेकिन यह शोध पत्र तर्क देता है कि इन मॉडलों को टेस्ट करने का वर्तमान तरीका ऐसा है जैसे किसी धावक को स्प्रिंट करने के लिए कहना, लेकिन केवल उसे ऐसे ट्रैक पर दौड़ने देना जो संयोग से उसकी पसंदीदा सतह हो, जबकि बाकी सभी को कीचड़ भरे मैदान में दौड़ना पड़े। परिणाम? लीडरबोर्ड पर जो स्कोर दिखते हैं, वे पूरी सच्चाई नहीं बताते हैं।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:
1. "जादुई शब्द" की समस्या (प्रॉम्प्ट संवेदनशीलता - Prompt Sensitivity)
ये AI मॉडल "इंस्ट्रक्शन-ट्यून्ड" (instruction-tuned) होते हैं, जिसका अर्थ है कि उन्हें एक विशिष्ट वाक्य (एक "प्रॉम्प्ट") की आवश्यकता होती है जो उन्हें क्या करना है, यह बताए।
- उपमा: एक ऐसे शेफ की कल्पना करें जो पास्ता बनाने में माहिर है, लेकिन केवल तभी जब आप उससे कहें, "कृपया मेरे लिए सबसे अच्छा पास्ता बनाएं।" यदि आप उससे कहें, "कुछ नूडल्स पका दो," तो वह औसत दर्जे का कुछ बना सकता है। यदि आप कहें, "एक पाक कृति (culinary masterpiece) का निर्माण करें," तो वह रसोई को जलाकर राख कर सकता है।
- निष्कर्ष: शोधकर्ताओं ने 6 अलग-अलग AI मॉडलों का 11 विभिन्न कार्यों (tasks) पर परीक्षण किया। प्रत्येक कार्य के लिए, उन्होंने केवल "आधिकारिक" प्रश्न (डिफ़ॉल्ट प्रॉम्प्ट) का उपयोग नहीं किया; उन्होंने प्रश्न के 15 अलग-अलग संस्करण लिखे।
- परिणाम: उन्होंने पाया कि AI का प्रदर्शन इस बात पर बहुत अधिक निर्भर करता था कि प्रश्न कैसे पूछा गया था। कभी-कभी एक मॉडल का स्कोर बहुत अधिक होता था; अन्य बार, ठीक वही मॉडल बहुत कम स्कोर करता था, केवल इसलिए क्योंकि शब्दों में थोड़ा सा बदलाव हो गया था।
2. "नकली उच्च स्कोर" और "अनुचित निम्न स्कोर"
शोध पत्र ने पाया कि वर्तमान परीक्षण प्रणाली हमें मुख्य रूप से दो तरीकों से धोखा देती है:
- प्रॉम्प्ट इन्फ्लेशन (उच्च स्कोर - Prompt Inflation): कभी-कभी, "आधिकारिक" प्रश्न किसी विशिष्ट मॉडल के लिए परफेक्ट प्रश्न होता है। यह एक धावक को हवा के अनुकूल (tailwind) और ढलान वाले रास्ते पर दौड़ने देने जैसा है। मॉडल को एक बहुत बड़ा स्कोर मिलता है जो अद्भुत दिखता है, लेकिन वास्तव में यह एक अपवाद (outlier) है। यह वह तरीका नहीं है जिससे मॉडल आमतौर पर प्रदर्शन करता है।
- प्रॉम्प्ट डिफलेशन (निम्न स्कोर - Prompt Deflation): इसके विपरीत, कभी-कभी आधिकारिक प्रश्न मॉडल के लिए सबसे खराब संभव प्रश्न होता है। यह एक धावक को भारी जूते पहनकर स्प्रिंट करने के लिए कहने जैसा है। मॉडल को बहुत बुरा स्कोर मिलता है, जिससे वह खराब दिखता है जबकि वह वास्तव में काफी अच्छा हो सकता है।
3. "लीडरबोर्ड शफल" (रैंकिंग में उथल-पुथल - Leaderboard Shuffle)
इस अध्ययन का सबसे चौंकाने वाला हिस्सा वह है जो रैंकिंग देखते समय होता है।
- उपमा: एक ऐसी दौड़ की कल्पना करें जहाँ विजेता का निर्णय इस आधार पर होता है कि किसे सबसे अच्छी शुरुआती स्थिति मिली है।
- निष्कर्ष: शोधकर्ताओं ने दिखाया कि यदि आप प्रत्येक मॉडल के लिए "परफेक्ट" प्रश्न चुन सकते हैं, तो किसी भी मॉडल को नंबर एक विजेता बनाया जा सकता है। यहाँ तक कि वह मॉडल जो आमतौर पर आखिरी स्थान पर आता है, उसे भी सही "जादु적인 शब्दों" के माध्यम से पहले स्थान पर पहुँचाया जा सकता है, जबकि अन्य मॉडलों को गलत शब्द दिए जाएं।
- वास्तविकता: इसका अर्थ है कि वर्तमान "लीडरबोर्ड" (जैसे कि खेल रैंकिंग) स्थिर नहीं हैं। यदि कोई कंपनी अपने मॉडल का प्रदर्शन दिखाना चाहती है, तो वे बस उस एक विशिष्ट प्रश्न को चुन सकते हैं जो उनके मॉडल को जीनियस दिखाता है, जबकि उन सैकड़ों अन्य प्रश्नों को अनदेखा कर देते हैं जहाँ वह संघर्ष करता है।
4. "प्रॉम्प्ट हैकिंग" (वह धोखाधड़ी जो वास्तव में धोखाधड़ी नहीं है)
लेखक इसे "प्रॉम्प्ट हैकिंग" कहते हैं।
- उपमा: यह एक ऐसे छात्र की तरह है जो अभ्यास परीक्षा (practice test) देता है, प्रश्नों के उत्तर देने के 50 अलग-अलग तरीके आज़माता है, उस एक तरीके को ढूंढ लेता है जिससे 'A' ग्रेड मिलता है, और फिर केवल वही एक उत्तर सबमिट करता है। उन्होंने अपने दिमाग (मॉडल के कोड) को नहीं बदला, उन्होंने बस टेस्ट निर्देशों में एक खामी (loophole) ढूंढ ली।
- निष्कर्ष: यह हमेशा बुरे इरादे से नहीं किया जाता है। एक डेवलपर विकास के दौरान कुछ अलग-अलग प्रश्न आज़मा सकता है, वह एक तरीका ढूंढ सकता है जो सबसे अच्छा काम करता है, और फिर वही स्कोर रिपोर्ट करता है। लेकिन क्योंकि वे अपने सभी प्रयासों का औसत रिपोर्ट नहीं कर रहे हैं, जनता को एक भ्रामक रूप से उच्च स्कोर मिलता है।
प्रस्तावित समाधान
शोध पत्र सुझाव देता है कि हमें इन मॉडलों को आंकने के लिए एक एकल "पॉइंट एस्टीमेट" (एक प्रश्न से एक स्कोर) का उपयोग करना बंद कर देना चाहिए।
- समाधान: यह पूछने के बजाय कि, "आपने इस प्रश्न पर कैसा प्रदर्शन किया?", हमें यह पूछना चाहिए, "आपने प्रश्न के इन 15 विभिन्न संस्करणों में से सभी पर कैसा प्रदर्शन किया?"
- लक्ष्य: हमें केवल एक संख्या के बजाय वितरण (distribution) (स्कोर का फैलाव) देखने की आवश्यकता है। इससे यह पता चलेगा कि क्या कोई मॉडल लगातार अच्छा है, या वह केवल विशिष्ट प्रश्न के साथ भाग्यशाली था।
संक्षेप में: इन AI मॉडलों को रेट करने का वर्तमान तरीका एक संगीतकार को उनके द्वारा बजाए गए एक परफेक्ट गाने के आधार पर आंकने जैसा है, जबकि यह अनदेखा कर दिया जाता है कि वे अन्य हर गाने पर लड़खड़ा सकते हैं। एक निष्पक्ष तस्वीर पाने के लिए, हमें उनकी पूरी प्लेलिस्ट सुनने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।