The Wording Effect: Quantifying Two-Way Drift in LLM Benchmark Performance
यह शोधपत्र BenchDrift प्रस्तुत करता है, जो एक ऐसा ढांचा है जो यह मापता है कि अर्थ-संरक्षण करने वाले पुनर्गठन (rephrasings) बेंचमार्क समस्याओं के साथ कैसे LLMs में महत्वपूर्ण दो-तरफा प्रदर्शन उतार-चढ़ाव का कारण बनते हैं, जिससे यह पता चलता है कि वाक्यांश संवेदनशीलता (phrasing sensitivity) मॉडल की क्षमता के बावजूद बनी रहती है और यह भंगुरता व्यक्तिगत मॉडल की कमजोरियों के बजाय विशिष्ट पुनर्गठनों से उत्पन्न होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टैलेंट शो के जज हैं, लेकिन आप किसी प्रदर्शन को देखने के बजाय, पहेलियाँ सुलझाने की एक रोबोट की क्षमता का मूल्यांकन कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन पहेलियोंों को "बेंचमार्क" कहा जाता है। एक बेंचमार्क को एक मानकीकृत परीक्षण (स्टैंडर्ड टेस्ट) के रूप में समझें, जैसे कि कंप्यूटर के लिए एक फाइनल एग्जाम। वर्षों से, वैज्ञानिक यह मानते आए हैं कि यदि कोई रोबोट इस परीक्षण पर उच्च स्कोर प्राप्त करता है, तो वह वास्तव में विषय को समझता है। लेकिन इसमें एक पेच है: परीक्षण का हर सवाल केवल एक विशिष्ट तरीके से लिखा गया है। यह बिल्कुल वैसा ही है जैसे किसी छात्र से पूछना, "2 प्लस 2 क्या है?" और उसे पूर्ण अंक देना, लेकिन कभी यह न पूछना कि "क्या आप दो और दो का योग बता सकते हैं?" या "यदि आपके पास दो सेब हैं और आपको दो और मिल जाते हैं, तो आपके पास कुल कितने हैं?"
यह शोध पत्र विज्ञान के एक कोने में जाता है जिसे नेचुरल लैंग्वेज प्रोसेसिंग (NLP) कहा जाता है, जो यह अध्ययन करता है कि कंप्यूटर मानवीय शब्दों को कैसे समझते हैं। मुख्य विचार यह है कि कंप्यूटर इस बात के प्रति आश्चर्यजनक रूप से संवेदनशील होते हैं कि प्रश्न कैसे पूछा गया है। ठीक वैसे ही जैसे एक इंसान भ्रमित हो सकता है यदि शिक्षक एक अजीब लहजे या भ्रमित करने वाली वाक्य संरचना का उपयोग करता है, एक कंप्यूटर भी लड़खड़ा सकता है यदि शब्द बदल जाते हैं, भले ही गणित या तर्क बिल्कुल वही रहे। यह क्यों मायने रखता है? क्योंकि यदि रोबोट का स्कोर पूरी तरह से परीक्षण की विशिष्ट शब्दावली पर निर्भर करता है, तो हम वास्तव में उस स्कोर पर यह विश्वास नहीं कर सकते कि रोबोट वास्तव में कितना बुद्धिमान है। हो सकता है कि वह केवल एक विशिष्ट पहेली के सही उत्तर का अनुमान लगाने में अच्छा हो, न कि समस्या को हल करने में।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जो IBM में कार्यरत हैं, BenchDrift नामक एक नए टूल के माध्यम से इस "शब्दों के प्रभाव" (wording effect) की जांच करने का निर्णय लिया। कल्पना कीजिए कि आपके पास एक जादुई फोटोकॉपी मशीन है जो बिना उत्तर बदले एक प्रश्न को दर्जनों अलग-अलग तरीकों से फिर से लिख सकती है। आप एक ही गणितीय समस्या को एक विनम्र अनुरोध, एक नाटकीय कहानी, बुलेट पॉइंट्स की एक सूची, या छोटे प्रश्नों की एक श्रृंखला के रूप में पूछ सकते हैं। टीम ने मूल प्रश्नों को चार अलग-अलग "अक्षों" (axes) पर फिर से लिखने के लिए BenchDrift का उपयोग किया: भाषाई (Linguistic - शब्दों और शैली को बदलना), संदर्भ संबंधी (Referential - नाम या संख्या बदलना), व्यावहारिक (Pragmatic - लहजे या सेटिंग को बदलना, जैसे रोबोट को एक कलाकार होने का नाटक करना), और संरचनात्मक (Structural - जानकारी के संगठन को बदलना)।
उन्होंने इन पुनर्गठित प्रश्नों को आठ अलग-अलग AI मॉडलों के माध्यम से चलाया, जो छोटे से लेकर बहुत बड़े मॉडलों तक विस्तृत थे। उन्हें जो मिला वह एक झटका था। उन्होंने एक घटना खोजी जिसे वे "ड्रिफ्ट" (drift) कहते हैं। कभी-कभी, प्रश्न को फिर से लिखने से रोबोट को सही उत्तर पाने में मदद मिली जब वह पहले विफल रहा था (पॉजिटिव ड्रिफ्ट)। लेकिन अक्सर, प्रश्न को फिर से लिखने से एक रोबोट उस समस्या में विफल हो गया जिसे उसने पहले सही ढंग से हल किया था (नेगेटिव ड्रिफ्ट)।
सबसे आश्चर्यजनक खोज यह थी कि रोबोट जितना स्मार्ट होता, वह उतना ही नाजुक (fragile) होता जाता। सबसे मजबूत मॉडल, जो आमतौर पर उच्चतम स्कोर प्राप्त करते हैं, वास्तव में उन प्रश्नों के मामले में अधिक सही उत्तर खो देते थे जिन्हें पुनर्गठित किया गया था। यह ऐसा है जैसे शीर्ष छात्रों को शिक्षक द्वारा पूछे गए प्रश्नों के विशिष्ट तरीके की इतनी आदत हो गई थी कि वे थोड़े अलग ढंग को संभाल नहीं सके। वास्तव में, सर्वश्रेष्ठ मॉडलों के लिए, एक एकल परीक्षण स्कोर अक्सर उनकी वास्तविक क्षमता का अतिरंजित अनुमान (overestimate) होता है। शोधकर्ताओं ने पाया कि एक मॉडल के "सर्वश्रेष्ठ-मामले" के स्कोर (जब उसे शब्दावली के साथ भाग्य चमकता है) और उसके "सबसे खराब-मामले" के स्कोर (जब शब्दावली उसे उलझा देती है) के बीच का अंतर बहुत बड़ा था—औसतन, 74.7 प्रतिशत अंक का अंतर। उदाहरण के लिए, एक मॉडल जिसने मूल परीक्षण पर 93.4% स्कोर किया था, वह प्रश्नों को पुनर्गठित करने पर 38.2% तक गिर गया।
टीम ने कुछ आसान बहानों को भी खारिज कर दिया। उन्होंने साबित किया कि रोबोट केवल इसलिए विफल नहीं हो रहे थे क्योंकि प्रश्न कठिन या लंबे हो गए थे; कभी-कभी प्रश्न को छोटा या लंबा करने से भी समान मात्रा में परेशानी हुई। उन्होंने यह भी पाया कि भले ही एक रोबोट अपने उत्तर को लेकर अत्यधिक आश्वस्त था (एक उच्च प्रायिकता स्कोर दे रहा था), फिर से लिखने का एक सरल तरीका भी उसके तर्क को तोड़ सकता था। इससे पता चलता है कि नाजुकता केवल रोबोट के अनिश्चित होने के बारे में नहीं है; बल्कि यह इस बारे में है कि रोबोट शब्दों के विशिष्ट आकार पर बहुत अधिक निर्भर करता है।
इसके अलावा, शोधकर्ताओं ने देखा कि विभिन्न मॉडल एक ही प्रकार के पुनर्गठन पर विफल होते हैं। उदाहरण के लिए, एक समस्या को छोटे, स्पष्ट प्रश्नों की एक श्रृंखला में तोड़ना (एक संरचनात्मक परिवर्तन) पूरे स्तर पर सबसे अधिक विफलताओं का कारण बना, जबकि केवल अतिरिक्त स्थान जोड़ने या फ़ॉन्ट बदलने से बहुत कम समस्या हुई। इसका मतलब है कि समस्या किसी एक विशिष्ट रोबोट के लिए अद्वितीय नहीं है; यह एक दोष है कि ये सिस्टम भाषा की कुछ संरचनाओं को कैसे संभालते हैं।
अंत में, यह शोध पत्र तर्क देता है कि एक एकल बेंचमार्क स्कोर एक चलती हुई कार के स्नैपशॉट की तरह है; यह आपको बताता है कि कार एक सटीक क्षण पर कहाँ थी, लेकिन यह नहीं कि वह कितनी स्थिर है। शोधकर्ता सुझाव देते हैं कि केवल एक नंबर रिपोर्ट करने के बजाय, हमें एक रेंज (सीमा) रिपोर्ट करनी चाहिए: मॉडल का सबसे खराब स्कोर, सबसे अच्छा स्कोर और औसत। यह मॉडल की वास्तविक क्षमता की बहुत स्पष्ट तस्वीर देता है। उन्होंने पाया कि मॉडल की वास्तविक ताकत की विश्वसनीय तस्वीर प्राप्त करने के लिए, आपको एक ही समस्या के कई अलग-अलग संस्करणों पर परीक्षण करने की आवश्यकता है, न कि केवल उसके मूल संस्करण पर। यदि हम ऐसा नहीं करते हैं, तो हम वास्तव में काफी नाजुक रोबोटों का जश्न मना सकते हैं, सिर्फ इसलिए क्योंकि वे परीक्षण की शब्दावली को सही ढंग से पकड़ने में सफल रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।