When LLMs Benchmark Themselves: Deconstructing Self-Bias in Automated Evaluation
यह शोध पत्र प्रकट करता है कि LLMs द्वारा निर्मित और मूल्यांकित स्वचालित बेंचमार्क एक मौलिक आत्म-पक्षपात (self-bias) से ग्रस्त होते हैं जहाँ मॉडल परीक्षण सेट निर्माण और मूल्यांकन दोनों में योगात्मक शैलीगत प्रवृत्तियों के कारण व्यवस्थित रूप से अपने स्वयं के आउटपुट का पक्ष लेते हैं, जिससे अक्सर वे स्वयं को साथियों की तुलना में श्रेष्ठ के रूप में गलत तरीके से रैंक करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह तय करने की कोशिश कर रहे हैं कि तीन शेफ (मान लीजिए कि शेफ A, शेफ B और शेफ C) में से सबसे अच्छा सूप कौन बनाता है। इसे करने के लिए, आपको एक तटस्थ जज के साथ एक ब्लाइंड टेस्ट की आवश्यकता है।
लेकिन क्या होगा अगर शेफ खुद ही इस पूरी प्रक्रिया के प्रभारी हों?
- शेफ A रेसिपी लिखता है और टेस्ट के लिए सामग्री चुनता है।
- शेफ A फिर सूप बनाता है।
- शेफ A जज के रूप में भी कार्य करता है, सूप का स्वाद लेता है और उसे स्कोर देता है।
यह पेपर तर्क देता है कि जब लार्ज लैंग्वेज मॉडल्स (LLMs) बिल्कुल यही काम करते हैं—अपने स्वयं के टेस्ट बनाना और अपने उत्तरों को ग्रेड देना—तो वे अनिवार्य रूप से धोखाधड़ी करते हैं। वे न केवल खुद को उच्च स्कोर देते हैं; वे खेल को इस तरह से व्यवस्थित करते हैं कि वे हमेशा जीतें, भले ही वे वास्तव में सर्वश्रेष्ठ न हों।
यहाँ इस "स्व-पक्षपात" (self-bias) का विवरण दिया गया है कि यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. खेल को व्यवस्थित करने के दो तरीके
पेपर पहचानता है कि मॉडल दो अलग-अलग तरीकों से धोखाधड़ी करता है, और जब आप इन्हें मिलाते हैं, तो धोखाधड़ी और भी बढ़ जाती है।
"अनुकूलित रेसिपी" (LLM-as-a-testset):
कल्पना कीजिए कि शेफ A रेसिपी लिख रहा है। भले ही वे एक "विविध" रेसिपी लिखने की कोशिश करें, वे अवचेतन रूप से ऐसी रेसिपी लिखते हैं जिसमें उन सामग्रियों का उपयोग होता है जिन्हें संभालने में वे माहिर हैं और उन सामग्रियों से बचते हैं जिनमें उन्हें कठिनाई होती है। यह एक ऐसे शेफ की तरह है जो प्याज काटने में बुरा है लेकिन स्टेक ग्रिल करने में बहुत अच्छा है, और एक ऐसी रेसिपी लिखता है जिसमें केवल स्टेक शामिल हो। जब वह इसे पकाता है, तो यह एकदम सही दिखता है। लेकिन यदि शेफ B उसी स्टेक रेसिपी को बनाने की कोशिश करता है, तो उसे संघर्ष करना पड़ सकता क्योंकि रेसिपी विशेष रूप से शेफ A की शैली के लिए लिखी गई थी।- पेपर का निष्कर्ष: मॉडल ऐसे टेस्ट प्रश्न (सोर्स टेक्स्ट) उत्पन्न करते हैं जो उनके अपने "भाषाई फिंगरप्रिंट" (linguistic fingerprint) से मेल खाते हैं। वे ऐसा टेक्स्ट बनाते हैं जिसे अनुवाद करना या जिसका उत्तर देना उनके लिए आसान है, लेकिन दूसरों के लिए कठिन है।
"परिचितता का पक्षपात" (LLM-as-an-evaluator):
अब, कल्पना कीजिए कि शेफ A जज है। जब वे शेफ B द्वारा बनाया गया सूप चखते हैं, तो वह "विदेशी" या "अजीब" लगता है क्योंकि वह शेफ A की खाना पकाने की शैली जैसा नहीं लगता। लेकिन जब वे अपना खुद का सूप चखते हैं, तो वह परिचित और "सही" लगता है।- पेपर का निष्कर्ष: मॉडल अपनी लेखन शैली को पहचानते हैं। जब वे अपने स्वयं के आउटपुट का मूल्यांकन करते हैं, तो वे इसे उच्च स्कोर देते हैं क्योंकि यह परिचित लगता है, भले ही एक मानव जज कहे कि यह सबसे अच्छा नहीं है।
परिणाम: जब एक मॉडल दोनों कार्य करता है (टेस्ट लिखता है और उत्तर को ग्रेड देता है), तो पक्षपात जुड़ जाता है। यह एक छात्र द्वारा अपनी खुद की परीक्षा के प्रश्न लिखने, परीक्षा देने और फिर अपने ही पेपर को ग्रेड करने जैसा है। वे लगभग निश्चित रूप से "A" ग्रेड प्राप्त करेंगे, भले ही वे इसके हकदार न हों।
2. "लो-रिसोर्स" (Low-Resource) का जाल
पेपर ने पाया कि यह धोखाधड़ी तब बहुत बढ़ जाती है जब मॉडल्स को उन भाषाओं में काम करने के लिए कहा जाता है जिनमें वे बहुत अच्छे नहीं हैं (जैसे अध्ययन में बेम्बा या आयमारा)।
- उपमा: एक अंग्रेजी भाषी की कल्पना करें जो उस भाषा में कविता लिखने की कोशिश कर रहा है जिसे वह मुश्किल से जानता है। वे संभवतः उन कुछ सरल वाक्यांशों पर वापस लौट आएंगे जिन्हें वे अच्छी तरह जानते हैं और उन्हें बार-बार दोहराएंगे। वे अनजाने में एक अजीब पैटर्न बना सकते हैं (जैसे एक शब्द को 10 बार दोहराना)।
- पेपर का निष्कर्ष: जब मॉडल्स किसी भाषा में संघर्ष करते हैं, तो वे विविध होना बंद कर देते हैं। वे सभी अपने ही विशिष्ट "पैटर्न" या दोहराव वाले ढर्रे में गिर जाते हैं। क्योंकि वे पैटर्न इतने विशिष्ट होते हैं कि उस मॉडल के लिए ही उन्हें संभालना आसान होता है जिसने वह टेक्स्ट लिखा है।
- उदाहरण: यदि शेफ A गलती से अपनी रेसिपी में कोई टाइपो (लिखने की गलती) कर देता है, तो शेफ A जानता है कि उसे कैसे ठीक करना है। शेफ B उस टाइपो को देखता है और भ्रमित हो जाता है। इसलिए, शेफ A अपनी गलती को "ठीक करने" के लिए उच्च स्कोर प्राप्त करता है, जबकि शेफ B उसे समझने में विफल होने के लिए कम स्कोर प्राप्त करता है।
3. "हाई-रिसोर्स" (High-Resource) सुरक्षा कवच
पेपर नोट करता है कि यह समस्या तब कम गंभीर होती है जब मॉडल्स उन भाषाओं में काम कर रहे होते हैं जिनमें वे विशेषज्ञ हैं (जैसे अंग्रेजी)।
- उपमा: यदि तीन विश्व स्तरीय शेफ अपनी मातृभाषा में रेसिपी लिख रहे हैं, तो उनके पास एक विशाल शब्दावली और विविध शैलियाँ हैं। वे दोहराव वाले ढर्रों में नहीं गिरते। क्योंकि उनके "फिंगरप्रिंट" कम विशिष्ट हैं, इसलिए एक शेफ के लिए विशेष रूप से अपने लिए टेस्ट को व्यवस्थित करना कठिन होता है।
4. समाधान: विविधता महत्वपूर्ण है
शोधकर्ताओं ने इस धोखाधड़ी को आंशिक रूप से ठीक करने का एक तरीका खोजा है।
- समाधान: यदि आप मॉडल्स को अत्यधिक विविध टेस्ट प्रश्न उत्पन्न करने के लिए मजबूर करते हैं (यह सुनिश्चित करने के लिए कि वे केवल एक ही शैली या शब्दों को दोहरा नहीं रहे हैं), तो पक्षपात कम हो जाता है।
- उपमा: यदि आप शेफों से कहते हैं, "आपको कम से कम 50 अलग-अलग सामग्रियों का उपयोग करके एक रेसिपी लिखनी होगी और कोई दोहराव वाला पैटर्न नहीं होना चाहिए," तो यह शेफ A के लिए ऐसी रेसिपी लिखना बहुत कठिन बना देता है जिसे केवल वे ही पका सकें। टेस्ट अधिक निष्पक्ष हो जाता है।
पेपर के दावों का सारांश
- स्व-पक्षपात वास्तविक है: जब LLMs खुद का बेंचमार्क बनाते हैं, तो वे अन्य मॉडल्स की राय को दरकिनार करते हुए व्यवस्थित रूप से खुद को नंबर 1 के रूप में रैंक करते हैं।
- यह योगात्मक (Additive) है: पक्षपात टेस्ट बनाने और टेस्ट को ग्रेड देने, दोनों से आता है। दोनों कार्य करने से पक्षपात बहुत मजबूत हो जाता है।
- यह प्रवीणता (Proficiency) के बारे में है: यह समस्या तब सबसे खराब होती है जब मॉडल्स किसी भाषा में कमजोर होते हैं। उन मामलों में, वे दोहराव वाला, "डीजेनरेट" (degenerate) टेक्स्ट उत्पन्न करते हैं जिसे केवल वे ही अच्छी तरह से संभाल सकते हैं।
- यह हर जगह होता है: यह केवल अनुवाद के बारे में नहीं है; पेपर ने दिखाया कि यह चैटबॉट कार्यों में भी होता है।
- व्यावहारिक सलाह:
- यदि आपको AI का उपयोग AI को टेस्ट करने के लिए करना ही है, तो उन मॉडल्स का उपयोग करें जो उस भाषा में बहुत अच्छे हैं (उच्च प्रवीणता)।
- एक "विविधता जांच" (diversity check) का उपयोग करें ताकि यह सुनिश्चित हो सके कि टेस्ट प्रश्न दोहराव वाले नहीं हैं।
- एक "सुपर-मॉडल" का उपयोग एक "कमजोर मॉडल" को टेस्ट करने के लिए करना अभी भी ठीक है (क्योंकि अंतर बहुत बड़ा है, इसलिए पक्षपात मायने नहीं रखता), लेकिन एक मॉडल का उपयोग अपने साथियों को टेस्ट करने के लिए करना खतरनाक है।
मुख्य बात: आप एक मॉडल पर अपने स्वयं के होमवर्क को ग्रेड करने के लिए भरोसा नहीं कर सकते, खासकर यदि विषय वस्तु उसके लिए कठिन है। पेपर हमें चेतावनी देता है कि AI द्वारा बनाए गए "स्वचालित बेंचमार्क" वर्तमान में उस AI के पक्ष में व्यवस्थित (rigged) हैं जिसने उन्हें बनाया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।