Are LLM Evaluators Really Narcissists? Sanity Checking Self-Preference Evaluations
यह शोध पत्र इस धारणा को चुनौती देता है कि लार्ज लैंग्वेज मॉडल इवैल्यूएटर्स (evaluators) स्वाभाविक रूप से आत्ममोह (narcissism) प्रदर्शित करते हैं, यह प्रदर्शित करते हुए कि देखा गया अधिकांश स्व-वरीयता (self-preference) वास्तव में इवैल्यूएटर की गुणवत्ता का एक सांख्यिकीय आर्टिफैक्ट (statistical artifact) है, जिसमें इस कन्फाउंड (confound) को नियंत्रित करने के बाद पिछले निष्कर्षों का केवल 51% ही महत्वपूर्ण रह जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य सवाल: क्या AI जज वास्तव में आत्ममुग्ध (Narcissists) हैं?
कल्पना कीजिए कि आपने एक टैलेंट शो में जज के रूप में काम करने के लिए AI मॉडल्स के एक समूह को काम पर रखा है। उन्हें दो गायकों (मॉडल A और मॉडल B) को सुनना है और तय करना है कि कौन बेहतर है। हाल ही में, शोधकर्ताओं ने कुछ संदिग्ध देखा: जब एक AI जज अपना खुद का गाया हुआ गाना सुनता है, तो वह लगभग हमेशा खुद के लिए वोट देता है।
इससे एक डरावना निष्कर्ष निकला: AI मॉडल्स "आत्ममुग्ध" (narcissists) हैं। माना जाता है कि वे अपनी आवाज़ पहचान लेते हैं और अपने स्कोर को अनुचित रूप से बढ़ा देते हैं, भले ही उन्होंने बेसुरा गाया हो। इस "स्व-वरीयता पूर्वाग्रह" (self-preference bias) को एक बड़ी खामी माना गया जो हमारे AI को प्रशिक्षित करने और टेस्ट करने के तरीके को बर्बाद कर सकती है।
ट्विस्ट: यह चरित्र की बुराई नहीं, बल्कि गणित की बुराई हो सकती है
यह पेपर तर्क देता है कि हमने जल्दबाजी में निष्कर्ष निकाल लिया। लेखक सुझाव देते हैं कि AI अनिवार्य रूप से "आत्ममुग्ध" (खुद से प्यार करने वाला) नहीं है; बल्कि यह भ्रमित और अनिश्चित हो सकता है।
तनावग्रस्त छात्र का रूपक:
कल्पना कीजिए कि एक छात्र बहुविकल्पीय (multiple-choice) परीक्षा दे रहा है।
- परिदृश्य A: छात्र जानता है कि उत्तर "C" है। वह देखता है कि उसका अपना उत्तर "C" है और एक अजनबी का उत्तर "D" है। वह आत्मविश्वास से "C" चुनता है।
- परिदृश्य B: छात्र को पता ही नहीं है कि सही उत्तर क्या है। उसने अनुमान से "C" चुना (जो कि गलत है)। वह देखता है कि अजनबी ने "D" चुना (जो भी गलत है)। क्योंकि वह भ्रमित है और अपने स्वयं के दिमाग पर भरोसा नहीं करता है, इसलिए वह शायद "C" को इसलिए चुन सकता है क्योंकि उसने वही लिखा था, या वह सिक्का उछालकर निर्णय ले सकता है।
पिछले अध्ययनों ने परिदृश्य B को देखा और कहा, "देखो! छात्र ने अपने गलत उत्तर को इसलिए चुना क्योंकि वह आत्ममुग्ध है!"
यह पेपर कहता है, "रुकिए जरा। छात्र ने अपना उत्तर इसलिए चुना क्योंकि उसे सही उत्तर पता नहीं था, न कि इसलिए कि वह खुद से प्यार करता है।"
नया प्रयोग: "लुक-अलाइक" (एक जैसा दिखने वाला) टेस्ट
इसे साबित करने के लिए, लेखकों ने एक चतुर नया टेस्ट बनाया जिसे इवैल्यूएटर क्वालिटी बेसलाइन (Evaluator Quality Baseline) कहा गया।
सेटअप:
- वे एक ऐसा प्रश्न ढूंढते हैं जहाँ AI जज का उत्तर गलत था।
- जज के गलत उत्तर की तुलना किसी यादृच्छिक (random) अजनबी के उत्तर से करने के बजाय, वे एक अन्य AI मॉडल को ढूंढते है जिसने बिल्कुल उसी तरह से गलत उत्तर दिया हो।
- वे जज से पूछते हैं: "कौन बेहतर है: आपका गलत उत्तर, या इस दूसरे मॉडल का गलत उत्तर?"
तर्क:
यदि जज वास्तव में आत्ममुग्ध है, तो उसे अपने गलत उत्तर को दूसरे मॉडल के गलत उत्तर पर भी प्राथमिकता देनी चाहिए।
यदि जज केवल भ्रमित (अनिश्चित) है, तो उसे दोनों गलत उत्तरों के साथ लगभग एक जैसा व्यवहार करना चाहिए, क्योंकि दोनों में से कोई भी सही नहीं है।
उन्हें क्या मिला
जब उन्होंने कई अलग-अलग AI मॉडल्स और कार्यों (जैसे गणित, कोडिंग और सारांश लिखना) पर यह "लुक-अलाइक" टेस्ट चलाया, तो परिणाम चौंकाने वाले थे:
- "आत्ममुग्धता" ज्यादातर गायब हो गई: लगभग 89.6% मामलों में जहाँ AI मॉडल्स खुद को प्राथमिकता देते हुए लग रहे थे, वह वास्तव में इसलिए था क्योंकि वे कार्य के प्रति अनिश्चित थे। एक बार जब आपने इस तथ्य को ध्यान में रखा कि वे कठिन सवाल से जूझ रहे थे, तो "स्व-प्रेम" का पूर्वाग्रह गायब हो गया।
- केवल आधे अध्ययन ही वास्तविक थे: जब उन्होंने इस नए टेस्ट को पिछले प्रसिद्ध अध्ययनों पर लागू किया जिन्होंने दावा किया था कि AI आत्ममुग्ध है, तो उन्होंने पाया कि केवल 51% उदाहरण ही सांख्यिकीय रूप से महत्वपूर्ण पूर्वाग्रह दिखाते थे। बाकी सब केवल शोर (noise) था जो मॉडल्स के विशिष्ट कार्य में खराब होने के कारण उत्पन्न हुआ था।
- आत्मविश्वास ही कुंजी है: लेखकों ने AI के वोटों की "एन्ट्रॉपी" (अनिश्चितता के लिए एक तकनीकी शब्द) का अध्ययन किया। उन्होंने पाया कि जब AI अनिश्चित होता है, तो उसके वोटिंग पैटर्न अव्यवस्थपूर्ण और यादृच्छिक (random) दिखते हैं। यह अव्यवस्था इसे ऐसा दिखाती है जैसे कि वह खुद को चुन रहा है, लेकिन वास्तव में वह अंधेरे में हाथ-पांव मार रहा होता है।
निष्कर्ष
यह पेपर यह नहीं कहता कि AI पूर्ण है। यह स्वीकार करता है कि कुछ स्व-वरीयता पूर्वाग्रह अभी भी मौजूद है (लगभग 10% समय)। हालांकि, यह तर्क देता है कि हम AI के "व्यक्तित्व" (आत्ममुग्धता) को दोष दे रहे थे, जो वास्तव में एक बुद्धिमत्ता की समस्या (अनिश्चितता) है।
अंतिम रूपक:
एक फुटबॉल मैच के रेफरी की कल्पना करें जो केवल तभी फाउल के लिए सीटी बजाता है जब उसकी अपनी टीम के पास गेंद होती है।
- पुराना सिद्धांत: रेफरी भ्रष्ट है और अपनी टीम से प्यार करता है (आत्ममुग्धता)।
- नया सिद्धांत: रेफरी वास्तव में अंधा है और दूसरी टीम के खिलाड़ियों को स्पष्ट रूप से नहीं देख पा रहा है। वह केवल अपनी टीम को देखता है, इसलिए वह केवल उन पर फाउल बताता है।
पेपर सुझाव देता है कि हमें रेफरी के चश्मे को ठीक करने की आवश्यकता है (मॉडल की कठिन कार्यों को संभालने की क्षमता में सुधार करना) बजाय इसके कि केवल उस पर पक्षपाती होने का आरोप लगाया जाए। उनके नए "लुक-अलाइक" टेस्ट का उपयोग करके, हम वास्तविक पूर्वाग्रह और सरल भ्रम के बीच अंतर कर सकते हैं, जिससे अधिक निष्पक्ष और सटीक AI मूल्यांकन संभव हो सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।