Self- and Other-Labels Induce Bidirectional Bias in LLM Judges
यह शोधपत्र यह प्रदर्शित करता है कि जबकि आउटपुट गुणवत्ता को नियंत्रित करने पर LLM जजों में वास्तविक स्व-वरीयता (self-preference) काफी हद तक समाप्त हो जाती है, केवल स्वयं या अन्य-लेबल की उपस्थिति एक द्विआयामी पूर्वाग्रह उत्पन्न करती है जो स्वयं-लेबल वाली सामग्री के स्कोर को बढ़ा देती है और अन्य-लेबल वाली सामग्री के स्कोर को कम कर देती है, जो यह प्रकट करता है कि लेखकत्व का पता लगाना (authorship attribution) मूल्यांकन पूर्वाग्रह का एक विशिष्ट चालक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, यह परीक्षण करने के लिए कि ये सिस्टम कितनी अच्छी तरह काम करते हैं, एक नया तरीका सामने आया है: एक आर्टिफिशियल इंटेलिजेंस का उपयोग दूसरे के काम को ग्रेड देने के लिए करना। यह दृष्टिकोण, जिसे अक्सर "AI-एज़-ए-जज" (AI-as-a-judge) कहा जाता है, शोधकर्ताओं के लिए एक मानक उपकरण बन गया है क्योंकि यह तेज़ और स्केलेबल है, जो उन्हें मानवीय हस्तक्षेप के बिना हजारों प्रतिक्रियाओं का मूल्यांकन करने की अनुमति देता है। हालाँकि, इन स्वचालित मूल्यांकनों में एक चिंताजनक पैटर्न सामने आया है। जब एक AI सिस्टम को अपने स्वयं के आउटपुट को ग्रेड देने के लिए कहा जाता है, तो वह अक्सर किसी अन्य सिस्टम के आउटपुट की तुलना में खुद को उच्च स्कोर देता है। यह प्रवृत्ति, जिसे 'स्व-वरीयता' (self-preference) कहा जाता है, इन स्वचालित मूल्यांकनों की विश्वसनीयता पर एक गंभीर प्रश्न खड़ा करती है। यदि जज अपने ही जैसे सिस्टम के प्रति पक्षपाती है, तो मूल्यांकन के परिणाम त्रुटिपूर्ण हो सकते हैं, जिससे यह जानना कठिन हो जाता है कि कौन सा AI वास्तव में बेहतर प्रदर्शन कर रहा है।
समस्या का मूल इस बात में निहित है कि ये मूल्यांकन आमतौर पर कैसे आयोजित किए जाते हैं। आमतौर पर, शोधकर्ता एक AI को कहानी लिखने या प्रश्न का उत्तर देने के लिए कहते हैं, और फिर दूसरे AI को उस टेक्स्ट को ग्रेड देने के लिए कहते हैं। समस्या यह है कि टेक्स्ट अपने आप में उस मॉडल का "फिंगरप्रिंट" (पहचान) ले जाता है जिसने उसे लिखा है। एक विशिष्ट AI कुछ विशेष वाक्य संरचनाओं, शब्दावली या जटिलता के स्तरों का उपयोग कर सकता है जिन्हें वह स्वाभाविक रूप से पसंद करता है। जब एक जज AI अपने द्वारा लिखे गए टेक्स्ट को पढ़ता है, तो वह शायद केवल अपनी परिचित शैली को पहचान रहा होता है और उसे पुरस्कृत कर रहा होता है, इसलिए नहीं कि सामग्री वस्तुनिष्ठ रूप से बेहतर है, बल्कि इसलिए क्योंकि वह उसे जाना-पहचाना लगता है। यह बताना मुश्किल बना देता है कि क्या AI वास्तव में अपने प्रति पक्षपाती है, या वह केवल लेखन की शैली के प्रति प्रतिक्रिया दे रहा है। इस पहेली को सुलझाने के लिए, दक्षिण कोरिया के KAIST के शोधकर्ताओं की एक टीम ने लेखन को पूरी तरह से हटा दिया और शब्दों के पीछे के विकल्पों को देखने का निर्णय लिया।
शोधकर्ताओं ने एक अनूठा प्रयोग डिजाइन किया जहाँ दस अलग-अलग लार्ज लैंग्वेज मॉडल्स ने निर्माता और जज दोनों की भूमिका निभाई, लेकिन बिना एक भी वाक्य की कहानी लिखी। इसके बजाय, उन्हें दो सौ पूर्व-लिखित कथात्मक निर्माण खंडों (narrative building blocks) का एक समूह दिया गया। ये खंड घटनाओं, पात्रों, शैलियों या परिवेशों का वर्णन करने वाले एकल वाक्य थे, जिन्हें मनुष्यों द्वारा लिखा गया था। प्रत्येक AI के लिए कार्य यह चुनना था कि वे बीस खंड कौन से होंगे जो उनके अनुसार एक एकल कहानी बनाने के लिए सबसे अच्छे काम करेंगे। चूंकि वाक्य पहले से ही लिखे गए और निश्चित थे, इसलिए AI स्वयं टेक्स्ट की शैली या गुणवत्ता को प्रभावित नहीं कर सकता था; वह केवल यह चुन सकता था कि किन टुकड़ों को शामिल किया जाए। इस डिजाइन ने सामान्य भ्रमित करने वाले कारकों को हटा दिया, यह सुनिश्चित करते हुए कि कोई भी पक्षपात चयन प्रक्रिया या निर्णय प्रक्रिया से आना चाहिए, न कि लेखन के रूप, रूप और अहसास से।
अध्ययन के पहले चरण में, AI जजों ने इन चयनों का मूल्यांकन यह जाने बिना किया कि उन्हें किसने बनाया था। यह एक ब्लाइंड टेस्ट था, ठीक वैसे ही जैसे एक ब्लाइंड टेस्ट में खाने का ब्रांड छिपा होता है। शोधकर्ताओं ने पाया कि, पहली नज़र में, AI मॉडल वास्तव में अपने स्वयं के चयन को पसंद करते हुए प्रतीत हुए, जिससे उन्हें औसतन उच्च स्कोर मिला। हालाँकि, जब शोधकर्ताओं ने चयनों की गुणवत्ता और जजों की सख्ती के लिए सावधानीपूर्वक गणना की, तो यह स्पष्ट पक्षपात काफी हद तक गायब हो गया। वास्तव में, कहानी के विचारों के कितने ताज़ा या मौलिक होने के एक विशिष्ट माप पर, डेटा को साफ करने के बाद जजों ने अन्य मॉडलों के चयन की तुलना में अपने स्वयं के चयन को वास्तव में कम रेटिंग दी। यह सुझाव देता है कि प्रारंभिक स्व-वरीयता दूसरों के प्रति गहरा पूर्वाग्रह नहीं थी, बल्कि कुछ मॉडलों द्वारा बेहतर विकल्प बनाने, या कुछ जजों द्वारा अधिक उदार होकर स्कोर देने का एक दुष्प्रभाव था।
प्रयोग के दूसरे चरण ने एक ऐसा मोड़ पेश किया जिसने एक बहुत अधिक शक्तिशाली और आश्चर्यजनक शक्ति को उजागर किया। शोधकर्ताओं ने समान गुणवत्ता वाले चयनों के जोड़े लिए—एक जज द्वारा स्वयं बनाया गया और एक दूसरे मॉडल द्वारा बनाया गया—और उन्हें जजों के सामने फिर से प्रस्तुत किया। इस बार, हालांकि, उन्होंने प्रत्येक चयन के साथ एक लेबल लगा दिया। कभी-कभी लेबल कहता था "यह आपका अपना चयन है," और अन्य समय में यह कहता था "यह दूसरे भाषा मॉडल का चयन है।" महत्वपूर्ण रूप से, लेबल ने विशिष्ट AI का नाम नहीं लिया; वे केवल यह संकेत देते थे कि कार्य "स्वयं" का है या "अन्य" का। परिणाम चौंकाने वाले थे। लेबल अकेले स्कोर को दोनों दिशाओं में बदलने के लिए पर्याप्त थे। जब एक जज को बताया गया कि एक चयन उसका अपना है, तो उसने उसे उच्च स्कोर दिया, भले ही वह वास्तव में एक अलग मॉडल द्वारा बनाया गया था। इसके विपरीत, जब उसे बताया गया कि एक चयन दूसरे मॉडल का है, तो उसने उसे कम स्कोर दिया, भले ही वह वास्तव में उसका अपना काम था।
यह खोज दर्शाती है कि पक्षपात केवल अपने लेखन की शैली या सामग्री को पहचानने के बारे में नहीं है। इसके बजाय, किसी चीज़ को "मेरा" या "उनका" के रूप में लेबल करने का सरल कार्य ही जज के मूल्यांकन में व्यवस्थित बदलाव लाने के लिए पर्याप्त है। पक्षपात द्विदिश (bidirectional) रूप से कार्य करता है: AI उस चीज़ के लिए स्कोर को बढ़ा देता है जिसे वह अपना मानता है और उस चीज़ के लिए स्कोर को घटा देता है जिसे वह दूसरों का मानता है। यह वास्तविक गुणवत्ता या स्रोत की परवाह किए बिना होता है। अध्ययन से पता चलता है कि स्पष्ट तथ्यों की अनुपस्थिति में, AI अपने निर्णय बनाने के लिए इन बाहरी संकेतों पर बहुत अधिक निर्भर करता है। यह सुझाव देता है कि पिछले अध्ययनों में देखी गई स्व-वरीयता अपने स्वयं के आउटपुट के प्रति वास्तविक प्रेम के कारण नहीं, बल्कि लेखकत्व लेबल के प्रति संवेदनशीलता के कारण संचालित हो सकती है।
इन खोजों के निहितार्थ इस बात के लिए महत्वपूर्ण हैं कि हम AI सिस्टम को कैसे बनाते हैं और उन पर भरोसा कैसे करते हैं। यह प्रकट करता है कि स्वचालित मूल्यांकनों की विश्वसनीयता सरल मेटाडेटा, जैसे कि काम का श्रेय किसे दिया गया है, से आसानी से समझौता की जा सकती है। यदि एक AI जज किसी कहानी की गुणवत्ता के बारे में अपना मन बदलने के लिए एक लेबल से प्रभावित हो सकता है, तो उसके द्वारा दिए गए स्कोर काम के बजाय लेबल को दर्शा सकते हैं। शोधकर्ता निष्कर्ष निकालते हैं कि प्रदर्शन का वास्तविक माप प्राप्त करने के लिए, हमें ऐसे मूल्यांकन कार्यों को डिजाइन करना चाहिए जो इन सतही संकेतों को नियंत्रित करें। इन खुले-अंत वाले कार्यों का उपयोग करके जहाँ 'ग्राउंड ट्रुथ' अज्ञात है और शैली तटस्थ है, हम बेहतर समझ सकते हैं कि ये सिस्टम वास्तव में कैसे सोचते हैं। अध्ययन यह दावा नहीं करता है कि इसने AI पक्षपात की समस्या को हल कर दिया है, बल्कि यह एक स्पष्ट मानचित्र प्रदान करता है कि पक्षपात कहाँ से आता है, यह दिखाते हुए कि स्वयं और अन्य के बीच की रेखा एक शक्तिशाली लीवर है जो निर्णय के तराजू को किसी भी दिशा में झुका सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।