LLM Evaluators are Biased across Languages
यह शोध पत्र प्रदर्शित करता है कि बहुभाषी LLM मूल्यांकनकर्ता एक सुसंगत, सांख्यिकीय रूप से महत्वपूर्ण पूर्वाग्रह प्रदर्शित करते हैं जहाँ उच्च-संसाधन वाली भाषाओं की तुलना में कम-संसाधन वाली भाषाओं को उच्च अंक प्राप्त होते हैं और वे सुरक्षा फिल्टरों को अधिक आसानी से पार कर लेती हैं, जो एक महत्वपूर्ण दोष है जो मूल्यांकनकर्ताओं की सापेक्ष रैंकिंग पर उच्च सहमति के बावजूद मानक युग्म-सटीकता (pairwise accuracy) मेट्रिक्स द्वारा अनपेक्षित रह जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ हर बार जब आप एक सुपर-स्मार्ट रोबोट से कोई सवाल पूछते हैं, तो वह आपको आपकी अपनी भाषा में जवाब देता है। ये रोबोट्स, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, डिजिटल विश्वकोशों की तरह हैं जो कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं और किसी भी विषय पर चर्चा कर सकते हैं। लेकिन हमें कैसे पता चलेगा कि वे अच्छा काम कर रहे हैं? हमें एक रेफरी की आवश्यकता है। AI की दुनिया में, इन रेफ्रियों को "इवैल्यूएटर्स" (मूल्यांकक) कहा जाता है। ये या तो स्कोर देने के लिए प्रशिक्षित अन्य रोबोट होते हैं या मानव-समान प्रॉम्प्ट्स होते हैं जो AI को स्वयं ग्रेड करने के लिए कहते हैं। आमतौर पर, हम यह देखते हैं कि क्या ये रेफरी निष्पक्ष हैं या नहीं, यह देखकर कि क्या वे दो विकल्पों के बीच "बेहतर" उत्तर को सही ढंग से चुन सकते हैं, ठीक वैसे ही जैसे एक जज तय करता है कि दो पेंटिंग्स में से कौन सी अधिक सुंदर है। इसे "पेयरवाइज एक्यूरेसी" (pairwise accuracy) कहा जाता है। यदि रेफरी 90% बार सही विजेता चुनता है, तो हम मानते हैं कि वे बहुत अच्छा काम कर रहे हैं और उनका स्कोरिंग चाहे किसी भी भाषा में हो, निष्पक्ष है।
हालाँकि, इस धारणा के साथ एक छिपा हुआ मुद्दा है। सिर्फ इसलिए कि एक रेफरी आपको बता सकता है कि दो पेंटिंग्स में से कौन सी बेहतर है, इसका मतलब यह नहीं है कि वे उन्हें मापने के लिए एक ही पैमाने का उपयोग कर रहे हैं। वास्तविक दुनिया में, टोक्यो में एक 4-स्टार रेस्टोरेंट को एक पाक कृति (culinary masterpiece) माना जा सकता है, जबकि न्यूयॉर्क में एक 4-स्टार रेस्टोरेंट को केवल "ठीक-ठाक" देखा जा सकता है। सितारे (stars) इस बात पर निर्भर करते हैं कि आप कहाँ हैं। यह शोध पत्र, जिसका शीर्षक है "LLM इवैल्यूटर्स आर बायस्ड अक्रॉस लैंग्वेजेस" (LLM Evaluators are Biased across Languages), इस बात की जांच करता है कि क्या हमारे AI रेफरी उसी सांस्कृतिक भ्रम का शिकार हैं। शोधकर्ता यह जानना चाहते थे: यदि एक AI अंग्रेजी में एक सटीक उत्तर देता है, तो क्या वह उसी उत्तर को हिंदी, फारसी या यूक्रेनी में अनुवादित करने पर भी बिल्कुल वही स्कोर देगा? या क्या भाषा स्वयं स्कोर को बदल देती है, भले ही अर्थ बिल्कुल समान रहे?
टीम ने यह पता लगाने के लिए एक विशाल प्रयोग किया। उन्होंने निर्देशों और प्रतिक्रियाओं का बिल्कुल वही सेट लिया और उसे अंग्रेजी और स्पेनिश जैसी व्यापक रूप से बोली जाने वाली भाषाओं से लेकर हिब्रू और हिंदी जैसी अन्य भाषाओं तक 23 अलग-अलग भाषाओं में अनुवादित किया। इसके बाद उन्होंने आठ अलग-अलग प्रकार के AI इवैल्यूटर्स को—कुछ जो केवल स्कोर देने के लिए प्रॉम्प्ट किए गए थे, और कुछ जो विशेष रूप से एक "रिवॉर्ड" नंबर देने के लिए प्रशिक्षित थे—इन समान उत्तरों को ग्रेड करने के लिए कहा।
परिणाम चौंकाने वाले थे। इवैल्यूटर्स एक ही पैमाने का उपयोग नहीं कर रहे थे। भले ही सामग्री अर्थपूर्ण रूप से समान (semantically identical) थी (यानी उसका अर्थ बिल्कुल वही था), भाषा के आधार पर स्कोर नाटकीय रूप से बदल गया। पक्षपात बहुत बड़ा था: 1 से 5 के पैमाने पर, उच्चतम-स्कोर वाली भाषाओं और निम्नतम-स्कोर वाली भाषाओं के बीच का अंतर लगभग 0.5 अंक था। ग्रेडिंग की दुनिया में यह एक बहुत बड़ा अंतर है।
यहाँ वह मोड़ है जो इसे इतना जटिल बनाता है: इवैल्यूटर्स कागजों पर एकदम सटीक दिखते थे। जब शोधकर्ताओं ने "पेयरवाइज एक्यूरेसी" (क्या रेफरी ने बेहतर उत्तर चुना?) की जांच की, तो स्कोर अविश्वसनीय रूप से उच्च, अक्सर 90% से ऊपर थे। रेफरी लगातार यह बताने में अच्छे थे कि "उत्तर A, उत्तर B से बेहतर है।" लेकिन वे इस बात में बहुत खराब थे कि उत्तर A वास्तव में कितना अच्छा था। यह एक ऐसे जज की तरह है जो दौड़ में हमेशा विजेता को सही ढंग से चुनता है, लेकिन यदि विजेता फ्रेंच में दौड़ता है तो उसे 100 अंक देता है और यदि जर्मन में दौड़ता है तो केवल 50 अंक देता है।
शोधकर्ताओं ने एक स्पष्ट पैटर्न पाया: इवैल्यूटर्स लो-रिसोर्स भाषाओं (वे भाषाएँ जिनके लिए ऑनलाइन डेटा कम उपलब्ध है, जैसे हिंदी या हिब्रू) के प्रति आश्चर्यजनक रूप से उदार थे और हाई-रिसोर्स भाषाओं जैसे अंग्रेजी के प्रति सख्त थे। ऐसा लग रहा था जैसे AI जज सोचते हों, "मैं इस भाषा में एक आदर्श उत्तर कैसा दिखता है, इस बारे में 100% निश्चित नहीं हूँ, इसलिए मैं सुरक्षित रहने के लिए इसे उच्च स्कोर दे दूँगा।" इसके विपरीत, अंग्रेजी के लिए, वे बहुत आत्मविश्वासी और सख्त थे, और उत्तरों से उच्च मानक की अपेक्षा रखते थे।
यह केवल अंकों का खेल नहीं है; इसके वास्तविक दुनिया में गंभीर परिणाम हैं। कई AI सिस्टम यह तय करने के लिए एक "ग्लोबल थ्रेशोल्ड" (वैश्विक सीमा) का उपयोग करते हैं कि उपयोगकर्ताओं को क्या दिखाना सुरक्षित है। उदाहरण के लिए, यदि कोई सुरक्षा फ़िल्टर किसी भी चीज़ को ब्लॉक करने के लिए एक निश्चित स्कोर से नीचे होने पर सेट है, तो पक्षपात का अर्थ है कि लो-रिसोर्स भाषाओं में हानिकारक सामग्री के छिपकर निकल जाने की संभावना बहुत अधिक है। शोध पत्र में पाया गया कि एक एकल वैश्विक नियम के तहत, सामग्री की स्वीकृति दर भाषाओं के बीच 43 प्रतिशत अंकों तक भिन्न हो सकती है। एक विशिष्ट उदाहरण में, अंग्रेजी में एक हानिकारक प्रश्न को सही ढंग से ब्लॉक किया गया था, लेकिन वही प्रश्न यूक्रेनी में गुजरने दिया गया क्योंकि इवैल्यूटर ने उसे उच्च स्कोर दिया।
शोधकर्ताओं ने यह भी जांचा कि यह क्यों होता है। उन्हें संदेह था कि यह इसलिए हो सकता है क्योंकि AI लो-रिसोर्स भाषाओं के बारे में कम आश्वस्त है। उन्होंने पाया कि जब AI कम आत्मविश्वासी था (जिसे टेक्स्ट के प्रति उसकी 'सरप्राइज' या आश्चर्य से मापा गया था), तो वह उच्च स्कोर देने की प्रवृत्ति रखता था। हालाँकि, उन्होंने यह भी सिद्ध किया कि अनिश्चितता पूरी कहानी नहीं थी। इस बात के बाद भी कि AI कितना भ्रमित था, भाषा ने अभी भी स्कोर की भविष्यवाणी की। इसका मतलब है कि पक्षपात इन मॉडल्स के निर्माण में एक गहरा, संरचनात्मक मुद्दा है, न कि केवल यह कि "मुझे यह भाषा अच्छी तरह से नहीं आती।"
शोध पत्र निष्कर्ष निकालता है कि हम विभिन्न भाषाओं में इन AI इवैल्यूटर्स के कच्चे (raw) स्कोर पर भरोसा नहीं कर सकते। हालांकि हम प्रत्येक भाषा के लिए स्कोर को समायोजित करके इस समस्या के कुछ समाधान निकाल सकते हैं, लेकिन यह एक नई भेद्यता पैदा करता है: यदि कोई एक ही प्रॉम्प्ट में भाषाओं को मिलाता है (कोड-स्विचिंग), तो सिस्टम भ्रमित हो सकता है कि किस भाषा के नियम को लागू किया जाए और हानिकारक सामग्री को अंदर आने दे सकता है। लेखक सुझाव देते हैं कि केवल यह जाँचने के बजाय कि क्या इवैल्यूटर्स "विजेता" को चुन सकते हैं, हमें ऐसे सिस्टम बनाने की आवश्यकता है जो सभी भाषाओं में निष्पक्ष और सुसंगत होने के लिए कैलिब्रेटेड हों, जिससे यह सुनिश्चित हो सके कि हिंदी में एक 5-स्टार उत्तर वास्तव में उतना ही मूल्यवान है जितना कि अंग्रेजी में एक 5-स्टार उत्तर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।