Exploring the Effects of Alignment on Numerical Bias in Large Language Models
यह अध्ययन एलाइनमेंट (alignment) को LLM-as-a-judge प्रणालियों में संख्यात्मक पूर्वाग्रह के प्राथमिक कारण के रूप में पहचानता है और यह प्रदर्शित करता है कि स्कोर रेंज को समायोजित करना इस पूर्वाग्रह को कम करने और मूल्यांकन प्रदर्शन को सुधारने के लिए सबसे प्रभावी ह्यूरिस्टिक रणनीति है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने निबंधों को ग्रेड देने, कहानियों का अनुवाद करने या व्याकरण की गलतियों को ठीक करने के लिए विशेषज्ञों की एक टीम (लार्ज लैंग्वेज मॉडल्स, या LLMs) को जज के रूप में काम पर रखा है। आप उनसे 0 से 100 के बीच स्कोर देने के लिए कहते हैं। यह "LLM-as-a-judge" विधि है।
हालाँकि, इस शोध पत्र में शोधकर्ताओं ने एक अजीब सी गड़बड़ी देखी है: इन डिजिटल जजों की एक बुरी आदत है कि वे बहुत अधिक सुसंगत (consistent) होते हैं। अलग-अलग स्कोर देने के बजाय (जैसे 42, 67, 89, 12), वे बार-बार एक ही नंबर पर अटक जाते हैं, जैसे कोई टूटा हुआ रिकॉर्ड "80" पर अटक गया हो।
इस शोध पत्र इस घटना को "न्यूमेरिकल बायस" (Numerical Bias) कहता है। यह एक ऐसे रेस्टोरेंट क्रिटिक की तरह है जो, चाहे आप उसे कैसा भी व्यंजन परोसें, अपनी समीक्षा कार्ड पर हमेशा "8/10" लिख देता है। भले ही खाना बहुत बुरा हो या बहुत शानदार, वे उस पैटर्न को तोड़ने में सक्षम नहीं दिखते।
असली कारण: "अलाइनमेंट" (Alignment)
शोधकर्ता जानना चाहते थे कि: ऐसा क्यों होता है?
उन्हें संदेह था कि यह समस्या "अलाइनमेंट" नामक एक प्रक्रिया के कारण हुई है।
- अलाइनमेंट से पहले: एक LLM को एक जंगली, रचनात्मक कलाकार के रूप में सोचें। वह आपको 3 दे सकता है, फिर 95, फिर 42। वह अप्रत्याशित और विविध है, लेकिन कभी-कभी वह आपके निर्देशों का पालन अच्छी तरह से नहीं करता है।
- अलाइनमेंट के बाद: AI को अधिक सहायक और विनम्र बनाने के लिए, इंसान इसे निर्देशों का बेहतर पालन करने के लिए "ट्रेन" करते हैं। यह एक कलाकार को एक सख्त आर्ट स्कूल में रखने जैसा है। अब, AI नियमों का पूरी तरह से पालन करता है, लेकिन वह थोड़ा रोबोटिक हो जाता है। वह अपनी "जंगली" विविधता खो देता है और अपने उत्तरों को एक सुरक्षित, विशिष्ट संख्या के आसपास केंद्रित करने लगता है।
खोज: अध्ययन ने "जंगली" (प्री-अलाइनमेंट) मॉडल्स की तुलना "प्रशिक्षित" (पोस्ट-अलाइनमेंट) मॉडल्स से की। उन्होंने पाया कि प्रशिक्षित मॉडल विशिष्ट संख्याओं (जैसे 10 में से 8 या 9) पर अटकने के प्रति बहुत अधिक प्रवृत्त थे, चाहे इनपुट अच्छा हो या बुरा। यह "अटक जाने" वाला व्यवहार वास्तव में उनकी ग्रेडिंग को कम सटीक बना रहा था।
अच्छी खबर और बुरी खबर
- बुरी खबर: यह "अटक जाने" वाला व्यवहार (बायस) AI को एक खराब जज बनाता है। यदि वह एक बेहतरीन अनुवाद और एक खराब अनुवाद के बीच अंतर नहीं कर सकता क्योंकि वह दोनों को "8" दे रहा है, तो सिस्टम विफल हो जाता है।
- अच्छी खबर: इस खामी के बावजूद, "प्रशिक्षित" (अलाइन्ड) मॉडल्स निर्देशों का पालन करने में अभी भी "जंगली" मॉडल्स की तुलना में बेहतर हैं। वे अभी भी काम के लिए सबसे अच्छा विकल्प हैं, लेकिन उन्हें अपनी ग्रेडिंग की आदतों को ठीक करने के लिए थोड़ी मदद की जरूरत है।
टूटे हुए रिकॉर्ड को कैसे ठीक करें
शोधकर्ताओं ने AI को एक नंबर पर अटकने से रोकने के लिए तीन तरीकों का परीक्षण किया:
- "टेम्परेचर" (रैंडमनेस) को बढ़ाना:
कल्पना कीजिए कि AI एक डार्ट प्लेयर है। "टेम्परेचर" यह है कि उनका हाथ कितना हिलता है। यदि वे बहुत स्थिर हैं (लो टेम्परेचर), तो वे हर बार बिल्कुल एक ही जगह पर निशाना लगाते हैं। यदि आप उनके हाथ को थोड़ा हिलता हुआ (उच्च टेम्परेचर) बनाते हैं, तो वे अलग-अलग जगहों पर निशाना लगा सकते हैं।
- परिणाम: इससे थोड़ा फायदा हुआ, लेकिन यदि आपने उन्हें बहुत अधिक हिलने वाला बना दिया, तो उनके स्कोर रैंडम कचरा बन गए। यह एक आदर्श समाधान नहीं था।
- कैलिब्रेशन (स्केल को फिर से कैलिब्रेट करना):
यह AI को यह बताने जैसा है कि, "हे, तुम बहुत सारे 8 दे रहे हो। चलो गणितीय रूप से तुम्हारे दिमाग को एडजस्ट करते हैं ताकि तुम अधिक 5 और 9 दे सको।"
- परिणाम: इसने बायस को कम किया, लेकिन इसने हमेशा ग्रेडिंग को अधिक सटीक नहीं बनाया। कभी-कभी इसने AI को भ्रमित ही कर दिया।
- स्कोर रेंज को बदलना (जादुई समाधान):
यह सबसे प्रभावी समाधान था। कल्पना कीजिए कि आप AI को 1 से 5 के पैमाने पर ग्रेड करने के लिए कहते हैं। वह "4" पर अटक सकता है। लेकिन यदि आप उसे कहते हैं, "स्केल 1 से 100 पर ग्रेड करें," तो अचानक उसके पास सांस लेने के लिए अधिक जगह होती है। वह "सुरक्षित" मध्य संख्या चुनने के लिए मजबूर महसूस करना बंद कर देता है और पूरी रेंज का उपयोग करने लगता है।
- परिणाम: केवल निर्देशों को बदलकर (जैसे, 1-5 के बजाय 1-100 की रेंज देकर) AI ने अटकना बंद कर दिया। उसने अधिक विविध स्कोर दिए, और उसकी सटीकता में काफी सुधार हुआ।
मुख्य निष्कर्ष (The Takeaway)
शोध पत्र निष्कर्ष निकालता है कि जब हम चीजों को जज करने के लिए AI का उपयोग करते हैं, तो हमें यह मान नहीं लेना चाहिए कि सेटिंग्स परफेक्ट हैं।
- अलाइनमेंट (AI को सहायक बनाने के लिए ट्रेनिंग देना) अनजाने में इसे स्कोरिंग में बहुत अधिक अनुमानित और दोहराव वाला बना देता है।
- समाधान: डिफॉल्ट सेटिंग्स को ही स्वीकार न करें। यदि आप किसी AI को कुछ ग्रेड करने के लिए कहते हैं, तो उसे संख्याओं की एक विस्तृत रेंज का उपयोग करने के लिए कहने का प्रयास करें। यह एक घबराए हुए छात्र को, "आप A से F तक कोई भी ग्रेड प्राप्त कर सकते हैं," कहने के बजाय "आप केवल एक B प्राप्त कर सकते हैं," कहने जैसा है। यह सरल बदलाव AI को केवल एक सुरक्षित नंबर दोहराने के बजाय अपनी वास्तविक निर्णय क्षमता दिखाने में मदद करता है।
संक्षेप में: AI जज अच्छे हैं, लेकिन वे एक विशिष्ट नंबर पर "अटक" जाते हैं क्योंकि हमने उन्हें बहुत अच्छी तरह से ट्रेन किया है। उन्हें एक बड़ा खेल का मैदान (एक विस्तृत स्कोर रेंज) देने से उन्हें इस आदत को तोड़ने और बेहतर काम करने में मदद मिलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।