Contrastive Decoding Mitigates Score Range Bias in LLM-as-a-Judge
यह शोध पत्र पहचानता है कि जज के रूप में उपयोग किए जाने वाले LLMs सीधे रेटिंग असाइन करते समय महत्वपूर्ण स्कोर रेंज बायस (score range bias) प्रदर्शित करते हैं, और इस समस्या को कम करने के लिए एक कंट्रास्टिव डिकोडिंग (contrastive decoding) विधि प्रस्तावित करता है, जो विभिन्न सारांशीकरण कार्यों में मानवीय निर्णयों के साथ संरेखण में 11.7% तक का सापेक्ष सुधार प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने छात्रों के निबंधों को ग्रेड देने के लिए एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन को काम पर रखा है। आप उस लाइब्रेरियन से प्रत्येक निबंध को 1 से 5 स्टार का स्कोर देने के लिए कहते हैं।
आमतौर पर, यह बहुत अच्छा काम करता है। लेकिन आप देखते हैं कि कुछ अजीब हो रहा है: कभी-कभी लाइब्रेरियन लगभग हर निबंध को "4" दे देता है, भले ही कुछ बहुत खराब हों और कुछ बहुत शानदार। अन्य समय में, यदि आप उन्हें "10 से 14" के पैमाने पर ग्रेड देने के लिए कहते हैं, तो वे अचानक सब कुछ "12" देने लगते हैं।
लाइब्रेरियन निबंध की गुणवत्ता का न्याय नहीं कर रहा है; वे बस आपके द्वारा दिए गए अंकों के प्रति प्रतिक्रिया दे रहे हैं। उनका एक "रेंज बायस" (सीमा पूर्वाग्रह) है।
यह बिल्कुल वही है जिसके बारे में योशिनारी फुजिनुमा का पेपर है, लेकिन एक लाइब्रेरियन के बजाय, जज एक AI (एक लार्ज लैंग्वेज मॉडल) है, और निबंधों के बजाय, यह समाचार लेखों का सारांश है।
यहाँ समस्या और चतुर समाधान का सरल विवरण दिया गया है।
समस्या: "रूलर" (पैमाना) टूट गया है
जब हम AI को एक जज के रूप में उपयोग करते हैं, तो हम अक्सर उससे एक स्कोर (जैसे 1 से 5) देने के लिए कहते हैं बिना उसे तुलना करने के लिए कोई "सही" उत्तर दिखाए। इसे डायरेक्ट असेसमेंट (प्रत्यक्ष मूल्यांकन) कहा जाता है।
पेपर ने पाया कि ये AI जज उन अंकों की सीमा (range of numbers) के प्रति अविश्वसनीय रूप से संवेदनशील होते हैं जो आप उन्हें देते हैं।
- यदि आप 0 और 4 के बीच स्कोर मांगते हैं, तो AI भ्रमित हो सकता है और सब कुछ "2" देना शुरू कर सकता है।
- यदि आप 2 और 6 के बीच स्कोर मांगते हैं, तो वही AI अचानक सब कुछ "4" तय कर सकता है।
यह किसी व्यक्ति से तापमान का अनुमान लगाने के लिए कहने जैसा है। यदि आप उनसे कहते हैं, "0 और 10 के बीच अनुमान लगाओ," तो वे 5 कह सकते हैं। यदि आप उनसे कहते हैं, "80 और 90 के बीच अनुमान लगाओ," तो वे 85 कह सकते हैं। वे वास्तविक मौसम को नहीं देख रहे हैं; वे बस उस बॉक्स का अनुमान लगा रहे हैं जो आपने उन्हें थमाया है।
पेपर में पाया गया कि यह विभिन्न AI मॉडलों (जैसे Llama और Qwen) में होता है और एक ही "परिवार" के मॉडल एक ही तरह से एक ही गलती करने की प्रवृत्ति रखते हैं। उन सभी में एक साझा "ब्लाइंड स्पॉट" (अंध बिंदु) होता है।
समाधान: "कॉन्ट्रास्टिव डिकोडिंग" (तुलनात्मक डिकोडिंग) ट्रिक
लेखक ने केवल यह नहीं कहा, "ओह ठीक है, चलो AI को ठीक करते हैं।" इसके बजाय, उन्होंने कॉन्ट्रास्टिव डिकोडिंग नामक एक चतुर ट्रिक का उपयोग किया।
इसे इस तरह सोचें:
कल्पना कीजिए कि आप उत्तर दिशा खोजने की कोशिश कर रहे हैं।
- मुख्य मॉडल (नेविगेटर): यह आपका बुद्धिमान AI जज है। यह एक स्कोर देने की कोशिश करता है, लेकिन इसमें एक पूर्वाग्रह है (यह हमेशा थोड़ा पूर्व की ओर झुकता है)।
- सहायक मॉडल (हेल्पर): यह उसी परिवार का एक छोटा, थोड़ा कम बुद्धिमान AI है। यह भी स्कोर देने की कोशिश करता है, और क्या आप जानते हैं? यह मुख्य मॉडल के समान ही पूर्व की ओर झुकता है क्योंकि वे संबंधित हैं।
जादुई कदम:
केवल मुख्य मॉडल की बात सुनने के बजाय, सिस्टम सहायक मॉडल से भी पूछता है कि वह क्या सोचता है। फिर, यह मुख्य मॉडल के उत्तर से सहायक का पूर्वाग्रह घटा (subtract) देता है।
- मुख्य मॉडल कहता है: "मुझे लगता है कि यह 4.5 है (लेकिन मैं उच्च संख्याओं की ओर झुका हुआ हूँ)।"
- सहायक मॉडल कहता है: "मुझे लगता है कि यह 4.5 है (और मैं भी उच्च संख्याओं की ओर झुका हुआ हूँ)।"
- सिस्टम: "ठीक है, चूंकि वे दोनों पूर्वाग्रह पर सहमत हैं, आइए इसे रद्द कर दें।"
मुख्य मॉडल के उत्तर से "हेल्पर" की राय को घटाकर, साझा पूर्वाग्रह गायब हो जाता है। यह दो लोगों के एक घेरे में चलने जैसा है; यदि आप उनके गोलाकार पथ को घटा देते हैं, तो आपके पास एक सीधी रेखा बचती है।
परिणाम: एक निष्पक्ष जज
जब शोधकर्ताओं ने इसका परीक्षण किया:
- पहले: AI जज असंगत था। यदि आप स्कोर की रेंज को "1-5" से बदलकर "2-6" कर देते, तो इसकी सटीकता काफी गिर जाती थी। यह एक ऐसे तराजू की तरह था जो दिन के समय के आधार पर अलग-अलग वजन देता था।
- बाद में: "कॉन्ट्रास्टिव डिकोडिंग" ट्रिक के साथ, AI बहुत अधिक स्थिर हो गया। इसने स्कोर रेंज के विशिष्ट अंकों की परवाह करना बंद कर दिया और वास्तव में टेक्स्ट की गुणवत्ता को देखना शुरू कर दिया।
- जीत: मानव जजों के साथ AI की सहमति में 11.7% तक सुधार हुआ। AI अनुसंधान की दुनिया में यह एक बहुत बड़ी छलांग है।
यह क्यों मायने रखता है
यह एक बड़ी बात है क्योंकि वर्तमान में, कंपनियाँ ग्राहक सेवा चैट से लेकर रचनात्मक लेखन तक सब कुछ ग्रेड करने के लिए AI का उपयोग कर रही हैं। यदि AI आपके प्रॉम्प्ट में लिखे गए नंबरों से पक्षपाती है, तो परिणाम अविश्वसनीय होते हैं।
यह पेपर हमें इन AI जजों को "कैलिब्रेट" करने का एक तरीका देता है, बिना उन्हें फिर से प्रशिक्षित किए या लाखों डॉलर खर्च किए। यह AI को एक चश्मे देने जैसा है जो स्कोर रेंज के "शोर" को फ़िल्टर करता है, जिससे वह सच्चाई को स्पष्ट रूप से देख पाता है।
संक्षेप में:
AI जज उन नंबरों से आसानी से भ्रमित हो जाते हैं जिनका उपयोग करने के लिए हम उन्हें कहते हैं। एक "हेल्पर" AI का उपयोग करके उस भ्रम को दूर करके, हम AI-जनरेटेड कंटेंट के लिए बहुत निष्पक्ष और अधिक विश्वसनीय ग्रेड प्राप्त कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।