Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks
यह शोध पत्र प्रकट करता है कि LLM-आधारित जज विभिन्न रन के दौरान महत्वपूर्ण इंट्रा-रेटर विसंगति प्रदर्शित करते हैं, जो उनके स्कोर की विश्वसनीयता को कम करता है, और यह जांच करता है कि क्या विशिष्ट दिशानिर्देशों के माध्यम से ऐसे मूल्यांकनों का अभी भी प्रभावी ढंग से उपयोग किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "रेटिंग रूलेट: LLM-एज़-ए-जज फ्रेमवर्क्स में आत्म-असंगति" (Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
मुख्य विचार: "रोलरकोस्टर" जज
कल्पना कीजिए कि आपने एक नए रेस्टोरेंट की समीक्षा करने के लिए एक प्रसिद्ध फूड क्रिटिक (खाद्य समीक्षक) को काम पर रखा है। आप उनसे एक ही बार में तीन बार एक ही व्यंजन चखने के लिए कहते हैं, जिसमें वे उसी मेज पर बैठे हैं और उनके सामने वही नैपकिन रखा है।
- स्वाद 1: वे इसे 5-स्टार रेटिंग देते हैं, इसे "एक उत्कृष्ट कृति" (masterpiece) कहते हैं।
- स्वाद 2: वे इसे 2-स्टार रेटिंग देते हैं, इसे "फीका और अधिक पका हुआ" (bland and overcooked) कहते हैं।
- स्वाद 3: वे इसे 4-स्टार रेटिंग देते हैं, कहते हैं कि यह "ठीक है लेकिन इसमें थोड़े नमक की कमी है।"
यदि ऐसा होता, तो आप उस क्रिटिक पर भरोसा नहीं करते। आप महसूस करते कि उनका निर्णय एक रूलेट व्हील (roulette wheel) की तरह है—यह हर बार एक अलग नंबर पर रुक जाता है, भले ही भोजन (इनपुट) कभी न बदला हो।
यही शोधकर्ताओं ने तब पाया जब उन्होंने अन्य AI-जनित टेक्स्ट की समीक्षा करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को जज के रूप में इस्तेमाल किया। उन्होंने पाया कि ये AI जज "रेटिंग रूलेट" से पीड़ित हैं।
समस्या: AI जज खुद से सहमत नहीं हो पाता
AI की दुनिया में, हम अक्सर एक AI का उपयोग दूसरे AI के काम को ग्रेड करने के लिए करते हैं। इसे "LLM-as-a-Judge" कहा जाता है। यह लोकप्रिय है क्योंकि यह इंसानों को काम पर रखने की तुलना में तेज़ और सस्ता है।
हालाँकि, शोधकर्ताओं ने एक सरल परीक्षण किया:
- उन्होंने एक टेक्स्ट लिया (जैसे कोई समाचार सारांश या चैट बातचीत)।
- उन्होंने उसी AI जज को बिल्कुल समान निर्देशों का उपयोग करके उसे तीन बार ग्रेड करने के लिए कहा।
- उन्होंने जाँच की कि क्या AI ने हर बार एक ही स्कोर दिया।
परिणाम: AI जज पूरी तरह से अनियंत्रित थे।
- SummaC नामक कार्य पर (यह जाँचने के लिए कि सारांश तथ्यात्मक रूप से सत्य है या नहीं), सबसे अच्छे AI जज केवल 79% मामलों में ही खुद से सहमत हो पाए।
- MT-Bench नामक कार्य पर (चैटबॉट बातचीत को रैंक करना), सहमति और भी कम हो गई। एक AI जज ने केवल 61% मामलों में ही लगातार तीन बार एक ही उत्तर दिया।
ऐसा लगता है जैसे हर बार सवाल पूछने पर जज का मूड बदल जाता है, भले ही सवाल और जवाब में कोई बदलाव न हुआ हो।
वह "जादुई ट्रिक" जो उल्टा पड़ गई
आप सोच सकते हैं, "ठीक है, चलिए बस AI को रैंडम होने से रोकते हैं। इसके दिमाग के 'पासा फेंकने' वाले हिस्से को बंद कर देते हैं ताकि यह हमेशा एक ही उत्तर दे।"
शोधकर्ताओं ने यह कोशिश की। उन्होंने AI को 100% डिटरमिनिस्टिक (deterministic - बिना किसी रैंडमनेस के) सेट कर दिया।
- क्या यह सुसंगत (consistent) बना? हाँ।
- क्या यह एक बेहतर जज बना? नहीं।
वास्तव में, जब उन्होंने AI को पासा फेंकना बंद करने के लिए मजबूर किया, तो उसके ग्रेड मानव जजों की तुलना में वास्तव में बदतर हो गए। यह एक शेफ को हर बार एक ही रेसिपी का उपयोग करने के लिए मजबूर करने जैसा है; वे गलतियाँ करना बंद कर सकते हैं, लेकिन वे रचनात्मक या अनुकूलन योग्य भी नहीं रह जाते, और अंत में खाना स्वादहीन हो जाता है।
पेपर सुझाव देता है कि यहाँ एक ट्रेड-ऑफ (trade-off) है: मानव राय से मेल खाने वाला एक अच्छा ग्रेड पाने के लिए, AI को थोड़ी सी "रैंडमनेस" (विविधता) की आवश्यकता होती है। लेकिन वही रैंडमनेस AI को खुद के साथ असंगत बना देती है।
मानव तुलना: क्या इंसान भी बेहतर हैं?
शोधकर्ताओं ने मानव जजों को भी देखा कि क्या यह केवल एक AI-विशिष्ट समस्या है।
- मानव विशेषज्ञ (Human Experts): जब विशेषज्ञों ने एक ही टेक्स्ट को ग्रेड किया, तो वे एक-दूसरे के साथ काफी हद तक सहमत थे, लेकिन पूरी तरह से नहीं।
- क्राउड वर्कर्स (Crowd Workers): जब आम लोगों (क्राउड वर्कर्स) ने ग्रेड किया, तो वे अक्सर एक-दूसरे से और विशेषज्ञों से असहमत थे।
- आश्चर्य: कुछ मामलों में, AI जज खुद के साथ मनुष्यों की तुलना में अधिक सुसंगत थे। हालाँकि, क्योंकि AI के स्कोर बहुत अस्थिर थे, इसलिए यह कहना कठिन है कि AI वास्तव में "सही" है या सिर्फ "भाग्यशाली"।
यह क्यों मायने रखता है? ("टूटे हुए रूलर" की उपमा)
कल्पना कीजिए कि आप एक पेड़ की ऊँचाई मापने की कोशिश कर रहे हैं।
- पुराना तरीका: आप एक ऐसे रूलर (पैमाने) का उपयोग करते हैं जो थोड़ा मुड़ा हुआ है। यह पूर्णतः सटीक नहीं है, लेकिन यह स्थिर है।
- नया तरीका (LLM Judge): आप रबर से बने रूलर का उपयोग करते हैं। कभी यह खिंच जाता है, तो कभी सिकुड़ जाता है। भले ही आप एक ही पेड़ को तीन बार मापें, आपको तीन अलग-अलग नंबर मिलेंगे।
यदि आप रबर के रूलर का उपयोग करते हैं, तो आप माप पर भरोसा नहीं कर सकते। पेपर का तर्क है कि वर्तमान में LLM को जज के रूप में उपयोग करना एक रबर के रूलर का उपयोग करने जैसा है।
- यदि आप टेस्ट एक बार चलाते हैं, तो आपको एक स्कोर मिलता है।
- यदि आप इसे दोबारा चलाते हैं, तो आपको दूसरा स्कोर मिलता है।
- यदि आप इसे तीसरी बार चलाते हैं, तो आपको तीसरा स्कोर मिलता है।
चूँकि स्कोर हर बार बदल जाता है, हमें नहीं पता कि AI वास्तव में गुणवत्ता को मापने में अच्छा है या वह केवल अनुमान लगा रहा है।
विभिन्न कार्यों में उन्हें क्या मिला?
शोधकर्ताओं ने तीन अलग-अलग प्रकार के "गेम्स" का परीक्षण किया जिन्हें AI को खेलना था:
- सही या गलत (SummaC): क्या सारांश तथ्यात्मक रूप से सही है? (बाइनरी विकल्प)।
- परिणाम: AI जज असंगत थे, लेकिन नए, बड़े मॉडल्स थोड़े बेहतर थे।
- 1-से-5 स्टार रिव्यू (SummEval): सारांश को "सुसंगतता" (Coherence), "प्रवाह" (Fluency) आदि पर रेट करें।
- परिणाम: AI बहुत असंगत था, विशेष रूप से "प्रवाह" (Fluency - टेक्स्ट कितना स्मूथ है) पर। दिलचस्प बात यह है कि AI कभी-कभी प्रवाह को जज करने में इंसानों की आपसी सहमति से बेहतर था।
- बैटल रॉयल (MT-Bench): दो चैटबॉट्स में से किसने बेहतर उत्तर दिया?
- परिणाम: यह सबसे कठिन कार्य था। AI जज यहाँ अत्यंत अस्थिर थे, अक्सर इस बारे में अपना विचार बदल देते थे कि कौन सा चैटबॉट बेहतर था।
निष्कर्ष: रूलेट व्हील को कैसे ठीक करें
यह पेपर उन लोगों के लिए कुछ व्यावहारिक सुझाव देता है जो AI जजों का उपयोग करना चाहते हैं:
- एक बार के परिणाम पर भरोसा न करें: यदि आप किसी AI को ग्रेड करने के लिए कहते हैं, तो केवल पहले उत्तर पर निर्भर न रहें। इसे तीन बार ग्रेड करने के लिए कहें और फिर औसत (average) या बहुमत (majority vote) लें। यह "रूलेट" प्रभाव को कम करता है और एक ऐसा स्कोर देता है जो मानव राय के करीब होता है।
- रैंडमनेस को बंद न करें: भले ही रैंडमनेस से असंगति पैदा होती है, लेकिन इसे पूरी तरह से बंद करने से AI मानव विचारों से मेल खाने में और भी खराब हो जाता है। सही उत्तर पाने के लिए आपको थोड़ी सी अराजकता (chaos) की आवश्यकता होती है।
- अपनी निरंतरता की जाँच करें: एक AI जज पर भरोसा करने से पहले, आपको यह जाँच लेना चाहिए कि क्या वह खुद से सहमत है। यदि वह खुद से सहमत नहीं हो सकता, तो वह आपसे भी सहमत नहीं हो पाएगा।
सारांश
पेपर यह खुलासा करता है कि AI जज वर्तमान में अविश्वसनीय हैं क्योंकि वे हर बार पूछे जाने पर एक ही सवाल के अलग-अलग जवाब देते हैं। वे एक स्थिर तराजू के बजाय एक रूलेट व्हील की तरह हैं। हालांकि नए AI मॉडल्स थोड़े अधिक सुसंगत हैं, फिर भी वे विश्वसनीय होने के लिए संघर्ष कर रहे हैं। वर्तमान में सबसे अच्छा समाधान यह है कि AI को खेल को कई बार खेलने के लिए कहें और परिणामों का औसत निकालें, बजाय इसके कि रूलेट व्हील के एक एकल "स्पिन" पर भरोसा किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।