LLM Judges Have Dark Current: A Psychometric Datasheet for LLM-as-a-Judge Evaluation
यह शोध पत्र एक "जज डेटाशीट" प्रोटोकॉल प्रस्तुत करता है जो LLM-as-a-judge प्रणालियों को केवल साधारण स्कोरिंग उपकरणों के बजाय माप उपकरणों (measurement instruments) के रूप में मानता है, और डाउनस्ट्रीम दावों को करने से पहले विश्वसनीय मूल्यांकन सुनिश्चित करने के लिए "डार्क करंट" और स्थितिजन्य वरीयता (positional preference) जैसे विशिष्ट पूर्वाग्रहों को मापने हेतु एक साइकोमेट्रिक ढांचे का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पेंटिंग प्रतियोगिता का निर्णय लेने के लिए कला समीक्षकों की एक टीम को काम पर रख रहे हैं। आप जानना चाहते हैं कि सबसे अच्छा कलाकार कौन है, इसलिए आप इन समीक्षकों से दो पेंटिंगों की तुलना करने और यह बताने के लिए कहते हैं कि कौन सी बेहतर है।
यह शोध पत्र तर्क देता है कि हम इन "AI समीक्षकों" (LLM न्यायाधीशों) के साथ बहुत सरल व्यवहार कर रहे हैं। हम आमतौर पर उनसे बस पूछते हैं, "कौन जीता?" और एक एकल संख्या रिपोर्ट करते हैं, जैसे "90% सटीकता।" लेखक कहते हैं कि यह एक थर्मामीटर खरीदने जैसा है बिना यह जांचे कि क्या वह टूटा हुआ है, क्या वह हवा के प्रति प्रतिक्रिया करता है, या क्या वह तापमान का रीडिंग तब भी देता है जब कोई गर्मी मौजूद न हो।
यहाँ इस शोध पत्र का मुख्य संदेश है, जिसे सरल उपमाओं के माध्यम से विभाजित किया गया है:
1. "डार्क करंट" की समस्या (द फैंटम सिग्नल)
भौतिकी में, "डार्क करंट" तब होता है जब एक इलेक्ट्रॉनिक सेंसर तब भी रीडिंग देता है जब उस पर बिल्कुल भी प्रकाश नहीं पड़ रहा होता है।
- शोध पत्र का निष्कर्ष: लेखकों ने AI न्यायाधीशों का परीक्षण उन्हें दो एक समान उत्तर (या खाली उत्तर) देकर किया। एक अच्छा न्यायाधीश कहता, "ये दोनों समान हैं, मैं विजेता नहीं चुन सकता।"
- वास्तविकता: कुछ न्यायाधीशों (जैसे Llama-3.1-8B मॉडल) ने समान उत्तर होने के बावजूद भी विजेता चुनने की कोशिश की। वे वहां एक प्राथमिकता "हैलुसिनेट" (hallucinate) कर रहे थे जहाँ वास्तव में कोई अंतर नहीं था। यह उनका "डार्क करंट" है।
2. "पोजीशन बायस" (सीट का झुकाव)
कल्पना कीजिए कि एक न्यायाधीश जो हमेशा एक विशिष्ट कुर्सी (जैसे, हमेशा बाईं कुर्सी) को चुनता है, चाहे वहां वास्तव में कोई भी बैठा हो।
- शोध पत्र का निष्कर्ष: लेखकों ने उत्तरों का क्रम बदलकर इसका परीक्षण किया। यदि न्यायाधीश "उत्तर A" को चुनता है जब वह पहले आता है, लेकिन फिर "उत्तर B" को चुनता है (जो वास्तव में A ही है) जब वह पहले आता है, तो वे सामग्री का निर्णय नहीं ले रहे हैं; वे केवल एक सीट चुन रहे हैं।
- वास्तविकता: एक न्यायाधीश (Llama-3.1-8B) लगभग पूरी तरह से इस "सीट प्राथमिकता" से संचालित था। उसे सामग्री की परवाह नहीं थी; वह बस सामग्री की परवाह किए बिना एक ही स्थान को चुनना चाहता था।
3. "डेटाशीट" (न्यायाधीशों का आईडी कार्ड)
जिस तरह आप बिना 'स्पेक शीट' के यह जाने कि उसकी हॉर्सपावर, ईंधन दक्षता और सुरक्षा रेटिंग क्या है, एक कार नहीं खरीदेंगे, लेखक कहते हैं कि हमें एक AI न्यायाधीश को उसकी "जज डेटाशीट" के बिना उपयोग नहीं करना चाहिए।
यह डेटाशीट पांच विशिष्ट चीजों को मापती है:
- डार्क करंट: क्या यह उत्तर बनाता है जब कोई सिग्नल नहीं होता?
- स्टेबल सेंसिटिविटी (स्थिर संवेदनशीलता): क्या यह एक ही गुणवत्ता वाले दो उत्तरों पर सुसंगत निर्णय देता है जब उनकी शब्दावली या प्रस्तुति का क्रम बदल जाता है? (यह गुणवत्ता का पता लगाने के बजाय सतह-रूप परिवर्तन पर निरंतरता को मापता है।)
- पोशनल बायस (स्थानिक पूर्वाग्रह): क्या यह क्रम बदलने के बाद भी वास्तविक सामग्री की परवाह किए बिना उसी स्लॉट/स्थान को चुनकर धोखाधड़ी करता है?
- टारगेट सेंसिटिविटी (लक्ष्य संवेदनशीलता): क्या यह एक "अच्छे" उत्तर और एक "शानदार" उत्तर के बीच अंतर कर सकता है? (यह वह गुण है जो वास्तविक/इच्छित गुणवत्ता अंतर का पता लगाता है।)
- "टाई" (बराबरी) बटन: यह बराबरी घोषित करने में कितना सख्त है?
4. तीन न्यायाधीश (एक केस स्टडी)
लेखकों ने यह देखने के लिए तीन अलग-अलग AI मॉडल का परीक्षण किया कि उनके "डेटाशीट" कैसे दिखते हैं:
- न्यायाधीश A (Llama-3.1-8B): यह न्यायाधीश इस नियंत्रित सेटिंग में समान-गुणवत्ता वाली तुलनाओं के लिए खराब कैलिब्रेटेड प्रतीत होता है। इसमें उच्च "डार्क करंट" है (यह समान उत्तरों के बावजूद विजेता चुनता है) और यह लगभग पूरी तरह से "पोशनल फॉल्स प्रेफरेंस" द्वारा संचालित है (यह सामग्री की परवाह किए बिना एक ही स्थान को चुनता है)। यह समान-गुणवत्ता वाले उत्तरों की तुलना करने के लिए कम विश्वसनीय है, हालांकि यह पाइपलाइन डीबगिंग या बड़े गुणवत्ता अंतर वाले तुलनाओं के लिए उपयोगी हो सकता है।
- न्यायाधीश B (Qwen2.5-14B): यह न्यायाधीश मिश्रित है। इसमें "डार्क करंट" नहीं है (सिग्नल न होने पर यह शांत रहता है), और यह गुणवत्ता के बड़े अंतरों को पहचानने में बहुत अच्छा है। हालाँकि, जब उत्तर बहुत समान होते हैं (विशेष रूप से सतह-रूप भिन्नता वाले समान-गुणवत्ता वाले जोड़े), तो इसका व्यवहार मिश्रित होता है: कभी-कभी यह सतह-रूप भिन्नता के प्रति सुसंगत प्रतिक्रिया देता है, और कभी-कभी यह दिखाए गए क्रम के आधार पर चुनता है।
- न्यायाधीश C (Qwen2.5-32B): यह सबसे स्वच्छ (cleanest) न्यायाधीश है। इसमें कोई "डार्क करंट" नहीं है, कम पोशनल फॉल्स प्रेफरेंस (शून्य नहीं, लेकिन कम) है, और यह वास्तविक गुणवत्ता अंतरों को पहचानने में बहुत अच्छा है। हालाँकि, यह थोड़ा "रूढ़िवादी" है—जब अंतर बहुत कम होता है, तो यह अनुमान लगाने के बजाय "यह बराबरी है" कहना पसंद करता है।
5. "स्ट्रिक्ट टाई" (कठोर बराबरी) प्रयोग
लेखकों ने एक चाल चली: उन्होंने "सबसे स्वच्छ" न्यायाधीश (Qwen2.5-32B) को कहा, "अधिक सख्त बनो! केवल तभी विजेता चुनो जब तुम 100% सुनिश्चित हो। अन्यथा, इसे बराबरी घोषित करो।"
- परिणाम: इसने परीक्षण किए गए समान-गुणवत्ता वाले जोड़ों (सतह-रूप भिन्नता वाले जोड़े) पर गलत प्राथमिकताओं को सफलतापूर्वक समाप्त कर दिया।
- पेंच: इसने न्यायाधीश को कुछ वास्तविक लेकिन बहुत छोटे अंतरों को पहचानने से भी रोक दिया। इसने "मुझे लगता है कि यह थोड़ा बेहतर है" को "मुझे यकीन नहीं है, यह बराबरी है" में बदल दिया।
- सबक: आप निर्देशों को बदलकर न्यायाधीश की "कठोरता" (मानदंड) को बदल सकते हैं, लेकिन आप केवल अच्छी तरह से पूछकर न्यायाधीश को जादुई रूप से अधिक स्मार्ट या अधिक संवेदनशील नहीं बना सकते। नोट: इस सख्त प्रॉम्प्ट के तहत समान/खाली इनपुट पर "डार्क करंट" का पुनर्मूल्यांकन नहीं किया गया था।
निचोड़
यह शोध पत्र यह दावा नहीं करता है कि इनमें से कौन सा न्यायाधीश सभी मानवीय कार्यों के लिए "सर्वश्रेष्ठ" है, न ही यह किसी विशिष्ट सिद्धांत को सिद्ध करता है कि AI कैसे काम करता है।
इसके बजाय, यह दावा करता है कि इससे पहले कि हम दूसरे AI को जज करने के लिए एक AI पर भरोसा करें, हमें पहले न्यायाधीश को मापना होगा। हमें यह जानने की आवश्यकता है कि क्या इसमें "डार्क करंट" है, क्या यह स्थिति (position) से प्रभावित है, और यह कितना सख्त है। इस "डेटाशीट" के बिना, एक AI न्यायाधीश से प्राप्त कोई भी स्कोर केवल बिना संदर्भ वाली एक संख्या है, जो गंभीर खामियों को छिपा सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।