A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation
यह शोध पत्र इनवेरिएंस (invariance) और सेंसिटिविटी (sensitivity) से युक्त एक द्वि-आयामी कंस्ट्रक्ट वैलिडिटी फ्रेमवर्क प्रस्तुत करता है, जो यह दर्शाता है कि वर्तमान एलएलएम-एज़-ए-जज (LLM-as-a-Judge) मूल्यांकन अक्सर सार्थक सामग्री परिवर्तनों के प्रति कम संवेदनशीलता के साथ उच्च सहमति प्रदर्शित करते हैं, जिससे यह स्पष्ट होता है कि उच्च विश्वसनीयता अंतर्निहित कंस्ट्रक्ट के वैध मूल्यांकन की गारंटी नहीं देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते क्षेत्र में, प्रणालियों की एक नई पीढ़ी उभरी है जो निबंध लिख सकती है, समस्याओं को हल कर सकती है और बातचीत कर सकती है। यह तय करने के लिए कि इनमें से कौन सी प्रणाली बेहतर है, शोधकर्ता स्वचालित न्यायाधीशों (automated judges) पर भरोसा करते हैं—विशेषज्ञ एआई मॉडल जिन्हें एक ही प्रश्न के दो अलग-अलग उत्तरों को पढ़ने और विजेता चुनने के लिए प्रशिक्षित किया गया है। ये न्यायाधीश डिजिटल युग के रेफरी के रूप में कार्य करते हैं, जो यह निर्धारित करते हैं कि किन मॉडलों को पदोन्नति मिलेगी, किन्हें सुधारा जाएगा, और किन्हें हटा दिया जाएगा। एक रेफरी के उपयोगी होने के लिए, उसे सुसंगत (consistent) होना चाहिए; यदि एक ही उत्तर को दो बार प्रस्तुत किया जाता है, तो उसे समान स्कोर मिलना चाहिए। लेकिन सुसंगता केवल आधा काम है। एक रेफरी को कार्य की वास्तविक गुणवत्ता के प्रति संवेदनशील भी होना चाहिए। यदि कोई छात्र एक अस्पष्ट दावे को एक विशिष्ट, साक्ष्य-आधारित दावे में बदल देता है, तो रेफरी को उस सुधार को नोटिस करना चाहिए। यदि छात्र एक विशिष्ट दावे को एक अस्पष्ट अतिसामान्यीकरण (overgeneralization) में बदल देता है, तो रेफरी को उस गिरावट को नोटिस करना चाहिए। वैज्ञानिक समुदाय के लिए केंद्रीय प्रश्न यह है कि क्या ये स्वचालित न्यायाधीश वास्तव में पाठ की गुणवत्ता को माप रहे हैं, या वे केवल पाठ की लंबाई या उसके स्वरूप जैसे सतही लक्षणों पर प्रतिक्रिया दे रहे हैं।
शोधकर्ताओं की एक टीम ने इन न्यायाधीशों का परीक्षण करने के लिए एक कठोर नई पद्धति के साथ प्रयास किया। उन्होंने न्यायाधीशों को केवल उपयोग किए जाने वाले उपकरणों के रूप में नहीं, बल्कि अंशांकन (calibration) किए जाने वाले उपकरणों के रूप में माना, ठीक वैसे ही जैसे एक थर्मामीटर जो पूरी तरह से सुसंगत हो सकता है लेकिन फिर भी गलत चीज़ माप सकता है। शोधकर्ताओं ने एक विशिष्ट प्रकार की त्रुटि पर ध्यान केंद्रित किया: जब एक वैज्ञानिक दावा वास्तव में उसके साक्ष्य द्वारा समर्थित सीमा से आगे निकल जाता है। उन्होंने सावधानीपूर्वक संपादित वाक्यों का एक सेट बनाया जहाँ अर्थ दो अलग-अलग तरीकों से बदला गया। एक प्रकार के संपादन में, दावे को उस सीमा तक विस्तृत किया गया जो साक्ष्य की अनुमति देता है, जैसे कि तीन विशिष्ट चट्टानों के नमूनों के बारे में एक निष्कर्ष को सभी तलछटी चट्टानों (sedimentary rock) के बारे में एक निष्कर्ष में बदलना। दूसरे प्रकार के संपादन में, दावे को बिना उसके दायरे को बदले अधिक मुखर बनाया गया, जैसे कि एक सतर्क शब्द जैसे "हो सकता है" (may) को हटाकर एक निश्चित कथन जैसे "करता है" (does) से बदलना। शोधकर्ताओं ने मानव विशेषज्ञों से यह सत्यापित करने के लिए कहा कि क्या इन संपादनों ने वास्तव में कथन की सत्यता को बदल दिया है, जिससे यह सुनिश्चित हो सके कि परीक्षण केवल कंप्यूटर के अनुमानों के बजाय वास्तविकता पर आधारित है।
जब उन्होंने सात अलग-अलग स्वचालित न्यायाधीशों को इस परीक्षण से गुजारा, तो परिणामों ने एक चौंकाने वाली कमी (blind spot) का खुलासा किया। न्यायाधीश उल्लेखनीय रूप से सुसंगत थे; जब शोधकर्ताओं ने पाठ की केवल सतही विशेषताओं को बदला, जैसे कि वाक्यों का क्रम या फ़ॉन्ट शैली, तो न्यायाधीशों ने अपने निर्णय लगभग कभी नहीं बदले। यह सुसंगतता अच्छी है, लेकिन यह भ्रामक साबित हुई। जब शोधकर्ताओं ने दावे का वास्तविक अर्थ बदला—उसे या तो बहुत व्यापक या बहुत मुखर बनाया—तो न्यायाधीश अधिकांश समय अंतर पहचानने में विफल रहे। औसतन, न्यायाधीशों ने केवल 32 प्रतिशत समय सही ढंग से पहचाना कि एक दावा बदल गया था, भले ही वे सतही स्तर के परीक्षणों पर 95 प्रतिशत सुसंगत थे। यह ऐसा है जैसे एक खाद्य आलोचक लाल प्लेट बनाम नीली प्लेट पर परोसे गए भोजन के बीच अंतर करने में तो सक्षम है, लेकिन वह यह नोटिस करने में विफल रहता है कि शेफ ने ताजी सब्जी को प्लास्टिक के टुकड़े से बदल दिया है। न्यायाधीश विश्वसनीय थे, लेकिन वे वैध (valid) नहीं थे; वे तर्क की गुणवत्ता के बजाय कुछ और माप रहे थे।
यह विफलता यादृच्छिक (random) नहीं थी; इसकी एक विशिष्ट संरचना थी। न्यायाधीश तब बेहतर थे जब कोई दावा बहुत व्यापक हो जाता है, बजाय इसके कि जब कोई दावा बहुत मुखर हो जाता है। उन्होंने गौर किया कि जब दावे का दायरा साक्ष्य से आगे बढ़ जाता है तो वे उसे पकड़ लेते हैं, लेकिन वे इसे पकड़ने में काफी हद तक विफल रहे कि उस दावे के प्रति प्रतिबद्धता कितनी मजबूत हो गई है। यह अंतर महत्वपूर्ण है क्योंकि यह एक भ्रमित करने वाली घटना की व्याख्या करता है जो अन्य अध्ययनों में देखी गई है: जब शोधकर्ता एआई मॉडलों को अधिक "सटीक" होने के लिए कहते हैं, तो मॉडल अक्सर बदतर, अधिक अति-आत्मविश्वासी दावे करने लगते हैं। नया अध्ययन दिखाता है कि ऐसा इसलिए होता है क्योंकि सटीकता की मांग मॉडलों को अधिक निश्चित दिखने के लिए प्रेरित करती है, जिससे उनके दावों की शक्ति (force) बढ़ जाती है, बिना उन्हें अधिक सही बनाए। न्यायाधीश, हालांकि, इस बढ़ती शक्ति को अनदेखा करने के लिए ट्यून किए गए हैं, इसलिए वे मॉडलों को आत्मविश्वास से बोलने के लिए पुरस्कृत करते हैं, भले ही वे अपनी सीमा से बाहर जा रहे हों।
शायद सबसे परेशान करने वाला निष्कर्ष यह था कि इन न्यायाधीशों का परीक्षण करने के लिए उपयोग किए जाने वाले मानक बेंचमार्क दोषपूर्ण हैं। शोधकर्ताओं ने पाया कि न्यायाधीशों को प्रशिक्षित करने और मूल्यांकन करने के लिए उपयोग किए जाने वाले कई सार्वजनिक डेटासेट "लीकी" (leaky) हैं। इसका मतलब है कि इन डेटासेट्स में सही उत्तरों का अनुमान केवल प्रतिक्रिया की लंबाई या उसके निर्माण के तरीके को देखकर लगाया जा सकता है, बिना सामग्री को समझे। कुछ मामलों में, एक सरल नियम जिसने केवल छोटे उत्तर को चुना, वह एक प्रमुख बेंचमार्क में मानव वोटों का 67 प्रतिशत हिस्सा दोहराने में सक्षम था। यह सुझाव देता है कि जब न्यायाधीश मानव लेबल के साथ सहमत होते हैं, तो वे इसलिए सहमत नहीं होते क्योंकि वे पाठ को समझते हैं, बल्कि इसलिए क्योंकि वे दोनों एक ही सतही संकेतों पर प्रतिक्रिया दे रहे होते हैं। क्षेत्र में देखी जाने वाली उच्च स्कोर उनकी बुद्धिमत्ता या समझ का प्रमाण नहीं है, बल्कि इस बात का प्रमाण है कि न्यायाधीशों ने सिस्टम को चकमा देना सीख लिया है।
शोधकर्ता निष्कर्ष निकालते हैं कि क्षेत्र को सफलता को मापने के तरीके को बदलने की आवश्यकता है। एक एकल संख्या पर निर्भर रहने के बजाय जो यह दर्शाती है कि एक न्यायाधीश मनुष्यों के साथ कितनी बार सहमत होता है, वे दो अलग-अलग नंबर रिपोर्ट करने का प्रस्ताव करते हैं: एक सुसंगतता (consistency) के लिए और एक संवेदनशीलता (sensitivity) के लिए। यह दो-भाग वाला प्रोफाइल प्रकट करेगा कि क्या एक न्यायाधीश केवल जिद्दी है या वह वास्तव में सही चीजों पर ध्यान दे रहा है। वे बेंचमार्क बनाने वालों से भी आग्रह करते हैं कि वे अपने लेबल कैसे बनाए गए थे, इसके बारे में पारदर्शी रहें, और चेतावनी देते हैं कि यदि एक लेबल पाठ के निर्माण के तरीके से जुड़ा है न कि स्वयं पाठ से, तो उसे गुणवत्ता के माप के रूप में विश्वसनीय नहीं माना जा सकता है। अध्ययन यह दावा नहीं करता है कि ये न्यायाधीश बेकार हैं, लेकिन यह दिखाता है कि वे वर्तमान में उन परिवर्तनों के प्रति अंधे हैं जो सबसे अधिक मायने रखते हैं। जब तक स्वयं शासकों (rulers) को ठीक नहीं किया जाता, उनके द्वारा दिए गए माप अधूरे रहेंगे, जिससे वैज्ञानिक समुदाय एक ऐसे मानचित्र के साथ कृत्रिम बुद्धिमत्ता के परिदृश्य को समझने के लिए छोड़ दिया जाएगा जो भूभाग तो दिखाता है लेकिन खड़ी ढलानों (cliffs) को छोड़ देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।