JudgmentBench: Comparing Rubric and Preference Evaluation for Quality Assessment
यह शोधपत्र जजमेंटबेंच (JudgmentBench) को प्रस्तुत करता है, जो विशेषज्ञ वकीलों द्वारा रूब्रिक स्कोर और युग्म-आधारित वरीयताओं (pairwise preferences) के साथ एनोटेट किए गए 30 कानूनी कार्यों का एक नवीन बेंचमार्क है, जो यह प्रदर्शित करता है कि तुलनात्मक निर्णय गुणवत्ता रैंकिंग को पुनः प्राप्त करने में रूब्रिक-आधारित स्कोरिंग की तुलना में काफी बेहतर प्रदर्शन करते हैं और इसके लिए आधे से भी कम एनोटेशन समय की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एआई (AI) द्वारा लिखे गए कानूनी दस्तावेजों के एक बैच की गुणवत्ता का आकलन करने की कोशिश कर रहे हैं। आपके पास इसे करने के दो मुख्य तरीके हैं, और यह शोध पत्र (paper) वास्तव में यह देखने के लिए उनके बीच एक सीधी टक्कर है कि कौन सा तरीका आपको बेहतर ढंग से बता पाता है कि कौन सा दस्तावेज़ बेहतर है।
यहाँ दोनों दावेदारों का विवरण दिया गया है:
दो जज
- चेकलिस्ट जज (रुब्रिक-आधारित स्कोरिंग):
कल्पना कीजिए कि एक सख्त शिक्षक निबंध को ग्रेड दे रहा है। उनके पास एक विस्तृत चेकलिस्ट है: "क्या आपने कॉमा का उपयोग किया? हाँ (+1)। क्या आपने तारीख का उल्लेख किया? हाँ (+1)। क्या आपने बोलचाल की भाषा (slang) से परहेज किया? हाँ (+1)।" वे अंतिम स्कोर प्राप्त करने के लिए अंकों को जोड़ते हैं।
- शोध पत्र का दृष्टिकोण: यह विधि "गुणवत्ता" को छोटे, मापने योग्य टुकड़ों में तोड़ने की कोशिश करती है। यह सटीक और निष्पक्ष लगता है क्योंकि हर कोई एक ही नियमों का पालन करता है।
- टेस्ट-टेस्ट जज (तुलनात्मक निर्णय/कंपैरेटिव जजमेंट):
कल्पमा कीजिए कि एक रेस्टोरेंट में फूड क्रिटिक (खाद्य समीक्षक) है। सूप में नमक की मात्रा या तापमान को मापने के बजाय, उन्हें बगल में रखे दो कटोरे दिए जाते हैं और पूछा जाता है, "इनमें से कौन सा बेहतर स्वाद देता है?" उन्हें यह समझाने की आवश्यकता नहीं है कि सामग्री के संदर्भ में यह क्यों बेहतर है; वे बस अपनी अंतरात्मा (gut feeling) और अनुभव का उपयोग करके विजेता चुन लेते हैं।
- शोध पत्र का दृष्टिकोण: यह विधि गुणवत्ता के प्रति जज के समग्र "एहसास" पर निर्भर करती है, जहाँ वे एक चीज़ को अलग से ग्रेड देने के बजाय दो चीज़ों की सीधे तुलना करते हैं।
प्रयोग
शोधकर्ताओं ने वास्तविक दुनिया के कानूनी कार्यों (जैसे अनुबंध तैयार करना या अदालती फाइलिंग का विश्लेषण करना) का उपयोग करके एक "टेस्ट-टेस्ट" सेटअप तैयार किया। उन्होंने केवल आम लोगों से नहीं पूछा; उन्होंने अमेरिका की शीर्ष लॉ फर्मों से 51 अनुभवी वकीलों को काम पर रखा।
प्रयोग को निष्पक्ष बनाने के लिए, उन्होंने प्रत्येक कानूनी कार्य के तीन संस्करण बनाए:
- "उत्कृष्ट" (Excellent) संस्करण: उच्च गुणवत्ता वाला कार्य।
- "अच्छा" (Good) संस्करण: ठीक-ठाक कार्य।
- "मध्यम" (Intermediate) संस्करण: औसत दर्जे का कार्य।
उन्होंने लेबल छिपा दिए ताकि वकीलों को पता न चले कि कौन सा दस्तावेज़ कैसा है। फिर, उन्होंने वकीलों को दो समूहों में विभाजित किया:
- समूह A को प्रत्येक दस्तावेज़ को चेकलिस्ट (रुब्रिक) का उपयोग करके ग्रेड देना था।
- समूह B को दस्तावेज़ों के जोड़े की तुलना करनी थी और विजेता चुनकर टेस्ट-टेस्टिंग (तुलनात्मक निर्णय) का उपयोग करना था।
परिणाम: एक बड़ा आश्चर्य
शोधकर्ता यह देखना चाहते थे कि कौन सा समूह सही ढंग से पहचान सका कि "उत्कृष्ट" संस्करण "अच्छे" से बेहतर था, और "अच्छा" संस्करण "मध्यम" से बेहतर था।
विजेता: टेस्ट-टेस्ट जज (तुलनात्मक निर्णय)
- सटीकता: जो वकील दस्तावेज़ों की आमने-सामने तुलना कर रहे थे, वे गुणवत्ता के अंतर को पहचानने में कहीं अधिक बेहतर थे। दस्तावेज़ों को सही ढंग से रैंक करने की उनकी क्षमता लगभग पूर्ण थी (1.0 में से 0.91 का स्कोर)। हालाँकि, चेकलिस्ट वाले जज संघर्ष करते रहे (केवल 0.15 का स्कोर)। ऐसा लग रहा था जैसे चेकलिस्ट वाले जज केवल अनुमान लगा रहे थे, जबकि टेस्ट-टेस्ट जज स्पष्ट रूप से देख पा रहे थे।
- गति: टेस्ट-टेस्ट जज दोगुने से भी अधिक तेज़ भी थे। उन्होंने प्रति कार्य लगभग 2 मिनट में अपना काम पूरा कर लिया, जबकि चेकलिस्ट वाले जजों को लगभग 5 मिनट लगे।
शोधकर्ताओं ने AI "ऑटो-ग्रेडर्स" (काम को ग्रेड करने के लिए एक अलग AI का उपयोग करना) के साथ भी इसका परीक्षण किया, और AI टेस्ट-टेस्टर भी AI चेकलिस्ट ग्रेडर्स से बेहतर रहे।
चेकलिस्ट क्यों विफल रही?
शोध पत्र कुछ कारण सुझाता है कि जटिल कानूनी कार्य के लिए विस्तृत चेकलिस्ट क्यों काम नहीं आई:
- "लापता हिस्सा" (Missing Piece) की समस्या: कानूनी कार्य एक जटिल पेंटिंग की तरह है। आप यह जानने के लिए कि कोई कृति उत्कृष्ट रचना (masterpiece) है या नहीं, केवल लाल रंग की मात्रा या ब्रश के स्ट्रोक को नहीं माप सकते। चेकलिस्ट वकीलों को केवल विशिष्ट, पूर्व-निर्धारित वस्तुओं (जैसे "क्या आपने केस का हवाला दिया?") पर ध्यान केंद्रित करने के लिए मजबूर करती है, लेकिन यह काम के "जादू" को मिस कर देती है—जैसे रणनीतिक निर्णय, प्रेरक प्रवाह, या सूक्ष्म बारीकियां। चेकलिस्ट पेड़ों के लिए जंगल को भूल जाती है (यानी विस्तार में उलझकर मुख्य सार को खो देती है)।
- "हेलो इफेक्ट" (Halo Effect): जब कोई वकील एक ऐसा दस्तावेज़ देखता है जो सतह पर बहुत अच्छा दिखता है, तो वह अनजाने में चेकलिस्ट के हर एक आइटम पर उच्च अंक दे सकता है, भले ही वह वास्तव में कुछ क्षेत्रों में कमजोर हो।
- संज्ञानात्मक भार (Cognitive Load): प्रत्येक दस्तावेज़ के लिए 20 अलग-अलग बॉक्सों को चेक करना मानसिक रूप से थका देने वाला होता है। मस्तिष्क के लिए यह कहना बहुत आसान है, "यह वाला उस वाले से बेहतर महसूस होता है।"
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि कानून (जहाँ "गुणवत्ता" को एक साधारण सूची के माध्यम से परिभाषित करना कठिन है) जैसे उच्च-दांव वाले, जटिल कार्यों के लिए, दो चीज़ों की आमने-सामने तुलना करना, चेकलिस्ट के विरुद्ध ग्रेड देने की तुलना में बेहतर, तेज़ और अधिक सटीक तरीका है।
हालाँकि, लेखक एक छोटी सी चेतावनी भी देते हैं: चेकलिस्ट अभी भी उपयोगी हैं यदि आपको यह जानने की आवश्यकता है कि ठीक से क्या गलत हुआ (जैसे कि ऑडिट के दौरान)। लेकिन यदि आपका मुख्य लक्ष्य केवल यह पता लगाना है कि कौन सा आउटपुट सबसे अच्छा है, तो "साइड-बाय-साइड" (आमने-सामने) विधि स्पष्ट विजेता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।