Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks
यह शोध पत्र प्रकट करता है कि UA-JudgeExam जैसे कानूनी बहुविकल्पीय बेंचमार्क अक्सर मॉडलों द्वारा केवल उत्तर विकल्पों का उपयोग करके हल किए जा सकते हैं, जो कि शोषण योग्य विकल्प-स्थिति पूर्वाग्रहों और भटकाने वाले पैटर्न के कारण होता है, जिससे वास्तविक कानूनी तर्क क्षमताओं का सटीक मूल्यांकन करने के लिए कठोर गेटिंग और डिबायसिंग (debiasing) की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ता अक्सर यह परीक्षण करने के लिए कि कंप्यूटर कितना स्मार्ट है, उसे बहुविकल्पीय प्रश्न पूछते हैं, ठीक वैसे ही जैसे कोई छात्र किसी मानकीकृत परीक्षा को देता है। इन परीक्षाओं को ग्रेड करने का मानक तरीका सरल है: यदि कंप्यूटर सही उत्तर चुनता है, तो उसे एक अंक मिलता है। लेकिन इस पद्धति में एक छिपा हुआ दोष है। एक कंप्यूटर को सही उत्तर पाने के लिए हमेशा प्रश्न को समझने की आवश्यकता नहीं होती है। कभी-कभी, संभावित उत्तरों की सूची स्वयं में ही इतने पर्याप्त संकेत प्रदान करती है कि सही विकल्प का पता चल जाता है, भले ही प्रश्न पूरी तरह से छिपा हुआ हो। ऐसा तब होता है जब गलत उत्तर खराब तरीके से लिखे गए हों या जब सही उत्तर ही एकमात्र ऐसा विकल्प हो जो एक वास्तविक, पूर्ण वाक्य जैसा सुनाई दे। यदि कोई मशीन केवल विकल्पों को देखकर सही अक्षर का अनुमान लगा सकती है, तो यह परीक्षण वास्तव में बुद्धिमत्ता को नहीं माप रहा है; यह यह माप रहा है कि मशीन विकल्पों में पैटर्न को कितनी अच्छी तरह पहचान सकती है। यह उन लोगों के लिए एक गंभीर समस्या है जो लीगल (कानूनी) AI का मूल्यांकन करने की कोशिश कर रहे हैं, क्योंकि यदि परीक्षण त्रुटिपूर्ण है, तो परिणाम भ्रामक होते हैं।
एक शोधकर्ता ने इस मुद्दे की जांच करने के लिए यूक्रेन के वास्तविक कानूनी प्रश्नों के एक विशाल बैंक का उपयोग किया। ये प्रश्न न्यायाधीशों द्वारा दी जाने वाली उच्च-दांव वाली योग्यता परीक्षा के लिए लिखे गए थे, और इनके साथ आधिकारिक, सत्यापित उत्तर भी दिए गए हैं। शोधकर्ता यह देखना चाहता था कि क्या आधुनिक AI मॉडल प्रश्न देखे बिना ही इन प्रश्नों को हल कर सकते हैं। उन्होंने इन हजारों मदों को लिया और AI को केवल चार संभावित उत्तर दिखाए, प्रश्न को पूरी तरह से छिपा दिया। उन्होंने पाया कि AI बिना प्रश्न देखे भी सही उत्तर बहुत अधिक बार अनुमान लगा सकता है। वास्तव में, एक मॉडल ने केवल विकल्पों को देखकर लगभग 38 प्रतिशत बार सही उत्तर दिया, जो कि एक अंधे अनुमान से अपेक्षित 25 प्रतिशत के स्तर से काफी ऊपर है। ऐसा इसलिए हुआ क्योंकि सही उत्तर अक्सर कानून के स्व-निहित (self-contained) कथन थे, जबकि गलत उत्तरों में सूक्ष्म त्रुटियां थीं या वे अप्राकृतिक लग रहे थे। AI ने यह पहचानने की कला सीख ली थी कि "सही दिखने वाला" कानून क्या है, बिना यह जाने कि प्रश्न वास्तव में क्या पूछ रहा था।
इसके बाद शोधकर्ता ने एक सामान्य समाधान आजमाया: उन्होंने उन प्रश्नों को हटा दिया जिन्हें AI अंधे होकर हल कर सकता था और केवल उन्हीं को रखा जहाँ AI विफल रहा। उन्हें उम्मीद थी कि इससे उनके पास प्रश्नों का एक स्वच्छ सेट बचेगा जो वास्तव में तर्क क्षमता का परीक्षण करेगा। हालाँकि, उनके प्रयोग ने एक चौंकाने वाला सत्य प्रकट किया: यह समाधान काम नहीं करता है। उन्होंने अपना फ़िल्टर एक विशिष्ट AI मॉडल का उपयोग करके बनाया था, लेकिन जब उन्होंने एक अलग, अधिक शक्तिशाली मॉडल को शेष प्रश्नों पर परखा, तो वह नया मॉडल अभी भी उच्च सटीकता के साथ अंधे होकर उत्तरों का अनुमान लगा सकता था। फ़िल्टर ने केवल उन प्रश्नों को हटाया था जिन्हें पहले मॉडल द्वारा शोषण करना आसान था; इसने उन प्रश्नों को नहीं हटाया जिन्हें एक स्मार्ट मॉडल द्वारा शोषण करना आसान था। अध्ययन ने दिखाया कि जैसे-जैसे AI मॉडल बेहतर होते जाते हैं, वे उत्तर विकल्पों में छिपे हुए संकेतों को पहचानने में भी बेहतर होते जाते हैं, जिसका अर्थ है कि एक मॉडल के लिए साफ किया गया परीक्षण एक बेहतर मॉडल के लिए तुरंत बेकार हो जाता है।
शोधकर्ता ने यह भी खोजा कि समस्या कानून के विषय के बारे में नहीं थी, बल्कि इस बारे में थी कि प्रश्न कैसे लिखे गए थे। उन्होंने यूक्रेनी परीक्षा के प्रश्नों की तुलना एक अलग कानूनी परीक्षण से की जिसे LEXam कहा जाता है, जो एक अलग प्रारूप का उपयोग करता है। LEXam परीक्षण में, विकल्प पूर्ण वाक्य नहीं बल्कि छोटे पॉइंटर्स (pointers) की तरह होते हैं जैसे "कथन एक और तीन," जो प्रश्न में दी गई सूची की ओर संकेत करते हैं। क्योंकि इन विकल्पों का अपने आप में कोई अर्थ नहीं होता, इसलिए AI प्रश्न पढ़े बिना उत्तर का अनुमान नहीं लगा सकता। जब शोधकर्ता ने अपने AI मॉडलों को इस अलग प्रारूप पर परखा, तो मॉडल अब अंधे होकर उत्तरों का अनुमान नहीं लगा सके; उनका स्कोर बिल्कुल रैंडम चांस (यादृच्छिक संयोग) के स्तर पर था। इसने सिद्ध कर दिया कि दोष AI की तर्क करने की क्षमता में नहीं, बल्कि परीक्षण के प्रश्नों की संरचना में था। जब विकल्प पूर्ण, स्व-निहित कथन होते हैं, तो परीक्षण शोषण के प्रति संवेदनशील होता है। जब विकल्प केवल पॉइंटर्स होते हैं, तो परीक्षण तर्क का एक वैध माप बना रहता है।
अध्ययन निष्कर्ष निकालता है कि केवल खराब प्रश्नों को फ़िल्टर करना समाधान नहीं है, क्योंकि एक "खराब" प्रश्न की परिभाषा इस बात पर निर्भर करती है कि AI कितना स्मार्ट है। AI की वास्तविक क्षमता को मापने के लिए, शोधकर्ताओं को दो संख्याएँ रिपोर्ट करनी चाहिए: मॉडल पूर्ण प्रश्न के साथ कैसा प्रदर्शन करता है, और प्रश्न छिपे होने पर कैसा प्रदर्शन करता है। उन्हें मॉडल की कुछ विशेष अक्षरों को चुनने की आदत का भी हिसाब रखना चाहिए, जैसे हमेशा "A" चुनना, जो उनके स्कोर को कृत्रिम रूप से बढ़ा सकता है। पेपर यह सुझाव देता है कि कानूनी परीक्षाओं और समान पेशेवर परीक्षणों के लिए, उत्तर विकल्पों का प्रारूप सबसे महत्वपूर्ण कारक है। यदि उत्तर पूर्ण प्रस्तावों के रूप में लिखे गए हैं, तो परीक्षण के उस AI द्वारा समझौता किए जाने की संभावना है जो अकेले विकल्पों को पढ़ सकता है। यदि उत्तरों को पॉइंटर्स के रूप में डिज़ाइन किया गया है, तो परीक्षण तर्क का एक वैध माप बना रहता है। शोधकर्ता ने अपना पूरा डेटासेट और अपने परीक्षणों के परिणाम जारी किए हैं ताकि अन्य लोग देख सकें कि किन प्रश्नों ने जानकारी लीक की और किनने नहीं, जिससे आर्टिफिशियल इंटेलिजेंस के बेहतर, अधिक ईमानदार मूल्यांकन के निर्माण के लिए एक स्पष्ट मार्ग मिल सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।