LEXam: Benchmarking Legal Reasoning on 340 Law Exams
यह शोधपत्र LEXam को प्रस्तुत करता है, जो 116 पाठ्यक्रमों के 340 कानून परीक्षाओं के 7,537 प्रश्नों से बना एक व्यापक बेंचमार्क है, जिसका उद्देश्य एक सत्यापित LLM-as-a-Judge ढांचे के माध्यम से संरचित, बहु-चरणीय कानूनी तर्क करने में बड़े भाषा मॉडलों (LLMs) की वर्तमान सीमाओं का कठोरता से मूल्यांकन और प्रदर्शन करना है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को वकील बनना सिखाने की कोशिश कर रहे हैं। आप उसे सिर्फ शब्दकोश की तरह कानून रटा नहीं सकते; आपको यह देखना होगा कि क्या वह वास्तव में एक वकील की तरह सोच सकता है, छिपी हुई समस्याओं को पहचान सकता है, वास्तविक जीवन की जटिल स्थितियों में नियमों को लागू कर सकता है, और चरण-दर-चरण अपना तर्क दे सकता है।
LEXAM नामक शोध पत्र बिल्कुल इसी बारे में है। यह आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक विशाल "फाइनल एग्जाम" है, यह देखने के लिए कि क्या वह वास्तव में कानूनी तर्क (legal reasoning) को संभाल सकता है।
यहाँ इस शोध का विवरण दिया गया, जिसे कुछ रोजमर्रा के उदाहरणों के साथ समझाया गया है:
1. समस्या: AI गणित में अच्छा है, कानून में बुरा
वर्तमान AI मॉडल्स (जैसे जिनसे आप चैट करते हैं) को गणित के जादूगर के रूप में सोचें। वे भौतिकी (physics) की समस्याओं या गणित की पहेलियों को हल करने में अविश्वसनीय हैं जहाँ एक स्पष्ट, सही उत्तर होता है (जैसे )।
लेकिन कानून गणित नहीं है। कानून इम्प्रोवाइजेशनल थिएटर (तत्काल अभिनय) की तरह है। यह जटिल है, संदर्भ (context) पर निर्भर करता है, और अक्सर इसका कोई एक "सही" उत्तर नहीं होता, बल्कि एक "सर्वश्रेष्ठ" तर्क होता है। AI के लिए पिछले परीक्षण भौतिकी की समस्या हल करने के लिए एक गणित के जादूगर को पूछने जैसे थे—वे बहुत सरल थे और उनमें AI की वास्तविक अदालत या जटिल अनुबंध (contract) को संभालने की क्षमता को परखने की कमी थी।
2. समाधान: LEXAM ("सबसे कठिन लॉ स्कूल परीक्षा")
शोधकर्ताओं ने LEXAM बनाया है, जो मूल रूप से ज्यूरिख विश्वविद्यालय के 340 वास्तविक कानून परीक्षाओं का एक विशाल संग्रह है।
- पैमाना (Scale): इसमें 7,500 से अधिक प्रश्न हैं।
- विविधता: इसमें दो प्रकार के प्रश्न शामिल हैं:
- बहुविकल्पीय प्रश्न (MCQs): एक मानक क्विज़ की तरह, लेकिन एक ट्विस्ट के साथ। उन्होंने इसमें इतने गलत विकल्प (distractors) जोड़ दिए हैं कि यह सुई के ढेर में सुई खोजने जैसा है।
- ओपन-एंडेड निबंध (Open-Ended Essays): यह असली परीक्षा है। AI को एक लंबा, संरचित कानूनी तर्क लिखना होगा, ठीक वैसे ही जैसे एक लॉ छात्र लिखता है।
उदाहरण: कल्पना कीजिए कि आप एक छात्र को बहुविकल्पीय परीक्षा दे रहे हैं जहाँ उसे 4 के बजाय 32 विकल्पों में से सही उत्तर चुनना है। फिर, आप उन्हें यह समझाने के लिए 5 पेज का निबंध लिखने को कहते हैं कि उन्होंने वह उत्तर क्यों चुना, और विशिष्ट कानूनों का हवाला देते हैं। LEXAM वही है।
3. ट्विस्ट: आप AI को ग्रेड कैसे देते हैं?
यही इस पेपर का सबसे चतुर हिस्सा है। आप एक रोबोट के निबंध को कैसे ग्रेड करेंगे?
- पुराना तरीका: आप एक कंप्यूटर प्रोग्राम का उपयोग कर सकते हैं जो यह जांचता है कि क्या रोबोट ने शिक्षक के उत्तर कुंजी के समान शब्दों का उपयोग किया है। लेकिन कानून में, आप एक ही बात को पूरी तरह से अलग शब्दों में कह सकते हैं और फिर भी सही हो सकते हैं। या, आप सही शब्दों का उपयोग कर सकते हैं लेकिन एक तार्किक गलती कर सकते हैं।
- नया तरीका ("जजों का समूह"): शोधकर्ताओं ने उत्तरों को ग्रेड करने के लिए केवल एक AI का उपयोग नहीं किया। उन्होंने "जजों के एक पैनल" के रूप में तीन अलग-अलग AI (ओपन-सोर्स और बड़े कमर्शियल मॉडल्स का मिश्रण) बनाए।
- इन "जज AI" को कानून के प्रोफेसरों की तरह सोचने के लिए प्रशिक्षित किया गया।
- उन्होंने यह जांचा कि क्या "जज AI" मानव कानून प्रोफेसरों के साथ सहमत थे।
- परिणाम: AI पैनल मानव प्रोफेसरों के साथ लगभग पूरी तरह से सहमत था! इसका मतलब है कि अब हम कानूनी तर्क के लिए AI का उपयोग विश्वसनीय रूप से AI को ग्रेड करने के लिए कर सकते हैं, जिससे मानव ग्रेडिंग के हजारों घंटों की बचत होती है।
4. उन्होंने क्या पाया? (रिपोर्ट कार्ड)
जब उन्होंने शीर्ष AI मॉडल्स को LEXAM के माध्यम से परखा, तो परिणाम "वाह" और "ओह" का मिश्रण थे।
- अच्छी खबर: सबसे स्मार्ट "रीजनिंग" मॉडल्स (जो चरण-दर-चरण सोचने के लिए डिज़ाइन किए गए हैं) ने बहुविकल्पीय प्रश्नों पर काफी अच्छा प्रदर्शन किया। वे सही उत्तर पहचानने में बेहतर हो रहे हैं।
- बुरी खबर:
- "लॉन्ग एसे" (लंबा निबंध) का संघर्ष: जब एक संरचित कानूनी तर्क लिखने के लिए कहा गया, तो बेहतरीन AI भी संघर्ष करते दिखे। वे अक्सर सबसे महत्वपूर्ण कानूनी मुद्दे को छोड़ देते या गलत कानून लागू कर देते।
- "डिस्ट्रैक्टर" का जाल: जैसे-जैसे बहुविकल्पीय प्रश्न कठिन होते गए (अधिक गलत उत्तरों के साथ), AI का प्रदर्शन गिरता गया। ऐसा लगता है कि AI वास्तव में कानून को समझने के बजाय पैटर्न के आधार पर अनुमान लगा रहे थे।
- भाषा का पक्षपात (Language Bias): AI ने अंग्रेजी में जर्मन की तुलना में बहुत बेहतर प्रदर्शन किया, जो यह दर्शाता है कि वे अभी भी उस भाषा के प्रति पक्षपाती हैं जिस पर उन्हें सबसे अधिक प्रशिक्षित किया गया है।
5. यह क्यों मायने रखता है?
LEXAM को कानूनी AI के भविष्य के लिए एक स्ट्रेस टेस्ट के रूप में समझें।
यदि हम कानूनी AI को वास्तविक दुनिया में बिना इन कठिन परीक्षाओं पर परीक्षण किए खुला छोड़ देते हैं, तो वे गलत सलाह दे सकते हैं जिससे वास्तविक लोगों को नुकसान पहुँच सकता है। यह पेपर कहता है, "हे, किसी AI को अनुबंध तैयार करने या मामला लड़ने के लिए भरोसा करने से पहले, हमें यह सुनिश्चित करना होगा कि वह लॉ स्कूल की परीक्षा पास कर सके।"
संक्षेप में:
LEXAM एक विशाल, कठिन लॉ स्कूल परीक्षा है जो साबित करती है कि वर्तमान AI जटिल कानूनी तर्क के मामले में अभी भी एक "नौसिखिया" है। यह एक पॉप क्विज़ पास करने के लिए पर्याप्त स्मार्ट है, लेकिन अदालत में बहस करने के लिए भरोसेमंद बनने से पहले इसे अभी बहुत पढ़ाई करने की आवश्यकता है। शोधकर्ताओं ने भविष्य के मॉडल्स को तेज़ी से और बेहतर तरीके से टेस्ट करने में मदद करने के लिए एक सुपर-सटीक "AI ग्रेडिंग मशीन" भी बनाई है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।