CALRK-Bench: Evaluating Context-Aware Legal Reasoning in Korean Law
यह शोध पत्र CALRK-Bench प्रस्तुत करता है, जो एक कोरियाई कानूनी बेंचमार्क है जिसे संदर्भ-जागरूक तर्क क्षमताओं—विशेष रूप से सामयिक वैधता, सूचना पर्याप्तता और निर्णय परिवर्तनों के संबंध में—का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि वर्तमान बड़े भाषा मॉडल सरल ज्ञान स्मृति से परे इन कार्यों के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, सुशिक्षित सहायक को कानूनी समस्याओं को हल करने में मदद करने के लिए काम पर रख रहे हैं। आप उन्हें एक कानून की किताब और एक विशिष्ट स्थिति देते हैं, और उनसे परिणाम बताने के लिए कहा जाता है।
वर्तमान में इन AI सहायकों के लिए अधिकांश परीक्षण एक बहुविकल्पीय प्रश्नोत्तरी (multiple-choice quiz) की तरह होते हैं जहाँ नियम कभी नहीं बदलते। वे पूछते हैं, "यदि गति सीमा 50 मील प्रति घंटा है, और आपने 60 में गाड़ी चलाई, तो क्या आप दोषी हैं?" AI को बस नियम को याद करने और उसे लागू करने की आवश्यकता होती है। यह एक वीडियो गेम खेलने जैसा है जहाँ भौतिकी का इंजन (physics engine) कभी नहीं बदलता।
लेकिन वास्तविक दुनिया में, कानून जीवंत और सांस लेते हुए चीजों की तरह होते हैं। वे समय के साथ बदलते हैं, वे इस पर निर्भर करते हैं कि कोई चीज़ कब हुई थी, और कभी-कभी आपके पास निर्णय लेने के लिए पर्याप्त जानकारी भी नहीं होती है।
यह शोध पत्र एक नया, बहुत कठिन परीक्षण पेश करता है जिसे CALRK-Bench कहा जाता है। इसे यह देखने के लिए डिज़ाइन किया गया है कि क्या AI केवल एक पाठ्यपुस्तक से नियमों को रटने के बजाय, कोरियाई कानूनी प्रणाली की जटिल और परिवर्तनशील वास्तविकता को संभाल सकता है।
यहाँ बताया गया है कि यह परीक्षण कैसे काम करता है, जिसे तीन सरल चुनौतियों में विभाजित किया गया है:
1. "टाइम ट्रैवल" टेस्ट (सामयिक संदर्भ - Temporal Context)
उपमा: कल्पना कीजिए कि एक नियम है जो कहता है, "आप घर के अंदर टोपी नहीं पहन सकते।"
- परिदृश्य A: आपने 2020 में टोपी पहनी थी।
- परिदृश्य B: 2021 में, कानून बदल गया और कहा गया, "टोपी पहनना अब एक अपराध है।"
- परिदृश्य C: 2022 में, कानून फिर से बदला गया और कहा गया, "वास्तव में, टोपियाँ ठीक हैं, लेकिन केवल तभी जब आप 18 वर्ष से ऊपर हों।"
यदि आप AI से पूछते हैं, "क्या परिदृश्य A वाला व्यक्ति दोषी है?" तो एक साधारण AI वर्तमान कानून (परिदृश्य C) को देख सकता है और कह सकता है, "नहीं, टोपियाँ ठीक हैं!" लेकिन एक बुद्धिमान कानूनी मस्तिष्क जानता है कि 2020 में कानून अलग था।
चुनौती: CALRK-Bench AI को यह पता लगाने के लिए कहता है कि अपराध कब हुआ और मुकदमा कब चल रहा है, इसके आधार पर कानून का कौन सा संस्करण लागू होता है।
- परिणाम: AI मॉडल संघर्ष करते रहे। वे अक्सर यह भूल गए कि कानूनों की "समाप्ति तिथियां" या "प्रारंभ तिथियां" होती हैं और उन्होंने अतीत की घटनाओं पर वर्तमान कानून लागू करने की कोशिश की, जैसे कि कोई टाइम ट्रैवलर जिसे यह एहसास न हो कि वह अतीत में है।
2. "लुप्त पहेली का टुकड़ा" टेस्ट (सूचना पर्याप्तता - Information Sufficiency)
उपमा: कल्पना कीजिए कि आप चोरी को सुलझाने की कोशिश कर रहे एक जासूस हैं।
- मामला 1: आपके पास संदिग्ध के उंगलियों के निशान, सुरक्षा कैमरे का फुटेज और एक गवाह का बयान है। (आपके पास पर्याप्त जानकारी है)।
- मामला 2: आपके पास सुरक्षा फुटेज है, लेकिन न तो संदिग्ध है और न ही उंगलियों के निशान। (आपके पास टुकड़ों की कमी है)।
अधिकांश AI मॉडल उन जासूसों की तरह होते हैं जो अति-आत्मविश्वासी (overconfident) होते हैं। भले ही आप उन्हें आधी खाली पहेली दें, वे टुकड़ों को जबरदस्ती जोड़ने और उत्तर का अनुमान लगाने की कोशिश करेंगे, और अक्सर गलत होंगे। वे यह स्वीकार करने से नफरत करते हैं कि, "मुझे नहीं पता, मुझे और जानकारी चाहिए।"
चुनौती: परीक्षण AI को एक कानूनी प्रश्न और कानूनों का एक सेट देता है। कभी-कभी दिए गए कानून पर्याप्त होते हैं। अन्य समय में, वे जानबूझकर अधूरे या भ्रामक (जैसे किसी जासूस को गलत शहर का नक्शा देना) होते हैं। AI को कहना चाहिए, "रुकिए, मैं जो आपने मुझे दिया है उससे इसे हल नहीं कर सकता।"
- परिणाम: AI मॉडल इसमें बहुत खराब थे। जब उनके पास पर्याप्त जानकारी नहीं थी, तो उन्होंने "मुझे और चाहिए" कहने के बजाय, अपने सामने मौजूद तथ्यों के बजाय अपने प्रशिक्षण डेटा से जो उन्हें "याद" था, उस पर भरोसा करते हुए आत्मविश्वास से गलत उत्तर का अनुमान लगाया।
3. "फैसला क्यों बदला?" टेस्ट (निर्णय परिवर्तन - Judgment Shift)
उपमा: कल्पना कीजिए कि एक प्रसिद्ध न्यायाधीश हमेशा यह फैसला सुनाते थे कि "कुत्तों को पट्टे (leash) से बांधकर रखना चाहिए।" फिर, एक दिन वे फैसला सुनाते हैं कि "कुत्ते बिना पट्टे के भी रह सकते हैं।"
- क्यों? क्या कानून बदला? क्या न्यायाधीश ने अपना विचार बदला? क्या कुत्ते का प्रकार बदल गया? या समाज ने बस यह तय किया कि कुत्ते अब अधिक 'कूल' हैं?
चुनौती: परीक्षण AI को एक ही मुद्दे पर दो अलग-अलग अदालती फैसले देता है और पूछता है, "अंतर का कारण क्या था?"
- परिणाम: AI मॉडल में एक पूर्वाग्रह (bias) था। वे वास्तव में मामले के विशिष्ट विवरणों को देखे बिना हर बार एक ही कारण का अनुमान लगाने लगे (जैसे "सामाजिक परिवर्तनों" या "नए कानूनों" को दोष देना)। यह एक मौसम पूर्वानुमानकर्ता की तरह है जो हमेशा "बारिश" की भविष्यवाणी करता है क्योंकि अक्सर बारिश होती है, भले ही आसमान साफ हो।
मुख्य निष्कर्ष
इस शोध पत्र के लेखकों ने पाया कि आज के सबसे स्मार्ट, सबसे उन्नत AI मॉडल भी "संदर्भ-जागरूक" (context-aware) कानूनी तर्क में खराब हैं।
वे नियमों को याद करने में माहिर हैं (जैसे कि एक छात्र जो परीक्षा के लिए रटता है), लेकिन वे नियम के पीछे की कहानी को समझने में बहुत खराब हैं (जैसे कि एक वकील जो समझता है कि नियम क्यों अस्तित्व में है और यह कैसे बदलता है)।
वे कानूनों को एक गतिशील उपकरण के रूप में देखते हैं जो समय, संदर्भ और उपलब्ध जानकारी के आधार पर बदलते हैं, न कि एक स्थिर डेटाबेस के तथ्य के रूप में। जब तक AI केवल अनुमान लगाने के बजाय "मुझे और समय चाहिए" या "मुझे और जानकारी चाहिए" कहना नहीं सीख जाता, तब तक वे वास्तविक कानूनी निर्णयों के लिए भरोसेमंद नहीं हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।