LexKairos: Benchmarking Legal Temporal Capabilities in LLMs
यह शोधपत्र LexKairos को प्रस्तुत करता है, जो चीनी कानूनी संदर्भ में वैधानिक ज्ञान, केस मॉडलिंग और तर्क के माध्यम से बड़े भाषा मॉडलों की सामयिक क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया एक व्यापक बेंचमार्क है, जो यह प्रकट करता है कि शीर्ष प्रदर्शन करने वाले मॉडल भी अभी भी सटीक समय-संवेदनशील कानूनी कार्यों के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ कानून केवल नियमों का एक विशाल पुस्तकालय नहीं है, बल्कि एक जीवित, सांस लेती हुई मशीन है जो तभी काम करती है जब आप सही समय पर सही नॉब घुमाते हैं। इस दुनिया में, एक कानून आज एक शक्तिशाली उपकरण हो सकता है, लेकिन कल वह एक टूटा हुआ खिलौना था, और कल वह पूरी तरह से एक अलग मशीन हो सकता है। यह लीगल टेम्पोरल कैपेबिलिटीज (Legal Temporal Capabilities) का क्षेत्र है। जबकि कंप्यूटर कानूनों को पढ़ने और वे क्या कहते हैं ( "क्या") को समझने में बहुत कुशल हो गए हैं, वे अभी भी इस बात में संघर्ष कर रहे हैं कि वे कब लागू होते हैं ("कब")। इसे एक ऐसे जीपीएस (GPS) की तरह समझें जो हर सड़क का नाम तो जानता है लेकिन हर घंटे बदलने वाले ट्रैफिक लाइट और निर्माण क्षेत्रों को लेकर भ्रमित हो जाता है। यदि एक कंप्यूटर यह नहीं बता सकता कि कौन सा नियम अभी सक्रिय है और कौन सा पिछले साल समाप्त हो गया था, तो वह भारी गड़बड़ी किए बिना कानूनी सलाह नहीं दे सकता। यही कारण है कि शोधकर्ता आर्टिफिशियल इंटेलिजेंस को कानून के साथ सटीक समय बनाए रखने के लिए प्रशिक्षित करने की दौड़ में लगे हैं।
यहाँ लेक्सकाइरोस (LexKairos) आता है, जो ऑक्सफोर्ड, सन यत-सेन विश्वविद्यालय और त्सिंगहुआ विश्वविद्यालय के शोधकर्ताओं द्वारा डिजाइन किया गया एक नया "टाइम-ट्रैवल टेस्ट" है, यह देखने के लिए कि आधुनिक एआई (AI) दिमाग चीनी कानूनी प्रणाली की टिक-टिक करती घड़ी को कितनी अच्छी तरह संभाल सकते हैं। उन्होंने केवल एआई से अनुमान लगाने के लिए नहीं कहा; उन्होंने नौ अलग-अलग चुनौतियों वाला एक कठोर बाधा दौड़ बनाया, जिसमें सरल स्मृति प्रश्नोत्तरी (कि कानून कब शुरू हुए) से लेकर जटिल पहेलियाँ शामिल थीं, जहाँ एआई को एक अदालती मामले के तथ्यों को नियम पुस्तिका की सख्त समय सीमा के साथ मिलाना होता है। उन्होंने आठ अलग-अलग एआई मॉडलों को इस कठिन परीक्षा से गुजारा, जिनमें से कुछ को उत्तर देने से पहले चुपचाप सोचने दिया और अन्य को तुरंत अनुमान लगाने दिया।
परिणाम? यह एक मिश्रित बैग की तरह है, जैसे एक ऐसी दौड़ जहाँ धावक तेज़ तो हैं लेकिन अपने ही जूतों के फीतों में बार-बार उलझ रहे हैं। शीर्ष प्रदर्शन करने वाले मॉडल, जैसे कि जेमिनी-3-फ्लैश (Gemini-3-Flash) और जीपीटी-5.4 (GPT-5.4), जब उन्हें अपने "सोचने वाले" मोड का उपयोग करने की अनुमति दी गई, तो उन्होंने क्रमशः लगभग 84.57% और 82.75% स्कोर किया। यह प्रभावशाली लग सकता है, लेकिन शोधकर्ताओं ने पाया कि भले ही सबसे स्मार्ट मॉडल भी इस बारे में विशिष्ट विवरण याद करने में बुरी तरह लड़खड़ा जाते हैं कि किसी विशेष दिन कानून का कौन सा संस्करण सक्रिय था। यह पता चलता है कि जबकि एआई एक कहानी में घटनाओं के क्रम (जैसे अदालत के मामले में किसने पहले क्या किया) को समझने में बहुत अच्छा है, लेकिन यह कानूनों के सटीक "जन्म तिथियों" और "समाप्ति तिथियों" को याद रखने में आश्चर्यजनक रूप से खराब है।
सबसे दिलचस्प खोजों में से एक यह थी कि ये एआई मॉडल कैसे विफल होते हैं। जब कानून के सही संस्करण की पहचान करने के लिए पूछा गया, तो मॉडलों ने केवल गलत अनुमान नहीं लगाया; उनके गलतियों में विशिष्ट व्यक्तित्व थे। एक मॉडल, जीपीटी-5.4, एक शर्मीले छात्र की तरह था जो अनुमान लगाने से डरता था, और अक्सर उत्तर खाली छोड़ देता था या संस्करण टैग को पूरी तरह से छोड़ देता था (एक "मिसिंग टैग" त्रुटि)। दूसरा मॉडल, लीगलवन-8बी (LegalOne-8B), एक अति-आत्मविश्वासी छात्र की तरह था जो तथ्य गढ़ लेता था, ऐसे संस्करण नंबर बना देता था जो अस्तित्व में ही नहीं थे (एक "हैलुसिनेटेड टैग" त्रुटि)। जब शोधकर्ताओं ने उनका "सोचने का मोड" चालू किया—यानी उन्हें समस्या पर विचार करने के लिए रुकने दिया—तो शर्मीला मॉडल अधिक अनुमान लगाने लगा (मिसिंग टैग को कम किया) लेकिन अधिक फर्जी संस्करण बनाने लगा, जबकि अति-आत्मविश्वासी मॉडल अधिक सतर्क हो गया लेकिन टैग छोड़ना शुरू कर दिया। यह ऐसा है जैसे उन्हें सोचने के लिए अधिक समय देने से उनकी याददाश्त ठीक नहीं हुई; इसने केवल उनकी गलतियों के प्रकार को बदल दिया।
इसके अलावा, अध्ययन यह सुझाव देता है कि केवल एआई को ज़ोर से "सोचने" देना हमेशा जादुई समाधान नहीं होता है। कुछ मॉडलों के लिए, सोचने की प्रक्रिया इतनी लंबी और घुमावदार थी कि उनके पास अपना उत्तर पूरा करने के लिए जगह ही नहीं बची, और वे समाधान से ठीक पहले कट गए। शोधकर्ताओं ने पाया कि एआई को कानूनी चरणों की एक विशिष्ट, संरचित चेकलिस्ट (एक "टास्क-स्पेसिफिक प्रॉम्प्ट") देकर, वे उतने ही अच्छे परिणाम प्राप्त कर सकते थे लेकिन उनके उत्तर 3.4 गुना तक छोटे थे। यह सुझाव देता है कि कानूनी टाइम-ट्रैवल के लिए, एआई को बिना दिशा के भटकने देने के बजाय एक निर्देशित यात्रा (guided tour) बेहतर हो सकती है।
अंततः, लेक्सकाइरोस बताता है कि भले ही एआई कानूनी तर्क करने में बेहतर हो रहा है, लेकिन कानून का "कब" वाला हिस्सा एक कठिन चुनौती बना हुआ है। सबसे अच्छे मॉडल भी तब भी त्रुटियों के प्रति प्रवृत्त होते हैं जब दांव पर सटीक तारीखें और प्रक्रियात्मक समय सीमाएँ शामिल होती हैं। यह पेपर यह दावा नहीं करता कि यह समस्या हल हो गई है; बल्कि, यह इस बात पर प्रकाश डालता है कि हमें ऐसे एआई बनाने की आवश्यकता है जो न केवल स्मार्ट हो, बल्कि समय के साथ अविश्वसनीय रूप से सटीक भी हो, क्योंकि कानूनी दुनिया में, एक दिन की देरी न्याय और एक हारे हुए मामले के बीच का अंतर हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।