When Do LLMs Apply the Wrong Law? Diagnosing LLM Failures in Temporal Legal Reasoning
यह शोध पत्र टेम्पोरल लागू होने वाले कानून के निर्धारण (temporal applicable-law determination) के लिए एक बेंचमार्क प्रस्तुत करता है और यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स, सुदृढीकरण लर्निंग-प्रेरित तर्क अभिसरण (reinforcement learning-induced reasoning convergence) के कारण सबसे हालिया कानून को लागू करने की ओर एक मजबूत पूर्वाग्रह प्रदर्शित करते हैं, जिससे एक प्रतिIntuitive विपरीत संबंध उत्पन्न होता है जहाँ बेहतर सामान्य तर्क क्षमता वाले मॉडल्स टेम्पोरली ग्राउंडेड कानूनी कार्यों पर खराब प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कानून एक स्थिर स्मारक नहीं है; यह एक जीवंत परिदृश्य है जो समय के साथ बदलता रहता है। नए नियम लिखे जाते हैं, पुराने नियमों को फिर से लिखा जाता है, और किसी स्थिति पर लागू होने वाले कानून का विशिष्ट संस्करण पूरी तरह से इस बात पर निर्भर करता है कि वह स्थिति कब हुई थी। आज हस्ताक्षरित एक अनुबंध एक नियम के सेट द्वारा शासित हो सकता है, जबकि पाँच साल पहले हस्ताक्षरित एक समान अनुबंध अलग नियमों के अधीन होगा। गैर-पूर्वव्यापीता (non-retroactivity) के रूप में जाना जाने वाला यह सिद्धांत कानूनी निष्पक्षता का एक आधार स्तंभ है: लोगों को उन कानूनों के आधार पर आंका जाना चाहिए जो उनके कार्य करने के समय अस्तित्व में थे, न कि बाद में बनाए गए कानूनों के आधार पर। यदि आर्टिफिशियल इंटेलिजेंस को कानूनी दुनिया में उपयोगी होना है, तो उसे इस समय-सीमा को समझना होगा। यह केवल यह नहीं जान सकता कि कानून क्या कहता है; इसे यह भी जानना चाहिए कि किसी कानूनी घटना के सटीक क्षण में कानून का कौन सा संस्करण लागू था। यदि कोई कंप्यूटर सिस्टम समय का निर्धारण गलत करता है, तो वह गलत नियमों को लागू करता है, जिससे तथ्यों के विश्लेषण में कितना भी चतुर होने के बावजूद, मौलिक रूप से गलत निष्कर्ष निकलते हैं।
शोधकर्ताओं ने लंबे समय से यह आशा की है कि लार्ज लैंग्वेज मॉडल्स, जो जटिल प्रश्नों के उत्तर देने और पाठ लिखने में सक्षम शक्तिशाली एआई सिस्टम हैं, कानूनी तर्क के कुछ हिस्सों को स्वचालित कर सकें। इन मॉडलों ने अदालती परिणामों की भविष्यवाणी करने और अनुबंधों का विश्लेषण करने में क्षमता दिखाई है। हालाँकि, एक महत्वपूर्ण प्रश्न अनुत्तरित रह गया था: क्या ये मॉडल विश्वसनीय रूप से यह पता लगा सकते हैं कि किसी विशिष्ट मामले में कानून का कौन सा संस्करण लागू होता है? जापान और चीन के संस्थानों के शोधकर्ताओं की एक टीम द्वारा किया गया एक नया अध्ययन इसी सटीक समस्या की जांच करता है। उन्होंने यह देखने के लिए एक विशेष परीक्षण बनाया कि क्या ये उन्नत एआई सिस्टम मामले की तारीखों के आधार पर कानून के सही संस्करण की पहचान कर सकते हैं। परिणामों ने एक आश्चर्यजनक और व्यवस्थित दोष का खुलासा किया। सबसे उन्नत मॉडल, अपनी जटिल समस्याओं को हल करने की क्षमता के बावजूद, लगातार तब विफल रहे जब सही उत्तर कानून का पुराना संस्करण था। इसके बजाय, उन्होंने भारी बहुमत से नवीनतम, सबसे हाल ही में अधिनियमित संस्करण को चुना, भले ही मामले के तथ्य स्पष्ट रूप से अतीत की ओर संकेत कर रहे हों।
इस मुद्दे की गहराई को समझने के लिए, शोधकर्ताओं ने चीन के हजारों वास्तविक नागरिक अदालती निर्णयों का उपयोग करके एक बेंचमार्क तैयार किया। उन्होंने उन मामलों का चयन किया जहाँ प्रासंगिक घटनाएँ एक प्रमुख कानूनी अपडेट, विशेष रूप से 2021 में सिविल कोड के कार्यान्वयन से पहले हुई थीं। इन मामलों में, सही कानूनी उत्तर के लिए उस समय प्रभावी पुराने, स्वतंत्र कानूनों का उल्लेख करना आवश्यक था, जैसे कि पुराना संपत्ति कानून या अनुबंध कानून। टीम ने फिर विभिन्न अत्याधुनिक एआई मॉडलों से प्रत्येक मामले के लिए कानून के सही संस्करण की पहचान करने के लिए कहा। परिणाम बेहद असमान थे। जब मामला वर्तमान कानून से संबंधित था, तो मॉडलों ने काफी अच्छा प्रदर्शन किया, अक्सर 70 प्रतिशत से अधिक बार सही उत्तर दिया। लेकिन जब मामले में पुराने कानून को लागू करने की आवश्यकता थी, तो उनका प्रदर्शन ढह गया। इन पुराने मामलों पर, अधिकांश मॉडल 15 प्रतिशत से नीचे स्कोर करते थे, और कुछ तो लगभग शून्य तक गिर गए। मॉडल केवल तुक्का नहीं लगा रहे थे; वे लगातार एक ही विशिष्ट गलती कर रहे थे। उन्होंने कानून के सही प्रकार की पहचान तो की, लेकिन गलत संस्करण लागू किया, हमेशा नवीनतम संस्करण की ओर ही बढ़े।
शोधकर्ताओं ने फिर इस बात की जांच की कि ऐसा क्यों हो रहा था। उन्होंने पहले विचार किया कि क्या मॉडलों के पास आवश्यक ज्ञान की कमी थी। शायद एआई ने कभी पुराने कानूनों को "पढ़ा" ही नहीं था या वह समय के साथ कानून कैसे बदलते हैं, इसके नियमों को नहीं समझता था। इसकी जांच करने के लिए, उन्होंने मॉडलों से पुराने कानूनों के पाठ को सुनाने और कानूनी समय के नियमों के बारे में बहुविकल्पीय प्रश्नों के उत्तर देने के लिए कहा। मॉडल इन परीक्षणों पर असाधारण रूप से अच्छा प्रदर्शन करते हैं, जिससे यह सिद्ध हुआ कि उनके पास तथ्य और नियम मौजूद थे। वे जानते थे कि पुराने कानून मौजूद थे और गैर-पूर्वव्यापीता के सिद्धांतों को भी समझते थे। विफलता ज्ञान की कमी या स्मृति के अंतराल के कारण नहीं थी। समस्या यह थी कि मॉडल वास्तविक मामले का सामना करते समय उस ज्ञान का उपयोग कैसे करते हैं।
आगे की जांच से पता चला कि यह मुद्दा इस बात से जुड़ा है कि इन मॉडलों को तर्क करने के लिए कैसे प्रशिक्षित किया जाता है। आधुनिक एआई सिस्टम को अक्सर इस प्रक्रिया का उपयोग करके फाइन-ट्यून किया जाता है जो उन्हें उत्तर देने से पहले एक तर्क की श्रृंखला (chain of reasoning) उत्पन्न करने और चरण-दर-चरण सोचने के लिए प्रोत्साहित करती है। यह प्रशिक्षण मॉडलों को कठिन तर्क पहेलियों और गणित की समस्याओं को हल करने में बेहतर बनाने के लिए डिज़ाइन किया गया है। हालाँकि, शोधकर्ताओं ने पाया कि यही ताकत कानूनी संदर्भ में कमजोरी बन गई। सबसे मजबूत सामान्य तर्क क्षमताओं वाले मॉडल वास्तव में इस 'टाइमिंग टास्क' पर सबसे खराब प्रदर्शन करने वाले थे। ऐसा लगता है कि प्रशिक्षण प्रक्रिया ने मॉडलों की सोच को संकुचित कर दिया था, जिससे वे एक एकल, प्रमुख पथ पर केंद्रित हो गए: वर्तमान कानून को लागू करना। यह ऐसा था मानो मॉडलों ने सीख लिया हो कि सबसे हालिया जानकारी सबसे महत्वपूर्ण है, और वे इस पैटर्न पर इतने केंद्रित हो गए कि उन्होंने अन्य संभावनाओं की खोज करना बंद कर दिया, भले ही मामले के तथ्य इसकी मांग कर रहे हों।
अध्ययन सुझाव देता है कि मॉडल इसलिए विफल नहीं हो रहे थे क्योंकि वे टाइमलाइन को समझने के लिए बहुत कम बुद्धिमान थे, बल्कि इसलिए क्योंकि वे एक विशिष्ट, सीखे हुए व्यवहार का कुशलतापूर्वक पालन कर रहे थे। जब शोधकर्ताओं ने मॉडलों को घटना की तारीख और कानूनी समय के विशिष्ट नियमों पर विचार करने की याद दिलाने के लिए एक सरल संकेत प्रदान किया, तो प्रदर्शन में नाटकीय सुधार हुआ। इससे संकेत मिला कि मॉडलों में इसे सही करने की क्षमता थी, लेकिन उनकी डिफ़ॉल्ट कार्यप्रणाली कानूनी तर्क की विशिष्ट आवश्यकताओं के अनुरूप नहीं थी। टाइमलाइन को देखने के लिए प्रेरित किए बिना, उनके शक्तिशाली तर्क इंजन बस नए कानून के प्रति पूर्वाग्रह को ही सुदृढ़ करते थे।
यह खोज वर्तमान आर्टिफिशियल इंटेलिजेंस की एक सूक्ष्म लेकिन खतरनाक सीमा को उजागर करती है। यह दिखाती है कि किसी मॉडल को सामान्य तर्क में स्मार्ट बनाने का अर्थ यह स्वतः ही नहीं है कि वह हर कार्य में बेहतर हो जाएगा। वास्तव में, उन कार्यों के लिए जिनमें विशिष्ट बाधाओं (constraints), जैसे कि कानून के समय पर सावधानीपूर्वक ध्यान देने की आवश्यकता होती है, वे तंत्र जो इन मॉडलों को शक्तिशाली बनाते हैं, वे ही उन्हें महत्वपूर्ण विवरणों को अनदेखा करने का कारण बन सकते हैं। शोधकर्ताओं ने पाया कि जब मॉडलों को अपने डिफ़ॉल्ट व्यवहार पर टिके रहने के बजाय विभिन्न तर्क पथों की खोज करने के लिए मजबूर किया गया, तो वे सफलतापूर्वक कानून के सही, पुराने संस्करण की पहचान करने में सक्षम रहे। अध्ययन का निष्कर्ष है कि एआई के वास्तव में कानूनी क्षेत्र में विश्वसनीय होने के लिए, इसे न केवल अच्छी तरह से तर्क करने के लिए, बल्कि डोमेन के विशिष्ट, अक्सर प्रति-सहज (counter-intuitive) नियमों का सम्मान करने के लिए प्रशिक्षित किया जाना चाहिए, जैसे कि यह तथ्य कि नवीनतम कानून हमेशा सही नहीं होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।